Please enable JavaScript.

Coggle requires JavaScript to display documents.

台語語音翻譯系統 - Coggle Diagram

- - - - 1.1 研究背景與動機
        
        台語為低資源語言，缺乏完整語音翻譯系統
        
        現有研究（Hsieh et al., 2023）以 E2E 方式直接輸出華語，CER 達 50.7%，效果不理想且測試集不完整
        
        現有資料集缺少華語文字，測試集需自建
        
        採用 Cascade 而非 End-to-End 的原因
      - 1.2 研究目的
        
        以教育部 TAT 語料建構台語語音→華語 Cascade Pipeline
        
        系統性比較 ASR 與 MT 架構效能
        
        驗證三階段架構（台羅→漢字→華語）是否優於兩階段（台羅→華語）
        
        建立可信的測試集 Ground Truth
      - 1.3 論文架構說明
    - - 2.1 台語語音辨識相關研究
        
        Formosa ASR Challenge 2020，SER 21.5%
        
        Whisper 用於台語 E2E 輸出華語，CER 50.7%（Hsieh et al., 2023）
      - 2.2 低資源語言 ASR
        
        Swahili Whisper fine-tune，WER 約 30%
        
        Turkish Whisper LoRA，降幅 56.4%
        
        Cantonese LoRA-INT8 Whisper，CER 12.55%
      - 2.3 語音翻譯相關研究
        
        溫州話→華語 E2E，CER 29.94%
        
        孟加拉語→英語 Cascade，BLEU 8.69
        
        瓜拉尼語→西班牙語 Cascade，CER 20.18%
        
        IWLST 2024 Cascade，Whisper+NMT+LLaMA2
      - 2.4 詞義消歧與 LLM 限制
        
        WSD in LLM Era，同音異字的核心挑戰
        
        OOD 問題，訓練推論格式不一致
        
        Fine-tuning with Limited Data，few-shot 效益
      - 2.5 評估指標
        
        CER 字元錯誤率
        
        WER 詞錯誤率
        
        BLEU 翻譯品質
        
        BERTScore 語意相似度
    - - 3.1 資料集建構
        
        TAT 教育部語料庫，訓練 80936、驗證 3088、測試 3258
        
        SuiSiann-KauTui，3467 筆
        
        g0v 萌典，16055 筆羅馬拼音華語對照
      - 3.2 測試集標註與品質驗證
        
        TAT 測試集無華語翻譯，自行標註 3258 筆 Ground Truth
        
        抽取 50 筆請獨立標註者翻譯，BERTScore F1 = 0.9111
        
        Inter-Annotator Agreement 驗證標註可信度
      - 3.3 系統架構
        
        兩種 Pipeline 架構對照
        
        兩階段：台語語音→台羅拼音→華語
        
        三階段：台語語音→台羅拼音→台語漢字（CoT 內部推理）→華語
        
        台語漢字為 LLM 的 CoT 中間推理步驟，非獨立模組
        
        Cascade Pipeline 流程圖
      - 3.4 ASR 模型
        
        Whisper Small/Medium，Full fine-tune 與 LoRA
        
        Wav2Vec2-large-xlsr-53，CTC 訓練
        
        前處理：Log-Mel Spectrogram、16kHz 重取樣
      - 3.5 MT 模型
        
        OpenNMT-py，字元級切分，全參數訓練
        
        TW-LLM，LoRA fine-tune，Prompt 策略演進
        
        TAIDE-7B，以最佳 Prompt 設定評估
    - - 4.1 ASR 結果比較
        
        Whisper 四組，最佳 CER 7.97%，LR=2.5e-5
        
        Wav2Vec2 四組，最佳 CER 8.45%
        
        結論：Whisper ii 勝出
      - 4.2 MT 結果比較
        
        OpenNMT 三組，BLEU 最高 8.25
        
        TWLLM 五組演進，BLEU 6.87→42.11
        
        TAIDE-7B，BLEU 33.71，E2E 損失率較小
      - 4.3 E2E Pipeline 結果
        
        最差：Wav2Vec2+TWLLM iii，BLEU 12.88
        
        最佳：Whisper ii+TAIDE-7B，BLEU 28.8
        
        Oracle 上限：漢字→華語，BLEU 54.79
      - 4.4 消融實驗
        
        三階段 vs 兩階段：台羅→漢字→華語 BLEU 42.11 vs 台羅→華語 BLEU 約 20，加入漢字中間步驟顯著提升翻譯品質
        
        0-shot vs few-shot CoT：BLEU 13.6→42.11，few-shot 訓練策略效益顯著
        
        辭典約束實驗：BLEU 降至 23.49，OOD 問題導致效能下降
    - - 5.1 三階段架構優於兩階段的原因
        
        台羅拼音同音異字問題嚴重，直接從拼音翻華語讓模型同時承擔語意消歧與語言轉換兩個任務
        
        加入漢字中間步驟將兩個任務解耦，讓模型先完成語意消歧再進行語言轉換
        
        此設計與 Cascade 架構核心精神一致，任務拆解降低單一模型負擔
      - 5.2 效能瓶頸分析
        
        WSD 是根本原因，同音異字無法靠資料量突破
        
        OOD 問題，辭典格式導致注意力機制崩潰
        
        E2E 誤差累積，ASR 錯誤影響翻譯品質約 10%
      - 5.3 錯誤類型分析
        
        類型一：同音異字誤轉，發音對但字義錯
        
        類型二：數字、年份、地名產生幻覺
        
        類型三：斷詞失敗導致 LLM 以中文發音輸出
      - 5.4 模型選擇討論
        
        TAIDE 在 E2E 損失率較小的原因
        
        OpenNMT 字元對齊失效的原因
    - - 6.1 主要貢獻
        
        以教育部 TAT 語料建構台語語音→華語 Cascade Pipeline，進行多模型系統性比較
        
        自建並驗證 3258 筆測試集 Ground Truth，填補現有研究缺口
        
        實證三階段架構（台羅→漢字→華語）顯著優於兩階段架構，BLEU 提升約一倍
        
        實證 few-shot CoT 對台語 MT 有顯著效益
        
        定位並解釋 WSD 瓶頸，有文獻與實驗雙重支撐
      - 6.2 研究限制
        
        訓練資料規模有限，約三萬筆
        
        TAIDE-7B 尚未進行 few-shot 驗證
        
        台語漢字中間步驟仍受 WSD 問題制約，無法完全消解同音異字
      - 6.3 未來工作
        
        擴充台語語音翻譯平行語料庫
        
        WSD 專用模型結合 Cascade Pipeline
        
        TAIDE-7B few-shot 效益驗證
        
        SeamlessM4T 等端到端模型在台語的可行性