目前參考資料多半來自台灣學術單位，以及多個台灣閩南語連續劇內容，因此目前訓練模型所對應使用閩南語，會更像是台灣地區使用的閩南語，就連翻譯後的念音也更像是台灣腔。
針對Meta日前提出全球首款以語音對語音翻譯，讓閩南語能直接翻譯成英語的技術，參與此專案開發的台灣工程師陳鵬仁透過線上形式分享更多此項技術背後故事。
因為開發團隊有很多人熟稔閩南語，因此選擇以此作為第一個開發翻譯語言
陳鵬仁說明，最初在此專案選擇以閩南語作為第一個開發翻譯語言的原因，其實在於開發團隊有不少熟稔閩南語的同仁，因此可以在更快時間驗證翻譯結果是否正確、通順。
▲UST技術實際運作架構
而為了打造能直接以語音對語音的翻譯技術，多達50人規模的開發團隊除了工程師，還包含語言學者與社會學家，以及倫理學家與諸多跨學術團隊成員，藉此研究目標翻譯語言背後結構與文化影響，例如美國所使用的英語與英國地區的英語雖然互通，卻有不少用字遣詞，或是發音上的差異。
而閩南語其實也有類似情況，光是在台灣、中國福建沿海地區，以及馬來西亞、新加坡等地所使用的閩南語就有不少差異，甚至閩南語還有七聲八調的不同，而在台灣也有明顯的南腔北調情形。
此外，閩南語實際上沒有標準化的文字系統，加上各地區發音用詞上的差異，更讓這個原本是以口語相傳為主的語言，更難以制式翻譯方式轉換成其他語言。陳鵬仁表示，實際上也是開始投入開發之後，才發現要順利將閩南語翻譯成其他語言，真的比想像中還難。
與台灣學術單位合作語庫，因此翻譯結果會有台灣腔
先前說明中，Meta是透過閩南語的念音轉換成數位資料，並且將這些資料進行分類、標示，並且透過機器學習訓練，讓其他語言可以對應合適翻譯結果。若其中有無法直接翻譯，或是難以呈現精準意思的情況，系統就會透過其他相近語言進行翻譯，並且將翻譯結果轉換成目標語言。
此項專案也與台灣相關機構合作，其中包含使用Taiwanese Across Taiwan建立長達300小時長度的台文語音語料庫，藉此建立第一個閩南語與英語雙向語音翻譯基準資料集，由於參考語庫含大量閩南語念音資料與可供對照的中文字幕內容，因此可以利用機器學習方式建立閩南語念音與中文之間的翻譯結果，並且可再利用中文翻譯結果轉換成英語，實現將閩南語翻譯成英語。
▲台灣工程師陳鵬仁
至於目前參考資料多半來自台灣學術單位，以及多個台灣閩南語連續劇內容，因此目前訓練模型所對應使用閩南語，會更像是台灣地區使用的閩南語，就連翻譯後的念音也更像是台灣腔。陳鵬仁解釋，這主要還是取決訓練時所採用參考語庫內容，由於目前用於學習的語庫多半來自台灣，因此訓練成的語言模型自然就會有台灣腔。
目標讓更多人可以跨語言溝通
如同先前說明，Meta打造此翻譯系統，主要希望打破不同地區的語言隔閡，並且讓使用者能直接透過對話方式溝通，而非只是透過文字上的轉譯，甚至可以透過語音、聲調等方式更自然表達真實情感，而未來應用不只是面對面的交談，更包含Meta目前著重發展的元宇宙互動，讓位於各地的人都能流暢地聊天互動。
不過，目前此項技術仍受限演演算法、學習資料內容等限制，因此目前僅能做到逐句翻譯，暫時還無法對應流暢的對話表現，但陳鵬仁預期在日後累積更多可用於訓練的語庫資料，加上運算技術持續進步，將能實現更即時的語音互譯效果。
讓閩南語可順利翻譯為英語，陳鵬仁表示目前已經完成第一個里程碑，接下來則會計畫翻譯結果更加精準，之後才會逐步提升翻譯速度，並且讓此專案納入更多語言，例如台灣也有不少人使用的客家話，或是其他國家地區僅有口語相傳的語言也能透過此項技術建立學習模型，進而達成能與更多語言互譯目的，甚至也能藉此讓更多面臨瀕危的少數語言得以保留。
▲陳鵬仁說明，目前在美國生活中，會透過台灣台語繪本讓年幼女兒學習台語
暂无评论内容