成大研發快訊 - 文摘 成大研發快訊 第一卷 第五期 - 2007年九月二十一日 [ http://research.ncku.edu.tw/re/articles/c/20070921/3.html ]
應用辭彙校準及合成片斷產生之最佳化方法於中文轉台
灣手語之研究
邱毓賢、吳宗憲
*、蘇弘毓、鄭功偉
成功大學 資訊工程系 [email protected]This article is based on the publication: Yu-Hsien Chiu, Chung-Hsien Wu, Hung-Yu Su, and Chih-Jen Cheng, “Joint Optimization of Word Alignment and Epenthesis Generation for Chinese to Taiwanese Sign Synthesis,” IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 29, No. 1, January 2007, pp.28~39. 表一 列出了經由句法分析後，主單元及次單元的分類結果
手
語為一種視覺化的手勢語言， 也是聽語障人士賴以溝通的主要語 言，如同我們所使用的中文、英文同 屬於自然語言的範疇之一。聽語障人 士生活於一般聽人社會中，往往會遭 遇到許多溝通或表達的困難，進而造 成在教育、交際以及就業上極大的阻 礙。為了改善聽語障人士與常人溝通 的能力，替代與增益性溝通輔助科技 的提出，使得聽語障溝通輔具的發展有了長足的進步。近年來，有關機器翻譯技術的發展，對於消弭口語 與手語之間的屏障有了合適的解決方法。在本研究首先提出了一個基於統計式機器翻譯架構的中文到手語 的翻譯系統，再利用影像串接之技術，將預先拍好的手語詞彙影像片段以動態方式合成轉譯後之手語語 句，提供聽語障者一個影像基礎的手語呈現方式。圖一為整個系統之操作介面。 圖一為中文轉台灣手語影像系統之操作介面 一個平行的雙語對照語料庫為發展一個機器翻譯系統 最重要的部份。在基於語料庫的機器翻譯系統中，對 照平行語料為訓練翻譯模型的基礎。由於手語語料在 記錄上的複雜性，造成了語料收集的困難。在本研究 中，對照語料乃收集自台南啟聰國小之國語教材，並 由國立中正大學語言所之手語專家做標記及驗證。另 外為了串接手語影像之輸出介面，我們設計且拍攝了 一個以手語詞彙間之手的位置與移動方向差異為考量 的影像資料庫。 為了減少一般統計式機器翻譯的計算複雜度， 我們提出了一個兩階段的翻譯架構。在輸入欲 翻譯之中文句後，經由句法及詞彙語意的分 析，並將所有詞彙分為兩大類：主單元及次單 元。在第一次的順序校準中，決定了主單元與 連續次單元組成的主結構的順序。第二次的順 序校準則是針對主結構中的次單元來執行。表 一列出了經由句法及知網分析後，各類詞彙的 分類結果。圖二表示了中文轉譯手語時之搜尋 空間。 1 of 3成大研發快訊 - 文摘 圖二表示了中文轉譯手語時之搜尋空間 經由翻譯之後所產生的手語詞彙序列，會以影 像串接方式加以呈現。圖三為一示意圖。在手 語影像庫中，各手語詞彙均保留多個取自不同 的片段並包涵該詞彙在施打時與其它詞彙的串 接可能。因此在串接影像時，影帶與影帶之間的串接點的決定參考了兩個影像框架中，手的位置差異及移 動方向的差異，並以動態演算法由圖三的網格中決定差異最小的路徑，來串接出平滑順暢的手語影像輸 出。 圖三為以動態演算法決定差異最小的路徑來串接出平滑順暢的手語影像輸出 圖四 評估了在前個可能的翻譯中正確的比例 在系統的評量方面，首先是統計式機 器翻譯效能的評估。在本論文中，提 出的方法與國際商務機器公司所提出 的翻譯模型2相比較。圖4評估了在前 N個可能的翻譯中正確的比例。從實 驗結果可以明顯的看到我們所提出的 方法有三到四個百分點的領先。另 外，在整體系統的評估上，由於沒有 適當的客觀評估方式，所以採用平均 意見分數。我們選擇十句中文句經翻 譯並合成之手語影像，由手語使用者 來觀看，並對串接與翻譯的品質做三 等級的評估：完美、一般及不理想。 圖五表示了觀看者對四種串接考量的評分。A為考量手的位置及移動方向，B和C分別為考量移動方向和手 的位置，D則是直接串接的結果。 2 of 3
成大研發快訊 - 文摘 圖五表示了觀看者對四種串接考量的評分 由以上的評估結果，本研究所提出的翻譯模型及影像串接架構已達一可用之成果。本系統預期可應用於電 腦輔助介面或是手語電子書的建構。另外在公眾服務方面，本系統可提供各式電腦化互動式之自動交易機 器一手語介面、以影像方式引導聽語障人士使用各種設備以及應用於電視手語字幕等方面。 3 of 3
