行政院國家科學委員會專題研究計畫 成果報告
華語語音數位學習及線上檢測研究
計畫類別： 整合型計畫 計畫編號： NSC93-2524-S-003-009- 執行期間： 93 年 05 月 01 日至 94 年 04 月 30 日 執行單位： 國立臺灣師範大學華語文教學研究所 計畫主持人： 曾金金 共同主持人： 周福強 報告類型： 精簡報告 處理方式： 本計畫可公開查詢中 華 民 國 94 年 8 月 4 日
一、
中英文摘要
（一） 計畫中文摘要 關鍵詞: 數位學習、資料庫、語音辨識、第二語言教學、中介語、華語語音 本計畫主要為結合中介語習得理論，以及語音辨識技術，用於網路華語發音教學之系 統。首先利用中介語研究、分析的方法，分析特定母語的學習者在習得過程中經常發生 的偏誤型態，然後將這些偏誤型態加入語音辨識的辨識文法中，進而利用語音辨識的技 術，辨識出學習者實際發生的偏誤，最後根據這些偏誤，提供適當的回饋與指引，供學 習者矯正使用。 （二） 計畫英文摘要Key words: Chinese pronunciation, e-learning, pronunciation corpus, speech recognition, second language learning, interlanguage phonetics & phonology, phone annotation, error pattern annotation
The present project is based upon a psycholinguistic model of second language learners’ interlanguage. We explored web-based Chinese instruction using speech recognition software as well as interlanguage perception and production research. The initial target audience includes Chinese learners in an English or Japanese speaking environment. We have established IL(learner’s interlanguage) corpus and TL(target language) corpus, both of which contain all of the syllables found in Mandarin, and also textbook samples.
二、
報告內容
(一) 前言 近年來，由於網際網路的蓬勃發展，利用網路進行語言教學的研究以及商業應用的 技術不斷的發展，不過普遍可以看到的一個缺點，是大部分的網站都只能提供聽的練習， 而對於說的活動就較為貧乏。因此，若能將語音辨識技術的研究應用於發音學習上，可 建立一個所謂標準的辨識模型，訓練使用者將他的發音盡量向標準模型靠近，在這樣的 狀況下，當使用者在學習華語發音的時候，系統性的發音變異便是所謂的偏誤，使用者 必須盡量改正其偏誤，也就是力求和標準的模型一致，所以就應用本身而言，電腦可以 控制的部分就相對增加了，整個應用的完成度也可相對提高。 (二) 研究目的 本計畫為 93 年度數位學習國家型科技計畫：「全球華語文數位學習及教學之設計、開 發與檢測」的子計畫之一。該計畫是以數位學習的理念及架構，針對各國之華語教師、 學習華文之國際學生、及海外之僑教人士，透過線上教材、線上教學、線上測驗、及國 際合作等方式，將台灣的華語文推廣至國際。本子計畫的課題為華語語音數位學習及檢 測研究，利用第二語言習得的中介語理論，探討中文為第二語言的學習者在聽辨及發音 上的偏誤類型及習得歷程，結合以互動理論（interactionist theories）為基礎的溝通式教學 法（communicative method）, 並搭配視聽教學法(audio-lingual method)，利用語音辨識 （ASR）技術的電腦輔助發音訓練系統（Computer Assisted Pronunciation Training, CAPT） 提供學習者一個較無壓力的語言學習環境，讓學生能反覆強化學習，針對學生個別的發 音問題，提供回饋與糾正，讓學習者在華語聽辨及發音上大幅提昇正確的自動化處理能 力。透過線上練習及檢測，追蹤學生發音的習得歷程、檢測學習的困難點，並進行課程 教材及教法的修正。教學不再是以教師為中心的教學設計而是以學習者為中心，教師可 以根據紀錄資料統計顯示的情形設計練習題及測驗題，可有效增進華語辨音、發音、及 聽說理解表達的能力。 (三) 文獻探討 針對語音辨識的辨識率的問題，有相當多的商用教育軟體是採用市場上現有的語音 辨識引擎加工而成，可是由於這些引擎本來都是針對母語的使用者，做語音輸入的應用 而設計的，所以如果是針對正在學習語言的使用者來說，其辨識率便不理想，也無法達 到發音教學的需求，實際的數據可以參考[1][2]中的研究。然而這並非表示語音辨識的 技 術 無 法 使 用 在 語 言 學 習 上 ， 只 是 在 使 用 的 方 法 與 參 數 上 必 須 經 過 適 當 的 調 整 [3][4][5]。至於在偏誤糾正的方面，目前大部分的系統，還未能提供完善的服務。目前 提供的回饋可能是在使用者發音後，給予獎勵的文字回饋、分數或請使用者再試一次， 但使用者並不知道具體要如何改正他的發音。有些系統則提供了波形甚至是頻譜比對的 功能，然而對一般的使用者來說，卻無法瞭解這些圖形跟發音間的關係，所以根據[6]的 研究，這樣的回饋方式，並無法有效改善使用者的發音。因此在 ISLE[7]這個研究計畫中， 就嘗試針對發音的偏誤，提供適當而容易理解的回饋。這個系統主要是針對德國跟義大 利的英語學習者常犯的偏誤類型，建立了一個資料庫，因此當使用者在某個音或字發生 辨識偏誤的情形時，就從這個資料庫中尋找合適的回饋，提供給使用者。事實上、這些語言學習時所常發生的偏誤類型，在跨語言音韻學（interlanguage phonology）的文獻 中已經有相當多的研究，而在很多華語教學的論文中也有相當多的例子，因此我們的研 究方法就是利用跨語言音韻學在華語學習的一些主要理論及研究成果，將學習者容易產 生的偏誤類型，加入我們的辨識文法中，利用語音辨識來找到使用者發音偏誤的類型， 然後根據使用者的偏誤型態，提供使用者改正的方法。 (四) 研究方法 首先我們將研究的對象設定為以「英語」及「日語」為母語的華語學習者，針對這 樣的對象，請他們錄製華語中所有不同聲韻調的單音節組合，計有 1345 個音節。其次我 們請兩位具有語音學背景的審聽人，進行華語中介語音分析，將他們所聽到的發音以漢 語拼音的符號記錄下來，然後跟原先的目標音節進行比較，歸納常見偏誤類型。在分析 了五個以英語為母語，以及五個以日語為母語的華語學習者的資料後，分別整理出「英 式」華語以及「日式」華語中常見的偏誤型態如下： 在「英式」華語的輔音方面：以下符號為漢語拼音非國際音標 [b、p]，[d、t]以及[g、k]常以有聲、無聲的區別代替華語送氣、不送氣之區別。 送氣與否在華語中是一個重要的區別特徵，可是在英語中卻是一個次級發音動作。因 此在塞擦音容易造成[j、q]、[zh、ch]的混淆。 英語沒有翹舌音(zh、ch、sh)，也沒有華語的 j、 q 、x，所以容易把 zh、ch 及 j、q 發成英語的 ch，把 sh、x 發成英語的 sh 元音方面：
把華語的 “yu”發成英語的 “ew”, 如: 「去」聽起來像「chew」。 把華語的 “an”發成 “en”, 如: 「吃飯」聽起來像「吃糞」。
由於英語 phonics 的影響，造成華語 au、ou 的混淆，或是把華語的 “ong”發成 “ang”
在「日式」華語的輔音方面： f、h 不分
zhi、 chi、 shi 與 ji、qi、xi 混淆 zhi、 chi、 shi 與 zi、ci、si 混淆 p、 t 、k 送氣音不夠強與 b、d、g 混淆 l、r 混淆
元音方面：
u、yu 舌位混淆。
a、e 開口度混淆，同時造成 an、 en 以及 ang、 eng 的混淆。 e、u 混淆。
an、ang 和 en、eng 以及 in、ing 前後鼻音混淆。
z、c、s 後的 i 和在 zhi chi shi ri 後的 i, 因不習慣翹舌造成混淆。
有了上述的偏誤型態表之後，我們可以針對使用者所要學習的音節，建立其相對應可能的 偏誤型態，將所有偏誤的發音類型以及正確的發音同時加入語音辨識的文法中，讓語音辨識引 擎將使用者的發音與所有可能發音的模型進行比對，找出其中分數最高者，即為語音辨識引擎
所判定使用者的實際發音。比對實際發音，與目標音節的差異，即可判定其偏誤型態，然後根 據此偏誤型態，提供使用者矯正的說明。 (五) 結果與討論 在第一年的計畫中，我們利用了部分學習者的錄音語料，分析了容易發生的偏誤類型，並 將這些偏誤類型，整合進語音辨識的模組，讓語音辨識模組具有辨識這些偏誤類型的能力，進 而針對學習者的偏誤，提供矯正的方法。目前的雛型系統是利用微軟的語音辨識引擎進行測 市，後續研究希望能在網際網路的架構中，讓使用者可以透過網路進行學習的動作。在經過初 步的評估測試後，我們發現語音辨識引擎在辨識語音偏誤型態的效果上，可以達到與人類聽辨 相當的水平。針對部分實做上的缺點，譬如部分偏誤類型無法正確辨識，以及網路的延遲等， 我們將在後續的計畫中，進行修正，以及擴大測試的範圍。主要的改進方向有： 1. 將學習者母語的語音模型，加入偏誤模式的辨認中：這樣可以改進使用者在某一些特定 詞彙因為使用母語中的發音方式造成無法辨識的狀況。 2. 嘗試將部分甚至全部的語音辨識模組由使用者端的電腦來執行：這樣可以減少網路傳輸 的負荷，加快整個語音辨識處理的流程，即使在大量使用者登入的情況下，仍能運作。 三、
參考文獻
[1] T. M. Derwing, M. J. Munro and M. Carbonaro, “Does Popular Speech Recognition Software
Work with ESL Speech?”, TESOL Quarterly 34, pp. 592-603, 2000
[2] D. Coniam, “Voice Recognition Software Accuracy with Second Language Speakers of
English”, System 27, pp. 49-64, 1999
[3] H. Franco et al., “The SRI EduSpeak System: Recognition and Pronunciation Scoring for
Language Learning”, Proc. InSTIL, Scotland, pp. 123-128, 2000
[4] S. M. Witt, S. J. Young, “Phone-level Pronunciation Scoring and Assessment for Interactive
Language Learning”, Speech Communication 30, pp. 95-108, 2000
[5] Wolfgang Menzel, Daniel Herron, Patrizia Bonaventura, Rachel Morton, “Automatic Detection
and Correction of Non-native English Pronunciation”, Proc. InSTIL, pp. 49-56, 2000
[6] R. Hincks, “Speech Recognition for Language Teaching and Evaluating: A Study of Existing
Commercial Products”, Proc. ICSLP, pp. 733-736, 2002
[7] Interactive Spoken Language Education (ISLE), A Language Engineering Project of EU,
http://nats-www.informatik.uni-hamburg.de/~isle/index.html
[8] R. Lado, “Linguistics Across Cultures”, University of Michigan Press, 1957
[9] 魯健驥, “中介語理論與外國人學習漢語的語音偏誤分析”, 語言教學與研究,第三期, pp. 44-56, 1984 [10] 李明, “對外漢語教學中難音辨析”,第一屆國際漢語教學討論會論文選,北京語言學院出版 社,1986 [11] 曾金金, “印尼學生華語分析”,第二屆僑民教育學術研討會, 僑民教育委員會 , pp. 93-99, 2000 [12] 曾金金、周福強, “華語語音數位學習及線上檢測研究”, 第四屆中文電化教學國際研討會， pp. 529- 534, 2004
integration phenomena. Science 227: 1245-1247 . [14] 朱川（1997）《外國學生漢語語音學習對策》，語文出版社 [15] 王韞佳、李吉梅（2001）《建立漢語中介語語音語料庫的基本設想》，《世界漢語教學》，第 一期 [16] 姚天任（2002）《數字語音處理》，華中科技大學出版社 [17] 曾金金（1999）兩岸新聞播音員語音對比分析。行政院國家科學委員會專題研究計畫成果 報告。計畫編號：NSC 88-2411-H-003-017 [18] 張淑萍, 2004.〈當教學設計遇上 e-Learning〉。 http://www.elearn.org.tw/NR/exeres/02A76568-7FD1-4BEB-8F8A-FDEC84DF337C.htm (Accessed 2005/1/6) [19] 鄒景平等, 2003. 《數位學習最佳指引》。台北：資策會教育訓練處。 [20] 陳芳（2004）《基於網絡的現代遠程對外漢語教學素材庫之構想》，雲南師範大學學報，第 二卷增刊 [21] 約翰.辛克萊（2000）《關於語料庫的建立》，語言文字應用，第二期（王建華譯） [22] 楊石泉（1991）《教材語料的選擇》，世界漢語教學，第一期 [23] 朱樂紅（2000）《語料庫對語言研究及外語教學的作用》，外語與外語教學，第三期 [24] 周文壮（2004）《利用多媒體技術改革對外漢語教學》，雲南師範大學學報，第二卷增刊 [25] 鄭世良（2002）《E-Learning 的整體特徵分析》，上海師範大學教育技術學系 http://www.edu.cn/20020110/3016982.shtml [26] 孫厚釗（2003）《多媒體網絡教學簡析》，http://www.edu.cn/20031125/3094858.shtml [27] 付玉萍（2002）《中級漢語課程練習測試系統與資源庫建設》，《E-Learning 與對外漢語教 學》，清華大學出版社 [28] 張若瑩（2002）《對外漢語教學中高級口語課程的多媒體課件與教案庫建設》，《E-Learning 與對外漢語教學》，清華大學出版社 [29] 金曉達（2002）《積件在課堂教學實踐中的應用》，《E-Learning 與對外漢語教學》，清華大 學出版社 [30] 蔡德祿（2003）《淺談 e-Learning 與 SCORM 標準》，《資訊與電腦雜誌》第 276 期 （http://www.iii.org.tw/ICmagzine/cs_276/cs_276_1.htm） 四、
計畫成果自評
本計畫原為三年期計畫，由於第一年核定為期一年，為了能有具體的成果可以展現, 所以 與原先計畫擬定的內容及程序不完全相符。第一年除了建置下列的語音資料庫，包括：兩岸男 女規範語音資料庫（單音節、多音節組合、語法例句、華語課文範例(敘述形式與對話形式)） 及中介語資料庫（日語及英語為母語者之華語中介語語料（單音節、華語課文範例(對話形 式)），也在 PC 上利用微軟辨識引擎及華語中介語分析，製作針對學習者發音的線上語音辨識 回饋系統雛型。但由於數位學習計畫所涉及的知識領域廣泛，且需要極多的專業研究人力，致 使與原定計畫產生些許差距，但由於整個研究團隊的全力配合，已製作出針對學習者發音的線 上回饋樣本雛型，但亦體認到後續研究的困難，包括：可分享內容元件的編碼、針對學習者網 上學習的相關研究、華語語音的中介語及習得研究、有效的華語正音教學及如何修正語音辨識 模型以符合華語語音辨識的需求, 並能在線上進行語音辨識。本研究的部分成果已在 2005 年 6 月第四屆全球華文網路教學研討會發表，希望對數位語音學習的相關計畫有所助益。 周福強、曾金金，2005。〈整合中介語習得理論及語音辨識技術之網路華語發音教學系統〉，《第 四屆全球華文網路教學研討會論文集》, p.379-86。台北：中華民國僑務委員會。廖埻棓、曾金金，2005。〈符合 SCORM 標準的華語語音數位教學設計〉，《第四屆全球華文網路 教學研討會論文集》, p.175-89。台北：中華民國僑務委員會。 陳氏金鸞、曾金金、廖埻棓，2005。〈網際網路語音教學之資料庫建置：以「華語語音數位學 習及線上檢測研究」的語音教學資料庫為例〉，《第四屆全球華文網路教學研討會論文集》, p.331-37。台北：中華民國僑務委員會。 古川千春、曾金金，2005。〈以日籍學生爲中心的數位華語語音教學策略初探〉，《第四屆全球 華文網路教學研討會論文集》, p.38-48。台北：中華民國僑務委員會。
行
行
政
政
院
院
國
國
家
家
科
科
學
學
委
委
員
員
會
會
數
數
位
位
學
學
習
習
國
國
家
家
型
型
科
科
技
技
計
計
畫
畫
九
九
十
十
四
四
年
年
度
度
研
研
究
究
成
成
果
果
資
資
料
料
表
表
日期：94 年 7 月 30 日國科會補助計畫
計畫名稱：華語語音數位學習及線上檢測研究：結合中介 語理論與語音辨識之應用 計畫主持人：曾金金 共同主持人：周福強 研究人員：廖埻棓、陳氏金鸞、古川千春、蔡惠玲、郭芳 君 計畫編號：NSC 93－2524－S－003－009－ 中文： 第一年 (2004/5-2005/4) 工作重點：華語數位語音教學元件 內容的建置，包括： 1. 兩岸男女聲規範語音檔 甲、1345 漢語音節 乙、多音節組合 丙、語法例句 丁、華語課文範例(敘述形式與對話形式) 2. 日語及英語為母語之學習者中介語料 甲、1345 漢語音節 乙、華語課文範例(對話形式) 3. 學習者中介語單音節之偏誤分析 4. 針對學習者發音的線上語音辨識回饋系統雛型研究摘要
英文：First Year’s project (2004/5-2005/4)：The present project is based upon a psycholinguistic model of second language learners’ interlanguage. We explored web-based Chinese instruction using speech
recognition software as well as interlanguage
perception and production research. The initial target audience includes Chinese learners in an English or Japanese speaking environment. We have established IL(learner’s interlanguage) corpus and TL(target
language) corpus, both of which contain all of the syllables found in Mandarin, and also textbook samples.
