全球華語文數位學習及教學之設計、開發與檢測---子計畫二：華語語音數位學習及線上檢測研究---結合中介語理論與語音辨識之應用(I)

(1)

行政院國家科學委員會專題研究計畫期中進度報告

子計畫二:華語語音數位學習及線上檢測研究：結合中介語

理論與語音辨識之應用(1/2)

計畫類別：整合型計畫計畫編號： NSC94-2524-S-003-013- 執行期間： 94 年 05 月 01 日至 95 年 07 月 31 日執行單位：國立臺灣師範大學華語文教學研究所計畫主持人：曾金金共同主持人：周福強計畫參與人員：廖埻棓、陳氏金鸞、古川千春、蔡惠玲、林華一、張月馨、潘鶴翔、岡井將之報告類型：精簡報告報告附件：出席國際會議研究心得報告及發表論文處理方式：本計畫可公開查詢

中華民國 95 年 6 月 1 日

(2)

一、

中英文摘要

（一）計畫中文摘要關鍵詞: 數位學習、教學模版、華語聲調教學、日籍學習者、偏誤分析本年度計畫之最大收穫為對日籍學生進行了數位聲調教學實驗課程，對於日籍學生的學習需求分析及難點檢測作出初步歸納。根據五次的實際教學課程，以及受試學生的反饋，初步設計出數位聲調教學的模版，為求教學內容具整體性及統合性，我們設計出具有六種功能的教學模版，包括：發音練習、聽力練習、對比練習、常見偏誤、解釋說明以及聽力測驗。（二）計畫英文摘要

Key words: e-learning template, teaching tones, Japanese learners Mandarin, error analysis, interlanguage phonetics phonology

We have devoted our time to this year’s project on teaching Japanese students how to learn Chinese tones on the computer. We conducted five experimental classes in order to access their needs and the effectiveness of our curricula. Tones acquisition has been one of the most difficult areas for international students. The difficulties may be caused by poor instructions, or simply a lack of practice. Therefore, our curriculum design is based upon a psycholinguistic model of second language learners’ interlanguage. We discovered how Japanese learners might visualize Chinese tones, and worked that knowledge into the web-based instructional design. Six templates have been created for future pronunciation lessons, including pronunciation drills, listening drills, minimal-contrast drills, common errors, instruction and clarafication, and listening comprehension using on-line tests.

(3)

二、

報告內容

(一) 前言漢語聲調學習向來是華語學習者之難點，在漢語中，聲調又具有重要的辨義功能，因此，一套適當的數位聲調教學課程當是華語教師最需要的工具之一。然而，受限於學習環境，現今多數的華語教材，普遍未能在此領域提供較好的學習材料，學習者也難以得到及時且足夠的語音反饋。現今全球正掀起華語熱，尤其海外華語教學需要大量人力物力投入，並提供一定水準之師資，才能有效幫助海外華語學習者。然而由於教師與學習者逐漸多元化之緣故，線上教學勢必成為二十一世紀第二語言教學之趨勢。華語教師可利用線上教材解決實際課室中缺乏練習之缺點，學習者亦可在沒有時空限制的環境中，達到有效學習第二語言之目標。此外，根據 Krashen 第二語言學習理論，情感因素是造成學習者第二語言習得之重要限制之一，而線上教材便可提供學習者一種不受同儕競爭比較之減壓的語言學習環境。綜合上述，本計畫在今年度研發設計出一套線上聲調教材，教授日籍學習者正確的聲調發音。我們認為，漢語聲調需要有系統的反覆練習，以達到精確及流利，即使沒有教師，只要有適合的說明及引導，學習者也能透過線上教材輕鬆自學，並依自己的進度選擇練習的項目，進而有效地習得漢語聲調。 (二) 研究目的本組研究目的主要是希望，設計出一套適合日籍漢語學習者，學習漢語聲調之線上教材。第一、我們希望能透過本年度的實證教學研究，了解日籍學習者的聲調偏誤現象，進而針對學習者的偏誤現象找出具針對性的聲調學習難點，最後再從學習難點中強化數位課程設計。第二、本計畫期望日籍學習者使用此數位教材，能夠有效幫助學習者自我監控、糾正其系統性偏誤。 (三) 文獻探討余靄芹先生（1886）在聲調教法的商榷論文中提出從音理上來說平調是最容易學的，其次是降調，再者是升調(Li & Thomspson. 1977, Tse 1978)。趙元任先生（1980）認為，對外國學生來說，造成學習困難的不是調型而是調域。趙元任說：“聲調這種東西是一種音位，音位最要緊的條件就是這個音位與那個音位不混就夠。＂做到調型不相混，除了掌握好聲調音高模式，做到調型不相混外，還要把握漢語聲調的相對音高，也就是在一定的音高系統的範圍內區分幾種不同的音高模式，掌握在相比較中出現的音高變化的幅度和動勢。趙金銘先生（1988）在對母語有聲調語言的外國學生調查中證實了趙元任的觀點，掌握聲調音高模式不難，難在掌握不好相對音高，即單音節的字調能發準，一組合成雙音節以上的詞就容易出錯了。而且趙金銘先生發現母語聲調具有高、低調或高、中、低調，加之人們的發音的經濟原則，以及漢語聲調連讀中的順勢銜接，使得初學者樂於接受走勢順的聲調連讀模式，而不管本來的調型。比如一些人的二字連讀聲調發音中多為：去聲加陽平，陽平加去聲，上聲加去聲等。而諸如陰平＋上聲，陽平＋上聲，陽平＋陽平，去聲＋陰平等連續發音。因其走勢所至，有些人就很少發這樣的音。　　在美日籍學生聲調調查研究方面，沈曉楠（1989）在關於美國人學習漢語聲調的論文中，以八位美國學生作為研究對象，請學生朗讀一篇熟悉的課文，確定美國學生聲調掌握難度順序，研究中發現陰、陽、上、去、輕五個聲調中，美國人去聲錯誤率最高，陰平其次，陽平、上聲和輕聲的錯誤率相差無幾。從錯誤類型來看，錯誤主要集中在調

(4)

域上而不是調型上，而且美國學生陰平及上聲兩調的相對音高比中國人的低得多。王韞佳（1995）在也談美國人學習漢語聲調論文中錄製六位美國學生對 80 個常用雙音節詞或詞組的聲調練習並進行分析，分析的結果是陽平錯誤率最高，其次是上聲。陽平和上聲的錯誤率顯高於陰平和去聲的正確率，沈調查的結果為：陰平和去聲均無調型錯誤，只有調域的錯誤，陽平雖有調型的錯誤，但調域的錯誤大大高於調型的錯誤；調型的錯誤基本在上聲，而上聲多在學生沒有掌握上聲的變調。而王調查的結果與沈的調查結果不同，王調查的結果為：正確率較高的陰平和去聲的錯誤主要是調型方面的；在正確率不太高的陽平和上聲中，調型和調域錯誤同時存在，其中調域的錯誤主要發生在末字音節。劉藝先生（1998）在日韓學生的漢語聲調分析論文中，分析二位日本人、二位韓國學生對單字組與雙字組聲調練習，分析結果發現發音人對單字詞的調域掌握得不是很紮實，如果打亂單字詞的陰陽上去的順序，他們對調域就不能掌握得很準。雙字詞的部分，陽平和去聲偏誤率較高，日韓學生很容易將陽平和去聲這樣的斜調念成低平調。馬燕華先生（2000）在初級漢語水平留學生的普通話聲調誤區的論文中採用自然狀況下的跟蹤記錄日語、朝鮮語、英語零起點入學的留學生，在學習基礎漢語的第一學年中普通話聲調讀音、辨音情況。與劉藝先生的調查不一樣的是，劉藝先生調查中陽平和去聲偏誤率較高，但馬燕華先生發現以母語為日語的留學生其聲調的出錯率依次是陰平（100%）、半上（100％）、上聲（75％）、陽平（68%），去聲(44%)。與劉藝先生的調查有相似之處是在五個聲調中，以母語為日語的留學生將陽平、半上、去聲誤為平調的各是 72％、100%、 100%，陰平誤為降調的是 100％。“換句話說，母語為日語的留學生發平調、降調比較容易。這一點而且母語為日語的留學生聲調錯誤大多發生在第二音節上，母語為英語的留學生聲調錯誤大多發生在第二音節上。　　在聲調教學方面，余靄芹先生（1886）建議如果按著聲調調值的難學易學程度來教普通話的聲調，最先教的應該是高平調的第一聲和低平調的半三聲。一高一低，對比鮮明，學生容易掌握，等學生完全掌握了兩個平調之後，掌握了兩個平調之後，跟著應該教的是第四聲的降調和第二聲的升調，等學完了以上四個調值─高平、低平、高降、中升─最好暫時不教第三聲獨用的降升調，先教各調的兩字連讀及兩字輕聲連讀。練習調值的時候，不妨採用套用教音樂的方式，先讓學生唱 do-so，再把這兩個調值的音節唱出。趙金銘先生（1988）提出由於相對音高把握不準，所以也就難於掌握五度標調法的 “度＂，認同王力先生的想法，認為兆元任先生在《現代吳語研究》裡使用過一種很好的標調法，即：先畫一根橫線作為平均音高，然後畫出聲調曲線。沈曉楠（1989）在關於美國人學習漢語聲調的論文中提出在教調型前，必須讓第二語言學習者的學生知道他們自己特有的音域和他們自己的低音、中音、高音的高度，最後教師輔助使其學生的低、中、高音對應到漢語的第一聲的高音開始、並保持不變；第二聲從中音開始，然後升至高音；第三聲從中音開始，很快降至低音。馬燕華（2000）在初級漢語水平留學生的普通話聲調誤區的論文中提出重視利用雙音節詞（短語）進行教學以便排除母語詞重音干擾帶來的聲調錯誤，這樣還有利於根據唯一性區別便於認識的原則，進行聲調的對比聽辨練習。如：國籍、國際；紅糖、紅湯；北面、背面；戲劇、喜劇。 (四) 研究方法本計劃研究步驟可分成兩大階段，第一個部份為製作線上聲調教學的概念模式階段，第二個部份為將教學概念模式呈現在網路教學上之階段。（1）聲調教學的概念模式

(5)

此教學設計為我們日後實際網路上聲調教學課程設計模版，因此先利用 PPT（Microsoft Office Power point）設計聲調教學課程，(這是一種線上聲調教學的概念模式，)然後開設實驗課程招收學生試用該課程模式，以探求如何有效結合聲調教學與數位教材才會有效，本教學課程共開了 5 次，原則上每兩週進行一次課程。每一次的課程設計我們都在實際操作過後進行檢討，並依照受試者的需求及針對性進行下次的課程設計，每次進行課程情況都以攝影的方式錄下來以便做日後檢討時參考。本計劃主要以日籍學生為對象進行聲調教學，我們依據王漢衛（2004）提出的聲調教學方法，使用有意義的單雙音節詞做為學習者練習目標，並參考相原茂（1996）與松本洋子（2004）的聲調教學策略及解說，在 PPT 上設計四聲的箭頭動畫，第一次教學課程結束後，針對課程內容，進行問卷調查，以了解學生對該課程內容、設計與教學方法的滿意度、感想、意見等，同時進行座談會，收集學生對課程的意見。課程結束後也進行針對參加該課程的學生錄音，其內容為該課堂上練習過的單雙音節聲調，其目的為檢討該聲調教學的效果。基於在問卷中的學生對課程的反應，設計第二次課程內容，課程結束後再進行座談會以及錄音，座談會內容主要為學生對該課程內容或方法的看法以及意見。第一次到第五次的聲調教學課程中，錄音共進行了兩次，問卷共進行了三次，座談會共進行了兩次。在錄音語料部分，經過整理分析後，也呈現於教學課程中，也當作網路上聲調聽辨系統之基礎。（2）聲調教學的概念模式呈現於網路上利用 PPT 的五次聲調教學結束後，接著，進行將這聲調教學概念模式變成網路教學模式之動作，首先組合五次的教學 PPT 檔與教學影片，並結合聲音檔，當作一種網路教學課程。在聲調測驗部份，基於總計劃所使用的約 1500 個漢字，製作以四種聲調為一組的 500 個聽力測驗題，若一個發音四聲不齊全，基於日籍學生中文發音的偏誤分析，我們採用易混淆的聲音來填補。表 1:數位聲調教學課程流程表訂定本次聲調教學目標實際進行教學課程課後進行問卷調查設計課程

Y

) 結果與討論課程本組設計的課程共分五次，第一次我們的設計依據王漢衛(2004)提出的練習方法，以有意義的 (五 5.1 聲調教學詞做練習，因此面對初級學生，我們將數字做為我們的練習目標，以數字中各種的聲調搭配進行單音節詞與雙音節詞的練習。在 PPT 的模版中，我們設計聲調動畫圖輔助學習者認知。在實驗過後，學習者表示對設計的練習方式反應良好，但也有學習者表示不滿足於只是數字的練習，他們還希望再加上與生活相關的主題，甚至於成語或成篇的短文。

N

決定下次課程目標課程結束檢討本次課程設計

(6)

在第二次的課程設計中，我們仍以數字教學為主，但是我們將數字詞從雙音節詞擴展為三入主題式觀念，也就是練習聲調為第三次的課程時間過長，某些所發聲調教學，其中第一次的教學搭配問卷調查以及訪談，第二次搭配訪談，三、

考文獻

] Q. Ao, “A descriptive study of teachers' error correction of Chinese tones during Chinese as a

[2] teaching tones”, Journal of the Chinese Language Teachers' [3] sisted interactive feedback to enhance natural pronunciation

[4] , “An audio-visual display of pitch for teaching Chinese tone”, Studies in [5] cal aspects of computer-assisted instruction in Chinese”,

音節，並加入數字詞以外的有意義短句。在練習中，我們也將日籍學生特別容易產生的偏誤設計在教學內容中，讓學習者能有意識的注意聲調上的偏誤。第三次的課程，針對學習者的需求，我們在課程設計中加的詞彙皆固定環繞同一主題，我們在該次的設計中將主題定為「早餐」，設計各種與早餐相關的詞彙以及短句，最後面並設計會話練習，學習者皆表示很滿意以主題為主設計的課程，他們認為這有助於提高學習動力。此外，本次設計還有另一項要點是加入正確語音與偏誤語音的對比語圖，我們透過聲學儀器將正確語音的音頻以及偏誤語音的音頻及聲音檔同時呈現，學習者表示這有助於更加理解自己的發音與母語者發音不同之處。第四次的課程，基本上與第三次課程設計相同，主要是因學習者未能在有限時間內做完，因此我們將第三次課程中，學習者表示操作有困難的地方進行修正後，再讓學習者使用一次，此次並加入英語版本，供非日籍的外籍學習者使用。第五次的練習，我們特別針對二聲與三聲的區辨能力，這是根據前四次的教學觀察中現，日籍生極易產生偏誤的兩種聲調。本組一共設計三套教學方式，第一種是針對同樣的聲調組合做大量的聽音練習，讓學習者聽完大量重複聲調的語音檔後，再進到下一頁面進行發音。第二套方式是以詞彙擴張的方式進行三聲在不同位置時的聲調練習，如：卡Æ卡片Æ卡其色，第三種方式亦以詞彙擴張練習二聲與三聲的交互使用，但搭配的是長句，如：紙牌Æ我玩紙牌 Æ我玩粉紅紙牌。由於最後一次的課程僅針對二聲及三聲練習，故有一位學習者在課後的問卷調查中表示練習量稍嫌不足。 5.2 教學課程評析本計劃共進行 5 次的第三次以及第五次搭配問卷調查，其目的是為了了解學生對本計劃數位聲調教學設計的滿意度、對聲調教學或數位聲調教學的需求，以便改進聲調教學內容、呈現方式以及互動模式。參加第三次課程的 18 位受試者中，15 位受試者喜歡教學內容，14 位喜歡這一次的教學方式， 16 位受試者覺得這一次的聲調教學有效。就第三次教學的優點而言，受試者列出 PPT 的設計、語音檔充足、老師反饋、主題生活化、製作對比語圖等。就缺點而言，受試者表示錄音音質不佳、操作複雜、缺乏注音符號的標示、語音檔和文字沒有同步出現等。

參

[1

foreign language instruction- A sociocultural perspective”, Unpublished doctoral dissertation, University of Pittsburgh, 1999

Z. Bar-Lev, “Two innovations for Association, 26(3), pp. 1-24, 1991 M. R. Beutner, “Using computer as

of Chinese tones by non-native learners of Mandarin Chinese”, Unpublished Ph.D., Ohio State University, 2001

H. Bluhme, R. Burr

Linguistics (22), pp. 51-57, 1971

C. C. Cheng, B. Sherwood, “Techni

(7)

[6] akers”, Journal of Chinese [7] w pairs”, Journal of the Chinese Language Teachers' [8] onunciation Training Using Automatic Speech [9] aining_ What

[10] e-learning tool for acquisition of

[11] ugh

[12] eive Mandarin tones: The role of acoustic information”, Journal of [13] p.49-52, 1999 ）, 第 2 期(增 [15] 學習漢語聲調”, 語言教學與研究第 3 期, pp. 126-140, 1995 997 1-52, [18] “從日本留學生的漢語聲調偏誤分析談對日本學生聲調教學”, Unpublished M.A., 天 [19] 語語音學習對策”, 語文出版社, 1997 期, pp. 158-168, 1989 漢語教學 [22] 饋對發音學習成效之影響研究”, Unpublished M.A., 國立台灣師 [23] 聲調分析”, 世界漢語教學第 1 期, pp. 94-99, 1998 第 3 期, pp. [25] 生漢語聲調習得之實驗研究”, 第七屆國際漢語教學討論會, 2004 四、過本年度的實證教學研究，了解日、美籍學習者的聲調學習難點，再從學

G. T. Chen, “The pitch range of English and Chinese spe Linguistics(2), pp. 159-171, 1974

S. Chen, “The third tone and see-sa Association, 8(3), pp. 145-149, 1973 J. Dalby, D. Kewley-Port, “Explicit Pr

Recognition Technology”, CALICO Journal, 16(3) , pp. 425-445, 1999 M. Eskenazi, “Using a Computer in Foreign Language Pronunciation Tr Advantages”, CALICO Journal, 16(3) , pp. 447-469, 1999

H. Y. Hsieh, “Real-time display of pitch-time diagram as an

Mandarin tones”, the 4th International Conference on Internet Chinese Education, 2005 J. X. Lin, Y. S. Chen, “Web-based tone instruction with multimedia: Graphing tones thro musical notation”, the International Conference and Workshops on Technology and Chinese Language Teaching, 2004

C. K. So, “Learning to perc

the Acoustical Society of America 114(4), pp. 2363-2364, 2003 王志芳, “日本學生漢語學習中的語音問題”, 漢語學習(110), p [14] 王漢衛, “聲調的練習方法淺析”, 雲南師範大學學報（對外漢語教學與研究版刊), 354-357, 2004 王韞佳, “也談美國人 [16] 王韞佳, “陽平的協同發音與外國人學習陽平”, 語言教學與研究第 4 期, 94-104, 1 [17] 田晉音, & 文紅, “普通話聲調測試與訓練有關問題初探”, 四川教育學院學報, 17(1), 5 2001 田園, 津師範大學, 2003 朱川, “外國學生漢 [20] 沈曉楠, “關於美國人學習漢語聲調”, 世界漢語教學第 3 [21] 桂明超, 楊吉春, “美國英語語調對美國學生學習漢語普通話聲調的干擾”, 世界第 1 期, pp. 89-93, 2000 陳國泰, “語音辨識軟體回範大學英文學系, 2005 劉藝, “日韓學生的漢語 [24] 魯健驥, “中介語理論與外國人學習漢語的語音偏誤分析”, 語言教學與研究 44-56, 1984 錢玉蓮, “留學

計畫成果自評

原先我們希望能透習難點中強化設計之課程。因美籍學生自願者人數很少，參加的學生幾乎都是日籍學生，因此本年度實際研究對象轉變為以日籍學生為主之研究，設計課程。本年度計畫之最大收穫為對日籍學生進行了數位聲調教學實驗課程，對於日籍學生的學習需求分析及難點檢測作出初步歸納。例如：配合日本學生的認知方式，以第三聲出現的不同語音環境，設計三種不同圖示，進行第三聲的教學。此外，由日籍學生的聲調偏誤分析顯示，第三聲為其學習難點，因此特別

(8)

加強有關三聲的練習。在教學過程當中，也針對學習者對於學習內容的需求設計課程。本計畫收集學習者實際使用課程之回饋，作為改進課程之依據。在第一次及第三次的問卷調查數位語音學介語習得理論及語音辨識技術之網路華語發音教學系統〉，《第廖埻網路陳氏：以「華語語音數位學古川的數位華語語音教學策略初探〉，《第四屆全球結果顯示，大部分學生（88.9%-100%）認為我們所設計的數位聲調教學課程相當有效。學生認為視覺效果、反覆練習、可以自己選擇練習項目為本計劃課程之主要優點。學生提出希望能夠提供線上即時回饋，以及部分頁面操作複雜，聲音文字和動畫有時不同步，會影響學習。前兩次教學，因為顧及學習者可能為初學程度，課程內容主要是以數字進行聲調之練習，在第二次教學中，學生建議非末尾音節的第三聲圖示可用橢圓點表示，有助於掌握這個位置的三聲，實驗結果證實確實有效。同時他們希望可以得到更多的回饋而且練習內容可以更有意義、使用長句與更多的聲調組合。第三次教學就學生的回饋開始使用不同主題之內容設計，增強學生的學習意願，結果學習者皆表示對搭配主題式的聲調課程設計很滿意，他們認為這樣的課程不但實用且有助於提高聲調學習的效果。另外，學生覺得課程中加入對比語圖（透過聲學儀器呈現正確與偏誤發音之差異圖），有助於更加了解自己的發音與規範發音不同之處。本研究的部分成果已在 2005 年 6 月第四屆全球華文網路教學研討會發表，希望對習的相關計畫有所助益。周福強、曾金金，2005。〈整合中四屆全球華文網路教學研討會論文集》, p.379-86。台北：中華民國僑務委員會。棓、曾金金，2005。〈符合 SCORM 標準的華語語音數位教學設計〉，《第四屆全球華文教學研討會論文集》, p.175-89。台北：中華民國僑務委員會。金鸞、曾金金、廖埻棓，2005。〈網際網路語音教學之資料庫建置習及線上檢測研究」的語音教學資料庫為例〉，《第四屆全球華文網路教學研討會論文集》, p.331-37。台北：中華民國僑務委員會。千春、曾金金，2005。〈以日籍學生爲中心華文網路教學研討會論文集》, p.38-48。台北：中華民國僑務委員會。

(9)

行政院國家科學委員會補助國內專家學者出席國際學術會議報告

94 年 6 月 18 日附件報告人姓名周福強服務機構及職稱銘傳大學資訊傳播工程系助理教授時間會議地點 94 年 6 月 6 日–6 月 9 日美國夏威夷本會核定補助文號會議名稱 (中文)第九屆全球華人計算機教育應用大會

(英文) 9th Global Chinese Conference on Computers in Education 發表

論文題目

(中文) 語音辨識技術於網路華語發音教學與評鑑系統之應用

(英文) The Application of Speech Recognition Technologies in Internet Mandarin Pronunciation Learning and Evaluation System

一、參加會議經過這是我第一次參加全球華人計算機教育應用大會，由於之前研究的領域一直都是圍繞著語音辨識以及語音合成的相關技術，直到進入銘傳大學後，才開始從事語音辨識在語言學習的相關研究，為了要瞭解目前從事網路學習領域的學者，對這樣研究的看法，所以我就投稿參加這次的全球華人計算機教育應用大會。全球華人計算機教育應用大會 (GCCCE) 成立于 1997 年，由全球華人計算機教育應用學會主辦，是一個被廣泛承認的世界性的會議系列。大會目標為匯聚世界各地學者、教育工作者，分享有關信息及通訊科技應用於教育的實踐方法及成功經驗。為各地教育政策制定者、學者、校長及教師，提供一個公開論壇，作為在計算機教育應用領域中交流意見的重要活動。大會之前曾經在廣州、香港、澳門、新加坡、台灣、北京、南京舉辦過，這次會議則是由楊百翰大學夏威夷分校在楊百翰大學普柔浮分校以及夏威夷大學的協力之下，在夏威夷舉辦。楊百翰大學夏威夷分校位在夏威夷的東北岸，交通不是非常方便，所以一開始我就預定了大會安排的旅館，由於這是第一次參加這個會議，並沒有認識其他單位的老師，所以只能一人單獨成行。後來到了會場發現有一些台灣的其他單位，像台北市政府，師範大學等，都組了一個團體的行程，我想如果當初能參加他們團體的行程，會比較不孤單一點。下了飛機，坐上主辦單位接送的車子，沿著夏威夷的環島公路前進，同行的只有兩位來自香港城市大學的老師和研究生，就開使用英語、國語、廣東話雜七雜八的交談起來。那位城市大學的老師說，這風景有點像台灣，我一開始不覺得，後來想想如果把台灣鄉下路邊的房子拿掉，就很像了，台灣的人口相對於夏威夷還是多了很多。經過一個多小時的車程，到了會場，發現我們的國旗，跟很多其他國家的國旗一起飄揚在會場前方的圓環，後來發現，這並不是針對這次大會而設，他們平常每天就會進行升降旗的儀式，因為有許多來自台灣的學生，所以就設置了我們的國旗。第一天的 reception 是一個比較輕鬆的交誼活動，由於沒趕上大會提供的 shuttle，只好自行搭巴士前往會場，同行的有幾個大陸清華大學、北京師範大學的老師，我自我介紹說我來自台灣的銘傳大學，不過其中只有一個老師聽過，他有來台灣開過一次會。我只能稍微介紹一下學校的情形，以及在台灣的相關位置。在會場中遇到了台北市政府所組的團體，主要是有許多各級學校的老師，來參加這次大會其中的教師論壇，不過他們是住在靠近 WaiKiki 的旅館，所

(10)

以每天都要花個兩三個小時，在來回的車程中，相較起來，我住的地點還是不錯的。第二天開始進入會議，我被安排在下午的第一場，由於要熟悉會場，所以在聽完 keynote speaker 的演講後，我整個早上，就待在我發表論文的會場上，聽其他人的論文。很快的，我發現了一個以往我參加會議所沒遇過的情形，似乎有一些論文發表者沒法到會場，而主辦單位事先並不知道，所以有一些報告，就會提前。這對我來說，是有點無法接受的，因為會場很多，同時有五、六場的演講在進行，如果時間提前，可能就會錯過你想聽的演講。很快的我報告的時間就到了，由於我這次要現場展示我們做的語音學習的系統，所以我提前了 10 分鐘到現場做測試。來聽的聽眾真是稀少，總共不超過十個，我剛開始以為是我的研究題目比較不受注意，後來我發現幾乎每一個場地都差不多，而且甚至還有除了報告的人，我是唯一聽眾的情形。來聽的果真是都有興趣的，有一個在美國國防學校教中文的，她對於這樣的應用，已經期待很久了；另外有兩個台北國小的老師，他們都是學校的資訊組長，希望建立一個系統讓小朋友來練習，我想將來可以跟他們學校來合作，讓學生們實際來測試我們做的系統。第三天我開始到各個會場去聽，其中我比較有興趣的是 wireless 在教育上的應用，這次台灣的清華大學、中央大學都有一些相關的論文發表，不過我大致的感覺還是「為了研究而研究」，跟我自己心目中理想的「為了解決問題而研究」還有一些距離，所以聽完一些研究，並沒有茅塞頓開的感覺，反而覺得有點茫茫然，不知往那個方向走去的感覺。後來，我碰到了一個嘉義大學特殊教育系的老師，由於我一直跟科技輔具基金會的楊國屏教授有合作，所以對這個領域也不陌生，聊了之後，才發覺其實語音合成是他們蠻需要的一個技術，只是目前國內還缺乏可以供學術研究的語音合成系統，也許有機會，我可以提供這些相關的技術，供他們來應用。第四天也是最後一天的討論蠻有趣的，台上有來自台、港、中在這個領域屬於大師級的人物，對於這次的主題，怎麼評估「資訊應用於教育」的有效性進行討論，大師們都覺得這是一個難題，但是幾個發言的大陸的學者們，似乎都覺得他們都已經做得十分好了，評估的結果也是十分的良好，也許這是他們發言的習慣吧，但我個人是覺得這真是一個難題啊！到了第四天，會場人數比第一天少了許多，很多人都已經迫不及待去進行旅遊行程了，由於我在會後還會在待三天，所以我就有始有終的開完了整個會議。二、與會心得這次會議大概有幾項的心得： 1. 這次會議有許多發表者沒到場，也沒有在事先通告主辦單位，我覺得這是不太好的，如果不能來的，我覺得事先通報主辦單位勢必要的動作。大會對這種 no show 的發表者，似乎也應當建立一個黑名單的制度，以後就不再接收這些人的論文。另外我覺得這些人之所以沒來，有可能是因為沒有經費，因為通常是先跟國科會申請經費，大概要到會議前一個月左右才知道結果，然後如果沒有，再跟學校或其他單位申請，最後發現都申請不到，就沒有辦法來了，對這些人來說，這實在也是一個不得不的結果。 2. 楊百翰大學夏威夷分校是一個很小型的學校，大概只有兩、三千個學生，但是學生中幾乎有一半的比率，是來自世界各地的學生，其中來自亞洲的佔了 20％左右。在這樣一個環境中，其實蠻能培養出具有國際觀的學生，在面對未來全球化的挑戰，有很大的幫助。其中最令人覺得驚訝的是，在夏威夷十分有名的一個觀光景點「波里尼西亞文化中心」竟然也是學校的關係企業，所以提供了五、六百個工作的機會給學校的學生，由於學生來自世界各地，對於接待來自世界各地的觀光客，自然就沒有語言上的問題，所以可以達到相輔相成的效用，這也許也是值得我們思考的一個方向。三、攜回資料名稱及內容

(11)

1. 大會論文光碟

(12)

語音辨識技術於網路華語發音教學與評鑑系統之應用

The Application of Speech Recognition Technologies in Internet Mandarin Pronunciation Learning and Evaluation System

周福強銘傳大學資訊傳播工程系 [email protected] 曾金金台灣師範大學華語文教學研究所 [email protected] 【摘要】本文主要在描述一個結合中介語習得理論，以及語音辨識技術，用於網路華語發音教學及評鑑之系統。首先利用中介語的分析，分析學習者常發生的錯誤型態，將這些錯誤型態加入語音辨識的文法中，進而利用語音辨識的技術，辨識出學習者的錯誤，進而提供適當的回饋與指引，供學習者矯正使用。【關鍵詞】數位學習、語音辨識、華語語音教學、語言學習、語言評鑑

Abstract: This paper describes an internet Mandarin pronunciation learning and evaluation system that combines the theory of interlanguage studies and technologies of speech recognition. By analysis of interlanguage corpus from Mandarin learners, we classify the frequently occurred error types. The grammar of speech recognition is based on these error types to form multiple pronunciations for a specific word. The errors of pronunciation for the learners are then identified by speech recognition. The corresponding feedback for specific errors is provided to correct the pronunciation of learners.

Keywords: e-learning, speech recognition, Mandarin pronunciation learning, language learning, language evaluation

1.前言

語音辨識技術的研究與開發已經有超過 50 年以上的歷史，在這個漫長的過程中，從實驗室中的展示系統，發展到有各式各樣的商業系統實際運作在各種不同的領域與應用中。然而，雖然大部分的語音公司都宣稱他們的系統有極高的辨識率，卻沒有一家公司能在這場跟人類耳朵競爭的過程中獲得勝利。從實際的例子中，我們可以看到技術與應用的極大落差，在實驗室正確率高達 95％以上的系統，在實際應用的時候，可能有五成以上的使用者達不到五成以上的正確率。由於在語音辨識的應用上，電腦必須去適應各種不同類型的使用者，這是一件非常困難的事，而即使是使用者本身的發音問題，還是要算到電腦頭上，因此要讓多數使用者滿意是相當困難的。不過，在實際銷售語音輸入法的過程當中，我們可以發現幾乎所有的業務員，在經過一段時間的學習與調整後，都可以得到相當程度的正確率，也就是說，人可以去學習讓電腦能聽懂他說的話。因此如果將語音辨識的技術用在語言學習上，這時候我們便有了一個所謂標準的模型，同時期望使用者將他的發音盡量向標準模型靠近，在這樣的狀況下，當使用者是在學習另外一種語言的時候，發音的變異便是一種錯誤，使用者必須使他的發音盡量和標準的

(13)

發音一致，所以就應用本身而言，電腦可以控制的部分就相對增加了，整個應用的完成度也相對可以提高。由於有這樣的想法，所以針對語音辨識用於網路華語發音訓練與評鑑的這個應用，做了些初步的研究，希望在完成相關技術的開發後，可以讓學習者有更大的滿意程度。

2.相關研究

近年來，由於網際網路的蓬勃發展，利用網路進行語言教學的研究以及商業應用的技術不斷的發展，不過普遍可以看到的一個缺點，是大部分的網站都只能提供聽、讀的練習，而對於說、寫的活動就較為貧乏。由於缺乏雙向互動的教學活動，因此若單純透過網路學習，學生會話能力不佳，發音不甚標準的問題就無法改善。要解決這樣的問題，利用語音辨識（ASR）技術提供電腦輔助發音訓練系統（Computer Assisted Pronunciation Training, CAPT）不但可以提供一個沒有壓力的環境，讓學生反覆的練習，同時也能針對學生個別的發音問題，提供回饋與糾正的功能，這無疑可讓學生的學習效率大幅提昇的方法。由於 CAPT 的許多好處，國外的許多學術單位或者商業軟體的出版商，都投入了相當的力量，也完成了許多的系統與商業性的教學軟體，然而在語言教育的學術研究中，卻沒有得到太好的評價。如果根據[1]的意見，主要的問題有兩個： 1. 語音辨識的結果沒有達到令人滿意的效果。 2. 對於學習者發音的錯誤，沒有辦法正確辨識，並提供適當的回饋。針對語音辨識的辨識率的問題，有相當多的商用教育軟體是採用市場上現有的語音辨識引擎加工而成，可是由於這些引擎本來都是針對母語的使用者，做語音輸入的應用而設計的，所以如果是針對正在學習語言的使用者來說，其辨識率便有相當多的下降，而無法達到發音教學的需求，實際的數據可以參考[1][2]中的研究。然而這並非表示語音辨識的技術無法使用在語言學習上，只是在使用的方法與參數上必須經過適當的調整[3][4][5]。至於在錯誤糾正的方面，目前大部分的系統，都沒有提供這方面的功能。頂多就是給使用者一個分數，這個分數可能是針對一個字，或者一個音，即使這個分數是正確的，使用者仍然不知道要如何改正他的發音。有些系統提供了波形甚至是頻譜比對的功能，然而對一般的使用者來說，卻無法瞭解這些圖形跟發音間的關係，所以根據[6]的研究，這樣的回饋方式，並沒有辦法改善使用者的發音。因此在 ISLE[7]這個研究計畫中，就嘗試針對發音的錯誤，提供適當而容易理解的回饋。這個系統主要是針對德國跟義大利的英語學習者常犯的錯誤類型，建立了一個資料庫，因此當使用者在某個音或字發生辨識錯誤的情形時，就從這個資料庫中尋找合適的回饋，提供給使用者。事實上、這些語言學習時所常發生的錯誤類型，在跨語言音韻學（interlanguage phonology）的文獻中已經有相當多的研究，而在很多英語教學的論文中也有相當多的例子，因此我們的研究方法就是利用跨語言音韻學在語言學習的一些主要理論，將學習者容易產生的錯誤類型，加入我們的辨識文法中，利用語音辨識來找到使用者發音錯誤的類型，然後根據使用者的錯誤的型態，提供使用者改正的方法，這部分將在系統設計中做進一步的介紹。

３. 研究方法

在語言學習的諸多理論中，Lado 的對比分析假說（Contrastive Analysis Hypothesis, CAH) 一直都是語言學家研究的重點，不管是支持或者反對這個假說。在這個假說中認為我們如果去分析比對學習者的母語（L1），以及他所要學習的語言（L2）中的同異之處，我們就可以去預測學習者可能碰到的問題，並設計教材讓學習者克服這些問題[8]。在這樣的理論下，L1 在第二語的習得中，通常扮演負面的角色，也就是說，L1 干擾(Interfere)了 L2 的學習，原因是

(14)

因為我們在學習 L2 時，常會把 L1 的特色轉移(Transfer)到 L2 中，而所謂第二語的習得，也就是在克服 L1 的影響，慢慢地以 L2 的特色取代在原來 L1 的特色，並逐漸與 native speaker 相近的一個緩慢過程。當然並非所有的轉移（Transfer）都是負面（Negative）的，如果 L1 的特色可以幫助 L2 的學習，那麼這樣的轉移就是正面（Positive）的。因此我們分析了 5 個以英語為母語，以及五個以日語為母語的華語學習者的資料，分別整理出「英式」華語以及「日式」華語中常見的錯誤型態，提供我們在設計語音辨識的文法，以及根據錯誤類型所產生的教學指引之參考。

4. 系統設計

在系統的設計上，我們使用微軟的中文語音辨識引擎，並將其放置在 Server 端，主要是考慮到順便蒐集使用者的語音資料，以進行更進一步分析之用，整個系統架構如圖像 1。使用者透過網路將所發出的聲音以，主機再將使用者所念的字、詞其可能

5. 初步測試結果

能否正確偵測出使用者的發音錯誤進行評估，上的差異，分成聲調、音節以及帶聲調音節三個部分。聲調音節帶聲調音節圖像 1 系統架構圖串流方式傳到主機上的發音，及所有相對應的錯誤型態建成一個符合 SAPI 規範的文法，然後呼叫微軟的語音辨識引擎進行辨識，並傳回其辨識的結果，以及分數。在比對了正確的發音以及辨識到的發音之後，即可找出發音錯誤的型態，根據此發音錯誤的型態，到事先建立好的發音錯誤糾正指示表中，找到相對應的指示，再傳送給使用者做修正之用。在系統開發的過程中，我們希望針對語音辨識因此我們利用當初蒐集的外國學生的單音節語料進行實驗。這些語料首先經過兩位華研所的研究生聆聽後，以漢語拼音標示上他們所聽到最接近的符號，另外也利用語音辨識的系統，離線辨識這些聲音，將結果交叉比對。首先我們先比較兩位研究生在標示結果兩者皆標示為正確者 94.0% 68.6% 65.1% 兩者皆標示為錯誤且錯誤型態相同者 1.2% 6.9% 7.3% 兩者標示相同者 95.2% 75.5% 72.4% A 標示為正確，B 標示為錯誤 1.6% 7.6% 8.5% B 標示為正確，A 標示為錯誤 3.0% 11.4% 12.7% 兩者皆標示為錯誤且錯誤不相同者 0.2% 5.5% 6.4% 兩者標示不相同者 4.8% 24.5% 27.6% 辨識結果與其分數發音正確度與矯正指示語音串流應用端主機端中文語音語音信號與相對應之文法辨識引擎

(15)

表一：人工標示結果分析比較表表一的結果中，我們可以發現，在單音節的聲調部分，標示成錯誤的比率其實蠻低的，其中擎在聲調的辨識上效果非常之差，所以與 A 比較與 B 比較與 A 和 B 一致從有 94%兩者皆標示為正確。至於音節錯誤的比率相對就比較多，而在標示的一致性上，也出現明顯的差異，總共有 24.5％的音節，兩者的標示不相同。這裡面包括了 7.6%是 A 標示成正確而 B 標示成錯誤，另外則有 11.4%是 B 標示成正確而 A 標示成錯誤，也就是相對來講 A 的標準較為嚴格，但可能與 B 在聽辨時的重點不盡相同。其次我們比較人工與語音辨識的結果，由於語音辨識引我們只列出不帶聲調的音節部分的辨識結果。者比較兩者皆標示為正確者 67.2% 70.4% 82.7% 兩者皆標示為錯誤且錯誤型態相同者 5.7% 6.1% 7.0% 兩者標示相同者 72.9% 76.5% 89.7% 電腦標示為正確，人工標示為錯誤 11.6% 7.7% 1.2% 人工標示為正確，電腦標示為錯誤 9.0% 9.6% 8.1% 兩者皆標示為錯誤且錯誤不相同者 6.5% 6.2% 1.0% 兩者標示不相同者 27.1% 23.5% 10.3% 表二：語音辨識與人工標示結果分析比較表表二中，我們將語音辨識的結果和 A 與 B 的標示分別比較，其中與 B 比較的部分，其不相同 2004 年數位學習科技計畫：「全球華語文數位學習及教學之設計、開發與檢測型，加入錯誤模式的辨認中：這樣可以改進使用者在某一些特定在的比率跟 A 與 B 兩個人工標示相互比較的結果非常的接近。甚至我們如果只計算其中 A 與 B 人工標示結果是一致的部分，語音辨識與人工標示的結果一致的比率可以達到 89.7%，這表示如果針對那些不同標示者可以達到一致結論的音節，語音辨識的結果與人工標示的誤差只有 10.3％，也就是說系統在偵測發音錯誤的型態上，效果十分良好。

6. 結論

本論文描述的是」的子計畫裡面關於發音教學中語音辨識的相關模組。整個子計畫的內容可以參考[9]，至於這個模組主要在提供發音教學時，學習者發音正確與否的評鑑，以及發音錯誤的矯正。在第一年的計畫中，我們利用了部分學習者的錄音語料，分析了容易發生的錯誤類型，並將這些錯誤類型，整合進語音辨識的模組，讓語音辨識模組具有辨識這些錯誤類型的能力，進而可以提出針對學習者的錯誤，在發音時所需的矯正。整個系統利用微軟的語音辨識引擎，並建立在網際網路的架構中，讓使用者可以透過網路進行學習的動作。在經過初步的評估後，學習者皆有相當正面的反應，針對部分的缺點，我們將在第二年的計畫中，進行修正，以及更大量的測試。主要的改進的方向有： 1. 將學習者母語的語音模詞彙因為使用母語中的發音方式造成無法辨識的狀況。

(16)

2. 嘗試將部分甚至全部的語音辨識模組由使用者端的電腦來執行：這樣可以減少網路傳輸的負荷，加快整個語音辨識處理的流程，在有大量使用者的狀況，也可減少主機的負擔。

參考文獻

1. T. M. Derwing, M. J. Munro and M. Carbonaro, “Does Popular Speech Recognition Software Work with ESL Speech?＂, TESOL Quarterly 34, pp. 592-603, 2000

2. D. Coniam, “Voice Recognition Software Accuracy with Second Language Speakers of English＂, System 27, pp. 49-64, 1999

3. H. Franco et al., “The SRI EduSpeak System: Recognition and Pronunciation Scoring for Language Learning＂, Proc. InSTIL, Scotland, pp. 123-128, 2000

4. S. M. Witt, S. J. Young, “Phone-level Pronunciation Scoring and Assessment for Interactive Language Learning＂, Speech Communication 30, pp. 95-108, 2000 5. Wolfgang Menzel, Daniel Herron, Patrizia Bonaventura, Rachel Morton, “Automatic

Detection and Correction of Non-native English Pronunciation＂, Proc. InSTIL, pp. 49-56, 2000

6. R. Hincks, “Speech Recognition for Language Teaching and Evaluating: A Study of Existing Commercial Products＂, Proc. ICSLP, pp. 733-736, 2002

7. Interactive Spoken Language Education (ISLE), A Language Engineering Project of EU, http://nats-www.informatik.uni-hamburg.de/~isle/index.html

8. R. Lado , “Linguistics Across Cultures＂ , University of Michigan Press, 1957 9. 曾金金、周福強, “華語語音數位學習及線上檢測研究＂, 第四屆中文電化教學國際研討