第二章 階層式語言模型
2.5 結果分析
在這小節中，我們將以三種方式來評估傳統式語言模型(經由 TF-IDF 選詞方式選出六萬詞，
14
但未對綴詞進行處理)與本研究所提出的階層式語言模型對於綴詞在辨認上的影響並進行說明。
首先，本研究針對 TCC300 測試語料中綴詞數量與其所占的比例，由此可以先行知道測試 語料中綴詞的正確辨識數量及上限。
表 2.9：TCC300 測試語料的詞類統計 TCC300 測試語料(226 個音檔)
詞條數 所佔比例
綴詞 309 2%
total words 15461 100%
2.5.1 語言模型評估
我們以混淆度(Perplexity, PPL)來評估傳統式語言模型與第一級語言模型(拆詞過後)的複雜 程度，藉此判斷語言模型的好壞。語言模型帶有大量詞彙和詞彙相接的機率資訊，藉由透過這 些機率資訊來預估下一個詞彙，PPL 值高代表語言模型需要較多的預估次數才會命中，較不易 找到正確答案；反之，PPL 值低代表其語言模型較為單純，不需要過多的預估次數即可找出正 確答案，故於 PPL 值越低時進行語音辨認，語言模型可能會呈現較好的辨識效能。表 2.10 中 計算的對象為 TCC-300 的測試語料，可以發現到第一級語言模型擁有較低的混淆度。
表 2.10：語言模型混淆度
語言模型 Order ppl ppl1 傳統式語言模型 3 109.311 117.301 第一級語言模型 3 109.126 117.099
2.5.2 綴詞於 word lattice 上之涵蓋率
針對傳統式語言模型與第一級語言模型產生的 word lattice 進行分析，統計在理想最佳路
15
徑上有多少數量可以辨識回原先的綴詞，並加以計算其涵蓋率。
表 2.11：word lattice 上綴詞涵蓋率 語言模型 TCC300 最佳路徑 涵蓋率 傳統式語言模型 309 298 96.44%
第一級語言模型 309 305 98.71%
2.5.3 辨識效能結果
以下我們比較傳統式語言模型與階層式語言模型之辨識效能，分別以詞、字元、音節為辨 識單元來評估其辨識效能，並由第一級語言模型產生出來的 word lattice 觀察詞、字及音節之 涵蓋率。
表 2.12：搭配語言模型之詞辨認率
Deletion Substitution Insertion Accuracy (%) 傳統式語言模型 269 1531 364 86.00%
階層式語言模型 273 1467 368 86.37%
表 2.13：搭配語言模型之字元辨認率
Deletion Substitution Insertion Accuracy (%) 傳統式語言模型 206 2453 138 89.44%
階層式語言模型 199 2384 142 89.71%
表 2.14：搭配語言模型之音節辨認率
Deletion Substitution Insertion Accuracy (%) 傳統式語言模型 212 1705 145 92.21%
階層式語言模型 205 1641 148 92.47%
16
表 2.15：word lattice 之詞、字及音節涵蓋率 詞(word) 93.72%
字(character) 93.72%
音節(syllable) 94.54%
2.5.4 辨識結果之細部剖析
在辨識結果中對綴詞進行分析，觀察傳統式做法與本研究所提出之方法對於綴詞在辨認上 的影響並進行說明，在此將對辨認結果分成三種不同情況來進行討論：
1.) Case A：正確答案應為綴詞，但辨識結果錯誤的部分。
2.) Case B：正確答案不為綴詞，但辨識結果判斷成綴詞的部分。
3.) Case C：辨識答案辨認出正確答案的部分。
表 2.16：綴詞辨識情況
Case A Case B Case C
傳統式語言模型 27 6 282
階層式語言模型 6 11 303
觀察表 2.16 可得知，階層式語言模型比起傳統式語言模型多增加 21 個綴詞被正確地辨識 出來，雖然階層式語言模型也增加了 5 個判斷成錯誤綴詞的情況(Case B)，但整體而言，綴詞 的辨認率(i.e., (Case C－Case B)/(綴詞總數 309))為 94.5%，比起使用傳統式語言模型的 89.3%
增加許多，由此可知，為綴詞建立其語言模型是有用的，不僅僅幫助綴詞本身之辨識而其鄰近 詞也更容易辨識正確。
17