第五章 實驗架構與結果
5.2 前人理論實驗結果
5.2.3 鑑別式訓練與模型插補法實驗結果
如本文2.2.2 節所述，最大化事後機率法(MAP)為一種語言模型調適方法。
本節將比較最大化事後機率法中的模型插補法(Model Interpolation)、Boosting 演 算法與Perceptron 演算法這三種方法以同樣的調適語料與測試語料進行語言模型 調適之結果。
模型插補法透過插補(Interpolation)方式法結合背景語言模型機率PB與調適 語言模型機率PA，其方程式為P(wi |hk)=λPB(wi |hk)+(1−λ)PA(wi |hk)，以插 補結果所得機率作為調適後語言模型之機率。
以下將分兩部分討論鑑別式訓練與模型插補法之實驗：第一部份中，比較 鑑別式訓練與模型插補法之效果(Effect)，在此實驗中，鑑別式訓練與模型插補法 為競爭(Competition)關係；第二部分以模型插補法結果所得 M 個最佳辨識結果進 一步作鑑別式訓練，觀察鑑別式訓練是否提供了對字錯誤率降低有益的額外資 訊，在這部分實驗中，鑑別式訓練與模型插補法為合作(Cooperation)關係。
(一) 鑑別式訓練與模型插補法效果比較
表5-5 中列舉以模型插補法作語言模型調適實驗數據，在這個實驗中，使用 了完整詞圖中所有候選詞序列進行模型插補法調適。為使模型插補法與鑑別式訓 練有較公平、一致的競爭，因此另作一個實驗，改以基礎辨識器提供之 M 個最 佳辨識結果作模型插補法實驗，同於前述鑑別式訓練實驗，此處 M 亦為 100，數 據顯示於表5-6 中。
在完整詞圖的模型插補法調適結果中，在λ =0.7時可得最低字錯誤率為 17.23%，比 Boosting 演算法最低字錯誤率 17.92% 略低 0.69%，比 Averaged Perceptron 演算法最低字錯誤率 17.88%略低 0.65%；至於在 100 個最佳辨識結果
的模型插補法實驗中，在λ =0.7時則可得最低字錯誤率為17.59%，與鑑別式訓 練之數據差距較小，其與Boosting 演算法最低字錯誤率相差 0.33%，與 Averaged Perceptron 演算法最低字錯誤率相差 0.29%。
λ 字錯誤率(%) λ 字錯誤率(%)
1 18.12 0.5 18.34 0.95 17.90 0.45 18.66
0.9 17.52 0.4 19.02 0.85 17.33 0.35 19.46
0.8 17.34 0.3 20.03 0.75 17.32 0.25 20.77
0.7 17.23 0.2 21.73 0.65 17.32 0.15 23.10
0.6 17.62 0.1 25.04 0.55 17.96 0.05 27.07
表5-5 完整詞圖經模型插補法進行調適之實驗數據
λ 字錯誤率(%) λ 字錯誤率(%) 1 18.12 0.5 17.69 0.95 18.03 0.45 17.72 0.9 17.75 0.4 17.76 0.85 17.60 0.35 17.75 0.8 17.70 0.3 17.76 0.75 17.66 0.25 17.75 0.7 17.59 0.2 17.76 0.65 17.61 0.15 17.78 0.6 17.62 0.1 17.79 0.55 17.68 0.05 17.78 表5-6 100 個最佳辨識結果經模型插補法調適所得實驗數據
圖 5-7 顯示使用完整詞圖作模型插補法(ALL_WG_MAP)實驗之結果，以及 只使用100 個最佳辨識結果作模型插補法實驗之結果（Top100MAP）。實驗結果 顯示，使用完整詞圖的模型插補法調適結果字錯誤率下降較多，而只使用 100 個最佳辨識結果作模型插補法調適之實驗結果字錯誤率下降幅度較小，且與鑑別 式訓練之調適結果較接近。
15 17 19 21 23 25 27 29
0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 λ 字錯誤率
(%)
Baseline All_WG_MAP Top100MAP
圖5-7 模型插補法實驗結果
(二) 以模型插補法調適結果所得 M 個最佳辨識結果進一步作鑑別式訓練 為觀察鑑別式訓練是否提供了對字錯誤率降低有益的額外資訊，因此以模型 插補法調適結果所得 M 個最佳辨識結果進一步作鑑別式訓練。如先前所述，以 完整詞圖進行模型插補法調適，在λ =0.7時可得最低字錯誤率為17.23%，本實 驗以模型插補法於λ =0.7時調適所得 100 個最佳辨識結果，進一步作鑑別式訓 練，觀察是否可以得到低於17.23%之字錯誤率。實驗結果如圖 5-8 與圖 5-9 所示，
不論以模型插補法調適結果所得100 個最佳辨識結果進行 Boosting 演算法訓練或 Averaged Perceptron 演算法訓練，都可以進一步得到低於 17.23%之字錯誤率，顯 示鑑別式訓練確實提供了足以使字錯誤率進一步降低的額外資訊。
表5-7 列出以模型插補法調適所得 100 個最佳辨識結果進一步作 Boosting 演 算法訓練所得實驗結果中較好的數據，圖5-8 顯示其字錯誤率的變化，在第 496 個訓練回合可得最低辨識字錯誤率17.08%。
訓練回合 字錯誤率(%) 訓練回合 字錯誤率(%)
496 17.08 562 17.10
497 17.10 563 17.10
498 17.10 564 17.10
499 17.10 565 17.10
500 17.10 566 17.10
501 17.10 567 17.10
502 17.10 568 17.10
503 17.10 569 17.10
507 17.11 570 17.10
508 17.11 571 17.10
561 17.10 572 17.10
表 5-7 以模型插補法調適所得 100 個最佳辨識結果進一步作 Boosting 演算法訓練所得部分較佳實驗結果
17.00 17.10 17.20 17.30 17.40 17.50 17.60
1 201 401 601 801 1001 1201 1401 1601 1801 2001 2201 2401
訓練回合數 字錯誤率
(%)
MAP(λ=0.7) MAP(λ=0.7)Top100+Boosting
圖 5-8 以模型插補法調適所得 100 個最佳辨識結果進一步作 Boosting 演算法訓練所得實驗結果
表 5-8 中列出以模型插補法調適所得 100 個最佳辨識結果進一步作 Averaged Perceptron 演算法訓練所得實驗結果，在第 13 個訓練回合可得最 低字錯誤率17.08%，與前述以模型插補法調適所得 100 個最佳辨識結果進 一步作 Boosting 演算法訓練實驗結果中所得最低辨識字錯誤率相同，只是 Averaged Perceptron 演算法以較快的速度獲得最低辨識字錯誤率。
訓練回合 字錯誤率(%) 訓練回合 字錯誤率(%)
1 17.23 26 17.22
2 17.23 27 17.24
3 17.20 28 17.25
4 17.18 29 17.24
5 17.18 30 17.25
6 17.18 31 17.30
7 17.17 32 17.30
8 17.18 33 17.31
9 17.16 34 17.36
10 17.14 35 17.38
11 17.12 36 17.37
12 17.10 37 17.40
13 17.08 38 17.43
14 17.11 39 17.46
15 17.14 40 17.42
16 17.15 41 17.43
17 17.15 42 17.45
18 17.12 43 17.47
19 17.11 44 17.47
20 17.10 45 17.50
21 17.12 46 17.50
22 17.12 47 17.52
23 17.13 48 17.55
24 17.14 49 17.55
25 17.17 50 17.55
表5-8 以模型插補法調適所得 100 個最佳辨識結果進一步作 Averaged Perceptron 演算法訓練所得實驗結果
Averaged Perceptron 演算法實驗之所以能較 Boosting 演算法實驗用較快的速 度獲得最低辨識字錯誤率，如前所述，這是由於Perceptron 演算法從一開始即採 用所有特徵之權重進行鑑別式訓練的計分，而Boosting 演算法則是在每一訓練回 合進行資料選取，只針對單一特徵更新特徵權重，因此在最初的訓練回合中，僅 使用少數特徵進行鑑別式訓練的計分，造成字錯誤率的下降速度較Perceptron 演 算法來得慢。
以模型插補法調適所得100 個最佳辨識結果進一步作鑑別式訓練的方法，不 論是以Boosting 演算法或 Averaged Perceptron 演算法訓練鑑別式語言模型的參 數，都可以在辨識階段進一步得到比單獨使用模型插補法進行語言模型調適之辨 識錯誤率更好的結果。這顯示結合模型插補法與鑑別式語言模型這兩種語言模型 調適方法，可以得到更多的調適資訊，足以進一步降低辨識錯誤率。
17.00 17.10 17.20 17.30 17.40 17.50 17.60
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 訓練回合數 字錯誤率
(%)
MAP(λ=0.7) MAP(λ=0.7)Top100+Perceptron
圖 5-9 以模型插補法調適所得 100 個最佳辨識結果進一步作 Averaged Perceptron 演算法訓練所得實驗結果