SVM 在臺師大大陸口音中文大詞彙語音辨識器轉寫之語音文件的檢索

此節中，我們討論由臺師大大陸口音中文大詞彙語音辨識器所辨識之語音轉寫文 件使用逐點式訓練中的 SVM 進行訓練後之模型的檢索效能。

„ TDT-2

圖 6.10 及圖 6.11 分別為 TDT-2 經由臺師大大陸口音中文大詞彙語音辨識器轉寫 後之各項檢索方法的平均精確率結果及均化遞減累積獲益結果。由圖 6.10，在 TDT-2 時經由 SVM 訓練後，在較低辨識率轉寫文件下的平均精確率，相較於傳 統資訊檢索方法，效果最好。然而，由圖 6.11 亦可得知，在前 10 個位置下的均 化遞減累積獲益，經由 SVM 訓練之模型，其表現卻不是最佳。因此，就整體的 相關正確率而言，經由 SVM 訓練之模型成效最好，但僅就部份前 10 個排序的 相關正確率，並不是最理想。

0.5227

0.3837

0.4565

0.5183

0.35 0.37 0.39 0.41 0.43 0.45 0.47 0.49 0.51 0.53 0.55

SVM VSM BM25 LM

檢索方法

平均精確率

圖 6.10 檢索方法在 TDT-2 臺師大大陸口音中文大詞彙語音辨識器轉寫之 MAP

86

0.45 0.5 0.55 0.6 0.65 0.7 0.75

NDCG@1 NDCG@3 NDCG@5 NDCG@10

均化遞減累積獲益

SVM VSM BM25 LM

圖 6.11 檢索方法在 TDT-2 使用臺師大大陸口音中文大詞彙語音辨識器轉寫之 NDCG

„ TDT-3

圖 6.12 及圖 6.13 分別為 TDT-3 經由臺師大大詞彙語音辨識器轉寫後，各項檢索

0.5514 0.554

0.5248

0.5748

0.50 0.51 0.52 0.53 0.54 0.55 0.56 0.57 0.58

SVM VSM BM25 LM

檢索方法

平均精確率

圖 6.12 檢索方法在 TDT-3 使用臺師大大陸中文大詞彙語音辨識器轉寫之 MAP

方法的平均精確率結果及均化遞減累積獲益結果。由圖 6.12，在 TDT-3 語料中，

經由 SVM 訓練後，在較低辨識率轉寫文件下的平均精確率，相較於傳統資訊檢 索方法，效果並不理想。由圖 6.11 亦可得知，在前 10 個位置下的均化遞減累積 獲益，經由 SVM 訓練之模型，儘在位置 5 時表現最好，其它的位置點皆不盡理 想。

0.56 0.58 0.6 0.62 0.64 0.66 0.68 0.7 0.72 0.74

NDCG@1 NDCG@3 NDCG@5 NDCG@10

均化遞減累積獲益

SVM VSM BM25 LM

圖 6.13 檢索方法在 TDT-3 使用臺師大大陸口音中大詞彙語音辨識器轉寫之 NDCG

由以上的結果，我們依然可以發現，在使用臺師大大陸口音中文大詞彙語音 辨識器轉寫後的文件中，使用逐點式訓練的 SVM 進行訓練後，實驗於 TDT-2 的 成效較好，但實驗於 TDT-3 的成效較不理想，因此，我們也觀察兩種語料在訓 練模型之前，所擷取的各項特徵之差異情形。同樣由兩個方向進行觀察：1. 各 個特徵的平均精確率；2. 各個特徵彼此之間的排序差異。各個特徵的平均精確 率為圖 6.14 所示。由圖 6.14 可以發現，TDT-2 和 TDT-3 各特徵的平均精確率曲 線趨勢一致，而 TDT-3 的特徵間的平均精確率差異較 TDT-2 為大。圖 6.15 及圖

88

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 特徵編號

平均精確率

TDT-2 TDT-3

圖 6.14 TDT-2 與 TDT-3 使用臺師大大陸語音中文大詞彙語音辨識器轉寫之訓練 語料擷取的各項特徵之 MAP

圖 6.15 TDT-2 臺師大大陸口音中文大詞彙語音辨識器轉寫之訓練語料特徵間的 Spearman’s Footrule Distance

圖 6.16 TDT-3 臺師大大陸口音大詞彙語音辨識器轉寫之訓練語料特徵間的 Spearman’s Footrule Distance

6.16 分別為 TDT-2 及 TDT-3 的訓練語料經過臺師大大陸口音中文大詞彙語音辨 識器轉寫的文件，擷取的所有特徵彼此之間的 Spearman’s Footrule Distance。其 中，顏色越黑的部份，代表其排序差異大；顏色越淺的部份，代表其排序差異較 小。觀察差異性的結果，我們可以得知，TDT-2 及 TDT-3，特徵差異的變化情形 類似。

實際為相關文件 實際為不相關文件 TDT-2 正確率(%) Precision

估測正確 估測錯誤 估測正確 估測錯誤 訓練語料 93.12% 0.4192 2067 2864 48442 868 測試語料 98.13% 0.5021 235 233 35329 443 表 6.4 TDT-2 臺師大大陸口音中文大詞彙語音辨識器轉寫之語音文件 SVM 訓練

實驗結果分析

90

實際為相關文件 實際為不相關文件 TDT-3 正確率(%) Precision

估測正確 估測錯誤 估測正確 估測錯誤 訓練語料 94.06% 0.4989 670 673 13226 204 測試語料 99.39% 0.3549 335 609 157143 350 表 6.5 TDT-3 臺師大大陸口音中文大詞彙語音辨識器轉寫之語音文件 SVM 訓練

實驗結果分析

觀察了訓練時各項特徵的呈現狀況後，我們再來觀察實際的分類情形，為表 6.4 及表 6.5。由表 6.4 及表 6.5 我們可以發現，TDT-2 經過 SVM 訓練模型之後，

測試語料的精確率較高，而 TDT-3 經過 SVM 訓練模型之後，測試語料的精確率 卻很低。雖然如此，但 TDT-3 測試語料的正確率卻到達 99%。因此，TDT-3 實 驗結果並不理想的原因，可能是訓練的模型，對於不相關文件的估測較為正確，

但卻對相關文件的估測不夠準確。然而，一旦相關文件的分類估測不夠精確時，

就容易大大的影響到平均精確率的結果。