6. 第六章 語句推論系統之應用
6.3 效能分析
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
73
圖 6.4 文章人工過濾後 多大方向的判斷。
6.3 效能分析
我們除了希望瞭解推論系統在實際應用的效能外，並且想要瞭解針對閱讀測驗的一些處 理方法是否能增強推論的效果，在未來能將這些方法自動化，建構智慧型教學系統，因 此我們透過中小學的中英文閱讀測驗語料，進行相關的準確率評估。並且為了進一步瞭 解推論系統在閱讀測驗文本技術不成熟時的影響力，我們允許系統選擇兩個答案，並觀 察照召回率增加時推論系統於閱讀測驗的效果。
閱讀測驗的實驗採用本研究中兩種推論模型－經驗法則式推論模型及機器學習分 類模型，並以準確率做為評估的指標，瞭解兩種方法在閱讀測驗中的效能。在經驗法則 式推論模型中的參數設定，中文部分的參數設定使用 RITE-2 繁體中文競賽的設定，並 加上近義詞的判定，而英文的部分則是依據 MSR 訓練語料結果由人工調校的設定，表 6.2 顯示用來實驗閱讀測驗的參數設定，我們依據經驗法則式推論模型計算後的分數做 為指標，選取最高分的選項做為本題的答案。機器學習分類模型則以表 6.3 的特徵組合 訓練 SVM 分類模型，中文部分以 RTIE-2 繁體中文訓練語料產生分類模型，英文則以 MSR 訓練語料產生分類模型，我們透過分類模型產生閱讀測驗中每一個選項的機率值，
<article>俗語說：「除舊布新」。在舊的一年裡，不管生活過得好不好，我們都會透過 大掃除把自家的環境整理乾淨，並且以快樂的心情來迎接新的一年，讓新的一年充 滿希望和信心。</article>
<q>「除舊布新」是指什麼？</q>
<a1>整理環境和轉換心情迎接新年</a1>
<a2>換舊屋住新房</a2>
<a3>認識新朋友</a3>
<a4>把舊的家具丟掉買新家具</a4>
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
74
表 6.2 閱讀測驗實驗參數設定
語言 E α β γ λ δ
中文 0.57 0.28 0.24 2.0 0.85 2.0 英文 0.47 0.0 0.26 1.3 0.6 1.2
表 6.3 閱讀測驗實驗特徵組合
語言 特徵組合
中文 F1, F2, F6, F7, F8, F9, F10, F11, F12, F13, F14 英文 E1, E4, E5, E6, E7, E8, E9, E10, E11, E12, E13 選取當中機率值最高者為答案。
圖 6.5 至圖 6.8 為閱讀測驗實驗透過經驗法則式推論模型與機器學習分類模型的結 果，無論是中文或英文的閱讀測驗，經由我們的推論系統判斷，在閱讀測驗文本處理技 術尚未使用前，仍能獲得一個不錯的效果，並且透過選擇兩個答案的數據都有不錯的進 步，說明我們的推論系統在判斷上已經相當接近閱讀測驗的答案。而採用人工過濾的語 料集，從圖表中觀察可以知道效能幾乎都有所提升，說明對文章的過濾對推論關係的判 斷與回答閱讀測驗是相當有幫助的，這樣的結果提供我們未來一個閱讀測驗處理技術發 展的方向。
儘管看似所有的實驗結果在人工過濾後都有所提升，仍有國小一年級與三年級的中 文閱讀測驗反而是呈現效能下滑的現象，我們觀察其中錯誤的例子，發現在中英文的閱 讀測驗中，都有一些題目及選項是難以從文章中獲得推論關係的情況，如「下列何者為 非」和「Which is not true?」這一類需要選擇不具有推論關係選項的問題，或是「以上 皆是」、「以上皆非」和「All of the above.」等不容易被文章推論為具有關係的選項，都 是目前我們並未加以處理的狀況，因此在某些語料中較常出現此種問題及選項時，容易 造成準確率的下降。
透過閱讀測驗的實驗，我們能指出本研究的推論系統在實際的應用上，已經具備基
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
75
礎的效果，而在智慧型教學系統的發展上，我們可以透過進一步的閱讀測驗文本處理來 提升推論系統的效能。未來我們將針對文章過濾、問題及選項的句子重組與特殊問題提 出一些方法設計自動化的系統，建構智慧型教學系統輔助教師在驗證閱讀測驗的品質與 出題輔助。