4 實驗結果與評估
4.3 實驗結果與分析
4.3.1、4.3.2 及 4.3.3 這三節中，我們將逐一檢視字根詞性權重、字根情境權 重與字根相關度權重之設定對於語意主題相似度判別的效用。4.3.4 我們將比較 本實驗所提之方法與以詞頻為權重之向量相似度比較準確率之差異。
本實驗分為兩個部份，首先我們分別獨立測試語料庫中四個會話情境下之相 似度比較準確率，接著考慮四個會話情境中所有的測試段落，計算綜合四個情境 的準確率。
4.3.1 字根詞性權重
首先，我們測試「字根詞性權重」的設定在不同的情境下，對於相似度比對 的準確率是否有所影響。我們以 Top-3 準確率做為評估之依據，實驗結果如表 17 與圖 7。圖 7 之橫軸為各種不同的會話情境，縱軸為相似度比較準確率。
表 17 不同情境下設定字根詞性權重之 Top-3 準確率比較
段落相似度比對方法 海關入境 提領行李 速食店點餐 餐廳會話 包含字根詞性權重 0.740741 0.555556 0.666667 0.666667 不包含字根詞性權重 0.740741 0.444444 0.666667 0.633333
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
海關入境 提領行李 速食店點餐 餐廳會話 會話情境
Precision
包含字根詞性權重 不包含字根詞性權重
圖 7 不同情境下設定字根詞性權重之 Top-3 準確率比較
由圖 7，詞性權重在「提領行李」與「餐廳會話」中有較明顯的效果，顯示 在這兩個會話情境中，名詞與動詞等詞性的主題辨識力較高。在海關入境及速食 店點餐中，Top-3 準確率並無顯著差距。
綜合所有情境，兩個方法之 Top-1、Top-2 與 Top-3 準確率如表 18 與圖 8。
表 18 設定字根詞性權重之準確率比較
段落相似度比對方法 Top-1 Precision Top-2 Precision Top-3 Precision 包含字根詞性權重 0.7916667 0.666667 0.680556
不包含字根詞性權重 0.75 0.645833 0.652778
0.6 0.65 0.7 0.75 0.8 0.85
1 2 3
Top-N
Precision
包含字根詞性權重 不包含字根詞性權重
圖 8 設定字根詞性權重之準確率比較
由圖 8 之結果可發現，提高名詞、動詞與專有名詞之字根之權重並降低其 他詞性字根權重，能有效地提昇段落語意主題比較地準確率。由此我們可以推 知，段落語意之主題往往反應在名詞等關鍵詞性之上，其他詞性對於主題的鑑別 力並不高，甚至可能是影響準確率的雜訊。
4.3.2 字根情境權重
在此我們測試「字根情境權重」之設定，在不同情境下對 Top-3 準確率之影 響，結果如表 19 與圖 9。
表 19 不同情境下設定字根情境權重之 Top-3 準確率比較
段落相似度比對方法 海關入境 提領行李 速食店點餐 餐廳會話
包含字根情境權重 0.740741 0.555556 0.666667 0.666667 不包含字根情境權重 0.703704 0.444444 0.333333 0.7
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
海關入境 提領行李 速食店點餐 餐廳會話 會話情境
Precision
包含字根情境權重 不包含字根情境權重
圖 9 不同情境下設定字根情境權重之 Top-3 準確率比較
在海關入境、提領行李與速食店點餐中，字根情境權重都有良好的效果，尤 其是速食店點餐。我們推測其原因為速食店點餐情境所挑選出之測試段落，皆含 有許多情境權重很高的單字字根，如”drink”、”dollars”與”cents”等等。這些單字 的主題辨識力都相當高。例如包含”drink”的段落主題通常都是點選飲料，而包 含”dollars”或”cents”的段落主題幾乎都是與結帳有關。
在餐廳會話的情境下，加入情境權重後準確率卻有小幅度的下降。我們推測 原因在於餐廳會話中情境權重較高的單字主題辨識力並不佳。例如：具有高度情 境權重之單字”dessert”會在服務生介紹套餐內容時出現，也會在遊客點餐時出 現。綜合所有情境之準確率如表 20 與圖 10。
表 20 設定字根情境權重之準確率比較
段落相似度比對方法 Top-1 Precision Top-2 Precision Top-3 Precision 包含情境權重 0.7916667 0.666667 0.680556
不包含情境權重 0.7083333 0.625 0.638889
0.6 0.65 0.7 0.75 0.8 0.85
1 2 3
Top-N
Precision
包含字根情境權重 不包含字根情境權重
圖 10 設定字根情境權重之準確率比較
由圖 10 我們可以明顯看到加上字根情境權重之後，不論在 Top-1、Top-2 或 Top-3 時，皆可讓準確率有一定程度地提昇。
4.3.3 字根相關度權重
本節我們將測試「字根相關度權重」在段落語意主題相似度比較時，是否能 增加比對的準確率，實驗結果如表 21 及圖 11 所示。
表 21 不同情境下設定字根相關度權重之 Top-3 準確率比較 段落相似度比對方法 海關入境 提領行李 速食店點餐 餐廳會話 包含字根相關度權重 0.740741 0.555556 0.666667 0.666667 不包含字根相關度權重 0.703704 0.555556 0.333333 0.733333
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
海關入境 提領行李 速食店點餐 餐廳會話 會話情境
Precision
包含字根相關度權重 不包含字根相關度權重
圖 11 不同情境下設定字根相關度權重之 Top-3 準確率比較
由圖 11 可發現，在速食店點餐之情境下包含字根相關度權重將使準確率大 幅度上升，效果最為顯著；而餐廳會話中準確率卻有小幅下降。
其原因推測為在餐廳會話中，不同類型的餐點名稱常常出現在同一個主題單 元之中。例如服務生介紹今日特餐時，就可能包括了沙拉、開胃菜、主餐、甜點 與飲料等等餐點，遊客在點餐時也可能一次就點了湯、主餐和飲料等等。這種情 況將造成各種不同類型的餐點字彙之字根如：”salad”、”steak”、”dessert”等，被 認定為彼此相關之字根。若某段落主題為點主餐，另一段落主題為點甜點，這些 相關之字根將造成相似度比對之誤差。在其他一般的會話情境下，這種情況就相 對少見。
綜合所有情境之準確率如表 22 與圖 12。
表 22 設定字根相關度權重之準確率比較
段落相似度比對方法 Top-1 Precision Top-2 Precision Top-3 Precision 包含字根相關度權重 0.7916667 0.666667 0.680556 不包含字根相關度權重 0.6666667 0.666667 0.666667
0.6 0.65 0.7 0.75 0.8 0.85
1 2 3
Top-N
Precision
包含字根相關度權重 不包含字根相關度權
圖 12 設定字根相關度權重之準確率比較
在 Top-1 時，我們很明顯地可以看到設定字根相關度權重之效果，然而在 Top-2 及 Top-3 時，設定此權重與否無明顯差異。我們推測原因在於我們只計算
「名詞」的相關度，並且只有在字根相關度（-2logλ）大於門檻值（3.84）時才 給予相關度權重。因此，包含與測試段落相關字根的段落數量有限，在比較其他 不包含相關字根之段落的相似度時，是否設定字根相關度權重將不會有任何影 響，也就因而造成了實驗結果在 Top-2 及 Top-3 時並無明顯的差異。
4.3.4 與詞頻權重之比較
最後，我們要將本研究所提之方法與以「詞頻」為權重的向量相似度比對方 法進行比較。「詞頻權重」方法首先以字根取代段落中的單字，並以字根為特徵，
字根出現次數為特徵權重，套入向量模型比較不同段落間的相似度。實驗結果如 及表 23 與圖 13。
表 23 不同情境下本研究之方法與詞頻權重之 Top-3 準確率比較 段落相似度比對方法 海關入境 提領行李 速食店點餐 餐廳會話 本研究之方法 0.740741 0.555556 0.666667 0.666667 詞頻權重 0.666667 0.555556 0.166667 0.8
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
海關入境 提領行李 速食店點餐 餐廳會話
會話情境
Precision
本研究之方法 詞頻權重
圖 13 不同情境下本研究之方法與詞頻權重之 Top-3 準確率比較 本研究之方法在海關入境及速食店點餐時明顯優於以詞頻為權重之相似度 比對。餐廳會話情境下，因字根情境權重與相關度權重之設定，造成準確率下降，
使本研究之方法準確率略低於詞頻權重相似度比對。
綜合所有情境之準確率如表 24 與圖 14。
表 24 本研究之方法與詞頻權重之準確率比較
段落相似度比對方法 Top-1 Precision Top-2 Precision Top-3 Precision 本研究之方法 0.7916667 0.666667 0.680556
詞頻權重 0.7083333 0.666667 0.666667
0.6 0.65 0.7 0.75 0.8 0.85
1 2 3
Top-N
Precision
本研究之方法 詞頻權重
圖 14 本研究之方法與詞頻權重之準確率比較
在圖 14 可發現，本研究之方法在 Top-1 與 Top-3 時皆優於以詞頻為權重之 相似度比對。