CNN Joint Model 之分類效果評估

6.3.1 評估一種資料特徵之分類效果

本實驗將使用提問文本的四種特徵資料，除了先前第四章提到的三種特徵資 料(1)詞向量維度關連特徵(MPFC, 實驗以 PFC 表示)，(2) 概念關鍵字相似特徵 (MCKS, 實驗以 CKS 表示)，及(3) 詞性嵌入向量特徵(MPE, 實驗以 PE 表示)。將 加入第4 種作為實驗特徵資料之一，利用 4.1 節已預訓練的詞嵌入向量表示法，

透過查找提問文本中每個詞的詞嵌入向量表示法，產生提問文本的詞嵌入向量特 徵(MWE, 實驗以 WE 表示)，再以 3.2.3 所述方法進行零填充，為一個 R^Lx100二維 矩陣。這四種輸入特徵資料將嘗試不同的組合來實驗效果。

圖6.3 (a) 只有 1 種意圖類型的提問文本之採用單一種特徵之分類效果

本論文將四種輸入特徵資料將嘗試不同的組合前，會先評估每種特徵資料各 別輸入CNN Model 的效果。從圖 6.2 所示，只輸入一個特徵資料的情況下，特 徵資料CKS 跟其他特徵資料相比效果最好，在 F1 數值約為 0.739301。從所有 提問文本中再實驗，當提問文本只有1 種意圖類型或是有 2 種意圖類型時，如 圖6.3(a)(b)所示，只有 1 種或 2 種意圖類型的提問採用 CKS 特徵明顯比採用其 他特徵效果佳。因此接下來的兩種特徵資料的組合，將以CKS 跟其他三種特徵 進行組合。

6.3.2 評估兩種資料特徵組合之分類效果

使用兩種以上輸入特徵資料時，本論文以符號“+”表示同時輸入兩個以上的 特徵資料給CNN Joint Model，例如 CKS+WE。將利用 5.1 節說明每種特徵資料 各層處理方式，本節評估使用兩種輸入特徵資料時CNN Joint Model 的效果。

圖6.4 CNN Joint Model 之 F1 score (兩種特徵組合)

圖6.5 (a) CNN Joint Model 之 F1 score (兩種特徵組合,只有 1 種意圖類型之提問)

本實驗以CKS 為基準，兩種資料特徵組合有 CKS+WE、CKS+PE 及 CKS+PFC，

如圖6.4 所示。使用兩種輸入特徵資料時，效果都比只使用 CKS 的 F1 數值高，

CKS+WE 的 F1 數值為 0.749226，CKS+PE 的數值為 0.745573，以及 CKS+PFC F1 數值更是顯著的達到 0.752982，表示同時輸入特徵資料 CKS 和 PFC 時，預測 CKS+PFC+PE，如圖 6.6 所示，將三種資料輸入 CNN Joint Model 時，本論文發 現，CKS+PFC+WE 和 CKS+PFC+PE 具有相當的分類效果。從圖 6.7(a)觀察發現，

使用CKS+PFC+WE 特徵組合，在只有 1 種意圖類型的提問文本情況下分類效果 顯著提升。從圖6.7(b) 觀察發現，則是使用 CKS+PFC+PE 特徵組合，在有 2 種 意圖類型的提問文本情況下分類效果最佳。

圖6.6 CNN Joint Model 之 F1 score (三種特徵組合)

圖6.7 (b) CNN Joint Model 之 F1 score (三種特徵組合,有 2 種意圖類型之提問)

6.3.4 評估四種資料特徵組合之分類效果

本實驗以CKS+PFC+WE 為基礎，四種資料特徵組合為 CKS+PFC+WE+PE，

如圖6.8 所示，將四種資料輸入 CNN Joint Model 時，本論文發現，分類效果有 下降的情況。從圖6.9(a)(b)觀察發現是因為在只有 1 種意圖類型的提問文本效果 下降，影響整個模型的效果。

圖6.8 CNN Joint Model 之 F1 score (四種特徵組合)

圖6.9 (b) CNN Joint Model 之 F1 score (四種特徵組合,有 2 種意圖類型之提問)

本論文設計CNN Joint Model 預測使用者提問文本的提問意圖時，輸入兩種 提問文本的資料特徵 CKS+PFC 時，讓整體效果比只輸入 CKS 有顯著提升，而 使用三種提問文本的資料特徵CKS+PFC+WE 或 CKS+PFC+PE 分類效果都有微 幅提升，並且 CKS+PFC+WE 是本架構的 F1 數值最高的輸入特徵組合。而 CKS+PFC+PE 特徵組合則只需更少的特徵資料量，就與 CKS+PFC+WE 特徵組 合具有相當的分類效果。