CNN Joint Model

如圖5.1 所示，本架構首先會使用在第四章提到的三種計算方式，從提問文 本產生的以下三種特徵資料做為輸入，分別是(1)詞向量維度關連特徵(Pairwise Feature Correlation Matrix)，(2)概念關鍵字相似特徵(Concept Keyword Similarity Matrix)，及(3)詞性嵌入向量特徵(POS Embedding Matrix)。以上提問文本的三種 特徵資料都會分別經過兩回合的卷積層做特徵擷取產生特徵地圖，並以 Max

將池化後的特徵地圖轉換為特徵向量表示。特徵資料(1)(2)(3)各別經過平坦層 後產生各別的特徵向量，再透過合併層將三個特徵向量合併接合成一個特徵向量，

最後兩回合的全連接層用來學習特徵向量中每個特徵的權重，預測提問文本涵蓋 18 種的意圖類型的程度值，並使用Sigmoid function 讓所有意圖類型數值範圍從 0 到 1 表示。以下本論文將說明如何利用卷積層、最大池化層、平坦層、合併層 Filter size: 5x5 Filter size: 5x5 Filter size: 3x3 Strides:1 Strides: 1 Strides:1

最大池化層 Polling size: 4x4 Polling size: 2x2 Polling size: 2x2 Strides: 4 Strides: 2 Strides: 2

第 二 回

卷積層 Filter: 32 Filter: 5 Filter: 5 Filter size: 3x3 Filter size: 4x4 Filter size: 3x3 Strides:1 Strides: 1 Strides:1

最大池化層 Polling size: 5x5 Polling size: 4x4 Polling size: 3x3 Strides: 5 Strides: 4 Strides: 3

首先，本論文使用機器學習系統Tensorflow 與 Keras 工具進行實作，透過基 於Tensorflow 的 Keras 工具提供卷積層、最大池化層、平坦層、合併層和全連接 層模組，建立CNN Joint Model，如圖 5.1 所示。

(1) 卷積層與最大池化層

首先，以提問文本的輸入特徵資料 MPFC進行說明。兩回合的卷積層與最大 池化層處理，參數設定如表 5.1 所示。第一回的卷積層設定 23 個大小為 5x5 的 Filter，步進(Strides)為 1。意思是 Filter 在特徵資料矩陣上進行橫向與縱向移動的 長度為1，藉由橫向與縱向移動 Filter，與特徵資料矩陣上特定資料區域(Region) 進行卷積運算。本論文再利用激活函數Rectified Linear Unit (Relu)處理，產生非 線性的結果，可將所有卷積運算的負值轉為 0。如圖 5.1 所示，特徵資料 MPFC

本論文利用表5.1 的參數設定，再將特徵資料 MPFC的23 個 R^25x25特徵地圖

(3) 合併層

本論文將 MPFC、MCKS和 MPE各別的特徵向量使用合併層接合成一個 R^1675x1 的特徵向量，如圖5.1 所示。使用合併層的理念是透過接合所有資料的特徵向量，

讓接下來的全連接層能全面性學習所有特徵的權重。

(4) 全連接層

圖5.2 全連接層處理

本論文在架構中採用兩回合的全連接層，第一回合全連接層採用200 個神經 元，會與合併層輸出的R^1675x1特徵向量接上。第二回合的全連接層則採用18 個 神經元將與第一回全連接層的200 個神經元接上，如圖 5.2 所示。第二回合的全

連接層輸出結果用來預測提問文本的18 種意圖類型程度值，並且透過激活函數 Sigmoid 處理後，將 18 種意圖類型程度值以 0 到 1 呈現。最後將程度值由大而 小排序，取程度值大於門檻值θ作為提問文本的意圖類型預測結果。

logloss = − (𝑦 log(𝑦 ) + (1 − 𝑦 )log (1 − 𝑦 )) (公式 2)

本論文訓練模型時，運用 Keras 所提供的 loss function 設定為 binary cross entropy，亦稱作對數損失(logloss)，如公式 2 所示，其中y 表示真實的意圖類型，

y 表示系統預測的意圖類型，n 表示測試樣本數。將多標籤的分類問題視為多個 二元分類問題。並且運用Dropout 模組，避免過度擬合(overfitting)的問題，本論 文在每一個最大池化層與第一個全連接層後應用Dropout 模組，將每個神經元的 輸出結果隨機設置為0，本論文設定的機率值為 0.5。

5.2 Ensemble CNN Model

圖5.3 Ensemble CNN Model (標註各層參數)

圖5.4 (a) MPFC 的CNN Model (標註各層參數)

圖5.4 (b) MCKS 的CNN Model (標註各層參數)

圖5.4(c) M 的CNN Model (標註各層參數)

Ensemble CNN Model是本論文提出的第二種基於卷積神經網路之學習網路，

從 提 問 文 本 產 生 的 三 種 特 徵 資 料(1) 詞 向 量 維 度 關 連 特 徵 (Pairwise Feature Correlation Matrix)，(2)概念關鍵字相似特徵(Concept Keyword Similarity Matrix)，

及(3)詞性嵌入向量特徵(POS Embedding Matrix)，輸入各自的 CNN Model，各自 建立預測18 種意圖類型的預測模型，如圖 5.4(a)(b)(c)所示。Ensemble CNN Model 中各層參數設定與CNN Joint Model 是一樣的。除了沒有合併層外，其餘層皆可 根據5.1 的各層說明實作出三種特徵資料各自獨立的 CNN 預測模型。

Ensemble CNN Model 的理念是設計調和參數(Ensemble Parameter)，以一 個全連接層連到一個神經元，如圖5.3 所示。將固定三個特徵資料透過 CNN Model

第六章 實驗結果及探討

本論文依系統主要的處理步驟，將實驗分為三大部分呈現

(一) CNN Joint Model 之分類效果評估

(1) 評估單一特徵資料及其組合之分類效果。

(2) 對涵蓋不同數目意圖類型之提問文本，討論其各別分類效率。

(二) Ensemble CNN Model 之分類效果評估

(1) 特徵資料組合之分類效果。

(2) 對涵蓋不同數目意圖類型之提問文本，討論其各別分類效率。

(三) 各架構綜合評估

(1) 評估兩個架構之最佳輸入特徵資料組合與[18]所提出的詞向量維度關連 特徵資料效果比較。

(2) 調整門檻值，觀察 F1 score。

(3) 觀察訓練學習網路所需要多少 Epoch，其 Validation Error 會收斂。

(4) 列舉系統預測真實提問文本的意圖類型之範例。

6.1 資料來源與討論

本論文使用 Python 語言開發爬蟲程式(https://github.com/Bowen-Jiang/Web-Spider)，從有問必答網(120ask)中心理健康科的抑鬱類別下，抓取 3006 筆使用者 醫療提問文本和11933 筆醫生的回覆內容，透過人為的方式標記使用者提問文本 的18 種意圖類型。並且使用 2018-05-01 的維基百科(Wikipedia)中文的語料庫共 計314510 筆(https://dumps.wikimedia.org/zhwiki/20180501/)。

表6.1 真實提問文本之資訊

個意圖類型的提問文本為1755 筆，有 2 個意圖類型的提問文本為 1227 筆，如表 6.1 所示。在 3006 筆使用者提問文本中具有 2 個以下的意圖類型占大多數。

圖6.1 意圖類型分佈

本論文使用3006 筆提問文本，透過人為的方式標記的 18 種意圖類型，前 3 名最多的提問意圖類型是(1) <disease, treatment>， (2) <symptom, treatment> ， 以及(3) <symptom, disease>。如圖 6.1 所示。

6.2 評估指標

0 200 400 600 800 1000 1200 1400 1600 1800 2000

<symptom,disease>

(公式 4)

(公式 5)

本論文評估指標採用[12]提出多標籤分類任務的評估指標，以下分別說明:

(一) Precision

將測試資料 D 中，每筆提問文本 di所包含的意圖類型所成的集合 Yi，與系 統對 di預測出的意圖類型所成的集合 Zi，如公式 3 所示計算出預測意圖類型之 Precision。本論文從系統預測每筆提問文本的 18 種意圖類型的程度值，取程度 值大於門檻值θ作為系統預測提問文本的意圖類型結果，本論文門檻值設定為 0.3。

(二) Recall

如公式4 所示可計算出預測意圖類型之 Recall。

(三) F1 score

F1 score 是常見的計算方式，將 Precision 和 Recall 相乘後，除以 Precision 和 Recall 的總和，再乘以 2 即為 F1 score 值，如公式 5 所示。

6.3 CNN Joint Model 之分類效果評估

6.3.1 評估一種資料特徵之分類效果

本實驗將使用提問文本的四種特徵資料，除了先前第四章提到的三種特徵資 料(1)詞向量維度關連特徵(MPFC, 實驗以 PFC 表示)，(2) 概念關鍵字相似特徵 (MCKS, 實驗以 CKS 表示)，及(3) 詞性嵌入向量特徵(MPE, 實驗以 PE 表示)。將 加入第4 種作為實驗特徵資料之一，利用 4.1 節已預訓練的詞嵌入向量表示法，

透過查找提問文本中每個詞的詞嵌入向量表示法，產生提問文本的詞嵌入向量特 徵(MWE, 實驗以 WE 表示)，再以 3.2.3 所述方法進行零填充，為一個 R^Lx100二維 矩陣。這四種輸入特徵資料將嘗試不同的組合來實驗效果。

圖6.3 (a) 只有 1 種意圖類型的提問文本之採用單一種特徵之分類效果

本論文將四種輸入特徵資料將嘗試不同的組合前，會先評估每種特徵資料各 別輸入CNN Model 的效果。從圖 6.2 所示，只輸入一個特徵資料的情況下，特 徵資料CKS 跟其他特徵資料相比效果最好，在 F1 數值約為 0.739301。從所有 提問文本中再實驗，當提問文本只有1 種意圖類型或是有 2 種意圖類型時，如 圖6.3(a)(b)所示，只有 1 種或 2 種意圖類型的提問採用 CKS 特徵明顯比採用其 他特徵效果佳。因此接下來的兩種特徵資料的組合，將以CKS 跟其他三種特徵 進行組合。

6.3.2 評估兩種資料特徵組合之分類效果

使用兩種以上輸入特徵資料時，本論文以符號“+”表示同時輸入兩個以上的 特徵資料給CNN Joint Model，例如 CKS+WE。將利用 5.1 節說明每種特徵資料 各層處理方式，本節評估使用兩種輸入特徵資料時CNN Joint Model 的效果。

圖6.4 CNN Joint Model 之 F1 score (兩種特徵組合)

圖6.5 (a) CNN Joint Model 之 F1 score (兩種特徵組合,只有 1 種意圖類型之提問)

本實驗以CKS 為基準，兩種資料特徵組合有 CKS+WE、CKS+PE 及 CKS+PFC，

如圖6.4 所示。使用兩種輸入特徵資料時，效果都比只使用 CKS 的 F1 數值高，

CKS+WE 的 F1 數值為 0.749226，CKS+PE 的數值為 0.745573，以及 CKS+PFC F1 數值更是顯著的達到 0.752982，表示同時輸入特徵資料 CKS 和 PFC 時，預測 CKS+PFC+PE，如圖 6.6 所示，將三種資料輸入 CNN Joint Model 時，本論文發 現，CKS+PFC+WE 和 CKS+PFC+PE 具有相當的分類效果。從圖 6.7(a)觀察發現，

使用CKS+PFC+WE 特徵組合，在只有 1 種意圖類型的提問文本情況下分類效果 顯著提升。從圖6.7(b) 觀察發現，則是使用 CKS+PFC+PE 特徵組合，在有 2 種 意圖類型的提問文本情況下分類效果最佳。

圖6.6 CNN Joint Model 之 F1 score (三種特徵組合)

圖6.7 (b) CNN Joint Model 之 F1 score (三種特徵組合,有 2 種意圖類型之提問)

6.3.4 評估四種資料特徵組合之分類效果

本實驗以CKS+PFC+WE 為基礎，四種資料特徵組合為 CKS+PFC+WE+PE，

如圖6.8 所示，將四種資料輸入 CNN Joint Model 時，本論文發現，分類效果有 下降的情況。從圖6.9(a)(b)觀察發現是因為在只有 1 種意圖類型的提問文本效果 下降，影響整個模型的效果。

圖6.8 CNN Joint Model 之 F1 score (四種特徵組合)

圖6.9 (b) CNN Joint Model 之 F1 score (四種特徵組合,有 2 種意圖類型之提問)

本論文設計CNN Joint Model 預測使用者提問文本的提問意圖時，輸入兩種 提問文本的資料特徵 CKS+PFC 時，讓整體效果比只輸入 CKS 有顯著提升，而 使用三種提問文本的資料特徵CKS+PFC+WE 或 CKS+PFC+PE 分類效果都有微 幅提升，並且 CKS+PFC+WE 是本架構的 F1 數值最高的輸入特徵組合。而 CKS+PFC+PE 特徵組合則只需更少的特徵資料量，就與 CKS+PFC+WE 特徵組 合具有相當的分類效果。

6.4 Ensemble CNN Model 之分類效果評估

本實驗以 CKS 為基準，兩種資料特徵組合有 CKS&WE、CKS&PE 及 CKS&PFC，如圖 6.10 所示。使用兩種特徵資料 CKS&PFC 輸入 Ensemble CNN Model 時，效果有顯著提升，F1 數值為 0.747096，在圖 6.11(a)(b)所示，可以得 知此特徵組合在只有1 種意圖類型的提問文本之分類效果有顯著提升，並且有 2 種意圖類型之提問下，也保有一定的分類效果。下一節6.4.2 將以 CKS&PFC 為 基礎，與PE 和 WE 分別組合。

圖6.10 Ensemble CNN Model 之 F1 score (兩種特徵組合)

圖6.11(a)Ensemble CNN Model 之 F1 score(兩種特徵組合,只有 1 種意圖類型之提問)

圖6.11 (b) Ensemble CNN Model 之 F1 score (兩種特徵組合,有 2 種意圖類型之提問)

6.4.2 評估三種資料特徵組合之分類效果

本實驗以 CKS&PFC 為基礎，三種資料特徵組合為 CKS&PFC&WE 和 CKS&PFC&PE，圖 6.12 所示，將三種資料輸入 Ensemble CNN Model 時，分類 效果都有提升，並且CKS&PFC&WE 特徵組合分類效果最好，F1 數值為 0.753845。

本實驗以 CKS&PFC 為基礎，三種資料特徵組合為 CKS&PFC&WE 和 CKS&PFC&PE，圖 6.12 所示，將三種資料輸入 Ensemble CNN Model 時，分類 效果都有提升，並且CKS&PFC&WE 特徵組合分類效果最好，F1 數值為 0.753845。