實驗結果

本研究首先測試詞向量 + 全連結類神經網路的模型，訓練收斂圖及效能結

果如圖4.2.1 及表 4.2.1 所示。參數說明如下：輸入維度為 292 × 25、全連結網路 一 層 隱 藏 層 有 256 個 神 經 元 、 activation=ReLU 、 dropout=0.5 、 輸 出 層 activation=softmax、batch_size=16、epoch=10。在圖 4.2.1 中，loss 表示用訓練集 的資料輸入當前 epoch 的模型之 loss 總和，val_loss 表示表示驗證集的資料輸 入當前 epoch 的模型之 loss 總和；訓練的回合數與輸出的效能有很大的關係，

所以為盡可能公平的比較不同架構的效能，除模型參數外，訓練參數的 epoch 也

固定。

圖4.2.1 詞向量 + 全連結類神經網路訓練收斂圖

48

表4.2.1 詞向量 + 全連結類神經網路效能結果

Precision Recall F1 Training time

(s) 0.94 0.84 0.89 13.09

接下來將全連結類神經網路加入 CNN encoder，詞向量 + 單 CNN encoder

的訓練收斂圖及效能圖結果如圖4.2.2 及表 4.2.2 所示。參數說明如下：輸入維度 為 292 × 25 × 1、2D 過濾器 32 個、kernel_size=2、padding=same、activation=ReLU、

pooling_size=2、dropout=0.3、全連結網路參數和詞向量 + 全連結類神經網路相 同、batch_size=16、epoch=10，執行時間 59.06 秒。

圖4.2.2 詞向量 + 單 CNN encoder 訓練收斂圖

49

表4.2.2 詞向量 + 單 CNN encoder 效能結果

Precision Recall F1 Training time

(s) 0.98 0.87 0.92 59.06

接著將單 CNN encoder 擴展為雙 CNN encoder 實驗，在詞向量 + 雙 CNN encoder 的訓練收斂圖及效能結果如圖 4.2.3 及表 4.2.3 所示。參數說明如下：輸 入維度為 292 × 25 × 1、兩個 CNN encoder 的參數相同、CNN encoder 參數和 詞向量 + 單 CNN encoder 相同、全連結網路參數和詞向量 + 全連結類神經網路 相同、batch_size=16、epoch=10，執行時間 31.82 秒。

圖4.2.3 詞向量 + 雙 CNN encoder 訓練收斂圖

50

表4.2.3 詞向量 + 雙 CNN encoder 效能結果

Precision Recall F1 Training time

(s) 0.99 0.89 0.94 31.82

接下來實驗因子分解機應用於詞向量的模型，由於雙 CNN encoder 架構的 效能優於單 CNN encoder 架構，所以使用雙 CNN encoder 測試因子分解機的詞 向量，即詞向量 (因子分解機) + 雙 CNN encoder 的訓練收斂圖及效能結果如圖 4.2.4 及表 4.2.4 所示。參數說明如下：輸入維度為 292 × 600 × 1、CNN encoder 參數和詞向量 + 雙 CNN encoder 相同、全連結網路參數和詞向量 + 全連結類 神經網路相同、batch_size=16、epoch=10，執行時間 420.69 秒。

圖4.2.4 詞向量(因子分解機) + 雙 CNN encoder 訓練收斂圖

51

表4.2.4 詞向量(因子分解機) + 雙 CNN encoder 效能結果

Precision Recall F1 Training time

(s) 0.97 0.90 0.93 420.69

為了比較 CNN encoder 與 LSTM encoder 的效果，本研究接下來實驗詞向 量 + 單 LSTM encoder，訓練收斂圖及效能結果如圖 4.2.5 及表 4.2.5 所示。參數

說明 如下：輸 入維度為 292 × 25、LSTM encoder 輸出一單元維度為 25、

activation=tanh 、 全 連 結 網 路 參 數 和 詞 向 量 + 全 連 結 類 神 經 網 路 相 同 、 batch_size=16、epoch=10，執行時間 834.88 秒。

圖4.2.5 詞向量 + 單 LSTM encoder 訓練收斂圖

52

表4.2.5 詞向量 + 單 LSTM encoder 效能結果

Precision Recall F1 Training time

(s) 0.99 0.9 0.94 834.88

再將上述單 LSTM encoder 擴展為雙 LSTM encoder，在詞向量 + 雙 LSTM encoder 的架構中，訓練收斂圖及效能結果如圖 4.2.6 及表 4.2.6 所示。參數說明 如下：輸入維度為 292 × 25、兩個 LSTM encoder 的參數相同、LSTM encoder 參數和詞向量 + 單 LSTM encoder 相同、全連結網路參數和詞向量 + 全連結類 神經網路相同、batch_size=16、epoch=10，執行時間 1718.06 秒。

圖4.2.6 詞向量 + 雙 LSTM encoder 訓練收斂圖

53

表4.2.6 詞向量 + 雙 LSTM encoder 效能結果

Precision Recall F1 Training time

(s) 0.99 0.9 0.94 1718.06

其 次 以 雙 向 LSTM encoder (Bi-LSTM encoder) 取 代 上 述 之 單 向 LSTM encoder 實驗，在詞向量 + Bi-LSTM encoder 模型中，訓練收斂圖及效能結果如

圖4.2.7 及表 4.2.7 所示。參數說明如下：輸入維度為 292 × 25、兩個 LSTM encoder 參數相同但其中一 encoder 將輸入序列之方向相反、LSTM encoder 參數和詞向 量 + 單 LSTM encoder 相同、全連結網路參數和詞向量 + 全連結類神經網路相 同、batch_size=16、epoch=10，執行時間 3240.95 秒。

54

圖4.2.7 詞向量 + Bi-LSTM encoder 訓練收斂圖 表4.2.7 詞向量 + Bi-LSTM encoder 效能結果

Precision Recall F1 Training time

(s) 1 0.88 0.94 3240.95

由於詞向量 (因子分解機) + 雙 CNN encoder 比沒有因子分解機的詞向量之 效果要好，所以因子分解機詞向量應用在 LSTM encoder 模型中，又因上述三種 LSTM encoder 模型中效果差異不大，但執行時間上單 LSTM encoder 最快，故

使用單 LSTM encoder 測試因子分解機的詞向量，即詞向量 (因子分解) + 單 LSTM encoder，訓練收斂圖及效能結果如圖 4.2.8 及表 4.2.8 所示。參數說明如下：

輸入維度為 292 × 25、LSTM encoder 參數和詞向量 + 單 LSTM encoder 相同、

全連結網路參數和詞向量 + 全連結類神經網路相同、batch_size=16、epoch=10，

執行時間1948.62 秒。

55

圖4.2.8 詞向量(因子分解機) + 單 LSTM encoder 訓練收斂圖 表4.2.8 詞向量(因子分解機) + 單 LSTM encoder 效能結果

Precision Recall F1 Training time

(s) 0.0 0.0 NA 1948.62

組合 LSTM encoder 與 單 CNN encoder 觀察利用 LSTM 優化 word2vec

再進行特徵擷取的效果，訓練收斂圖及效能結果如圖4.2.9 及表 4.2.9 所示。參 數說明如下：輸入維度為 292 × 25、LSTM encoder 參數和詞向量 + 單 LSTM encoder 相同、CNN encoder 參數和詞向量 + 單 CNN encoder 相同、全連結網 路參數和詞向量 + 全連結類神經網路相同、batch_size=16、epoch=10，執行時

間，執行時間共904.47 秒。

56

圖4.2.9 詞向量 + 單 LSTM + 單 CNN 訓練收斂圖 表4.2.9 詞向量 + 單 LSTM + 單 CNN 效能結果

Precision Recall F1 Training time

(s) 0.98 0.9 0.94 904.47

前述實驗皆為以詞向量輸入，以下實驗以詞頻率輸入。首先為詞頻 2 + 全連

結類神經網路，訓練收斂圖及效能結果如圖4.2.10 及表 4.2.10 所示。參數說明如 下：輸入維度為 292 × 4997、全連結網路參數和詞向量 + 全連結類神經網路相

同，執行時間共12.49 秒。

57

圖4.2.10 詞頻 2 + 全連結類神經網路訓練收斂圖 表4.2.10 詞頻 2 + 全連結類神經網路效能結果

Precision Recall F1 Training time

(s) 0.79 0.32 0.46 12.49

接下來為詞頻 3 + 全連結類神經網路，訓練收斂圖及效能結果如圖 4.2.11 及

表4.2.11 所示。參數說明如下：輸入維度為 292 × 6200、全連結網路參數和詞向 量 + 全連結類神經網路相同，執行時間共 12.53 秒。

58

圖4.2.11 詞頻 3 + 全連結類神經網路訓練收斂圖 表4.2.11 詞頻 3 + 全連結類神經網路效能結果

Precision Recall F1 Training time

(s) 0.98 0.91 0.94 12.53

本研究並嘗試詞頻率結合詞向量的實驗，首先應用在全連結類神經網路，即

詞頻 3 結合詞向量 + 全連結類神經網路，訓練收斂圖及效能結果如圖 4.2.12 及 表4.2.12 所示。參數說明如下：輸入維度為 292 × 25、全連結網路參數和詞向量 + 全連結類神經網路相同，執行時間共 14.43 秒。

59

圖4.2.12 詞頻 3 結合詞向量 + 全連結類神經網路訓練收斂圖 表4.2.12 詞頻 3 結合詞向量 + 全連結類神經網路效能結果

Precision Recall F1 Training time

(s) 0.97 0.86 0.91 14.43

接下來實驗應用在 CNN encoder 上之效能，即詞頻 3 結合詞向量 + 雙 CNN encoder，訓練收斂圖及效能結果如圖 4.2.13 及表 4.2.13 所示。參數說明如下：輸 入維度為 292 × 25 × 1、CNN encoder 參數和詞向量 + 雙 CNN encoder 相同、

全連結網路參數和詞向量 + 全連結類神經網路相同，執行時間共 34.02 秒。

60

圖4.2.13 詞頻 3 結合詞向量 + 雙 CNN encoder 訓練收斂圖 表4.2.13 詞頻 3 結合詞向量 + 雙 CNN encoder 效能結果

Precision Recall F1 Training time

(s) 1 0.86 0.92 34.02

接下來實驗應用在 LSTM encoder 上之效能，即詞頻 3 結合詞向量+單 LSTM encoder，訓練收斂圖及效能結果如圖 4.2.14 及表 4.2.14 所示。參數說明如 下：輸入維度為 292 × 25、LSTM encoder 參數和詞向量 + 單 LSTM encoder 相 同、全連結網路參數和詞向量 + 全連結類神經網路相同、batch_size=16、epoch=10，

執行時間共850.27 秒。

61

圖4.2.14 詞頻 3 結合詞向量 + 單 LSTM encoder 訓練收斂圖 表4.2.14 詞頻 3 結合詞向量 + 單 LSTM encoder 效能結果

Precision Recall F1 Training time

(s) 0.99 0.9 0.94 850.27