第四章 實驗方法與驗證
4.5 以文字與互動特徵方法之實驗
4.5.4 特徵組合實驗
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.5.4 特徵組合實驗
將 3.6 節所擷取出來的文字與互動特徵做組合實驗，以探討不同特徵之分類效果 與影響分類程度。本節模型將有別於前一模型，希望特徵越單純越簡單。然而，由於 特徵組合數目多，此節將從下列(1)~(4)選出效果較佳之文字特徵，並與互動特徵搭配 實驗已達特徵簡潔效果。以下列出不同特徵實驗組合：
(1) 黨派典型字：僅含藍綠黨派典型字特徵。
(2) 黨派人物情緒 i：藍綠人物字典與 NTUSD 情緒字典。
(3) 黨派人物情緒 ii：藍綠人物字典與廣義知網情緒字典。
(4) 黨派人物情緒 iii：藍綠人物字典與 NTUSD+廣義知網情緒字典。
(5) 黨派互動 i：藍綠黨派典型字搭配原始互動特徵。
(6) 黨派互動 ii：藍綠黨派典型字搭配取對數互動特徵。
(7) 黨派互動 iii：藍綠黨派典型字搭配正規化互動特徵。
(8) 黨派互動 iv：藍綠黨派典型字搭配標準化互動特徵。
(9) 黨派互動 v：藍綠黨派典型字搭配藍相似度互動特徵。
(10) 黨派互動 vi：藍綠黨派典型字搭配綠相似度互動特徵。
‧
Precision Recall F1 Accuracy 黨派典型字 0.8447 0.6111 0.7091 0.8569
Precision Recall F1 Accuracy 黨派典型字 0.701 0.6295 0.6633 0.8317
‧
Precision Recall F1 Accuracy 黨派典型字 0.8163 0.6062 0.6957 0.8526
(四)、Decision tree 實驗結果
表 4.17：Decision tree組合實驗結果
Precision Recall F1 Accuracy 黨派典型字 0.8463 0.6355 0.7259 0.8637 黨派人物情緒 i 0.8437 0.6322 0.7228 0.8625 黨派人物情緒 ii 0.8414 0.6339 0.7231 0.8626
‧
Precision Recall F1 Accuracy 黨派典型字 0.8366 0.6339 0.7213 0.8621
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
從實驗(一)至實驗(五)先初步比較文字特徵中黨派典型字與人物情緒的效果，如圖 4.17 結果顯示在黨派人物情緒的三種特徵組合在五種分類器中 F1-score 皆低於黨派典 型字，此一現象表示在黨派人物字典搭配情緒的特徵並未有明顯的使特徵更為顯著。
因此在互動特徵實驗中將以黨派典型字做搭配。在情緒字典的變換中，首先圖 4.17 可 以看出廣義知網字典在我們的模型中效果會比 NTUSD 表現較好。進一步將兩本字典 結合卻未能有效改善效果，在 KNN 與 naïve Bayes 演算法中有效提升準確度，但在 SVM 與 decision tree 卻反而效果下降，因此黨派人物搭配兩本情緒字典僅限於特定分類器，
才能顯示出其效果，反映出不同情緒字典對不同分類演算法有著不同的效果。
圖 4.17：文字特徵 F1 score 實驗圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.18 互動特徵組合的實驗結果中可以明顯觀察到將互動特徵的值域做轉換後，
效果提升以 SVM 與 KNN 分類器最為顯著，轉換過後的值域大幅提升 F1-score，可以 解讀為 SVM 與 KNN 在訓練過大的特徵值域確實會造成效果不良。反之在 decision tree 與 naïve Bayes 在經過值域轉換後卻僅維持相同效果，甚至在 naïve Bayes 取 log 方法中 還降低效果，可以說明 naïve Bayes 與 decision tree 在設計中並不受到特徵值域所影響。
然而，可以明顯觀察到對互動特徵計算相似度的轉換方法在所有演算法中皆導致效果 比原始值域還要不理想，因此從結果可以推斷此一方法對本模型無法做出分類的貢 獻。
圖 4.18：黨派典型字搭配互動特徵 F1-score 實驗圖
‧
實驗(五)adaboost 是以實驗(四)decision tree 為弱分類器，如圖 4.18 可以觀察到兩 者的效果完全相同，原因為 decision tree 在平均實驗結果較佳，往往將其作疊代訓練 以利預測失敗的貼文能夠重複融合進行預測，但本實驗發現在 adaboost 演算法中仍然 有上限，以實驗數據可以明顯觀察到，兩種實驗結果僅文字特徵結果有些許差異，其 餘皆產生相同的結果。此一現象充分表達在 decision tree 演算法中特徵的組合已強烈 的使樹產生了類別，在 adaboost 疊代過程中發現未能改善效果，將會自動停止疊代訓 練，以避免有可能會造成過度耦合的反效果。
最後將五種演算法做比較，如表 4.19，十種特徵組合中可以明顯看見表現最好的 演算法為 decision tree，其在八種特徵組合中得到最高的 F1-score。而 KNN 也在兩種 特徵組合中得到最佳結果。由於 naïve Bayes 中特徵間被假設為獨立事件，故運用在人 物字典搭配情緒字典其效果無法被凸顯出來。KNN 在加入互動特徵後表現較佳，其中 對於互動特徵取對數與計算民進黨互動值域相似度為主。而從另一角度探討特徵組合 與分類演算法之效果，如表 4.20 中以列出演算法的最佳特徵組合做比較，可以觀察到 黨派互動特徵 iii 在與眾多分類演算法中最為耦合，使得 naïve Bayes、SVM、decision tree、
adaboost 皆預測出最佳的準確度以及 F1-score。而黨派互動特徵 iii 所代表的特徵為黨 派關鍵字搭配互動特徵值域正規化，從實驗結果也可以推斷出在值域間做正規化對分 類演算法較能有效的被辨識出來。然而，在整體以文字與互動特徵方法中擁有最高準 確度與 F1-score 的分類器為 KNN 搭配黨派互動 ii，在 F1-score 達到 0.8269，準確度方 面則為 0.9080。