第四章 實驗方法與驗證
4.4 以相異詞為特徵方法之實驗
4.4.2 以相異詞為特徵實驗結果
為實驗以相異詞特徵方法，須建立餵入分類器之 TD-matrix。如表 4.6，此矩陣大 小為總貼文數 18813 乘相異詞數量 59957。此外，在最後一欄標記貼文所屬政黨，以
post_3302 blue
post_3303 green
… green
post_18813 green
4.4.2 以相異詞為特徵實驗結果
實驗結果如圖 4.1、4.2、4.3、4.4，在精確度、召回率、F1、準確度表現上，naïve Bayes 分類器皆高於 SVM 分類器。由於 SVM 為一種將特徵投射到更高維度的空間中，
ll
‧
會顯得較不理想。然而，在不同權重方面，可以發現到在權重 BTO 方法下，naïve Bayes 與 SVM 表現上差距較 TF 與 TFIDF 要來的小。試著理解原因，由於 BTO 不計算詞頻TF TFIDF BTO
‧
TF TFIDF BTO
71.40
TF TFIDF BTO
‧
Adaboost 為一種將弱學習演算法疊代融合成強演算法之方式，透過實驗 adaboost 分類器以探討是否改善原始弱分類器，並選擇 naïve Bayes 與 SVM 作為 adaboost 中的
TF TFIDF BTO
‧
Bayes Ada_Bayes SVM Ada_SVM
Precision
TF TFIDF BTO
75.18 76.63
Bayes Ada_Bayes SVM Ada_SVM
Recall
TF TFIDF BTO
‧
Bayes Ada_Bayes SVM Ada_SVM
F1-score
TF TFIDF BTO
78.72
Bayes Ada_Bayes SVM Ada_SVM
Accuracy
TF TFIDF BTO
‧
利用實驗方式找出最佳取詞數目。將以各區間取詞數搭配 decision tree 分類器實驗評 估效能，以 F1-score 為評判標準。由圖 4.9 與表 4.9 可以看出當取詞數從 100 至 1000
top100 top500 top1000 top5000
F score
取詞數
典型字個數
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.5.2 互動特徵值域分布
將 3.6.2 節中對互動特徵做五種值域轉型，實驗結果如圖 4.10 至 4.15。查看原始 值域如圖 4.10，縱軸為值域，橫軸為藍綠貼文編號。可以觀察到互動特徵值域的分布 範圍廣大，尤其以按讚特別顯著。在這樣的值域分布使部分分類器的演算法運算式中 含有平方或相乘等，恐將造成值域範圍更加擴大，並影響最後分類器判斷類別的效果。
因此，利用統計方法，將原始值域做四種轉型。第一種為將原始值域取對數，如圖 4.11 可以明顯觀察到值域在取完對數後，縱軸分布範圍僅有在 0~6 之間。第二種如圖 4.12，
將原始資料進行正規化，強迫值域分布介於 0~1 之間，使互動特徵數值差距不超過 1。
第三種方法如圖 4.13，將原始值域標準化，值域分布範圍從 0~70 之間，也使得按讚 特徵從原始資料分布差距大與波動大變為差距較均勻且波動較小，甚至小於其他兩種 互動特徵。第四種方法，分別計算藍綠原始值域之平均值，並針對藍平均數與綠平均 數與原始值域做相似度計算，使用推疊折線圖如 4.14 與 4.15，值域越小代表越相似，
越大則反之，圖 4.14 在與藍平均數計算相似度中可以明顯看到按讚、分享在前 3302 篇貼文值域較小，也代表兩者越相似。相反的，在貼文編號大於 3302 之綠營貼文特徵 值域就明顯變大，也就是與藍互動特徵較不相似。而圖 4.15 計算與綠平均數之相似度 中也可以看到此一現象，便可以推算出，藍綠兩黨之互動特徵確實有值域上分布之差 異，下一小節將實驗互動特徵四種值域轉型並比較原始值域。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.10：原始互動特徵值域分布折線圖
圖 4.11：互動特徵取對數值域分布折線圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.12：正規化互動特徵值域分布折線圖
圖 4.13：互動特徵標準化值域分布折線圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.14：互動特徵與藍平均之相似度值域分布堆疊折線圖
圖 4.15：互動特徵與綠平均之相似度值域分布堆疊折線圖
‧
式，各取 3000 則貼文並使用 10 fold cross validation 進行訓練與測試，在特徵上選擇黨 派典型字來進行實驗。表 4.10 至 4.13 為利用黨派典型字特徵實驗原始貼文數與平衡 後貼文數之實驗結果。若以 F1-score 當作評判標準，如圖 4.15 可知在本研究模型中藍 綠貼文資料筆數大約在 1:5 的情況下，並不會對分類效果造成明顯差異。反之在 naïve Bayes 與 decision tree 分類器結果顯示在資料不平衡狀況下還會使分類效果較佳。兩者 間在不同分類器有不同的結果，而差距皆在合理誤差範圍內。然而，對於資料不平衡‧
Bayes KNN SVM Decision tree
原始貼文數 0.71 0.66 0.7 0.73
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.5.4 特徵組合實驗
將 3.6 節所擷取出來的文字與互動特徵做組合實驗，以探討不同特徵之分類效果 與影響分類程度。本節模型將有別於前一模型，希望特徵越單純越簡單。然而，由於 特徵組合數目多，此節將從下列(1)~(4)選出效果較佳之文字特徵，並與互動特徵搭配 實驗已達特徵簡潔效果。以下列出不同特徵實驗組合：
(1) 黨派典型字：僅含藍綠黨派典型字特徵。
(2) 黨派人物情緒 i：藍綠人物字典與 NTUSD 情緒字典。
(3) 黨派人物情緒 ii：藍綠人物字典與廣義知網情緒字典。
(4) 黨派人物情緒 iii：藍綠人物字典與 NTUSD+廣義知網情緒字典。
(5) 黨派互動 i：藍綠黨派典型字搭配原始互動特徵。
(6) 黨派互動 ii：藍綠黨派典型字搭配取對數互動特徵。
(7) 黨派互動 iii：藍綠黨派典型字搭配正規化互動特徵。
(8) 黨派互動 iv：藍綠黨派典型字搭配標準化互動特徵。
(9) 黨派互動 v：藍綠黨派典型字搭配藍相似度互動特徵。
(10) 黨派互動 vi：藍綠黨派典型字搭配綠相似度互動特徵。
‧
Precision Recall F1 Accuracy 黨派典型字 0.8447 0.6111 0.7091 0.8569
Precision Recall F1 Accuracy 黨派典型字 0.701 0.6295 0.6633 0.8317
‧
Precision Recall F1 Accuracy 黨派典型字 0.8163 0.6062 0.6957 0.8526
(四)、Decision tree 實驗結果
表 4.17：Decision tree組合實驗結果
Precision Recall F1 Accuracy 黨派典型字 0.8463 0.6355 0.7259 0.8637 黨派人物情緒 i 0.8437 0.6322 0.7228 0.8625 黨派人物情緒 ii 0.8414 0.6339 0.7231 0.8626
‧
Precision Recall F1 Accuracy 黨派典型字 0.8366 0.6339 0.7213 0.8621
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
從實驗(一)至實驗(五)先初步比較文字特徵中黨派典型字與人物情緒的效果，如圖 4.17 結果顯示在黨派人物情緒的三種特徵組合在五種分類器中 F1-score 皆低於黨派典 型字，此一現象表示在黨派人物字典搭配情緒的特徵並未有明顯的使特徵更為顯著。
因此在互動特徵實驗中將以黨派典型字做搭配。在情緒字典的變換中，首先圖 4.17 可 以看出廣義知網字典在我們的模型中效果會比 NTUSD 表現較好。進一步將兩本字典 結合卻未能有效改善效果，在 KNN 與 naïve Bayes 演算法中有效提升準確度，但在 SVM 與 decision tree 卻反而效果下降，因此黨派人物搭配兩本情緒字典僅限於特定分類器，
才能顯示出其效果，反映出不同情緒字典對不同分類演算法有著不同的效果。
圖 4.17：文字特徵 F1 score 實驗圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.18 互動特徵組合的實驗結果中可以明顯觀察到將互動特徵的值域做轉換後，
效果提升以 SVM 與 KNN 分類器最為顯著，轉換過後的值域大幅提升 F1-score，可以 解讀為 SVM 與 KNN 在訓練過大的特徵值域確實會造成效果不良。反之在 decision tree 與 naïve Bayes 在經過值域轉換後卻僅維持相同效果，甚至在 naïve Bayes 取 log 方法中 還降低效果，可以說明 naïve Bayes 與 decision tree 在設計中並不受到特徵值域所影響。
然而，可以明顯觀察到對互動特徵計算相似度的轉換方法在所有演算法中皆導致效果 比原始值域還要不理想，因此從結果可以推斷此一方法對本模型無法做出分類的貢 獻。
圖 4.18：黨派典型字搭配互動特徵 F1-score 實驗圖
‧
實驗(五)adaboost 是以實驗(四)decision tree 為弱分類器，如圖 4.18 可以觀察到兩 者的效果完全相同，原因為 decision tree 在平均實驗結果較佳，往往將其作疊代訓練 以利預測失敗的貼文能夠重複融合進行預測，但本實驗發現在 adaboost 演算法中仍然 有上限，以實驗數據可以明顯觀察到，兩種實驗結果僅文字特徵結果有些許差異，其 餘皆產生相同的結果。此一現象充分表達在 decision tree 演算法中特徵的組合已強烈 的使樹產生了類別，在 adaboost 疊代過程中發現未能改善效果，將會自動停止疊代訓 練，以避免有可能會造成過度耦合的反效果。
最後將五種演算法做比較，如表 4.19，十種特徵組合中可以明顯看見表現最好的 演算法為 decision tree，其在八種特徵組合中得到最高的 F1-score。而 KNN 也在兩種 特徵組合中得到最佳結果。由於 naïve Bayes 中特徵間被假設為獨立事件，故運用在人 物字典搭配情緒字典其效果無法被凸顯出來。KNN 在加入互動特徵後表現較佳，其中 對於互動特徵取對數與計算民進黨互動值域相似度為主。而從另一角度探討特徵組合 與分類演算法之效果，如表 4.20 中以列出演算法的最佳特徵組合做比較，可以觀察到 黨派互動特徵 iii 在與眾多分類演算法中最為耦合，使得 naïve Bayes、SVM、decision tree、
adaboost 皆預測出最佳的準確度以及 F1-score。而黨派互動特徵 iii 所代表的特徵為黨 派關鍵字搭配互動特徵值域正規化，從實驗結果也可以推斷出在值域間做正規化對分 類演算法較能有效的被辨識出來。然而，在整體以文字與互動特徵方法中擁有最高準 確度與 F1-score 的分類器為 KNN 搭配黨派互動 ii，在 F1-score 達到 0.8269，準確度方 面則為 0.9080。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.5.5 黨派指標人物訓練模型實驗
此節實驗進一步設計以藍綠指標性政治人物之貼文作為訓練資料，其餘政治人物 作為測試資料。並與整體政治人物皆當成訓練資料，對資料切割交叉驗證的方法做比 較，探討是否藍綠指標性政治人物所發貼文之特徵能夠對其他政治人物有效分類。表 4.21 以馬英九與蔡英文作為藍綠指標性政治人物，將其貼文作為訓練資料。表 4.22 其 餘政治人物作為測試資料。實驗特徵選擇黨派典型字，表 4.23 至 4.26 分別為實驗結果。
表 4.21：藍綠指標人物訓練資料
指標性政治人物 貼文數量
馬英九 1337
蔡英文 2009
表 4.22：藍綠其餘人物測試資料
其餘綠政治人物 貼文數量 其餘藍政治人物 貼文數量
游錫堃 1664 胡志強 696
陳菊 4355 連勝文 317
賴清德 2374 蔡正元 243
林佳龍 4095 楊秋興 512
鄭文燦 1009 洪秀柱 198
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表 4.23：指標人物訓練模型實驗 Precision
Naïve Bayes KNN SVM Decision tree 交叉驗證訓練模型 0.8447 0.7010 0.8163 0.8463 指標人物訓練模型 0.7597 0.7109 0.7687 0.6892
表 4.24：指標人物訓練模型 Recall
Naïve Bayes KNN SVM Decision tree 交叉驗證訓練模型 0.6111 0.6295 0.6062 0.6355 指標人物訓練模型 0.6160 0.6724 0.6180 0.6011
表 4.25：指標人物訓練模型實驗 F1-score
Naïve Bayes KNN SVM Decision tree 交叉驗證訓練模型 0.7091 0.6633 0.6957 0.7259 指標人物訓練模型 0.6803 0.6911 0.6852 0.6421
表 4.26：指標人物訓練模型實驗 Accuracy
Naïve Bayes KNN SVM Decision tree 交叉驗證訓練模型 0.8447 0.8317 0.8526 0.8637
Naïve Bayes KNN SVM Decision tree 交叉驗證訓練模型 0.8447 0.8317 0.8526 0.8637