實驗結果與討論

(一) 非監督式主題相關文章意見傾向分析結果

1. 非監督式擷取主題相關文章結果

以非監督式方法擷取主題相關文章的實驗方法如表三十所示。由於本研究需 要分析擷取多少篇文章進行查詢詞擴充擷取，以及分析擴充多少查詢詞可以擷取 更多與主題相關的文章，所以先實驗 frequency(top-M)+PMI(top-10)的方法測試文 章數的範圍，取得 frequency(top-M)+PMI(top-10)最佳的結果，再以最佳的 M 值實 驗 frequency+PMI(top-N)方法。

55

表三十 以非監督式方法擷取主題相關文章實驗方法描述

實驗方法 方法描述

baseline 擷取包含主題種子詞彙的文章。

frequency(top-M)+PMI(top-10) 在排序文章中的主題種子詞彙頻率後，計算 前 M 篇文章中的詞彙的 PMI 值，然後增加 PMI 值排序前 10 個名詞和主題種子詞彙進行 查詢詞擴充。最後再擷取包含所有主題相關 詞彙的文章。本研究測試 M 為 100、200 和 300 的結果。

frequency+PMI(top-N) 在排序文章中的主題種子詞彙頻率後，計算 前 M 篇文章中的詞彙的 PMI 值，此處的 M 為 frequency(top-M)+PMI(top-10)實驗最佳的 結果，然後增加 PMI 值排序前 N 個名詞和主 題種子詞彙進行查詢詞擴充。最後再擷取包 含所有主題相關詞彙的文章。本研究測試 N 為 10、20 和 30 的結果。

本研究依照表三十的實驗方法描述，先比較 frequency(top-M)+PMI(top-10)方 法，挑選 M 值的最佳結果。以學運主題進行實驗，M 的範圍為 100、200 和 300，

實驗結果如表三十一所示。

表三十一 以非監督式方法測試查詢詞擴充擷取文章數範圍的實驗結果

Experiment Precision Recall

frequency(top-100)+PMI(top-10) 84.83% 81.74%

frequency(top-200)+PMI(top-10) 90.47% 86.41%

frequency(top-300)+PMI(top-10) 84.68% 81.35%

56

由表三十一的結果顯示，frequency(top-200)+PMI(top-10)的方法比較好，所以

frequency+PMI(top-N)實驗方法的 M 值設為 200，也就是計算前 200 篇文章中的 詞彙的 PMI 值，然後增加 PMI 值排序前 10 個名詞和主題種子詞彙進行查詢詞擴 充。

接著比較 baseline 與 frequency+PMI(top-N)方法對於擷取與主題相關文章的 結果，依照表三十的實驗方法描述，實作以非監督式方法擷取主題相關文章，由 於主題為馬英九與學運的實驗必須處理主題詞交集問題，所以文章必須包含兩個 主題的種子詞彙才算與主題相關，例如：當該文章中包含馬英九主題的主題相關 詞彙，若在文章中同時包含學運主題的主題相關詞彙，則表示文章與主題相關，

否則與主題不相關，而主題相關詞彙定義為主題種子詞彙和查詢擴充詞彙。實驗 結果如表三十二、表三十三和表三十四所示。

表三十二 以非監督式方法擷取主題為學運相關文章的實驗結果

Experiment Precision Recall

baseline 90.99% 84.27%

frequency+PMI(top-10) 90.47% 86.41%

frequency+PMI(top-20) 88.84% 89.9%

frequency+PMI(top-30) 84.49% 93.09%

57

表三十三 以非監督式方法擷取主題為馬英九相關文章的實驗結果

Experiment Precision Recall

baseline 93.98% 87.55%

frequency+PMI(top-10) 93.78% 87.48%

frequency+PMI(top-20) 93.29% 88.03%

frequency+PMI(top-30) 92.51% 88.78%

表三十四 以非監督式方法擷取主題為馬英九與學運相關文章的實驗結果

Experiment Precision Recall

baseline 91.72% 74.9%

frequency+PMI(top-10) 85.85% 81.10%

frequency+PMI(top-20) 82.82% 84.17%

frequency+PMI(top-30) 76.32% 89.96%

由非監督式方法擷取主題相關文章的實驗結果顯示本研究的查詢詞擴充方 法雖然能夠擷取更多與主題相關的文章，提升了回收率，但是也同時擷取了與主 題不相關的文章，導致精確率降低。所以本研究希望透過監督式擷取主題相關文 章的方法，找出同時提升精確率和回收率的方法。

2. 非監督式意見傾向分析結果

由於非監督式的意見傾向分析主要是藉由情感辭典辨識文章的意見傾向，所

58

以本研究首先先分別比較知網的情感分析用詞語集和台大意見詞詞典 NTUSD 兩 者的分類情況，由於本研究的實驗目標是提升 precision 值，所以實驗文章是由 主題相關文章擷取實驗中，擷取包含主題種子詞彙的文章方法所擷取出的文章 數，方法是依照詞彙在辭典中的極性，給予該句子極性，再統整分析整篇文章的 意見傾向，句子的極性分類例子如表五所示。情感辭典意見傾向分析結果如表三 十五所示。

表三十五 情感辭典意見傾向分析結果

情感辭典 學運主題 馬英九主題

Precision Recall Precision Recall 知網和 NTUSD 聯集 12.38% 13.31% 12.96% 13.31%

NTUSD 38.10% 52.91% 36.14% 42.03%

知網 12.76% 17.72% 12.20% 14.19%

知網和 NTUSD 交集 34.67% 48.15% 28.31% 32.92%

情感辭典意見傾向分析結果發現比起使用知網，和將兩個情感辭典取聯集或 交集，單獨使用 NTUSD 進行意見傾向分析的 Precision 和 Recall 值比較高，因為 NTUSD 包含較多網路或是一般常用的情感詞彙，例如：“屌什麼”、 “跩屁”、“賣 國”、“孬種”等，比較可以精確判斷極性，像是“真的覺得台灣那些所謂太陽花學

59

運的大學生，真的是孬種。”，若依照知網情感辭典判斷該句極性，則無法辨識出

“孬種”為負面極性，導致意見傾向分類錯誤。其他例子像是“就以南韓積極簽 FTA 和全球相連結為對照，台灣卻反其道而行，大談反服貿，聽任學生指揮國家。”，

在該句中的“反其道而行”，便可以判斷該句對於學運主題為負面的評論，NTUSD 包含該詞彙，知網卻不包含。

雖然知網的情感詞彙較多，有時卻對意見傾向分類沒有幫助，例如“至於太陽 花學運，把 60 年來台灣建立的民主聲譽破壞無遺”，對於學運主題為負面句子，

該句的“民主”一詞在知網情感辭典中代表正面評價，NTUSD 不包含該詞彙，而“破 壞”應該為負面極性詞彙，知網卻不包含“破壞”，NTUSD 包含。如果只使用知網 給予極性，則導致該句子被判斷為正面句子；使用知網和 NTUSD 聯集的辭典給 予極性，由於句子包含正面詞彙和負面詞彙的個數相同，則導致該具備判斷為中 立句子；使用 NTUSD 辭典則可以正確判斷該句為負面句子。

所以在非監督式的意見傾向分析實驗，本研究決定使用 NTUSD 結合句子架 構分析進行意見傾向分析實驗，實驗方法描述如表三十六所示。

60

61

題詞的句子。本研究依照表三十六的定義進行實驗，意見傾向分析實驗結果如表 三十七所示。

表三十七 以非監督式方法分析主題相關文章意見傾向實驗結果 學運主題 馬英九主題

實驗編號 實驗限制 Precision Recall Precision Recall 1 限主題句 32.76% 45.50% 36.30% 42.21%

1 整篇文章 34.10% 47.35% 36.41% 42.39%

2 限主題句 36.00% 50.00% 37.20% 43.26%

2 整篇文章 41.14% 57.14% 43.98% 51.14%

3 限主題句 37.14% 51.59% 40.06% 46.58%

3 整篇文章 41.33% 57.41% 43.52% 50.61%

4 限主題句 34.67% 48.15% 40.06% 46.58%

4 整篇文章 41.33% 57.41% 43.37% 50.44%

5 N=1 35.43% 49.21% 41.57% 48.34%

5 N=2 37.14% 51.59% 43.52% 50.61%

5 N=3 38.48% 53.44% 42.77% 49.74%

5 N=4 39.43% 54.76% 44.43% 51.66%

5 N=5 39.43% 54.76% 43.98% 51.14%

5 N=6 38.10% 52.91% 43.22% 50.26%

6 Vt 和 Vi 34.67% 48.15% 38.25% 44.48%

6 Vt 30.48% 42.33% 33.43% 38.88%

6 Vi 29.71% 41.27% 34.19% 39.75%

62

在學運主題實驗結果中，最好的方法是實驗 3(否定詞+問號+逗號分段判斷) 和實驗 4(否定詞+問號+轉折詞+逗號分段判斷)，分析範圍為整篇文章的句子，

precision 值皆為 41.33%，recall 值皆為 57.41%，在此主題中增加轉折詞判斷對於 提升 precision 和 recall 值沒有幫助，這是因為句子結構的關係，有時候在不包含 轉折詞的句子段落反而能依照情感辭典判斷出正確的句子極性，例如：“所以筆者 認為宋可以肯定太陽花學運對民主的熱忱，但不可以掩蓋真相與誤導視聽。”，原 本該句的極性被標為中立極性，句中的“肯定”、“熱忱”為正面詞彙，“誤導”為負 面詞彙，所以根據實驗 3 的方法判斷該句為中立極性，但是如果使用實驗 4 增加 轉折詞的判斷，則會只分析“但不可以掩蓋真相與誤導視聽。”段落，將該句判斷 為負面句子，導致分類錯誤。

而在馬英九主題中，最好的方法是實驗 5(限定實驗句範圍+否定詞+問號+轉 折詞+逗號分段判斷)，N=4，也就是分析範圍為主題句前後四句的意見傾向，以 這九句的意見傾向代表文章整體的意見傾向，precision 值為 44.43%，recall 值為

51.66%。而馬英九主題最好的分類方法並非和學運主題一樣使用實驗 3 的方法，

原因是因為主題相關實驗結果影響，如果是以主題相關文章實驗擷取出的文章進 行實驗，會因為有些文章其實只是新聞文章而不包含極性，或者是文章和主題不 相關，導致分析錯誤，precision 值和 recall 值也無法有效提升，所以實驗文章除 了以主題相關文章實驗擷取出的文章外，本研究也列出以實際被標為有極性的文 章進行實驗的結果，如表三十八所示。

63

表三十八 以非監督式方法分析實際被標為有極性的文章之意見傾向實驗結果 學運主題 馬英九主題

實驗編號 實驗規定 Precision Precision

1 限主題句 31.10% 35.84%

1 整篇文章 34.45% 36.31%

2 限主題句 38.70% 37.09%

2 整篇文章 54.59% 50.39%

3 限主題句 46.76% 46.17%

3 整篇文章 57.72% 53.99%

4 限主題句 47.20% 46.32%

4 整篇文章 57.72% 52.58%

5 N=1 50.11% 47.73%

5 N=2 52.57% 50.39%

5 N=3 54.59% 49.77%

5 N=4 54.81% 50.39%

5 N=5 54.59% 50.23%

5 N=6 53.69% 49.30%

6 Vt 和 Vi 47.20% 45.07%

6 Vt 41.16% 39.59%

6 Vi 40.49% 41.00%

以實際被標為有極性的文章作為實驗文章的情況下，學運主題意見傾向分析 最好的方法是實驗 3(否定詞+問號+逗號分段判斷)和實驗 4(否定詞+問號+轉折詞 +逗號分段判斷)，分析範圍為整篇文章的句子，precision 值皆為 57.72%，增加轉

64

折詞判斷不影響結果。而馬英九主題最好的方法是實驗 3(否定詞+問號+逗號分段 判斷)，precision 值為 53.99%，但是加上轉折詞判斷的實驗 4，precision 值反而下 降為 52.58%，這也是因為表三十七實驗結果分析部分所提到的句子結構問題。在 排除主題相關實驗影響的情況下，學運主題與馬英九主題使用實驗 3 的方法為最 佳分類方法，所以先使用逗號分段，根據情感辭典給予極性，再加上否定詞判斷 和問號規則判斷，對於非監督式意見傾向分類是有幫助的。

(二) 監督式主題相關文章意見傾向分析結果

1. 監督式擷取主題相關文章結果

以監督式學習方法擷取主題相關文章的實驗方法如表三十九所示。

表三十九 特徵選取實驗方法

實驗方法 方法描述

SVM(TF-IDF) 計算詞彙的 TF-IDF 值進行特徵選取，由大至小排 序後，挑選前一半的詞彙。

SVM(CHI) 計算詞彙的 CHI 值進行特徵選取，由大至小排序 後，挑選前一半的詞彙實驗。

65

以學運為主題進行特徵選取的實驗，本研究以 TF-IDF 和 CHI 的公式擷取排 序前一半的詞彙，由於使用 10-fold Cross-Validation 實驗，所以會有十份測試資 料集，第一份至第九份測試資料集分別包含 191 篇文章，本研究列出每一份測試 資料的 precision，再以平均的 precision 進行比較，如表四十所示。

表四十 學運主題之特徵選取實驗結果

SVM(TF-IDF) SVM(CHI)

test data1 73.16% 78.00%

test data 2 80.10% 82.31%

test data 3 75.92% 77.65%

test data 4 73.30% 75.50%

test data 5 69.63% 70.13%

test data 6 69.63% 69.87%

test data 7 69.63% 69.03%

test data 8 69.63% 71.24%

test data 9 69.63% 72.47%

test data 10 66.49% 65.80%

average precision 71.71% 73.20%

66

由表四十的實驗結果顯示，以 CHI 公式進行特徵選取的平均 precision 較

由表四十的實驗結果顯示，以 CHI 公式進行特徵選取的平均 precision 較