第四章 實證分析
第四節 建言與回覆之關聯性
一. 潛在語意分析 Latent semantic analysis
透過潛在語意分析來進行文章與文章的相似度,若回覆者有真正回答建言者 測試資料(Testing Data)的概念,將校務建言資料共 4622 筆資料,依「80:20」比 例,利用隨機亂數的方法,分割為「訓練資料:測試資料」,也就是各「3697:925」
詞彙權重計採用 Log-Entropy 並降維至 100 維、詞彙權重計採用 Log-Entropy 並降 維至 300 維。
接著,利用 VSM (Vector Space Model)求兩向量的夾角(餘弦值),即可求 利用 Pearson 相關係數、Spearman 等級相關、Kendall 等級相關及 Kappa 統計量,
用以判斷 LSA 的餘弦值與人工判斷的結果是否有關,檢定結果如表 4-4-3。
由結果得知,不論在維度為 100 維或是 300 維,餘弦種類一或是二的情況下,
所有相關分析的指標,在 95%信賴區間下其值皆不包含 0,也就是拒絕虛無假設。
因此,可知 LSA 的餘弦值與人工判斷的結果是有相關的。LSA 的餘弦值可做為日 後評斷回覆者是否有回覆到建言者的建言內容之重要指標。
表 4-4-2 餘弦值等級劃分
等級 餘弦值種類一 餘弦值種類二 人工判斷標準
1 0.0-0.2 0.0-0.25 完全離題
2 0.2-0.4 0.25-0.5 含糊不清回應
3 0.4-1.0 0.5-1 有清楚回應
表 4-4-3 相關分析之結果
維度及種類 相關指標 指標值 95%信賴區間
100 維_餘弦值種類一 Pearson 0.2055 (0.0708,0.3403) Spearman 0.1392 (0.0231,0.2553) Kendall 0.1357 (0.0229,02485) Kappa 0.1243 (0.0202,0.2284) 100 維_餘弦值種類二 Pearson 0.1843 (0.0639,0.3048) Spearman 0.1387 (0.0322,0.2452) Kendall 0.1345 (0.0314,0.2377) Kappa 0.1169 (0.0272,0.2066) 300 維_餘弦值種類一 Pearson 0.1918 (0.0589,0.3247) Spearman 0.1313 (0.0187,0.2439) Kendall 0.1277 (0.1200,0.2370) Kappa 0.1234 (0.0207,0.2261) 300 維_餘弦值種類二 Pearson 0.1496 (0.0314,0.2677) Spearman 0.1044 (0.0011,0.2077) Kendall 0.1007 (0.0010,0.2003) Kappa 0.0899 (0.0069,0.1729)
第五節 情緒分析
透過情緒分析來判斷建言者(學生)與回覆者(校方)兩者在溝通的過程 中,兩方的情緒是否達到理性的溝通。
本研究透過「建立情緒字彙」的方法來進行情緒分析,利用台灣大學自然語 言處理實驗室由所建立的語意辭典,其將詞彙分為正面及負面情緒,總共一萬多 筆詞彙。若假設文章中有一詞彙出現在正面情緒的辭典中記為+1,反之則記為-1。最後計算此文章的總得分數,若分數大於 0 表此文章為正面情緒,等於 0 為 中立情緒,小於 0 則代表負面情緒。將情緒簡化至三大類別,分別為正面、中 性、負面,以試圖捕捉建言者與回覆者的兩方情緒。
研究結果如圖 4-5-1 所示,共分析 4622 篇建言內容及回覆內容。從圖 4-5-1 中 明顯得知,學生在提出建言時情緒較為負面,其比例為 52%;而學校在回答學生的 建言時,多以正面的情緒回應學生,其比例高達 75%。
圖 4-5-1 情緒分析結果
接著,本研究進行對等性檢定,針對同一篇建言,建言者與回覆者間的情緒 是否是一致的,結果如表 4-5-1 所示。結果其 P-value<0.0001,故兩者是不對稱 的,情緒上是不一致的。
表 4-5-1 情緒分析之 3×3 列聯表 學生
學校 正 中立 負 和
正 1688 519 1270 1270
(75.22%)
中立 0 0 303 303
(6.56%)
負 0 0 842 842
(18.22%)
和 1688
(36.52%)
519 (11.23%)
2415
(52.25%) 4622
統計值 對稱性檢定 P-value <0.0001