第二章 相關文獻及相關方法
2.3 評估方法
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4. Spectral clustering
Spectral clustering 演 變 歷 史 悠 久 ， 首 先 Donath 等 人 提 出 使 用 特 徵 向 量 (eigenvectors)將圖(graph)進行分割；而 Fiedle 指出將圖進行雙分(bi-partitions)與 拉普拉斯圖(graph Laplacian)第二個特徵向量概念相近，因此 Fiedler 建議透過此 特 徵 向 量 將 圖 進 行 分 割 。 而 在 機 器 學 習(machine learning) 領 域中 ， Spectral clustering 透過 Shi、Ng…等的研究後逐漸變得熱門。
2.3 評估方法
在研究中透過 purity 評估不同分群數目、embedding 架構、embedding 模型及相 關句維度、窗口大小的下分群結果。並利用最優之分群結果，作為擷取目標詞彙 代表句之依據。同時，透過人工標記計算擷取代表句之 precision、recall、F1 以 及accuracy。以下分別說明，purity、precision、recall、F1 及 accuracy 之計算方 式。
I. Purity
Purity 用以表示群集之純度，其值界於[0, 1]，當一個不好的分群，亦即每個群集 中，資料點實際的類別彼此不相同，則purity 低；反之，當一個好的分群，亦即 每個群集中，資料點實際的類別彼此相同，則purity 高。Purity 計算方式如(5)，
其中有
N 個資料點，
1,
2, ,
k
代表k 個群， C c c
1,
2, , c
k
代表j
個類別。II. 二分類混淆矩陣
系統擷取代表句，根據人工標記其結果共可劃分為四種：
a. True Positive(TP)：將正類預測為正類個數。
b. False Positive(FP)：將負類預測為正類個數。
, 1
k jk j
purity C Max c
N
(5)‧
d. True Negative(TN)：將負類預測為負類個數。
表1 二分類混淆矩陣
在研究中，透過系統擷取代表句，並根據人工所標記之結果所得到之混淆矩 陣，作為衡量系統擷取代表句之準確度依據。
III. Recall
Recall 為擷取代表句之召回率。系統預測的類別，佔該所有類別之比例。計算方 式如(6)，為擷取代表句之 True Positive 總量除以 True Positive 以及 False Negative 數量之和。
IV. Precision
Precision 為擷取代表句之精確率。即擷取出的代表句中，系統預測類別的精確率。
計算的方式如(7)，為擷取代表句之 True Positive 總量除以 True Positive 以及 False Positive 數量之和。
V. Accuracy
Accuracy 為擷取代表句之精確率，即擷取所有代表句正確的比例。計算的方式如 (8)，為擷取代表句之 True Positive 總量以及 True Negative 除以 True Positive、
False Positive、False Negative、True Negative 數量之和。
實際
正類 負類
預 測
正類 True Positive False Positive 負類 False Negative True Negative
recall TP
‧
VI. F-measure
由於當擷取代表句的數目提高時，recall 會有較大的機會提高， precision 則會 有相對降低，反之，擷取代表句的數目降低時precision 可能會提高，但是 recall 可能會將低。因此透過 F-measure 則是用以衡量 recall 以及 precision 的平衡水 準，計算方式如(9)。其中當
1
時為F1。在評估擷取代表句時，會有多個類別 必須同時一起考量，為考量各類別數目不一致。而有macro average、micro average 及 weighted average 計算方式。其中假設有 𝑛 個類別，macro recall、macro precision、macro average 計算方式如(10)、(11)、(12)。micro recall、micro precision、micro average 計算方式如(13)、(14)、(15)。
weighted recall、weighted precision、weighted average 計算方式如(16)、(17)、(18)，
其中
c
i為類別i 之項目個數。
Macro average 2
Macro recall Macro precision Macro recall Macro precision
(12)Micro precision 1
1 1
Micro recall 1
1 1
Micro average 2
Micro recall Micro precision Micro recall Micro precision
(15)Weighted precision 1
n
‧
VII. Silhouette Coefficient
一個好的分群模型須具備二特點：第一點為群集內的相似性高；第二點為群集 間的相似性低，而輪廓係數(silhouette coefficient)是由 Rousseeuw[27]提出，其中 無須人工標記之答案，透過計算群集中群集間距離與群集內距離的相對大小，
Weighted recall 1
1
Weighted average 2