ROUGE-L 與修正後的 LCS 公式實驗

重新上傳剽竊文集的75篇文件與未剽竊之文集的25篇文件至系統比對後，在 門檻值0.5、0.6、0.7、0.8，其ROUGE-L與修正後LCS公式之正確率趨勢圖，如 圖 13、圖 14 所示：

圖 13：ROUGE-L正確率趨勢圖

圖 14：修正後LCS的正確率趨勢圖

33

將圖 13、圖 14 比較，趨勢線相當相似，但在門檻值0.8之紫色線，修正後 LCS正確率之趨勢線震盪幅度依然很大，其偵測效率不如於ROUGE-L佳，這是 由於ROUGE-L在部份相似的句子計算的相似度分數會高於修正後LCS公式；但 在某些情況下，某些關鍵字的出現沒有意義(字數短又不連續)，爾後又出現一串 較長的連續關鍵字，且關鍵字之間的距離差異大時，修正後LCS會優於

ROUGE-L，上述兩種情況舉例於表 15。門檻值0.5、0.6、0.7之藍色、紅色、綠 色趨勢線並無太大的差異，整體而言，正確率最高的還是門檻值0.5；圖 15、圖 16 為ROUGE-L及修正後LCS各門檻值的假警報機率，可看出其假警報與正確率 趨勢依然是相反的，其門檻值越高，假警報機率越低，但相對於圖 11 的未經修 正的LCS公式的假警報機率實驗結果，明顯看出ROUGE-L與修正過LCS公式的假 警報趨勢圖平坦許多，整體的假警報機率降到0.2以下，大幅改善假警報的情形。

表 15 ROUGE-L與修正後LCS計算相似度分數之例子

部份相似的情況：

上傳之候選句子：“公文只是請當事人到局來說明。”

Google傳回之參考句子：“公文只是請當事人到”

其LCS長度為9，ROUGE-L分數為0.78；修正後LCS分數為0.64。

關鍵字的出現沒有意義的情況：

上傳之候選句子：“不過國稅局所發出公文受文者寫的竟然是「飯糰」，”

Google傳回之參考句子：“飯糰的老夫婦，由於未辦理營業登記， 被國稅局 開單告發，不過國稅局所發出公文受文者寫的竟然是”

其LCS長度為15，此例中，飯糰的出現因為為非連續的關鍵字所以沒有意義。

ROUGE-L分數為0.54；修正後LCS分數為0.78。

34

圖 15：ROUGE-L的假警報趨勢圖

圖 16：修正後LCS的假警報趨勢圖

概觀其兩種公式的實驗結果，其平均正確率與平均假警報機率如表 16 與表 17 所示，其假警報的機率大幅的降低至0.05以下；但由於修正了整體的假警報 機率，其整體正確率也向下修正，但皆有在八成以上，其適宜的門檻值為0.6，

可達到系統的最佳偵測效率。

35

表 16 兩種公式的各門檻值之平均正確率

未經修正的LCS ROUGE-L 修正後LCS 門檻值0.5-平均正確率 0.93 0.88 0.89

門檻值0.6-平均正確率 0.90 0.86 0.87 門檻值0.7-平均正確率 0.86 0.85 0.84 門檻值0.8-平均正確率 0.72 0.80 0.71

表 17 兩種公式的各門檻值之平均假警報機率

未經修正的LCS ROUGE-L 修正後LCS 門檻值0.5-平均假警報機率 0.31 0.03 0.05

門檻值0.6-平均假警報機率 0.15 0.02 0.02 門檻值0.7-平均假警報機率 0.05 0.01 0.01 門檻值0.8-平均假警報機率 0.02 0.01 0.01