第五章 實驗結果與分析
5.2 實驗分析
1 Membership
Degree
MCW_High MCW_Medium
MCW_Low
0 Mapped
Weight
m
MCW1m
MCW2−α
MCW2m
MCW1+β
MCW1m
MCW2m
MCW3−α
MCW3m
MCW2+β
MCW2m
MCW3圖 5-1 新聞文件與 Ontology 對應後之 MCW 的模糊集合
2. MSRPL 模糊數參數值，如表 5-2，圖 5-2 所示
表 5-2 模糊變數 MSRPL 的模糊數參數值
m α β
MSRPL_High
8 4 0MSRPL _Medium
3 2 2MSRPL _Low
0 0 21 Membership
Degree
MSRPL_High MSRPL_Medium
MSRPL_Low
0 Mapped
Length
m
MSRPL1m
MSRPL2−α
MSRPL2m
MSRPL1+β
MSRPL1m
MSRPL2m
MSRPL3−α
MSRPL3m
MSRPL2+β
MSRPL2m
MSRPL3圖 5-2 新聞文件與 Ontology 對應後之 MSRPL 的模糊集合
2. MSRPW 模糊數參數值，如表 5-3，圖 5-3 所示
表 5-3 模糊變數 MSRPW 的模糊數參數值
m α β
MSRPW_High
2 0.6 0MSRPW_Medium
1 0.7 0.7MSRPW_Low
0 0 0.61 Membership
Degree
MSRPW_High MSRPW_Medium
MSRPW_Low
0 Mapped
Length Weight
m
MSRPW1m
MSRPW2−α
MSRPW2m
MSRPW1+β
MSRPW1m
MSRPW2m
MSRPW3−α
MSRPW3m
MSRPW2+β
MSRPW2m
MSRPW3圖 5-3 新聞文件與 Ontology 對應後之 MSRPW 的模糊集合
5.2.2 實驗結果與分析
在實驗結果與分析部份，我們採取分析精確率(Precision)與召回率(Recall)的 方式，同時為了可能產生高精確、低召回或是高召回、低精確的情形，我們也計 算 F-Measure 來評估與其它分類方式效果上的差異，首先我們將分類完成的文件 分為 4 部份(如表 2-1)[24]，而我們計算的精確率與召回率分別為：
b a call a
= +
Re (5-1)
c a ecision a
= +
Pr (5-2)
ecision call
ecision F call
Pr Re
Pr
* Re
* 2
= + (5-3)
實驗中，我們除了採用本論文所提之語意關係路徑(SRP)方法，另外也分析 另一種由 Lee 提出的基於 Ontology 架構的模糊分類方式[30]。在分類的結果中可 以發現，本論文提出的分類方式普遍會有較佳的分類效果。另外在氣象與運動類 別的分類上有較好的召回率與精確率，在社會新聞上的分類結果較其它類別為 低，分析的結果大致是由於社會新聞常容易與其它新聞重疊，例如地方建設、地 方教育、樂透彩新聞、或是地方環保新聞等，都比較容易被錯誤判定為政治或財 經等類別，未來應該可以針對社會領域 Ontology 做更詳細的建構與描述，以加 強社會新聞類別的分類效果。
4000筆訓練資料
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
SRP正確率 Lee正確率
圖 5-4(a) 4000 訓練資料的正確率
1000筆測試資料
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
SRP正確率 Lee正確率
圖 5-4(b) 1000 訓練資料的正確率
政治(Training)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-5(a) 800 筆政治新聞分類效果
社會(Training)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-5(b) 800 筆社會新聞分類效果
氣象(Training)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-5(c) 800 筆氣象新聞分類效果
運動(Training)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-5(d) 800 筆運動新聞分類效果
財經(Training)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-5(e) 800 筆財經新聞分類效果
政治(Testing)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-6(a) 200 筆政治新聞分類效果
社會(Testing)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-6(b) 200 筆社會新聞分類效果
氣象(Testing)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-6(c) 200 筆氣象新聞分類效果
運動(Testing)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-6(d) 200 筆運動新聞分類效果
財經(Testing)
50%
60%
70%
80%
90%
100%
第一次 第二次 第三次 第四次 第五次
Recall Precision F-measure
圖 5-6(e) 200 筆財經新聞分類效果