• 沒有找到結果。

分類器分類效果差異檢定

4. 實驗結果與分析

4.5 分類器分類效果差異檢定

(2). 分類器為貝式機率時:

此實驗同實驗一之特徵比例權重方法實驗,參照實驗一數據。

(3). 分類器為支持向量機時:

以支持向量機為分類器時,其分類準確率平均值為 90.1%,值域分佈在 87%

到 100%之間,標準差為 0.046,極大值為 99.1%。召回率的部分平均值為 90.%,

值域分佈在 87%到 100%之間,標準差為 0.046,極大值為 99.1%。F 值平均數為 90%,標準差 0.047,極大值為 99.1%。

圖 28 支持向量機之分類效果 資料來源:本研究繪製

表 19 支持向量機分類統計值

準確率 召回率 F 值

平均數 0.901 0.9 0.9

標準差 0.046 0.046 0.047

極大值 0.991 0.991 0.991

資料來源:本研究整理

實驗分析

本實驗旨在比較分類器對於期刊論文文件分類之效果差異。

表 20 各種分類器分類效果之比較

決策樹 貝式機率 支持向量機 抽樣分配

準確率平均 0.778 0.856 0.901 0.712 召回率平均 0.747 0.852 0.9 0.682 F 值平均 0.752 0.852 0.9 0.697

資料來源:本研究整理

(1). 各分類器之準確率:

圖 29 不同分類器之分類準確率比較 資料來源:本研究繪製

令 、 、 與 分別表示決策樹、貝式機率分類器、支持向量機與抽樣分 配分類器之分類準確率,假設檢定如下:

檢 一 支持向量

: 支持向量機分類準確率與貝式機率分類器分類準確率無差異 定 : 機與貝式機率分類器

0

: 0 支持向量機分類準確率較貝式機率分類器分類準確率高

以 t 檢定分析,計算得 t 值為 3.03 大於臨界值 1.812,故拒絕虛無假設,即使 用支持向量機進行分類,其分類準確率優於貝式機率分類器。

檢 二 貝式機率

: 貝式機率分類器分類準確率與決策樹分類準確率無差異

定 : 分類器與決策樹

0

: 0 貝式機率分類器分類準確率較決策樹分類準確率高

以 t 檢定分析,計算得 t 值為 5.28 大於臨界值 1.812,故拒絕虛無假設,即使 用貝式機率分類器進行分類時,其準確率優於決策樹。

檢 三 決策樹與

: 決策樹分類準確率與抽樣分配分類器分類準確率無差異

定 : 抽樣分配分類器

0

: 0 決策樹分類準確率較抽樣分配分類器分類準確率高

以 t 檢定分析,計算得 t 值為 4.95 大於臨界值 1.771,故拒絕虛無假設,即決 策樹分類準確率較抽樣分配分類器佳。

(2). 各分類器之召回率:

圖 30 不同分類器之分類召回率比較 資料來源:本研究繪製

令 、 、 與 分別表示決策樹、貝式機率分類器、支持向量機與抽樣分配 分類器之分類召回率,假設檢定如下:

檢 一 支持向量

: 支持向量機分類召回率與貝式機率分類器分類召回率無差異 定 : 機與貝式機率分類器

0

: 0 支持向量機分類召回率較貝式機率分類器分類召回率高

以 t 檢定分析,計算得 t 值為 3.171 大於臨界值 1.812,故拒絕虛無假設,即使 用支持向量機進行分類,其分類召回率優於貝式機率分類器。

檢 二 貝式機率

: 貝式機率分類器分類召回率與決策樹分類召回率無差異

定 : 分類器與決策樹

0

: 0 貝式機率分類器分類召回率較決策樹分類召回率高

以 t 檢定分析,計算得 t 值為 6.154 大於臨界值 1.812,故拒絕虛無假設,即使 用貝式機率分類器進行分類時,其召回率優於決策樹。

檢 三 決策樹與

: 決策樹分類召回率與抽樣分配分類器分類召回率無差異

定 : 抽樣分配分類器

0

: 0 決策樹分類召回率較抽樣分配分類器分類召回率高

以 t 檢定分析,計算得 t 值 2.818 為大於臨界值 1.812,故拒絕虛無假設,即決 策樹分類召回率較抽樣分配分類器佳。

(3). 各分類器之 F 值:

圖 31 不同分類器之分類 F 值比較 資料來源:本研究繪製

令 、 、 與 分別表示決策樹、貝式機率分類器、支持向量機與抽樣分配 分類器之分類 F 值,假設檢定如下:

檢 一 支持向量

: 支持向量機分類 F 值與貝式機率分類器分類 F 值無差異 定 : 機與貝式機率分類器

0

: 0 支持向量機分類 F 值較貝式機率分類器分類 F 值高

以 t 檢定分析,計算得 t 值為 3.146 大於臨界值 1.812,故拒絕虛無假設,即使 用支持向量機進行分類,其分類 F 值優於貝式機率分類器。

檢 二 貝式機率

: 貝式機率分類器分類 F 值與決策樹分類 F 值無差異

定 : 分類器與決策樹

0

: 0 貝式機率分類器分類 F 值較決策樹分類 F 值高

以 t 檢定分析,計算得 t 值為 6 大於臨界值 1.812,故拒絕虛無假設,即使用 貝式機率分類器進行分類時,其 F 值優於決策樹。

檢 三 決策樹與

: 決策樹分類 F 值與抽樣分配分類器分類 F 值無差異

定 : 抽樣分配分類器

0

: 0 決策樹分類 F 值較抽樣分配分類器分類 F 值高

以 t 檢定分析,計算得 t 值為 3.26 大於臨界值 1.833,故拒絕虛無假設,即決 策樹分類 F 值較抽樣分配分類器佳。

小結與討論

(1). 小結

根據分析結果,發現本研究選擇之分類器其準確率、召回率以及 F 值,皆以支 持向量機分類效果最佳,其次為貝式機率分類器,第三為決策樹,最後是抽樣分 配分類器。

(2). 討論

對於分類器之分類效果而言,支持向量機如文獻所述,適合用來進行分類。

其分類效果,包含準確率與召回率,其平均數可達 90%以上,部分類別分類效果 可達 100%,為相當優良之分類器。貝式機率雖然分類效果不如支持向量機,但其 平均分類準確率也可達到 85%左右的水準,加上計算方便與迅速的條件,貝式機 率分類器仍為相當適合應用於文件分類。決策樹分類器在期刊論文分類上效果較 貝式機率與支持向量機低,平均準確率為 0.778。推測其原因在於決策樹演算法本 身對連續性數值分類效果不彰。

相關文件