第三章 研究方法
3.6. 評價方法
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(2) 決策樹分類器部分：
C4.5決策樹其核心演算法對ID3決策樹演算法做了幾點改進：
C4.5 決策樹方法用資訊獲取比率(Gain Ratio)來選擇屬性，克服了用資訊 獲取量(Information Gain)選擇屬性時偏向選擇擁有許多不同數值的屬 性。
在 C4.5 決策樹方法構造過程中，若分支過多會進行剪枝而 ID3 不會進行剪 枝。
改進 ID3 無法處理連續性資料的缺點，C4.5 可處理離散及連續型資料。
能夠處理有缺失值的資料。
本研究使用 C4.5 決策樹作為分類演算法。參考 Drazin and Montag(2012)的決 策樹分析研究，適當的修剪決策樹可以增加分類準確率，另外，降低訓練資料的 置信因子(Confidencefactor)不僅能減小樹的大小，也有助於過濾掉統計上不相 關的節點。故本研究利用 5-fold 交叉驗證法進行參數 MinNumObj與
Confidencefactor 的選擇，做為建構分類器之參數依據。決策樹學習方法限制
為取離散值的屬性，決策樹要預測的目標屬性必須是離散的，樹的內部節點的屬 性也必須是離散的，本研究目標屬性(Y/N)為離散無問題，但內部節點的屬性，
各式指標皆為連續性的數值，這部分則需透過動態地定義新的離散值屬性來實現，
即先把連續值屬性的值域分割為離散的區間集合。
3.6.評價方法
為探討影響股價完全填權息之重要因素與建立股價填權息與否之預測模型，評估 模型預測能力的方式為利用混淆矩陣(Confusion Matrix)，計算出準確率 (Accuracy)、真正率(True Positive Rate)、精確率(Precision)、F 值(F-Measure)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
等值，對模型進行檢驗。
(1) 混淆矩陣(Confusion Matrix)：
混淆矩陣(表 3.4)又稱分類矩陣，主要用於比較分類結果和實例的真實狀況，將 樣本預測分類的結果表示於行，樣本實際分類表示於列，所形成之矩陣，易於計 算、分析預測結果。
表 3.4：混淆矩陣，資料來源：Fawcett(2006)
表 3.4 中實際類別樣本數總合等於每行總合：Positive 類別的實際總樣本數，
為正確歸類(True Positives,TP)加上實際為 Positive 類別但是模型預測錯誤歸 類到 Negative 類別(False Negatives,FN)的總合；反之，Negative 類別的實際 總樣本數，為正確歸類(True Negatives,TN)加上實際為 Negative 類別但是模型 預測錯誤歸類到 Positive 類別(False Positives,FP)的總合，各類別樣本總數 計算方式：
Positive 類別樣本總數＝TP + FN (3.2)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
Negative 類別樣本總數＝FP + TN (3.3)
(2) 準確率(Accuracy)：
為分析整體模型預測準確率之指標，代表的意思是所有的項目中符合正確分類的 比例。TP+TN 相加為模型所有預測為正確歸類之樣本數,而 TP+FP+FN+TN 代表總 樣本數，將正確歸類的樣本數相加除以種樣本數即為預測準確率：
準確率(Accuracy)＝TP+FP+FN+TNTP+TN (3.4)
(3) 真正率(True Positive Rate)：
也稱作召回率(Recall)，代表實際類別中，模型預測正確之比率，舉例在表 3.3 中 Positive 類別和 Negative 類別的真正率計算式如下：
Positive 類別之真正率＝TP+FNTP (3.5)
Negative 類別之真正率＝FP+TNTN (3.6)
(4) 預測精確率(Precision)：
代表模型預測的類別中，模型預測正確之比率。與召回率相比，召回率的樣本母 數是實際類別的樣本數;而預測精確率的樣本母數是預測類別的樣本數。舉例在 表 3.4 中，Positive 類別和 Negative 類別的預測準確率計算如下：
Positive 類別之預測精確率＝TP+FPTP (3.7)
Negative 類別之預測精確率＝FN+TNTN (3.8)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(5) F 度量（F-measure）：
是一種同時兼顧預測精確率與召回率的度量方式，考慮了模型能找到該類別正確 樣本之比率，同時也考慮模型將樣本分類為該類別之精確率，為預測精確率與召 回率的調和平均數。我們亦可以加入參數來強調預測精確率或召回率。在本研究 中 F 度量之計算如下：
F 度量＝2∗precision∗recall
precision+recall (3.9)
一般評估模型時，如果只考慮準確率，易於類別的資料量懸殊時，誤判模型的效 度，考慮如下情況：有一數量為 1,000,000 的樣本群，TRUE 的數量只有 100，而 其餘全是 FALSE，有一模型預測全部都 return FALSE，準確率會是很高的 99.99%，
但這是一個好的預測模型嗎?答案是否。在評價模型時，「預測精確率」和「召回 率」這兩個度量值被廣泛用於分類領域，若以剛才的例子，TRUE 的預測精確率、
召回率則會是 0，對於我們預測 TRUE 的效果並不好。以此論述，本研究評估完 全填權息成功與否的模型時，除了準確率外，成功填權息類別的預測精確率、召 回率也是重要的參考度量值，「F 度量」調和平均了這兩項度量值，為簡化比較 方法，也參考 F 度量當作衡量指標。