第三章 研究方法
第三節 U-Sampling 評估
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
的數值，也就是說本研究用的資料必須是原先完整，但經過我們抽樣之後用不同 比例的遺失值取代之。
另外，由於本研究並沒有考慮到不同特徵值間的成本差異，因此的資料並沒 有提供每項特徵值的成本，且現有文獻對於特徵值的取得成本的模擬與分析也沒 有一致的看法，因此，本研究將假設資料的所有取得成本一樣。
本方法還有一個應用上的限制，由於計算 Uncertainty Score 需要一定數量的 完整資料，所以本方法不能使用在完全沒有歷史紀錄的資料庫。
第三節 U Sampling 評估
本研究除單純了解使用 U Sampling 方式建立的模型的分類能力外，我們也 以相同的資料測試 Random Sampling 和 Error Sampling 兩種方式的表現，並分 析不同型態的資料中各個模型的適用程度與準確度差異，以下將針對模型評估的 各項標準與重點詳細的介紹，
3.3.1 評估指標
1. 排序的穩定程度
在本研究中每次將一整個欄位資料的 50%替換成遺失值，測量每個欄位的特 徵值重要順序，但如果用其他遺失比例來替換成遺失值，排序或許會有些更 動，所以必須確定整體排名的趨勢不能變動太大，因此我們將會使用不同的 遺失值比例去檢視排名的穩定性。
2. 準確率( Accuracy)
當訓練資料(training data)每填入一個遺失值後，使用測試資料(test data)檢驗 模型分類的準確程度。使用平均準確率進行比較。
3. 平均錯誤減少率(Average Error Reduction Rate)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
24
過去相關文獻多以「準確率(accuracy rate)」衡量預測模型的分類表現好壞，
即當訓練集合(training data)每填入一定數量的遺失值後，使用測試集合(test data) 測量預測模型分類的準確度，繼而從中判斷表現好壞。
在比較不同方式的填值方式時，我們參考 (Saar-Tsechansky et al., 2009)提出 的「平均錯誤減少率(average percentage error reduction)」評估。假設現在有 A、
B 兩種方法去填值，分別可產生 RA、RB的準確率，則 B 方法以 A 方法為基準的 錯誤減少率等於(RB-RA)/(1-RA)。除此之外，同時我們也使用配對樣本 T 檢定，
分析每個選值動作時使用 A 方式和 B 方式所建立的模型的錯誤率是否有顯著差 異(p<0.05)。第四章的研究結果將附上每組資料使用不同方式建立的學習曲線圖 與平均失誤差減少率。
3.3.2 檢驗方式
1.
不同遺失比例檢驗排序穩定度在 U-Sampling 當中我們分別以 0.1、0.3、0.5 的遺失比例去測量 Uncertainty Score 的變化大小排序，觀察在不同的遺失比例是否會對排序造成顯著的影 響。
2. 10 折交叉驗證 (10-fold cross validation)
訓練資料建立的模型若是自己測試本身的準確率，將會產生過度配適(over fitting)的問題，為了避免這的問題，我們使用 K 折交叉驗證。K 折交叉驗證是先 將數據分割成 K 個子樣本，一個單獨的子樣本保留為驗證模型表現的數據(測驗 集合 test data)，其他 K-1 個樣本用來訓練模型的建立(training data)，並且交叉重 複驗證 K 次。每個子樣本都會有一次機會當成測試資料，最後平均 K 次結果為 我們的判定準確程度的指標。 (Kohavi, 1995)提到 10 折交叉驗證是最好的預測
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
25
模型準確率方法之一，因此本研究將會使用 10 折交叉驗證法驗證模型的預測能 力。
在第一個實驗中，我們對一個檔案進行 4 次的 10 折交叉驗證，訓練資料的 遺失比例分別為 0.1、0.3、0.5。紀錄在不同遺失比例下，訓練資料在依照不同方 法填補遺失值時，其預測準確率的變化。
在第二次實驗中，我們把每個檔案的測試資料的 70%用遺失值取代，並且記 錄其在不同的填值方法下，其預測準確率的變化。
3.3.3 和 Random Sampling、Error Sampling 的比較
我們將所提出的 U-Sampling 方式與 Random Sampling 和 (Melville et al., 2004)等學者發表的 Error Sampling 兩種方式進行比較。和 Random Sampling 比較 是想要觀察 U-Sampling 和不花任何額外成本的 Random Sampling 方式比較，觀 察其進步的幅度。
與 Error Sampling 比較的目的在於我們提出的方法是否會比當前流行的改善 方法更有進步。
3.3.4 不同資料型態比較
1.
訓練資料的遺失比例不同決策樹預測模型在不同的遺失比例下會有不同的表現，其填值的方法也可能 因此表現優劣不一，所以我們在實驗中用不同的遺失比例(10%、30%、50%)去 檢視不同的方法及其相對應的準確率表現。
‧
該資料是從受試者進行生醫聲音檢驗(biomedical voice measurements)，從不同的聲音檢測了解哪些人罹患帕金