第三章 研究方法
第三節 評鑑指標
一、模式適合度
模式選擇(Model Selection)是指實驗設計者常需選擇最合適描述觀測的 資料模式,而這些模式參數往往並不一致,理論上參數越多越能精確的描述資 料(張立邦,2003)。模式評估至少有兩種模式適配(Tanaka, 1993):模式的絕 對適配(absolute fit)以及模式的比較適配(comparative fit);模式的比較適配 的評估又可進一步區分為「比較適配」及「精簡適配」(parsimonious fit)(周子 敬,2006),而 Akaike 的訊息準則,簡稱 AIC 即屬於精簡適配測量的一種。適 合度是指誤差的大小,也就是估計的誤差值愈小,其參數估計的精準度愈準確,
本研究以 Akaike 的訊息準則 AIC 與 Schwarz(1978)提出的貝氏資訊準則做為 評估指標。
Akaike在1974年提出一個最大概似原則的擴充方法,稱為AIC(Akaike’s Information Critorion),他加入了一個代表模式維度(參數)懲罰項(penalty term)
來解決上述問題,他建議分別計算不同模式的最大概似值(Maxima Likelihood value),最後選擇能使 為最大的模式,其中q代表模式的維度(參 數),即是所謂的懲罰項。
:最大可能性參數的估計,即最大概似估計值。
:在模式中的獨立調整的參數數目
因此就AIC 值來說,越小則表示模式的適合度(Goodness-of-Fit)越佳。
Akaike(1978)提出另一個BIC(bias-correctedAkaike’s information criterion)
準則來修正AIC準則過度配適的問題,BIC準則往往在樣本數較大時,正確選取
32
本研究以 Akaike's information criterion(AIC)與 Schwarz Bayesian
information criterion(BIC)做為評估指標。AIC 與 BIC 的值越小,代表認知診 斷模式的適合度越高。
二、診斷辨識率
診斷辨識率是用來估計受試者的認知屬性狀態是否與模擬樣本資料的認知 屬性狀態一致,在這樣的概念之下,診斷辨識率是指判斷的正確性,也就是判 斷的百分比愈高,其估計的結果愈準確。
本研究以整體辨識率(pattern correct classification rate, PCCR)、概念辨識率
(attribute correct classification rate, ACCR)作為評估指標,藉以獲得模式估計 時的精準度,指標之計算方法如下:
(一) PCCR
( ) (3)
N :樣本數 I :指示函數
33
:受試者 i 的所有概念估計狀態
:由專家診斷受試者 i 的所有概念狀態。
(二) ACCR
( ) (4)
N :樣本數 I :指示函數
:受試者 i 的概念 k 估計狀態
:由專家診斷受試者 i 的概念 k 狀態。
三、標準差
標準差(Standard Deviation),在機率統計中最常使用作為統計分佈程度
(statistical dispersion)上的測量,是表示一群資料的變異情形,測量內部一致 性的方法,測量一組數值自平均值分散開來的程度(郭生玉,2000)。公式如下:
s=
本研究以實徵資料不同認知屬性在 DINA、HO-DINA 與 G-DINA 三種模式 的通過率所得排序值,再利用 EXCEL 計算公式 STDEV 來計算 DINA、HO-DINA 與 G-DINA 三種模式排序的標準差,藉以比較在 DINA、HO-DINA 與 G-DINA 三種模式下,那幾個認知屬性的排序有較大的差異,再將其這幾個標準差較大 的概念,和專家研判的排列順序值作一比較,找出較合理的認知診斷模式來進 行檢測。
34