• 沒有找到結果。

第二章 文獻探討

第三節 可能值方法

試題反應模式中,無法直接觀察到個體的能力值,亦即表示個體能力的測量 含有不確定性;而在計算群體統計量和相關連的標準誤時,應考量這些不確定性

(Allen, Donoghue, & Schoeps, 2001; Mullis, Martin, & Foy, 2008; OECD, 2009)。

而 PV 法是從後驗分布中隨機抽取學生的可能值,則能考量到上述提及的不確定 性;而且 PV 法並沒有先估計個體的能力再計算群體參數,而是直接估計母群的 參數,這樣可以使參數的估計更為精準(Mislevy & Sheehan, 1989)。

PV 法是以潛在迴歸模式,加入學生答題反應和相關條件變項後計算每一位 學生的後驗機率分布,並從後驗分布中隨機抽取學生的可能值,以利於次級資料 分析者使用。當模式被正確界定時,可能值可以提供群體參數的一致性估計,但 並非個 體能 力的 不 偏估計 ,使 用可能 值的平 均並 不能代 表個別 學生 的能力

(Mislevy, et al., 1992)。

試題反應模式為條件機率的模式,它描述了以能力值θ 為條件而產生試題反 應的過程。此模式完整的定義需要界定能力值 θ 的密度函數 fθ( αθ; )。令 α 為 θ 分布的參數集。當定義單向度邊際試題反應模式(uni-dimensional marginal item response models),常假設抽樣的受試者是來自於一個常態分布的母體,其平均數 為μ,變異數為2。也就是:

Adams(1997)等人使用迴歸模式YjT取代平均數μ,假設有 u 個輔助變項,

步驟三:能力值從一個常態分布(平均j、變異數 σ)獨立抽取,此步驟重複五 次,每一位學生產生 5 個j的差補值,受試者雖然被施測較少的題數,

但是受試者的β 和 σ 是固定的,因此所有的受試者不管施測的題數都被 指定一組可能值。

貳、可能值方法之優點

Adams, Wilson & Wu (1997)指出利用 PV 法估計母群參數時,有下列四個優 勢:

一、利用學生答題反應直接估計母群體的參數,可以避免先估計個體能力,再以 估計值計算母群體參數這種兩階段步驟所衍生出來的估計誤差(Mislevy, 1984)。

二、納入學生背景變項進行參數估計,可以有效降低試題參數的估計誤差(Mislevy, 1984; Mislevy & Sheehan, 1989)。

三、納入學生背景變項進行估計,亦可以提高個別能力估計的精確度(Mislevy, 1984)。

四、若給予學生哪一題試題施測時考慮學生的背景變項,則在估計試題參數就應 該考慮這些背景變項,才能確保試題參數估計的一致性(Mislevy & Sheehan, 1989)。

參、大型測驗資料分析時未使用或誤用可能值方法造成的影響

一般而言,在大型測驗資料的分析上常遇到兩種錯誤的資料分析方式,一種 是以傳統的點估計方法進行估計,一種是錯誤的可能值使用方式,分別說明如下:

一、傳統的點估計方法進行估計產生估計偏誤

目前國內許多大型測驗相關研究,大多是直接計算個別受試者能力值的平均 與變異,並未使用 PV 法進行分析,例如洪碧霞、林素微、林娟如(2006)即是 將 TASA 數學科施測資料採用上述方式進行分析研究。有學者研究指出,利用傳 統點估計方式去推論群體參數容易造成偏誤(Mislevey, 1991; Mislevy, et al., 1992;

OECD, 2005; Lee, et al., 2007)。此外,von Davier, Gonzalez, & Mislevy(2009)

比較了傳統的點估計方法,最大概似估計法、期望後驗估計法以及 PV 法間的估 計效果,發現 PV 法對於回復群體參數有較好的回復性。Wu(2005)比較點估計 方法與 PV 法,在估計母群平均數時兩種方法並沒有明顯的差異,但在變異數估 計中,PV 法得到較好的結果。此外,王敏嫻(2011)的研究發現,在 BIB 與 NEAT 的水平等化連結的情境中,PV 法在群體能力平均數的估計效果上與其它點估計 方法比較起來差異不大,但是在群體能力標準差的估計上則明顯較佳。

二、錯誤的可能值使用方式導致估計偏誤

PV 正確的使用方法(PV_R)是將 5 個 PV 個別的用來計算 PV 的平均後,

再將此 5 個平均數進行估算;而 PV 錯誤的使用方法(PV_W)則是直接將針對 每個受試者所抽出的 5 個 PV 直接加以平均進行估算。以上這兩種方法雖然在估 算群體平均數時結果相當接近,但是在估算群體標準差時 PV_W 就會產生較大的 偏差(von Davier, et al., 2009)

相關文件