本研究主要以「估計值標準化」的方式讓參數估計值與真值能在同一個基準 點上,並進而比較在水平等化與垂直等化的情境下,不同的獨變項對 GRM 模式 下測驗等化估計有何影響。本章針對研究結果進行分析與整理,並做出本研究之 結論與建議,以供後續研究之參考。
第一節 結論
壹、依據「估計值標準化」的方式,可讓參數估計值與真值在同一個基準點上,
並進而推算能力與試題參數估計值之誤差。
貳、本研究設計中欲探討能力分配相同的兩群受試者,在不同的人數分配、測驗 長度、定錨題比例,以及不同的等化方法等四個獨變項下,以「估計值標準 化」等化步驟進行等化的效果優劣之比較,將結果彙整如下表 5-1。
表格中第一列的代碼含意如下:
a
表鑑別度參數; 、 、 、 分別為 第一個到第四個選項閾值參數;b
1b
2b
3b
4θ 、 分別為基準群與目標群的能力參數。 B θT
表 5-1 水平等化時,獨變項對各參數估計及等化效果優劣之比較 參數類別
獨變項及類別
a b
1b
2b
3b
4 θ B θ T B500/T500 B1000/T500 B1000/T1000 施測人數B2000/T1000 9 9 9 9 9 9 9 10 題
20 題 測驗長度
30 題 9 9 9 9 9 9 9 10﹪
定錨題比例 20﹪
30﹪ 9 9 9 9 9 9 9 同時估計法 9 9 9 9 9 9 9 等化方法
分開估計法
註:「9」者為在某一獨變項情境中,其估計最準確者。
本研究發現在水平等化的情境中,各個獨變項的影響如下:
一、增加施測人數能降低鑑別度與選項閾值參數的估計誤差,但對能力參數 估計值無太大影響。
二、測驗長度是影響測驗等化精準度的主要因素,增加測驗長度能有效降低 參數的估計誤差。
三、提高定錨題比例時,估計誤差有逐漸降低趨勢,但降低的幅度非常微小。
四、同時估計法的估計結果略優於分開估計法。
依據研究結果建議未來在實務上欲進行 GRM 模式下的水平等化時,測 驗長度愈長、施測人數愈多,測驗精準度愈高,並且選用同時估計法進行測 驗等化,而定錨題比例僅需 10﹪,即可得到較為理想的參數估計值。
參、本研究設計中欲探討能力分配不同的兩群受試者,在不同的人數分配、測驗 長度、定錨題比例,以及不同的等化方法等四個獨變項下,以「估計值標準 化」等化步驟進行等化的效果優劣之比較,將結果彙整如下表 5-2。
表 5-2 垂直等化時,獨變項對各參數估計及等化效果優劣之比較 參數類別
獨變項及類別
a b
1b
2b
3b
4 θ B θT B500/T500B1000/T500
B1000/T1000 9(C) 9(C) 9(C) 9 9 施測人數
B2000/T1000 9 9(S) 9(S) 9(S) 9 10 題
20 題 測驗長度
30 題 9 9 9 9 9 9 9 10﹪
定錨題比 20﹪
例
30﹪ 9 9 9 9 9 9 9 同時估計法
等化方法
分開估計法 9 9 9 9 9 9 9
註:「9」者為在某一獨變項情境中,其估計最準確者。
垂直等化時,同時估計法與分開估計法在選項閾值參數的估計與等化效果上有不同結果,故用括號附註加 以區別。
本研究發現在垂直等化的情境中,各個獨變項的影響如下:
一、增加施測人數能降低鑑別度參數的估計誤差,但施測人數分配不等時,
反而對能力與選項閾值參數造成不良影響,使估計誤差提高。
二、測驗長度是影響測驗等化精準度的主要因素,增加測驗長度能有效降低 參數的估計誤差。
三、同時估計法下,提高定錨題比例能降低能力與試題參數估計誤差。
四、分開估計法的估計結果略優於同時估計法。
依據研究結果建議未來在實務上欲進行 GRM 模式下的垂直等化時,測 驗長度愈長,測驗精準度愈高,而兩群體的施測人數需相當,並選用分開估 計法進行測驗等化,即可得到較為理想的參數估計值。
第二節 後續研究建議
壹、本研究的受試者的能力分佈僅考慮常態分佈,應可探討其他類型的能力分 佈,如正偏態、負偏態等其它能力分佈的情形下其等化效果。
貳、本研究的只設定五個作答反應變項,應可探討不同的作答反應變項數目下,
其等化效果的研究。
參、在本研究中發現施測人數不等時,會造成能力估計與選項閾值參數估計等的 偏誤,應可針對此問題設計研究架構,深入探究其原因及其對參數估計所造 成之影響。
肆、研究中利用 MULTILOG 估計參數的過程中,均只按照軟體的預設值來估計 參數,在後續的研究中,應可探討其它估計時設定的選項對參數估計的影 響,如先驗分配的設定、quadrature point 的多寡或是參數估計的最高次數等 對等化效果的影響。