壹、實徵資料模擬成果
以國小五年級數學科測驗與數學科推理測驗之實徵資料模擬 HCAT。
數學科測驗之結果如圖 24~27,數學科推理測驗之結果如圖 28~31,縱軸 為 RMSD,橫軸為第 n 次能力估計,n 為當前作答題數減初始測驗題數加
1。其中,數學科測驗之初始測驗為 3 題,由數與量、代數、幾何這三個
次題量尺中各挑一題難度最接近 0 的;數學科推理測驗亦為 3 題,由次級 量尺 1、次級量尺 2、次級量尺 3 這三個次題量尺中各挑一題難度最接近 0 的。由這兩份測驗結果可歸納為下列幾點︰
一、如圖 26 與圖 27、圖 30 與圖 31,在模式 2 下,MAP 與 MLE 類似,
其中又以 MAP 稍好一點,此與模擬研究結果相符。
二、如圖 24 與圖 25,模式 1_MLE 在測驗初期與後期的主要量尺比模式
1_MAP 更為精準,其可能的原因為能力估計法的特性以及題庫中各子
測驗的題數與試題參數分佈不均所致,MLE 對各個子測驗之選題較為 平均,MAP 則較少選到迴歸參數高之子測驗,導致主要量尺的 RMSD 無法有效降低,而測驗中期則與模擬研究相符。三、如圖 24 與圖 26,當作完一定題數後,模式 1 會優於模式 2,與模擬 研究相符。
四、如圖 28 與圖 29,在模式 1 下,MAP 均優於 MLE,此與模擬研究結 果相符。如圖 28 與圖 30,在 MAP 下,模式 1 優於模式 2,亦與模擬 研究結果相符。
圖 圖圖
圖24 數學科測驗_模式1_MAP之RMSD變動圖
圖圖
圖 圖圖
圖26 數學科測驗_模式2_MAP之RMSD變動圖
圖圖
圖 圖
圖圖28 數學科推理測驗_模式1_MAP之RMSD變動圖
圖圖圖
圖29 數學科推理測驗_模式1_MLE之RMSD變動圖
0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000
1 32 63
RMSD
模式 模式 模式
模式1_MAP
次級量尺1 次級量尺2 次級量尺3 主要量尺
0.0000 0.5000 1.0000 1.5000 2.0000 2.5000 3.0000
1 32 63
RMSD
模式 模式 模式
模式1_MLE
次級量尺1 次級量尺2 次級量尺3 主要量尺
圖 圖
圖圖30 數學科推理測驗_模式2_MAP之RMSD變動圖
圖圖圖
圖31 數學科推理測驗_模式2_MLE之RMSD變動圖
0.0000
貳、實徵資料驗證成果
由於實徵資料之結果在某些情境下與模擬資料之結果有些許差異,因 此藉由實徵資料之迴歸參數、試題難度與受試者能力值,於各情境下分別 模擬 50 筆作答反應進行 CAT 程序,並以其平均 RMSD 與原始實徵資料比 較其結果是否相似。數學科測驗之結果如圖 32~35,數學科推理測驗之結 果如圖 36~39,縱軸為 RMSD,橫軸為第 n 次能力估計,n 為當前作答題 數減初始測驗題數加 1。其中,數學科測驗之初始測驗為 3 題,由數與量、
代數、幾何這三個次題量尺中各挑一題難度最接近 0 的;數學科推理測驗 亦為 3 題,由次級量尺 1、次級量尺 2、次級量尺 3 這三個次題量尺中各 挑一題難度最接近 0 的。
模擬的作答反應執行 CAT 程序之結果與實徵資料執行 CAT 程序之結 果相似,如圖 32 與圖 24,均是數與量之 RMSD 表現最差,在測驗中期,
模式 1_MAP 優於模式 1_MLE,但在測驗前期與後期,模式 1_MLE 優於 模式 1_MAP。如圖 33 與圖 25、圖 37 與圖 29,RMSD 變動趨勢相似。因 此,發生與模擬資料不符之狀況可推論為題庫不完善所造成的。
圖 圖圖
圖32 數學科測驗_模式1_MAP之RMSD變動圖
0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000
1 48 95 142 189 236
RMSD
模式 模式 模式
模式1_MAP
數與量 幾何 代數 數學能力
圖 圖
圖圖33 數學科測驗_模式1_MLE之RMSD變動圖
圖圖圖
圖34 數學科測驗_模式2_MAP之RMSD變動圖
0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000
1 48 95 142 189 236
RMSD
模式 模式 模式
模式1_MLE
數與量 幾何 代數 數學能力
0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000
1 48 95 142 189 236
RMSD
模式 模式
模式 模式2_MAP
數與量 幾何 代數 數學能力
圖
圖 圖圖
圖37 數學科推理測驗_模式1_MLE之RMSD變動圖
圖圖
圖圖38 數學科推理測驗_模式2_MAP之RMSD變動圖
0.0000 0.5000 1.0000 1.5000 2.0000 2.5000 3.0000
1 32 63
RMSD
模式 模式
模式 模式1_MLE
次級量尺1 次級量尺2 次級量尺3 主要量尺
0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000
1 32 63
RMSD
模式 模式 模式
模式2_MAP
次級量尺1 次級量尺2 次級量尺3 主要量尺
圖 圖圖
圖39 數學科推理測驗_模式2_MLE之RMSD變動圖