• 沒有找到結果。

實徵資料模擬 CAT 之成效

壹、實徵資料模擬成果

以國小五年級數學科測驗與數學科推理測驗之實徵資料模擬 HCAT。

數學科測驗之結果如圖 24~27,數學科推理測驗之結果如圖 28~31,縱軸 為 RMSD,橫軸為第 n 次能力估計,n 為當前作答題數減初始測驗題數加

1。其中,數學科測驗之初始測驗為 3 題,由數與量、代數、幾何這三個

次題量尺中各挑一題難度最接近 0 的;數學科推理測驗亦為 3 題,由次級 量尺 1、次級量尺 2、次級量尺 3 這三個次題量尺中各挑一題難度最接近 0 的。

由這兩份測驗結果可歸納為下列幾點︰

一、如圖 26 與圖 27、圖 30 與圖 31,在模式 2 下,MAP 與 MLE 類似,

其中又以 MAP 稍好一點,此與模擬研究結果相符。

二、如圖 24 與圖 25,模式 1_MLE 在測驗初期與後期的主要量尺比模式

1_MAP 更為精準,其可能的原因為能力估計法的特性以及題庫中各子

測驗的題數與試題參數分佈不均所致,MLE 對各個子測驗之選題較為 平均,MAP 則較少選到迴歸參數高之子測驗,導致主要量尺的 RMSD 無法有效降低,而測驗中期則與模擬研究相符。

三、如圖 24 與圖 26,當作完一定題數後,模式 1 會優於模式 2,與模擬 研究相符。

四、如圖 28 與圖 29,在模式 1 下,MAP 均優於 MLE,此與模擬研究結 果相符。如圖 28 與圖 30,在 MAP 下,模式 1 優於模式 2,亦與模擬 研究結果相符。

圖 圖圖

圖24 數學科測驗_模式1_MAP之RMSD變動圖

圖圖

圖 圖圖

圖26 數學科測驗_模式2_MAP之RMSD變動圖

圖圖

圖 圖

圖28 數學科推理測驗_模式1_MAP之RMSD變動圖

圖圖圖

圖29 數學科推理測驗_模式1_MLE之RMSD變動圖

0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000

1 32 63

RMSD

模式 模式 模式

模式1_MAP

次級量尺1 次級量尺2 次級量尺3 主要量尺

0.0000 0.5000 1.0000 1.5000 2.0000 2.5000 3.0000

1 32 63

RMSD

模式 模式 模式

模式1_MLE

次級量尺1 次級量尺2 次級量尺3 主要量尺

圖 圖

圖30 數學科推理測驗_模式2_MAP之RMSD變動圖

圖圖圖

圖31 數學科推理測驗_模式2_MLE之RMSD變動圖

0.0000

貳、實徵資料驗證成果

由於實徵資料之結果在某些情境下與模擬資料之結果有些許差異,因 此藉由實徵資料之迴歸參數、試題難度與受試者能力值,於各情境下分別 模擬 50 筆作答反應進行 CAT 程序,並以其平均 RMSD 與原始實徵資料比 較其結果是否相似。數學科測驗之結果如圖 32~35,數學科推理測驗之結 果如圖 36~39,縱軸為 RMSD,橫軸為第 n 次能力估計,n 為當前作答題 數減初始測驗題數加 1。其中,數學科測驗之初始測驗為 3 題,由數與量、

代數、幾何這三個次題量尺中各挑一題難度最接近 0 的;數學科推理測驗 亦為 3 題,由次級量尺 1、次級量尺 2、次級量尺 3 這三個次題量尺中各 挑一題難度最接近 0 的。

模擬的作答反應執行 CAT 程序之結果與實徵資料執行 CAT 程序之結 果相似,如圖 32 與圖 24,均是數與量之 RMSD 表現最差,在測驗中期,

模式 1_MAP 優於模式 1_MLE,但在測驗前期與後期,模式 1_MLE 優於 模式 1_MAP。如圖 33 與圖 25、圖 37 與圖 29,RMSD 變動趨勢相似。因 此,發生與模擬資料不符之狀況可推論為題庫不完善所造成的。

圖 圖圖

圖32 數學科測驗_模式1_MAP之RMSD變動圖

0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000

1 48 95 142 189 236

RMSD

模式 模式 模式

模式1_MAP

數與量 幾何 代數 數學能力

圖 圖

圖33 數學科測驗_模式1_MLE之RMSD變動圖

圖圖圖

圖34 數學科測驗_模式2_MAP之RMSD變動圖

0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000

1 48 95 142 189 236

RMSD

模式 模式 模式

模式1_MLE

數與量 幾何 代數 數學能力

0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000

1 48 95 142 189 236

RMSD

模式 模式

模式 模式2_MAP

數與量 幾何 代數 數學能力

圖 圖圖

圖37 數學科推理測驗_模式1_MLE之RMSD變動圖

圖圖

圖38 數學科推理測驗_模式2_MAP之RMSD變動圖

0.0000 0.5000 1.0000 1.5000 2.0000 2.5000 3.0000

1 32 63

RMSD

模式 模式

模式 模式1_MLE

次級量尺1 次級量尺2 次級量尺3 主要量尺

0.0000 0.1000 0.2000 0.3000 0.4000 0.5000 0.6000 0.7000 0.8000 0.9000 1.0000

1 32 63

RMSD

模式 模式 模式

模式2_MAP

次級量尺1 次級量尺2 次級量尺3 主要量尺

圖 圖圖

圖39 數學科推理測驗_模式2_MLE之RMSD變動圖

相關文件