第四章 研究結果
第一節 兩年度受試者能力無差距之等化效果
本研究模擬無差距、小差距及大差距三種不同能力分布,本節探討兩年度受試者 能力無差距之不同受試者人數、不同定錨試題比例與不同題本長度於不同年度間量尺 化方法之等化效果。
壹、不同受試者人數之等化效果
本研究模擬5460人、7540人及10062人三種受試人數,圖中X軸為不同定錨試題及 不同題本長度的情境設計,例如,定錨試題比例10%及題本長度60題記為10_60。
一、受試者人數5460人之等化效果如圖4-1,得以下結論。
0.25 0.30 0.35 0.40 0.45 0.50
10_30 10_60 20_30 20_60 30_30 30_60 情境設計
RMSE
PISA量尺化 固定試題參數法 N&T量尺化 同時估計法
圖4-1 受試者人數5460人之RMSE
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著定錨試題比例及題本長度增加而降低。
(三)在N&T量尺化及同時估計法中,題本長度對估計誤差值的影響較明顯。
二、受試者人數7540人之等化效果如圖4-2,得以下結論。
0.25
10_30 10_60 20_30 20_60 30_30 30_60 情境設計
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著定錨試題比例及題本長度增加而降低。
(三)在N&T量尺化及同時估計法中,題本長度對估計誤差值的影響較明顯。
三、受試者人數10062人之等化效果如圖4-3,得以下結論。
0.25
10_30 10_60 20_30 20_60 30_30 30_60 情境設計
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著定錨試題比例及題本長度增加而降低。
(三)在N&T量尺化及同時估計法中,題本長度對估計誤差值的影響較明顯。
貳、不同定錨試題比例之等化效果
本研究模擬10%、20%及30%三種不同定錨試題比例,圖中X軸為不同受試者人數 及不同題本長度的情境設計,例如,5460人及題本長度30題記為5460_30。
一、定錨試題比例10%之等化效果如圖4-4,得以下結論。
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著題本長度增加而降低。
(三)題本長度對估計誤差值的影響較明顯,受試者人數對估計誤差值的影響沒 有一致性的效果。
(四)定錨試題比例10%時,PISA量尺化的估計效果最差。
二、定錨試題比例20%之等化效果如圖4-5,得以下結論。
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著題本長度增加而降低。
(三)題本長度對估計誤差值的影響較明顯,受試者人數對估計誤差值的影響沒 有一致性的效果。
(四)定錨試題比例20%且題本長度為30題時,PISA量尺化的估計效果最差;定
錨試題比例20%且題本長度為60題時,固定試題參數法的估計效果最差。
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著題本長度增加而降低。
本研究模擬題本長度30題及60題,圖中X軸為不同受試者人數及不同定錨試題的 情境設計,例如,5460人及定錨試題比例為10%,記為5460_10。
一、題本長度30題之等化效果如圖4-7,得以下結論。
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著定錨試題比例增加而降低。
(三)定錨試題比例對估計誤差值的影響較明顯,受試者人數對估計誤差值的影 響沒有一致性的效果。
(四)題本長度為30題時,PISA量尺化的估計效果最差。
二、題本長度60題之等化效果如圖4-8,得以下結論。
(一)N&T量尺化及同時估計法的等化效果較PISA量尺化及固定試題參數法好。
(二)估計誤差值隨著定錨試題比例增加而降低。
(三)定錨試題比例對估計誤差值的影響較明顯,受試者人數對估計誤差值的影 響沒有一致性的效果。
(四)題本長度為60題,定錨試題比例為10%時,PISA量尺化的估計效果最差;
而題本長度為60題,定錨試題比例為20%及30%時,固定試題參數法的估 計效果最差。
肆、不同量尺化方法之等化效果
一、 不同量尺化方法於不同受試者人數之等化效果如圖4-9,得以下結論。
0.30 0.32 0.34 0.36 0.38 0.40 0.42 0.44 0.46
5460人 7540人 10062人
受試者人數
RMSE
PISA量尺化 固定試題參數法 N&T量尺化 同時估計法
圖4-9 不同受試者人數之RMSE
(一)受試者人數對估計誤差值的影響不明顯。
(二)PISA量尺化的估計效果最差,N&T量尺化的估計效果最好。
二、 不同量尺化方法於不同定錨試題比例之等化效果如圖4-10,得以下結論。
(一)估計誤差值隨著定錨試題比例增加而降低。
(二)N&T量尺化的估計效果最好。
(三)定錨試題比例為10%及20%時,PISA量尺化的估計效果最差;定錨試題比 例為30%時,固定試題參數法的估計效果最差。
0.30 好;題本長度60題時,固定試題參數法的估計效果最差, N&T量尺化的估 計效果最好。