第四章 研究結果
第三節 實驗結果之比較
本節就實驗一、二之結果,分別對能力為常態、雙峰及偏態分布時,測驗長 度30 題,新增試題 5 題與 10 時,其試題參數與能力參數之估計誤差比較。
壹、受試者能力值在常態分布下
一、試題參數
圖 4-3-1 至圖 4-3-3 為實驗一、二試題參數估計誤差,由其呈現的結果可知 實驗二因題庫試題參數未採用初始模擬真值,而是藉由試題參數真值與能力真值 模擬生成原始作答反應後,再利用能力真值與原始作答反應結合估計的試題參數 估計值,故估計之結果均較實驗一來得高。不論實驗一、二,隨著受試者人數增 加,其各參數估計誤差逐漸減少;而不管新增試題數為何,其試題參數估計誤差 無明顯變動。
實驗一常態分布下新增試題之鑑別度參數誤差
0.1450 0.1500 0.1550 0.1600 0.1650 0.1700 0.1750
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗二常態分布下新增試題之鑑別度參數誤差
0.1550 0.1600 0.1650 0.1700 0.1750
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
圖4-3-1 常態分布下,實驗一與實驗二新增試題的鑑別度參數之估計誤差
實驗一常態分布下新增試題之難度參數誤差
0.1660 0.1680 0.1700 0.1720 0.1740 0.1760 0.1780 0.1800
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗二常態分布下新增試題之難度參數誤差
0.1650 0.1700 0.1750 0.1800
500人 1000人 1500人 2000人 2500人 3000人 RMSE 受試人數
5題 10題
圖4-3-2 常態分布下,實驗一與實驗二新增試題的難度參數之估計誤差
圖4-3-3 常態分布下,實驗一與實驗二新增試題的猜測度參數之估計誤差
二、能力參數
表 4-3-1 與圖 4-3-4 為實驗一、二能力參數估計誤差比較,由圖與表的結果呈現可 知,在實驗二中估計受試者能力參數之誤差比實驗一的結果較高。新增試題可使能力估 計更精確。
表 4-3-1 常態分布下,實驗一、二新增試題的受試者能力參數估計誤差之比較 實驗一結果 實驗二之結果
人數 未加入
新試題 新增5 題 新增 5 題 新增 10 題 新增 10 題 500 人 RMSE 0.3247 0.3244 0.3541 0.3051 0.3382
實驗一常態分布下新增試題之猜測度參數誤差
0.0290 0.0300 0.0310 0.0320 0.0330 0.0340 0.0350
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗二常態分布下新增試題之猜測度參數誤差
0.0310 0.0320 0.0330 0.0340 0.0350 0.0360 0.0370
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗一結果 實驗二之結果
人數 未加入
新試題 新增5 題 新增 5 題 新增 10 題 新增 10 題 1000 人 RMSE 0.3300 0.3226 0.3535 0.3044 0.3373 1500 人 RMSE 0.3312 0.3215 0.3462 0.3033 0.3309 2000 人 RMSE 0.3257 0.3204 0.3458 0.3025 0.3253 2500 人 RMSE 0.3347 0.3186 0.3453 0.2985 0.3242 3000 人 RMSE 0.3324 0.3155 0.3422 0.2973 0.3229
實驗一常態分布下加入新增試題估計之能力估計誤差比較
0.2700 0.2800 0.2900 0.3000 0.3100 0.3200 0.3300 0.3400
500人 1000人 1500人 2000人 2500人 3000人 人數 RMSE
未加入新試題之估計誤差 新增5題之估計誤差 新增10題之估計誤差
實驗二常態分布下加入新增試題估計之能力估計誤差比較
0.2900 0.3000 0.3100 0.3200 0.3300 0.3400 0.3500 0.3600 0.3700 0.3800
500人 1000人 1500人 2000人 2500人 3000人
人數 RMSE
未加入新試題之估計誤差 新增5題之估計誤差 新增10題之估計誤差
圖4-3-4 常態分布下實驗一與實驗二加入新增試題估計之能力估計誤差比較
貳、受試者能力值在雙峰分布下
一、試題參數
圖 4-3-5 至圖 4-3-7 為實驗一、二試題參數估計誤差,由其呈現的結果可知 實驗二因題庫試題參數未採用初始模擬真值,而是試題參數估計值,故估計之結 果均較實驗一來得高。不論實驗一、二,隨著受試者人數增加,其各參數估計誤 差逐漸減少;而不管新增試題數為何,其試題參數估計誤差無明顯變動。
實驗一雙峰分布下新增試題之鑑別度參數誤差
0.1200 0.1250 0.1300 0.1350 0.1400 0.1450
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗二雙峰分布下新增試題之鑑別度參數誤差
0.1340 0.1360 0.1380 0.1400 0.1420 0.1440
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
圖4-3-5 雙峰分布下,實驗一與實驗二新增試題的鑑別度參數之估計誤差
實驗一雙峰分布下新增試題之難度參數誤差
0.2500 0.2550 0.2600 0.2650 0.2700
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗二雙峰分布下新增試題之難度參數誤差
0.2500 0.2600 0.2700 0.2800
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
圖4-3-6 雙峰分布下,實驗一與實驗二新增試題的難度參數之估計誤差
圖4-3-7 雙峰分布下,實驗一與實驗二新增試題的猜測度參數之估計誤差
二、能力參數
表 4-3-2 與圖 4-3-8 為實驗一、二能力參數估計誤差比較,由圖與表的結果呈現可 知,在實驗二中估計受試者能力參數之誤差比實驗一的結果較高。新增試題可使能力估 計更精確。
表 4-3-2 雙峰分布下,實驗一、二新增試題的受試者能力參數估計誤差之比較
實驗一結果 實驗二之結果
人數 未加入
新試題 新增5 題 新增 5 題 新增 10 題 新增 10 題 500 人 RMSE 0.3361 0.3268 0.3223 0.3461 0.3388
實驗一雙峰分布下新增試題之猜測度參數誤差
0.0320 0.0330 0.0340 0.0350 0.0360 0.0370
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE 5題
10題
實驗二雙峰分布下新增試題之猜測度參數誤差
0.0000 0.0100 0.0200 0.0300 0.0400 0.0500
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗一結果 實驗二之結果
人數 未加入
新試題 新增5 題 新增 5 題 新增 10 題 新增 10 題 1500 人 RMSE 0.3404 0.3234 0.3233 0.3334 0.3240 2000 人 RMSE 0.3393 0.3217 0.3203 0.3281 0.3224 2500 人 RMSE 0.3296 0.3207 0.3185 0.3280 0.3177 3000 人 RMSE 0.3400 0.3172 0.3153 0.3239 0.3166
實驗一雙峰分布下加入新增試題估計之能力估計誤差比較
0.3000 0.3050 0.3100 0.3150 0.3200 0.3250 0.3300 0.3350 0.3400 0.3450
500人 1000人 1500人 2000人 2500人 3000人 RMSE 人數
未加入新試題之估計誤差 新增5題之估計誤差 新增10題之估計誤差
實驗二雙峰分布下加入新增試題估計之能力估計誤差比較
0.2900 0.3000 0.3100 0.3200 0.3300 0.3400 0.3500 0.3600 0.3700 0.3800 0.3900
500人 1000人 1500人 2000人 2500人 3000人
人數 RMSE
未加入新試題之估計誤差 新增5題之估計誤差 新增10題之估計誤差
圖4-3-8 雙峰分布下實驗一與實驗二加入新增試題估計之能力估計誤差比較
參、受試者能力值在偏態分布下
一、試題參數
圖 4-3-9 至圖 4-3-11 為實驗一、二試題參數估計誤差,由其呈現的結果可知 實驗二因題庫試題參數未採用初始模擬真值,而是試題參數估計值,故估計之結 果均較實驗一來得高。不論實驗一、二,隨著人數增加,其各參數估計誤差逐漸 減少;在圖4-3-10 呈現難度參數過高之情況,其試題參數估計誤差明顯過高。
實驗一偏態分布下新增試題之鑑別度參數誤差
0.1460 0.1480 0.1500 0.1520 0.1540 0.1560 0.1580 0.1600
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗二偏態分布下新增試題之鑑別度參數誤差
0.1400 0.1450 0.1500 0.1550 0.1600 0.1650 0.1700
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
圖4-3-9 偏態分布下,實驗一與實驗二新增試題的鑑別度參數之估計誤差
實驗一偏態分布下新增試題之難度參數誤差
0.9700 0.9750 0.9800 0.9850 0.9900 0.9950 1.0000 1.0050
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗二偏態分布下新增試題之難度參數誤差
0.9800 0.9850 0.9900 0.9950 1.0000 1.0050
500人 1000人 1500人 2000人 2500人 3000人
受試人數 RMSE
5題 10題
圖4-3-10 偏態分布下,實驗一與實驗二新增試題的難度參數之估計誤差
圖4-3-11 偏態分布下,實驗一與實驗二新增試題的猜測度參數之估計誤差
二、能力參數
表 4-3-3 與圖 4-3-12 為實驗一、二能力參數估計誤差比較,由圖與表的結果呈現可 知,在實驗二中估計受試者能力參數之誤差比實驗一的結果較高。同時因在試題參數中 的難度參數估計結果過高不精準的情形下,新增試題無法使能力估計更精確。
表 4-3-3 偏態分布下,實驗一、二新增試題的受試者能力參數估計誤差之比較
實驗一結果 實驗二之結果
人數 未加入
新試題 新增5 題 新增5 題 新增 10 題 新增 10 題 500 人 RMSE 0.3667 1.0754 1.0477 1.0512 1.0357
實驗一偏態分布下新增試題之猜測度參數誤差
0.0410 0.0420 0.0430 0.0440 0.0450 0.0460 0.0470 0.0480
500人 1000人 1500人 2000人 2500人 3000人
RMSE 受試人數
5題 10題
實驗二偏態分布下新增試題之猜測度參數誤差
0.0410 0.0420 0.0430 0.0440 0.0450 0.0460 0.0470
500人 1000人 1500人 2000人 2500人 3000人 受試人數
RMSE
5題 10題
實驗一結果 實驗二之結果
人數 未加入
新試題 新增5 題 新增5 題 新增 10 題 新增 10 題 1000 人 RMSE 0.3606 1.0342 1.0268 1.0410 1.0312 1500 人 RMSE 0.3688 1.0247 1.0211 1.0198 1.0170 2000 人 RMSE 0.3656 1.0644 1.0462 1.0582 1.0424 2500 人 RMSE 0.3685 1.0242 1.0215 1.0204 1.0175 3000 人 RMSE 0.3720 1.0421 1.0319 1.0420 1.0323
圖4-3-12 偏態分布下實驗一與實驗二加入新增試題估計之能力估計誤差比較
偏態分布下加入新增試題估計之能力估計誤差比較
0.2900 0.3900 0.4900 0.5900 0.6900 0.7900 0.8900 0.9900 1.0900 1.1900
500人 1000人 1500人 2000人 2500人 3000人 RMSE 人數
未加入新試題之估計誤差 新增5題之估計誤差 新增10題之估計誤差
偏態分布下加入新增試題估計之能力估計誤差比較
0.2900 0.3900 0.4900 0.5900 0.6900 0.7900 0.8900 0.9900 1.0900 1.1900
500人 1000人 1500人 2000人 2500人 3000人
RMSE 人數
未加入新試題之估計誤差 新增5題之估計誤差 新增10題之估計誤差