• 沒有找到結果。

受試者能力分佈不同比較結果

第四章 研究結果與討論

第一節 受試者能力分佈不同比較結果

一、 受試者能力值分布N(0,1)結果

(一) 能力估計效能

在受試者能力為分布N(0,1)、測驗長度為 30 題,各選題法的 RMSE 於表4-1,以 P1-t360 為例,以 mi 法(0.148)與 inn 法(0.159)較小,nn 法(0.167) 次之,ab 法(0.216)較大;P2-t360、P2-t1440 也有此順序關係。P1-t1440 的 mi 法(0.121)較小, nn 法(0.134) 與 inn 法(0.140)次之,ab 法(0.191) 較大。

(二) 曝光率控制效能評估指標 1、 試題曝光率的均勻度

在受試者能力為分布N(0,1)、測驗長度為 30 題,各選題法的試題曝 光率的均勻度由表4-3 可知在 P1-t360、P2-t360、P1-t1440、P2-t1440 中 ab 的曝光率的均勻度均為最佳,在 P1-t360、P2-t360、P2-t1440 中 nn 法 曝光率的均勻度優於 inn 法,在 P1-t1440 中 inn 法曝光率的均勻度優於 nn 法,而 mi 法的曝光率的均勻度均為最差。

2、 最大曝光率

在受試者能力為分布N(0,1)、測驗長度為 30 題,各選題法的試題最 大曝光率由表4-4 可知在 P1-t360、P2-t360、P1-t1440、P2-t1440 中 ab 法 和inn 法的最大曝光率均為較低,在 inn 法次之, mi 法的均為最高。

3、 曝光率大於.3 試題的題數

在受試者能力為分布N(0,1)、測驗長度為 30 題,各選題法的試題 r>0.3

試題r>0.3 的題數為較少,在 nn 法和 inn 法次之, mi 法的均為最多。

表4-1 受試者能力值分布 N(0,1)的 RMSE

inn mi nn ab

P1-t360 0.159 0.148 0.167 0.216 P2-t360 0.124 0.121 0.134 0.166 P1-t1440 0.140 0.121 0.134 0.191 P2-t1440 0.094 0.090 0.104 0.152

表4-2 受試者能力值分布 N(0,1)的RMSE_sd

inn mi nn ab

P1-t360 0.001 0.001 0.001 0.001 P2-t360 0.001 0.001 0.001 0.002 P1-t1440 0.001 0.001 0.001 0.002 P2-t1440 0.001 0.001 0.001 0.001

表4-3 受試者能力值分布 N(0,1)的χ2

inn mi nn ab

P1-t360 32.613 67.520 22.835 6.089 P2-t360 35.693 55.206 16.803 4.454 P1-t1440 64.668 248.560 86.241 9.607 P2-t1440 107.790 217.170 67.845 10.105

表4-4 受試者能力值分布 N(0,1)的rmax

inn mi nn ab

P1-t360 0.384 0.652 0.484 0.388 P2-t360 0.343 0.575 0.425 0.274 P1-t1440 0.237 0.583 0.247 0.156 P2-t1440 0.232 0.570 0.244 0.127

表4-5 受試者能力值分布 N(0,1)的r>0.3

inn mi nn ab

P1-t360 7.600 24.000 10.000 1.000 P2-t360 9.300 16.000 10.000 0.000 P1-t1440 0.000 12.300 0.000 0.000 P2-t1440 0.000 8.900 0.000 0.000

二、 受試者能力值分布N(1,1) 結果

(一) 能力估計效能

在受試者能力為分布N(1,1)、測驗長度為 30 題,各選題法的 RMSE 於表 4-6,以 P1-t360 為例,以 mi 法(0.168)與 inn 法(0.172)較小,nn 法 (0.1867)次之,ab 法(0.223)較大;P2-t360、P2-t1440 也有此順序關係。

P1-t1440 的 mi 法(0.137)較小, nn 法(0.151) 與 inn 法(0.153)次之,ab 法 (0.196)較大。受到受試者能力值分布和試題難度參數分布不相同,各種 情形的RMSE 一致均有增加的情形。

(二) 曝光率控制效能評估指標 1、 試題曝光率的均勻度

在受試者能力為分布N(1,1)、測驗長度為 30 題,各選題法的試題曝 光率的均勻度由表4-8 可知在 P1-t360、P2-t360、P1-t1440、P2-t1440 中 ab 的曝光率的均勻度均為最佳,在 P1-t360、P2-t360、P2-t1440 中 nn 法 曝光率的均勻度優於 inn 法,在 P1-t1440 中 inn 法曝光率的均勻度優於 nn 法,而 mi 法的曝光率的均勻度均為最差。

2、 最大曝光率

在受試者能力為分布N(1,1)、測驗長度為 30 題,各選題法的試題最 大曝光率由表 4-9 可知在 P1-t360、P2-t360、P1-t1440、P2-t1440 中 inn 法的最大曝光率均為最低,在ab 法和 nn 法次之, mi 法的均為最高。

3、 曝光率大於.3 試題的題數

在受試者能力為分布N(1,1)、測驗長度為 30 題,各選題法的試題 r>0.3 的題數由表4-10 可知在 P1-t360 中、P2-t360、P1-t1440 中 ab 法的試題 r>0.3 的題數為較少,在nn 法和 inn 法次之, mi 法的均為最多。P2-t1440 中 ab 法和 inn 法的試題 r>0.3 的題數為 0 題,在 nn 法試題 r>0.3 的題數為 2 題次之, mi 法的均為最多。

表4-6 受試者能力值分布 N(1,1)的RMSE

inn mi nn ab

P1-t360 0.176 0.168 0.187 0.223 P2-t360 0.150 0.147 0.158 0.178 P1-t1440 0.153 0.137 0.151 0.196 P2-t1440 0.114 0.110 0.126 0.165

表4-7 受試者能力值分布 N(1,1)的RMSE_sd

inn mi nn ab

P1-t360 0.001 0.001 0.002 0.002 P2-t360 0.002 0.001 0.001 0.001 P1-t1440 0.001 0.001 0.001 0.001 P2-t1440 0.001 0.002 0.001 0.001

表4-8 受試者能力值分布 N(1,1)的χ2

inn mi nn ab

P1-t360 50.761 82.856 37.005 33.128 P2-t360 57.079 72.531 44.256 39.081 P1-t1440 107.550 284.540 121.250 66.366 P2-t1440 169.810 263.330 98.527 62.884

表4-9 受試者能力值分布 N(1,1)的rmax

inn mi nn ab

P1-t360 0.481 0.694 0.590 0.613 P2-t360 0.455 0.572 0.506 0.528 P1-t1440 0.305 0.689 0.464 0.370 P2-t1440 0.294 0.597 0.337 0.262

表4-10 受試者能力值分布 N(1,1)的r>0.3

inn mi nn ab

P1-t360 27.000 37.700 11.100 9.800 P2-t360 33.500 35.000 24.900 22.500 P1-t1440 1.800 17.400 5.100 1.000 P2-t1440 0.000 10.900 2.000 0.000

三、 受試者能力值分布N(2,1) 結果

(一) 能力估計效能

在受試者能力為分布N(2,1)、測驗長度為 30 題,各選題法的 RMSE 於表 4-11,以 mi 法與 inn 法較小,nn 法次之,ab 法較大;受到受試者 能力值分布和試題難度參數分布不相同,各種選題法的RMSE 一致均有 增加的情形。

(二) 曝光率控制效能評估指標 1、 試題曝光率的均勻度

在受試者能力為分布N(2,1)、測驗長度為 30 題,各選題法的試題曝 光率的均勻度由表4-13 可知在 P1-t360、P2-t360、P1-t1440 中 inn 的曝光 率的均勻度均為最佳,在P2-t1440 中 nn 的曝光率的均勻度為最佳,inn 法次之;在P1-t360、P2-t360 中 ab 法曝光率的均勻度為最差,在 P1-t1440、

P2-t1440 中 mi 法曝光率的均勻度為最差。

2、 最大曝光率

在受試者能力為分布N(2,1)、測驗長度為 30 題,各選題法的試題最 大曝光率由表4-14 可知在 P1-t360、P2-t360、P1-t1440、P2-t1440 中 inn 法的最大曝光率均為最低,在ab 法和 nn 法次之, mi 法的均為最高。

3、 曝光率大於.3 試題的題數

在受試者能力為分布N(2,1)、測驗長度為 30 題,各選題法的試題 r>0.3 的題數由表4-15 可知在 P1-t360 中、P2-t360、P2-t1440 中 ab 法的試題 r>0.3 的題數為較少,在nn 法和 inn 法次之, mi 法的均為最多。P1-t1440 中 inn 法的試題 r>0.3 的題數為 27 題最少,在 ab 法和 nn 法試題 r>0.3 的題 數為次之, mi 法的均為最多。

表4-11 受試者能力值分布 N(2,1)的RMSE

inn mi nn ab

P1-t360 0.253 0.250 0.265 0.275 P2-t360 0.254 0.253 0.264 0.272 P1-t1440 0.213 0.206 0.219 0.243 P2-t1440 0.186 0.184 0.195 0.221

表4-12 受試者能力值分布 N(2,1)的RMSE_sd

inn mi nn ab

P1-t360 0.002 0.001 0.003 0.002 P2-t360 0.001 0.002 0.002 0.003 P1-t1440 0.001 0.002 0.002 0.001 P2-t1440 0.002 0.002 0.002 0.001

表4-13 受試者能力值分布 N(2,1)的χ2

inn mi nn ab

P1-t360 116.880 130.750 125.690 141.420 P2-t360 118.420 120.290 164.470 167.570 P1-t1440 298.220 432.630 365.290 399.120 P2-t1440 363.560 419.860 347.310 385.700

表4-14 受試者能力值分布 N(2,1)的rmax

inn mi nn ab

P1-t360 0.690 0.808 0.778 0.931 P2-t360 0.705 0.843 0.924 0.946 P1-t1440 0.506 0.762 0.793 0.882 P2-t1440 0.528 0.935 0.940 0.902

表4-15 受試者能力值分布 N(2,1)的r>0.3

inn mi nn ab

P1-t360 37.000 38.500 34.000 29.500 P2-t360 36.000 38.700 31.000 30.000 P1-t1440 27.800 38.400 29.000 29.000 P2-t1440 34.900 36.800 31.000 28.000

綜合上述資料當在受試者能力分布和題庫試題難度分布相近時,inn 法和nn 法的 RMSE 和曝光率的均勻度各有優劣,但 inn 法的最大曝光率 均為較低;當在受試者能力分布和題庫試題難度分布不同時,inn 法的 RMSE 和曝光率的均勻度優於 nn 法,且 inn 法的最大曝光率均為較低。

由圖4-1、圖 4-2、圖 4-3、圖 4-4 中受試著能力分布情形與題庫試題參數 分布不同時RMSE 皆隨之提高,inn 法上升速度較緩。

0.000 0.050 0.100 0.150 0.200 0.250 0.300

inn mi nn ab

N(0,1) N(1,1) N(1,2)

圖4-1 題庫 P1-t360 的 RMSE

0.000 0.050 0.100 0.150 0.200 0.250 0.300

inn mi nn ab

N(0,1) N(1,1) N(1,2)

圖4-2 題庫 P2-t360 的 RMSE

0.000 0.050 0.100 0.150 0.200 0.250 0.300

inn mi nn ab

N(0,1) N(1,1) N(1,2)

圖4-3 題庫 P1-t1440 的 RMSE

0.000 0.050 0.100 0.150 0.200 0.250

inn mi nn ab

N(0,1) N(1,1) N(1,2)

圖4-4 題庫 P2-t1440 的 RMSE

四、 真實題庫P3、P4 結果

(一) 能力估計效能

在真實題庫P3、P4、測驗長度為 30 題,各選題法的 RMSE 於表 4-16,

以mi 法較小,nn 法與 inn 法次之,ab 法較大。

(二) 曝光率控制效能評估指標 1、 試題曝光率的均勻度

在真實題庫 P3、P4、測驗長度為 30 題,各選題法的試題曝光率的 均勻度由表4-18 可知在 P3-t240 中 inn 的曝光率的均勻度均為最佳, ab 法和nn 法次之;在 P4-t240 中 ab 的曝光率的均勻度均為最佳, inn 法和 nn 法次之, mi 法曝光率的均勻度為最差。

2、 最大曝光率

在真實題庫 P3、P4、測驗長度為 30 題,各選題法的試題最大曝光 率由表 4-19 可知在 P3-t240 中 inn 的試題最大曝光率為最低, ab 法和 nn 法次之;在 P4-t240 中 ab 的試題最大曝光率為最低, inn 法和 nn 法 次之, mi 法的試題最大曝光率為最高。

3、 曝光率大於.3 試題的題數

在真實題庫P3、P4、測驗長度為 30 題,各選題法的試題 r>0.3 的題 數由表4-20 可知在 P3-t240、P4-t240 中 ab 法的試題 r>0.3 的題數為較少,

在nn 法和 inn 法次之, mi 法的均為最多。

表4-16 真實題庫 P3、P4 的RMSE

inn mi nn ab

P3-t240 0.190 0.182 0.189 0.202 P4-t240 0.161 0.156 0.163 0.182

表4-17 真實題庫 P3、P4 的RMSE_sd

inn mi nn ab

P3-t240 0.006 0.004 0.009 0.006 P4-t240 0.006 0.006 0.005 0.006

表4-18 真實題庫 P3、P4 的χ2

inn mi nn ab

P3-t240 31.267 53.476 42.792 39.304 P4-t240 24.626 40.585 24.437 15.050

表4-19 真實題庫 P3、P4 的rmax

inn mi nn ab

P3-t240 0.513 0.735 0.726 0.692 P4-t240 0.411 0.760 0.706 0.399

表4-20 真實題庫 P3、P4 的r>0.3

inn mi nn ab

P3-t240 31.480 38.320 31.000 30.160 P4-t240 31.920 36.720 15.560 11.480

相關文件