分群正確率與能力估計比較

表3.6為混合比例為 0.2 和 0.4 個別在樣本數 500、1, 000 和 2, 000 時重複做 200 次的分群正確率平均值 (標準差)、最大值及最小值。正確率的算法是將按照題目 順序作答的資料，事後分群依然為按照題目順序作答的資料和按照題目難易度順 序作答的資料，事後分群依然為按照題目難易度順序作答的資料，此兩種狀況的 資料數總和除以樣本數。舉例來說，在樣本數 500，混合比例為 0.2 條件下，按照 題目順序作答的資料其中分至按照題目順序作答的類別有 61 筆，按照題目難易度 順序作答的資料其中分至按照題目難易度順序作答的類別有 284 筆，總共有 345 筆，因此正確率為 ³⁴⁵₅₀₀，也就是 0.69。從表3.6可以觀察到，混合比例 0.2 與混合比 例 0.4 的正確率皆有隨著樣本數的增加而有上升的趨勢，其標準差也有縮小的情 形。

圖3.13和3.14分別為混合比例 0.2 與混合比例 0.4 在樣本數 500、1, 000 和 2, 000 各做 200 次的分群正確率直方圖。可以發現在不同的混合比例情況下，分群正確 率皆有隨著樣本數的增加而越來越集中，也就是正確率的區間越來越小，標準差 也就有縮小的情況。如樣本數 500 時，分群正確率落在 0.6 至 0.8 之間，樣本數 1, 000時，分群正確率則落在 0.7 至 0.8 之間，而樣本數 2, 000 時，分群正確率落 在 0.75 至 0.8 之間。

圖 3.13: 分群正確率直方圖 (混合比例 0.2)

圖 3.14: 分群正確率直方圖 (混合比例 0.4)

在重複做 200 次的過程中，每次能力數值皆從標準常態分配重新抽取，兩個 模型估計出能力參數後，將所抽取的能力數值由小排到大，估計得到的能力參數 值則會跟著排序，將此 200 組數據平均繪表得圖3.15至圖3.20。圖3.15至圖3.17為 混合比例 0.2 的能力估計，圖3.18至圖3.20為混合比例 0.4 的能力估計，可以觀察 混合二參數 VSM 能力估計參數值與模擬能力值的散佈圖在混合比例 0.2 與 0.4 皆 在 x = y 上，未出現高估或低估的情況，也就是說混合二參數 VSM 的能力估計是 有效的。另外觀察二參數 VSM 估計能力估計參數值與模擬能力值的散佈圖，會 發現點往 x = y 下方移動，也就是說是有些低估的情況，那是因為資料中有以題 目順序作答的類別，而二參數 VSM 是將資料以題目難易度順序作答做估計，因 此若用二參數 VSM 估計以題目順序作答類別資料的能力參數，會發生低估的情 形，此外，以題目順序作答的資料，在比例參數 0.4 中數量會較比例參數 0.2 的 多，所以從二參數 VSM 的能力估計圖可以發現，在比例參數 0.4 時，低估的情況 較比例參數 0.2 時明顯。

圖 3.15: 能力估計散佈圖 (樣本數 500，混合比例 0.2)

圖 3.16: 能力估計散佈圖 (樣本數 1000，混合比例 0.2)

表 3.2: 混合比例 0.2 的難易度參數 β 估計平均值 (標準差) 樣本數 500 樣本數 1, 000 樣本數 2, 000

題組 小題 實際 混合二參數 VSM 二參數 VSM 混合二參數 VSM 二參數 VSM 混合二參數 VSM 二參數 VSM 1 1 −1.25 −1.242(0.050) −1.251(0.046) −1.317(0.057) −1.212(0.068) −1.256(0.055) −1.257(0.054) 2 1 1.223(0.048) 1.248(0.054) 1.056(0.093) 1.031(0.103) 1.033(0.057) 1.105(0.053) 3 0.25 0.383(0.108) 0.500(0.142) 0.328(0.055) 0.455(0.069) 0.279(0.052) 0.367(0.035) 2 1 0 0.122(0.114) 0.105(0.116) −0.021(0.025) 0.004(0.040) 0.014(0.014) 0.021(0.031) 2 1 1.185(0.104) 1.165(0.107) 1.013(0.017) 0.989(0.029) 1.118(0.017) 1.106(0.028) 3 −1 −0.966(0.077) −0.852(0.127) −0.990(0.078) −0.919(0.127) −0.951(0.049) −0.881(0.046) 3 1 1.25 1.356(0.114) 1.468(0.116) 1.273(0.055) 1.250(0.062) 1.254(0.049) 1.283(0.045) 2 0.25 0.353(0.065) 0.389(0.132) 0.282(0.041) 0.332(0.064) 0.272(0.032) 0.308(0.048) 3 −1.5 −1.444(0.139) −1.473(0.173) −1.406(0.131) −1.142(0.161) −1.459(0.081) −1.227(0.115) 4 1 0 0.112(0.115) 0.131(0.122) −0.027(0.078) −0.118(0.094) 0.043(0.066) 0.014(0.076) 2 −1 −1.115(0.102) −1.124(0.151) −0.992(0.058) −0.968(0.083) −0.968(0.045) −0.936(0.054) 3 1 1.039(0.065) 1.039(0.073) 1.058(0.088) 1.078(0.080) 1.057(0.042) 1.060(0.040) 5 1 1.25 1.353(0.045) 1.354(0.050) 1.272(0.043) 1.243(0.066) 1.251(0.036) 1.266(0.050) 2 −1.5 −1.544(0.164) −1.510(0.170) −1.574(0.133) −1.544(0.154) −1.418(0.061) −1.407(0.072) 3 0.25 0.372(0.137) 0.472(0.153) 0.320(0.101) 0.399(0.098) 0.270(0.095) 0.311(0.108) 6 1 −1.25 −1.298(0.133) −1.313(0.205) −1.274(0.106) −1.291(0.119) −1.257(0.063) −1.275(0.093) 2 0.25 0.376(0.175) 0.404(0.192) 0.274(0.073) 0.282(0.105) 0.268(0.065) 0.286(0.081) 3 1 1.072(0.148) 1.076(0.175) 1.112(0.106) 1.131(0.127) 1.069(0.093) 1.062(0.098) 7 1 −1 −1.015(0.099) −1.080(0.135) −1.021(0.069) −1.034(0.077) −0.963(0.043) −0.951(0.060) 2 0.9 1.047(0.091) 1.129(0.096) 1.010(0.049) 0.973(0.038) 0.991(0.050) 0.988(0.043) 3 −1.2 −1.220(0.117) −1.076(0.166) −1.120(0.078) −1.034(0.069) −1.179(0.064) −1.102(0.053) 8 1 1 1.118(0.132) 1.125(0.146) 0.941(0.079) 0.918(0.093) 1.055(0.053) 1.050(0.069) 2 −0.9 −0.874(0.155) −0.791(0.155) −0.829(0.056) −0.770(0.064) −0.874(0.054) −0.727(0.050) 3 1.2 1.473(0.122) 1.409(0.198) 1.288(0.119) 1.285(0.117) 1.252(0.101) 1.337(0.116) 9 1 −1.6 −1.496(0.083) −1.547(0.095) −1.508(0.086) −1.565(0.102) −1.644(0.073) −1.680(0.071) 2 1.5 1.693(0.105) 1.711(0.147) 1.482(0.059) 1.484(0.065) 1.583(0.056) 1.586(0.078) 3 −1.8 −1.803(0.150) −1.703(0.164) −1.907(0.149) −1.810(0.161) −1.832(0.117) −1.760(0.110) 10 1 1.6 2.007(0.110) 2.024(0.172) 1.719(0.051) 1.693(0.058) 1.590(0.087) 1.584(0.098) 2 −1.5 −1.460(0.043) −1.409(0.089) −1.609(0.102) −1.570(0.180) −1.414(0.067) −1.391(0.071) 3 1.8 1.654(0.107) 1.571(0.160) 1.709(0.076) 1.693(0.113) 1.743(0.079) 1.761(0.068)

表 3.3: 混合比例 0.4 的鑑別度參數 α 估計平均值 (標準差) 樣本數 500 樣本數 1, 000 樣本數 2, 000 題組 小題 實際 混合二參數 VSM 二參數 VSM 混合二參數 VSM 二參數 VSM 混合二參數 VSM 二參數 VSM

1 1 1.2 1.238(0.073) 1.222(0.064) 1.150(0.097) 1.124(0.108) 1.202(0.093) 1.153(0.096) 2 1.7 1.580(0.201) 1.515(0.194) 1.607(0.073) 1.586(0.056) 1.729(0.049) 1.796(0.045) 3 1 0.932(0.061) 0.939(0.052) 1.070(0.024) 1.097(0.061) 0.967(0.017) 0.962(0.021) 2 1 1.6 1.619(0.316) 1.555(0.350) 1.590(0.213) 1.618(0.247) 1.622(0.099) 1.623(0.094) 2 1.7 1.665(0.063) 1.593(0.064) 1.682(0.055) 1.672(0.077) 1.764(0.054) 1.761(0.087) 3 1.4 1.352(0.186) 1.244(0.168) 1.347(0.072) 1.278(0.104) 1.357(0.061) 1.289(0.046) 3 1 1.7 1.553(0.146) 1.489(0.146) 1.689(0.148) 1.700(0.142) 1.673(0.107) 1.670(0.105) 2 1.9 1.765(0.231) 1.740(0.253) 1.876(0.084) 1.814(0.139) 1.824(0.065) 1.805(0.092) 3 0.8 0.784(0.177) 0.725(0.141) 0.788(0.027) 0.764(0.074) 0.799(0.045) 0.781(0.050) 4 1 0.8 0.788(0.094) 0.746(0.111) 0.790(0.035) 0.774(0.071) 0.804(0.047) 0.628(0.046) 2 1.5 1.318(0.277) 1.213(0.362) 1.452(0.081) 1.412(0.173) 1.450(0.087) 1.427(0.088) 3 1.8 1.673(0.126) 1.691(0.144) 1.737(0.157) 1.702(0.238) 1.817(0.074) 1.809(0.073) 5 1 1.9 1.729(0.233) 1.758(0.226) 1.812(0.070) 1.830(0.071) 1.866(0.122) 1.848(0.121) 2 1.6 1.463(0.125) 1.250(0.150) 1.543(0.108) 1.259(0.116) 1.563(0.108) 1.454(0.105) 3 0.7 0.682(0.174) 0.673(0.189) 0.663(0.047) 0.657(0.106) 0.760(0.046) 0.753(0.045) 6 1 1.4 1.485(0.255) 1.461(0.255) 1.482(0.137) 1.495(0.131) 1.402(0.078) 1.432(0.083) 2 0.8 0.755(0.066) 0.739(0.069) 0.774(0.057) 0.764(0.057) 0.807(0.054) 0.809(0.057) 3 1.2 1.205(0.138) 1.228(0.136) 1.204(0.092) 1.210(0.112) 1.209(0.147) 1.196(0.155) 7 1 0.85 0.872(0.124) 0.856(0.123) 0.648(0.139) 0.628(0.185) 0.622(0.035) 0.616(0.032) 2 1.8 1.662(0.153) 1.597(0.162) 1.752(0.114) 1.680(0.147) 1.759(0.089) 1.764(0.076) 3 1.3 1.331(0.209) 1.182(0.303) 1.295(0.079) 1.161(0.186) 1.288(0.066) 1.159(0.061) 8 1 1.5 1.430(0.112) 1.399(0.127) 1.506(0.073) 1.419(0.108) 1.445(0.050) 1.443(0.046) 2 1.1 1.052(0.068) 1.030(0.057) 1.152(0.057) 1.133(0.054) 1.103(0.047) 1.084(0.043) 3 0.9 0.824(0.177) 0.802(0.204) 0.893(0.062) 0.886(0.086) 0.876(0.061) 0.870(0.057) 9 1 1.6 1.623(0.091) 1.561(0.126) 1.566(0.070) 1.514(0.105) 1.601(0.098) 1.541(0.110) 2 1.4 1.450(0.178) 1.448(0.292) 1.360(0.051) 1.342(0.067) 1.375(0.051) 1.365(0.061) 3 1.2 1.090(0.111) 0.969(0.124) 1.101(0.102) 0.978(0.112) 1.108(0.074) 1.107(0.057) 10 1 0.8 0.805(0.095) 0.770(0.088) 0.796(0.060) 0.779(0.070) 0.803(0.064) 0.794(0.065) 2 1.1 0.962(0.094) 0.855(0.117) 0.968(0.080) 0.915(0.063) 1.074(0.081) 1.006(0.071) 3 1.8 1.865(0.219) 1.904(0.256) 1.831(0.168) 1.909(0.245) 1.818(0.149) 1.917(0.249)

表 3.4: 混合比例 0.4 的難易度參數 β 估計平均值 (標準差) 樣本數 500 樣本數 1, 000 樣本數 2, 000

題組 小題 實際 混合二參數 VSM 二參數 VSM 混合二參數 VSM 二參數 VSM 混合二參數 VSM 二參數 VSM 1 1 −1.25 −1.244(0.046) −1.257(0.057) −1.249(0.059) −1.219(0.067) −1.253(0.055) −1.254(0.047) 2 1 1.231(0.045) 1.246(0.060) 1.066(0.078) 1.027(0.085) 1.022(0.060) 1.111(0.057) 3 0.25 0.394(0.112) 0.527(0.129) 0.330(0.055) 0.452(0.063) 0.266(0.056) 0.368(0.039) 2 1 0 0.120(0.104) 0.102(0.121) −0.024(0.026) 0.000(0.040) 0.014(0.012) 0.022(0.032) 2 1 1.167(0.103) 1.158(0.119) 1.010(0.016) 0.987(0.029) 1.117(0.017) 1.109(0.025) 3 −1 −0.982(0.084) −0.856(0.114) −0.983(0.076) −0.920(0.134) −0.953(0.048) −0.886(0.048) 3 1 1.25 1.344(0.098) 1.477(0.121) 1.275(0.054) 1.240(0.064) 1.257(0.046) 1.283(0.051) 2 0.25 0.347(0.066) 0.382(0.135) 0.280(0.042) 0.337(0.063) 0.274(0.032) 0.310(0.058) 3 −1.5 −1.438(0.142) −1.482(0.178) −1.395(0.138) −1.139(0.174) −1.459(0.079) −1.226(0.097) 4 1 0 0.130(0.122) 0.119(0.124) −0.044(0.075) −0.094(0.105) 0.038(0.064) 0.018(0.074) 2 −1 −1.114(0.110) −1.123(0.142) −0.986(0.057) −0.964(0.082) −0.964(0.042) −0.934(0.053) 3 1 1.036(0.061) 1.037(0.067) 1.070(0.091) 1.081(0.075) 1.055(0.043) 1.053(0.041) 5 1 1.25 1.352(0.046) 1.357(0.051) 1.268(0.040) 1.242(0.058) 1.257(0.038) 1.259(0.053) 2 −1.5 −1.541(0.167) −1.515(0.176) −1.564(0.134) −1.557(0.143) −1.421(0.062) −1.405(0.092) 3 0.25 0.354(0.149) 0.452(0.143) 0.320(0.102) 0.415(0.102) 0.267(0.089) 0.311(0.114) 6 1 −1.25 −1.283(0.138) −1.312(0.197) −1.266(0.103) −1.324(0.127) −1.260(0.064) −1.271(0.103) 2 0.25 0.377(0.100) 0.395(0.202) 0.275(0.074) 0.281(0.105) 0.267(0.062) 0.284(0.085) 3 1 1.071(0.142) 1.068(0.173) 1.106(0.117) 1.130(0.134) 1.071(0.106) 1.069(0.096) 7 1 −1 −1.018(0.090) −1.086(0.141) −1.020(0.075) −1.022(0.079) −0.964(0.042) −0.955(0.065) 2 0.9 1.043(0.086) 1.127(0.092) 1.005(0.044) 0.969(0.038) 0.994(0.042) 0.977(0.039) 3 −1.2 −1.236(0.111) −1.098(0.181) −1.131(0.077) −1.038(0.067) −1.176(0.065) −1.107(0.050) 8 1 1 1.139(0.123) 1.100(0.134) 0.935(0.077) 0.936(0.090) 1.043(0.058) 1.039(0.079) 2 −0.9 −0.867(0.145) −0.787(0.148) −0.825(0.061) −0.764(0.066) −0.875(0.050) −0.735(0.051) 3 1.2 1.433(0.161) 1.431(0.204) 1.272(0.132) 1.272(0.123) 1.244(0.123) 1.343(0.120) 9 1 −1.6 −1.506(0.076) −1.549(0.086) −1.504(0.081) −1.559(0.103) −1.641(0.068) −1.688(0.072) 2 1.5 1.706(0.107) 1.698(0.176) 1.484(0.057) 1.488(0.070) 1.579(0.056) 1.569(0.067) 3 −1.8 −1.792(0.151) −1.687(0.174) −1.920(0.151) −1.811(0.170) −1.813(0.120) −1.789(0.117) 10 1 1.6 2.016(0.129) 1.996(0.172) 1.719(0.055) 1.707(0.064) 1.601(0.069) 1.581(0.088) 2 −1.5 −1.456(0.043) −1.395(0.090) −1.608(0.094) −1.555(0.169) −1.413(0.071) −1.386(0.066) 3 1.8 1.668(0.113) 1.659(0.167) 1.716(0.065) 1.698(0.107) 1.738(0.069) 1.746(0.076)

表 3.5: 混合比例參數估計平均值 (標準差) 及偏誤

樣本數 500 1000 2000

實際 平均 (標準差) 偏誤 平均 (標準差) 偏誤 平均 (標準差) 偏誤 0.2 0.2247(0.0269) 0.0247 0.2205(0.0201) 0.0205 0.2018(0.0150) 0.0018 0.4 0.4231(0.0481) 0.0231 0.4187(0.0388) 0.0187 0.4160(0.0241) 0.0160

表 3.6: 分群正確率平均值 (標準差)、最大值及最小值

混合比例 0.2 0.4

樣本數 500 1000 2000 500 1000 2000

平均 (標準差) 0.708(0.019) 0.739(0.013) 0.779(0.010) 0.710(0.022) 0.740(0.014) 0.780(0.009)

最大值 0.762 0.774 0.809 0.762 0.78 0.799

最小值 0.664 0.694 0.747 0.632 0.697 0.76

圖 3.17: 能力估計散佈圖 (樣本數 2000，混合比例 0.2)

圖 3.18: 能力估計散佈圖 (樣本數 500，混合比例 0.4)

圖 3.19: 能力估計散佈圖 (樣本數 1000，混合比例 0.4)

圖 3.20: 能力估計散佈圖 (樣本數 2000，混合比例 0.4)