MVN(0)分配下的平均辨識率在 0.77~0.81 之間,在 MVN(0.5)分配下的平均辨識 率在 0.84~0.85 之間,在 uniform 分配下的平均辨識率為 0.92,顯示 HO-DINA 模 式的辨識率估計效果較佳,如圖 4-2-1 所示。
各概念辨識率的影響:在高階層試題迴歸參數λ0k =(−1,−0.5,0,0.5,1)的影響 下,HO-DINA 模式中各概念的辨識率會隨著試題愈簡單而逐漸上升,但 MVN(0) 與 MVN(0.5)的各概念辨識率則反之,因此,不同認知屬性分佈的受試者對各概 念的辨識率會有所差異。
0.000 0.020 0.040 0.060 0.080 0.100 0.120
0.000 0.200 0.400 0.600 0.800 1.000
MAB(g) 0.014 0.012 0.014 0.012 0.012 0.015 0.012 0.012 0.013 0.012 MAB(s) 0.036 0.016 0.011 0.033 0.049 0.091 0.019 0.025 0.032 0.030
ACC 0.852 0.904 0.960 0.812 0.784 0.776 0.858 0.845 0.847 0.923
HO-低能力組
HO-中能力組
HO-高能力組
MVN(0) 低能力組
MVN(0) 中能力組
MVN(0) 高能力組
MVN(0.5) 低能力組
MVN(0.5) 中能力組
MVN(0.5)
高能力組 uniform
二、 G-DINA 模式的估計
本實驗主要探討在估計模式為 G-DINA 模式之下,不同認知屬性分佈的受試 者其參數估計是否會有所差異,如表 4-2-2 所示。
表 4-2-2 綜合比較綜合比較綜合比較綜合比較---在-在在在 G-DINA 模式下模式下模式下,模式下,,,認知屬性對參數不變性之影響認知屬性對參數不變性之影響認知屬性對參數不變性之影響認知屬性對參數不變性之影響 試題參數估計 辨識率 各概念的辨識率 估計模式 認知
屬性 能力
分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.025* 0.037 0.795 0.677 0.755 0.817 0.837 0.890 中 0.023* 0.017 0.852 0.773 0.821 0.854 0.884 0.929 HO
高 0.031* 0.011 0.928 0.893 0.917 0.929 0.947 0.956 低 0.015* 0.033 0.787 0.800 0.800 0.787 0.775 0.771 中 0.016* 0.053 0.753 0.792 0.773 0.761 0.723 0.716 MVN
(0)
高 0.022* 0.097 0.742 0.778 0.769 0.741 0.721 0.704 低 0.016* 0.019 0.825 0.861 0.837 0.840 0.790 0.798 中 0.016* 0.025 0.810 0.844 0.833 0.800 0.796 0.775 MVN
(0.5)
高 0.019* 0.032 0.812 0.839 0.841 0.815 0.809 0.755 G-DINA
Uniform 0.034* 0.048 0.882 0.878 0.881 0.880 0.880 0.892
*表示 g 參數為多個認知屬性狀態組型答對機率的平均值
試題參數的影響:在猜測機率方面,其估計誤差介於 0.015~0.034 之間,顯 示其估計尚符合參數不變性的特性;在粗心機率方面,認知屬性分佈與能力分佈 皆對受試者有著相當的影響力,故可能不具有參數不變性的特性。
整體辨識率的影響:在 HO-DINA 模式下的平均辨識率在 0.79~0.92 之間,在 MVN(0)模式下的平均辨識率在 0.74~0.78 之間,在 MVN(0.5)模式下的平均辨識 率在 0.81~0.82 之間,在 uniform 分配下的平均辨識率為 0.88,顯示 HO-DINA 模 式的估計效果較佳,如圖 4-2-2 所示。
0.000 0.020 0.040 0.060 0.080 0.100 0.120
0.000 0.200 0.400 0.600 0.800 1.000
MAB(g) 0.025 0.023 0.031 0.015 0.016 0.022 0.016 0.016 0.019 0.034 MAB(s) 0.037 0.017 0.011 0.033 0.053 0.097 0.019 0.025 0.032 0.048
ACC 0.795 0.852 0.928 0.787 0.753 0.742 0.825 0.810 0.812 0.882
HO-低能力組
HO-中能力組
HO-高能力組
MVN(0) 低能力組
MVN(0) 中能力組
MVN(0) 高能力組
MVN(0.5) 低能力組
MVN(0.5) 中能力組
MVN(0.5)
高能力組 uniform
各概念辨識率的影響:在高階層試題迴歸參數λ0k =(−1,−0.5,0,0.5,1)的影響 下,HO-DINA 模式中各概念辨識率會隨著試題愈簡單而逐漸上升,但 MVN(0) 與 MVN(0.5)的各概念辨識率則反之,因此,不同認知屬性分佈的受試者對各概 念的辨識率會有所差異。
貳 貳 貳
貳、 、 、 、能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 能力分佈對參數不變性之影響
一、 HO-DINA 模式的估計
本實驗主要探討在認知屬性為 HO-DINA 模式之下,不同能力分佈的受試者 其參數估計是否會有所差異,如表 4-2-3 所示。
表 4-2-3 綜合比較綜合比較綜合比較綜合比較----在在在在 HO-DINA 模式下模式下模式下模式下,,,,能力分佈對參數不變性之影響能力分佈對參數不變性之影響能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 試題參數估計 辨識率 各概念的辨識率
估計模式 能力
分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.014 0.036 0.852 0.721 0.810 0.868 0.907 0.957 中 0.012 0.016 0.904 0.838 0.877 0.905 0.939 0.960 DINA
高 0.014 0.011 0.960 0.945 0.952 0.957 0.970 0.976 低 0.025* 0.037 0.795 0.677 0.755 0.817 0.837 0.890 中 0.023* 0.017 0.852 0.773 0.821 0.854 0.884 0.929 G-DINA
高 0.031* 0.011 0.928 0.893 0.917 0.929 0.947 0.956
*表示 g 參數為多個認知屬性狀態組型答對機率的平均值
試題參數的影響:在猜測機率方面,中能力組的受試者其猜測機率較低,而 DINA 模式比 G-DINA 模式更符合參數不變性的特性;在粗心機率方面,低能力 組受試者較容易有粗心的現象,隨著受試者能力的提升,粗心現象有逐漸減少的 趨勢。
整體辨識率的影響:在 DINA 模式與 G-DINA 模式的觀察下發現,能力愈高 的受試者其辨識率也會愈高,而 DINA 模式的平均辨識率在 0.85~0.96 之間,
G-DINA 模式的平均辨識率在 0.79~0.92 之間,顯示在辨識率的估計上 DINA 模式 比 G-DINA 模式來得良好,如圖 4-2-3 所示。
圖
二、 MVN(0)分配方法的估計
本實驗主要探討在認知屬性為 MVN(0)分配方法之下,不同能力分佈的受試 者其參數估計是否會有所差異,如表 4-2-4 所示。
表 4-2-4 綜合比較綜合比較綜合比較-綜合比較---在在在 MVN(0)分配下在 分配下分配下分配下,,,能力分佈對參數不變性,能力分佈對參數不變性能力分佈對參數不變性能力分佈對參數不變性之影響之影響之影響 之影響 試題參數估計 辨識率 各概念的辨識率
估計模式 能力
分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.012 0.033 0.812 0.836 0.826 0.811 0.792 0.791 中 0.012 0.049 0.784 0.829 0.812 0.784 0.758 0.738 DINA
高 0.015 0.091 0.776 0.820 0.795 0.777 0.764 0.722 低 0.015* 0.033 0.787 0.800 0.800 0.787 0.775 0.771 中 0.016* 0.053 0.753 0.792 0.773 0.761 0.723 0.716 G-DINA
高 0.022* 0.097 0.742 0.778 0.769 0.741 0.721 0.704
*表示 g 參數為多個認知屬性狀態組型答對機率的平均值
試題參數的影響:在猜測機率方面,高能力組受試者的猜測機率較高,但大 致皆符合參數不變性的特性;在粗心機率方面,低能力組受試者較容易有粗心的 現象,隨著受試者能力的提升,粗心現象有逐漸減少的趨勢。
整體辨識率的影響:在 DINA 模式與 G-DINA 模式的觀察下發現,能力愈高 的受試者其辨識率會變得愈低,而 DINA 模式的平均辨識率在 0.77~0.81 之間,
G-DINA 模式的平均辨識率在 0.74~0.78 之間,顯示在辨識率的估計上 DINA 模式 比 G-DINA 模式來得略好,如圖 4-2-4 所示。
圖
三、 MVN(0.5)分配方法的估計
本實驗主要探討在認知屬性為 MVN(0.5)分配方法之下,不同能力分佈的受 試者其參數估計是否會有所差異,如表 4-2-5 所示。
表 4-2-5 綜合比較綜合比較綜合比較綜合比較---在-在在在 MVN(0.5)分配下分配下分配下分配下,,,,能力分佈對參數不變性之影響能力分佈對參數不變性之影響能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 試題參數估計 辨識率 各概念的辨識率
估計模式 能力
分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.012 0.019 0.858 0.897 0.874 0.857 0.840 0.822 中 0.012 0.025 0.845 0.900 0.869 0.848 0.817 0.789 DINA
高 0.013 0.032 0.847 0.877 0.875 0.850 0.841 0.790 低 0.016* 0.019 0.825 0.861 0.837 0.840 0.790 0.798 中 0.016* 0.025 0.810 0.844 0.833 0.800 0.796 0.775 G-DINA
高 0.019* 0.032 0.812 0.839 0.841 0.815 0.809 0.755
*表示 g 參數為多個認知屬性狀態組型答對機率的平均值
試題參數的影響:在猜測機率方面,高能力組受試者的猜測機率較高,但大 致皆符合參數不變性的特性;在粗心機率方面,低能力組受試者較不容易出現粗 心的現象,反而隨著受試者能力的提升,粗心現象有逐漸增加的趨勢。
整體辨識率的影響:在 DINA 模式與 G-DINA 模式的觀察下發現,中能力組 的受試者其辨識率最低,而低、高能力組的受試者則擁有較高的辨識率。DINA 模式的平均辨識率在 0.84~0.85 之間,G-DINA 模式的平均辨識率在 0.81~0.82 之 間,顯示在辨識率的估計上 DINA 模式比 G-DINA 模式來得略好,如圖 4-2-5 所 示。
圖
第三節 第三節 第三節
第三節 實徵 實徵 實徵資料分析 實徵 資料分析 資料分析 資料分析
本研究中使用洪祥堯(2009)作為實徵資料驗證,其測驗結構為:受試者 290 人、題數 33 題、概念數 13 個。根據模擬樣本資料研究的分類方式,並仿照 de la Torre & Lee(2010)實徵資料的能力區分方式,先計算出平均分數為 21.89 分,再將 全部受試者分為低分組與高分組,並結合 132 人低分組與 88 人高分組為低能力 組;110 人低分組與 110 人高分組為中能力組;88 人低分組與 132 人高分組為高 能力組。此分類方式主要是將受試者分配成低、中、高能力組,其目的是為了預 防作答反應過於相近導致無法估計,故三組能力組的平均數與標準差,如表 4-3-1 所示。
表 4-3-1 實徵實徵實徵實徵資料資料資料資料----平均數與標準差平均數與標準差平均數與標準差平均數與標準差 受試者 平均數 標準差 低能力組 20.08 6.95 中能力組 21.35 6.89 高能力組 22.65 6.81
全體 21.89 7.07
壹 壹 壹
壹、 、 、 、探討 探討 探討 探討 DINA 模式下 模式下 模式下 模式下的 的 的 的參數不變性之估計結果 參數不變性之估計結果 參數不變性之估計結果 參數不變性之估計結果
此研究之作答反應以 DINA 模式估計後,全體辨識率平均為 0.7822;而低能 力組為 0.7294,中能力組為 0.7406,高能力組為 0.7612,如表 4-3-2 所示。
表 4-3-2 實徵實徵實徵實徵資料資料資料資料----DINA 模式估計之模式估計之模式估計之模式估計之辨識率辨識率辨識率辨識率
受試者 平均辨識率
低能力組 0.7294 中能力組 0.7406 高能力組 0.7612
全體 0.7822
圖 圖
圖圖 4-3-1 實徵資料-DINA 模式估計之不同能力組的辨識率比較
0.20 0.40 0.60 0.80 1.00
低能力組 0.809 0.695 0.991 0.727 0.755 0.682 0.382 0.523 0.900 0.773 0.982 0.745 0.518 中能力組 0.741 0.732 0.986 0.777 0.773 0.695 0.414 0.568 0.905 0.809 0.905 0.745 0.577 高能力組 0.736 0.750 0.991 0.791 0.786 0.727 0.441 0.627 0.914 0.836 0.909 0.764 0.623
S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13
由上列圖表得知,此實徵資料在 DINA 模式下,不同能力組的受試者在辨識 率方面會略有差異,除了 S1、S3、S11 的低能力組之外,隨著受試者能力的提升 其辨識率也會逐漸上升。但由於估計人數的不同,全體 290 人的平均辨識率最好。
表 4-3-3 實徵資料實徵資料實徵資料實徵資料---DINA 模式估計之不同能力組的- 模式估計之不同能力組的模式估計之不同能力組的試題模式估計之不同能力組的試題試題參數估計試題參數估計參數估計(g)比較參數估計 比較比較 比較 低能力組低能力組
低能力組低能力組 中能力組中能力組中能力組中能力組 高能力組高能力組高能力組高能力組 all-290 人人人人
I1 0.219 0.451 0.318 0.321
I2 0.576 0.560 0.645 0.559
I3 0.354 0.328 0.346 0.357
I4 0.000 0.000 0.000 0.000
I5 0.351 0.352 0.391 0.341
I6 0.208 0.220 0.258 0.237
I7 0.221 0.194 0.211 0.240
I8 0.175 0.179 0.203 0.190
I9 0.706 0.726 0.725 0.747
I10 0.528 0.536 0.521 0.517
I11 0.691 0.571 0.594 0.557
I12 0.000 0.000 0.000 0.000
I13 0.443 0.466 0.507 0.467
I14 0.152 0.350 0.496 0.436
I15 0.529 0.526 0.645 0.507
I16 0.236 0.303 0.317 0.284
I17 0.236 0.241 0.262 0.275
I18 0.115 0.139 0.106 0.133
I19 0.000 0.000 0.000 0.000
I20 0.314 0.325 0.325 0.340
I21 0.201 0.203 0.174 0.223
I22 0.366 0.397 0.403 0.394
I23 0.000 0.258 0.278 0.262
I24 0.402 0.434 0.460 0.432
I25 0.261 0.300 0.295 0.290
I26 0.159 0.138 0.333 0.295
I27 0.000 0.083 0.000 0.080
I28 0.152 0.162 0.155 0.140
I29 0.438 0.463 0.429 0.448
I30 0.224 0.173 0.141 0.220
I31 0.170 0.162 0.193 0.178
I32 0.207 0.264 0.287 0.232
I33 0.238 0.228 0.223 0.258
粗體 粗體粗體
粗體表示整體估計值未包含在各組估計值的範圍內
表 4-3-4 實徵資料實徵資料實徵資料-實徵資料---DINA 模式估計之不同能力組的模式估計之不同能力組的模式估計之不同能力組的模式估計之不同能力組的試題試題試題試題參數估計參數估計參數估計參數估計(s)比較比較比較比較 低能力組
低能力組低能力組
低能力組 中能力組中能力組中能力組中能力組 高能力組高能力組高能力組高能力組 all-290 人人人 人 I1 0.111 0.122 0.000 0.000 I2 0.119 0.085 0.101 0.069 I3 0.000 0.000 0.000 0.000 I4 0.000 0.000 0.000 0.000 I5 0.000 0.000 0.000 0.000 I6 0.148 0.116 0.101 0.117 I7 0.262 0.264 0.268 0.228 I8 0.144 0.114 0.132 0.109 I9 0.000 0.000 0.000 0.000 I10 0.014 0.014 0.009 0.008 I11 0.132 0.000 0.000 0.000 I12 0.000 0.000 0.000 0.000 I13 0.145 0.118 0.106 0.087 I14 0.180 0.193 0.243 0.246
I15 0.193 0.144 0.165 0.147 I16 0.000 0.000 0.000 0.000 I17 0.000 0.010 0.001 0.021 I18 0.362 0.336 0.308 0.309 I19 0.000 0.000 0.000 0.000 I20 0.061 0.053 0.044 0.043 I21 0.000 0.000 0.000 0.000 I22 0.000 0.000 0.000 0.000 I23 0.000 0.000 0.000 0.000 I24 0.418 0.364 0.317 0.364 I25 0.049 0.065 0.043 0.063 I26 0.151 0.000 0.042 0.050 I27 0.000 0.000 0.000 0.018 I28 0.274 0.255 0.240 0.233 I29 0.052 0.044 0.036 0.052 I30 0.334 0.333 0.311 0.319 I31 0.196 0.207 0.184 0.176 I32 0.197 0.217 0.203 0.212 I33 0.349 0.303 0.297 0.287 粗體
粗體
粗體粗體表示整體估計值未包含在各組估計值的範圍內
由上列表格得知,此筆實徵資料在 DINA 模式下的試題參數估計結果,以表 4-3-3 的第 3 題來看,全體受試者所估計出來的 g 參數(0.357)不包含在低、中、高 能力組受試者的估計範圍(0.328~0.354)內,顯示此筆實徵資料的 g 參數可能不具 有參數不變性的特性;同理來看表 4-3-4 的第 7 題,全體受試者所估計出來的 s 參數(0.228)不包含在低、中、高能力組受試者的估計範圍(0.262~0.268)內,顯示 此筆實徵資料的 s 參數可能也不具有參數不變性的特性。
貳 貳
貳 貳、 、 、 、探討 探討 探討 探討 G-DINA 模式下的 模式下的 模式下的試題 模式下的 試題 試題參數不變性之估計結果 試題 參數不變性之估計結果 參數不變性之估計結果 參數不變性之估計結果
此研究之作答反應以 G-DINA 模式估計後,全體辨識率平均為 0.7948;而低 能力組為 0.7510,中能力組為 0.7458,高能力組為 0.7587,如表 4-3-5 所示。
表 4-3-5 實徵實徵實徵資料實徵資料資料資料----G-DINA 模式估計之模式估計之模式估計之辨識率模式估計之辨識率辨識率 辨識率
受試者 平均辨識率
低能力組 0.7510 中能力組 0.7458 高能力組 0.7587
全體 0.7948
由上列圖表得知,此實徵資料在 G-DINA 模式下,不同能力組的受試者在辨 識率方面會略有差異,而不同能力分佈對於辨識率的影響並沒有顯著的差異。但 和 DINA 模式估計的原因相同,由於估計人數的不同,全體 290 人的平均辨識率
由上列圖表得知,此實徵資料在 G-DINA 模式下,不同能力組的受試者在辨 識率方面會略有差異,而不同能力分佈對於辨識率的影響並沒有顯著的差異。但 和 DINA 模式估計的原因相同,由於估計人數的不同,全體 290 人的平均辨識率