• 沒有找到結果。

MVN(0)分配下的平均辨識率在 0.77~0.81 之間,在 MVN(0.5)分配下的平均辨識 率在 0.84~0.85 之間,在 uniform 分配下的平均辨識率為 0.92,顯示 HO-DINA 模 式的辨識率估計效果較佳,如圖 4-2-1 所示。

各概念辨識率的影響:在高階層試題迴歸參數λ0k =(−1,−0.5,0,0.5,1)的影響 下,HO-DINA 模式中各概念的辨識率會隨著試題愈簡單而逐漸上升,但 MVN(0) 與 MVN(0.5)的各概念辨識率則反之,因此,不同認知屬性分佈的受試者對各概 念的辨識率會有所差異。

0.000 0.020 0.040 0.060 0.080 0.100 0.120

0.000 0.200 0.400 0.600 0.800 1.000

MAB(g) 0.014 0.012 0.014 0.012 0.012 0.015 0.012 0.012 0.013 0.012 MAB(s) 0.036 0.016 0.011 0.033 0.049 0.091 0.019 0.025 0.032 0.030

ACC 0.852 0.904 0.960 0.812 0.784 0.776 0.858 0.845 0.847 0.923

HO-低能力組

HO-中能力組

HO-高能力組

MVN(0) 低能力組

MVN(0) 中能力組

MVN(0) 高能力組

MVN(0.5) 低能力組

MVN(0.5) 中能力組

MVN(0.5)

高能力組 uniform

二、 G-DINA 模式的估計

本實驗主要探討在估計模式為 G-DINA 模式之下,不同認知屬性分佈的受試 者其參數估計是否會有所差異,如表 4-2-2 所示。

表 4-2-2 綜合比較綜合比較綜合比較綜合比較---在-在在在 G-DINA 模式下模式下模式下,模式下,,,認知屬性對參數不變性之影響認知屬性對參數不變性之影響認知屬性對參數不變性之影響認知屬性對參數不變性之影響 試題參數估計 辨識率 各概念的辨識率 估計模式 認知

屬性 能力

分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.025* 0.037 0.795 0.677 0.755 0.817 0.837 0.890 中 0.023* 0.017 0.852 0.773 0.821 0.854 0.884 0.929 HO

高 0.031* 0.011 0.928 0.893 0.917 0.929 0.947 0.956 低 0.015* 0.033 0.787 0.800 0.800 0.787 0.775 0.771 中 0.016* 0.053 0.753 0.792 0.773 0.761 0.723 0.716 MVN

(0)

高 0.022* 0.097 0.742 0.778 0.769 0.741 0.721 0.704 低 0.016* 0.019 0.825 0.861 0.837 0.840 0.790 0.798 中 0.016* 0.025 0.810 0.844 0.833 0.800 0.796 0.775 MVN

(0.5)

高 0.019* 0.032 0.812 0.839 0.841 0.815 0.809 0.755 G-DINA

Uniform 0.034* 0.048 0.882 0.878 0.881 0.880 0.880 0.892

*表示 g 參數為多個認知屬性狀態組型答對機率的平均值

試題參數的影響:在猜測機率方面,其估計誤差介於 0.015~0.034 之間,顯 示其估計尚符合參數不變性的特性;在粗心機率方面,認知屬性分佈與能力分佈 皆對受試者有著相當的影響力,故可能不具有參數不變性的特性。

整體辨識率的影響:在 HO-DINA 模式下的平均辨識率在 0.79~0.92 之間,在 MVN(0)模式下的平均辨識率在 0.74~0.78 之間,在 MVN(0.5)模式下的平均辨識 率在 0.81~0.82 之間,在 uniform 分配下的平均辨識率為 0.88,顯示 HO-DINA 模 式的估計效果較佳,如圖 4-2-2 所示。

0.000 0.020 0.040 0.060 0.080 0.100 0.120

0.000 0.200 0.400 0.600 0.800 1.000

MAB(g) 0.025 0.023 0.031 0.015 0.016 0.022 0.016 0.016 0.019 0.034 MAB(s) 0.037 0.017 0.011 0.033 0.053 0.097 0.019 0.025 0.032 0.048

ACC 0.795 0.852 0.928 0.787 0.753 0.742 0.825 0.810 0.812 0.882

HO-低能力組

HO-中能力組

HO-高能力組

MVN(0) 低能力組

MVN(0) 中能力組

MVN(0) 高能力組

MVN(0.5) 低能力組

MVN(0.5) 中能力組

MVN(0.5)

高能力組 uniform

各概念辨識率的影響:在高階層試題迴歸參數λ0k =(−1,−0.5,0,0.5,1)的影響 下,HO-DINA 模式中各概念辨識率會隨著試題愈簡單而逐漸上升,但 MVN(0) 與 MVN(0.5)的各概念辨識率則反之,因此,不同認知屬性分佈的受試者對各概 念的辨識率會有所差異。

貳 貳 貳

貳、 、 、 、能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 能力分佈對參數不變性之影響

一、 HO-DINA 模式的估計

本實驗主要探討在認知屬性為 HO-DINA 模式之下,不同能力分佈的受試者 其參數估計是否會有所差異,如表 4-2-3 所示。

表 4-2-3 綜合比較綜合比較綜合比較綜合比較----在在在在 HO-DINA 模式下模式下模式下模式下,,,,能力分佈對參數不變性之影響能力分佈對參數不變性之影響能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 試題參數估計 辨識率 各概念的辨識率

估計模式 能力

分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.014 0.036 0.852 0.721 0.810 0.868 0.907 0.957 中 0.012 0.016 0.904 0.838 0.877 0.905 0.939 0.960 DINA

高 0.014 0.011 0.960 0.945 0.952 0.957 0.970 0.976 低 0.025* 0.037 0.795 0.677 0.755 0.817 0.837 0.890 中 0.023* 0.017 0.852 0.773 0.821 0.854 0.884 0.929 G-DINA

高 0.031* 0.011 0.928 0.893 0.917 0.929 0.947 0.956

*表示 g 參數為多個認知屬性狀態組型答對機率的平均值

試題參數的影響:在猜測機率方面,中能力組的受試者其猜測機率較低,而 DINA 模式比 G-DINA 模式更符合參數不變性的特性;在粗心機率方面,低能力 組受試者較容易有粗心的現象,隨著受試者能力的提升,粗心現象有逐漸減少的 趨勢。

整體辨識率的影響:在 DINA 模式與 G-DINA 模式的觀察下發現,能力愈高 的受試者其辨識率也會愈高,而 DINA 模式的平均辨識率在 0.85~0.96 之間,

G-DINA 模式的平均辨識率在 0.79~0.92 之間,顯示在辨識率的估計上 DINA 模式 比 G-DINA 模式來得良好,如圖 4-2-3 所示。

二、 MVN(0)分配方法的估計

本實驗主要探討在認知屬性為 MVN(0)分配方法之下,不同能力分佈的受試 者其參數估計是否會有所差異,如表 4-2-4 所示。

表 4-2-4 綜合比較綜合比較綜合比較-綜合比較---在在在 MVN(0)分配下在 分配下分配下分配下,,,能力分佈對參數不變性,能力分佈對參數不變性能力分佈對參數不變性能力分佈對參數不變性之影響之影響之影響 之影響 試題參數估計 辨識率 各概念的辨識率

估計模式 能力

分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.012 0.033 0.812 0.836 0.826 0.811 0.792 0.791 中 0.012 0.049 0.784 0.829 0.812 0.784 0.758 0.738 DINA

高 0.015 0.091 0.776 0.820 0.795 0.777 0.764 0.722 低 0.015* 0.033 0.787 0.800 0.800 0.787 0.775 0.771 中 0.016* 0.053 0.753 0.792 0.773 0.761 0.723 0.716 G-DINA

高 0.022* 0.097 0.742 0.778 0.769 0.741 0.721 0.704

*表示 g 參數為多個認知屬性狀態組型答對機率的平均值

試題參數的影響:在猜測機率方面,高能力組受試者的猜測機率較高,但大 致皆符合參數不變性的特性;在粗心機率方面,低能力組受試者較容易有粗心的 現象,隨著受試者能力的提升,粗心現象有逐漸減少的趨勢。

整體辨識率的影響:在 DINA 模式與 G-DINA 模式的觀察下發現,能力愈高 的受試者其辨識率會變得愈低,而 DINA 模式的平均辨識率在 0.77~0.81 之間,

G-DINA 模式的平均辨識率在 0.74~0.78 之間,顯示在辨識率的估計上 DINA 模式 比 G-DINA 模式來得略好,如圖 4-2-4 所示。

三、 MVN(0.5)分配方法的估計

本實驗主要探討在認知屬性為 MVN(0.5)分配方法之下,不同能力分佈的受 試者其參數估計是否會有所差異,如表 4-2-5 所示。

表 4-2-5 綜合比較綜合比較綜合比較綜合比較---在-在在在 MVN(0.5)分配下分配下分配下分配下,,,,能力分佈對參數不變性之影響能力分佈對參數不變性之影響能力分佈對參數不變性之影響 能力分佈對參數不變性之影響 試題參數估計 辨識率 各概念的辨識率

估計模式 能力

分佈 MAB(g) MAB(s) ACC K1 K2 K3 K4 K5 低 0.012 0.019 0.858 0.897 0.874 0.857 0.840 0.822 中 0.012 0.025 0.845 0.900 0.869 0.848 0.817 0.789 DINA

高 0.013 0.032 0.847 0.877 0.875 0.850 0.841 0.790 低 0.016* 0.019 0.825 0.861 0.837 0.840 0.790 0.798 中 0.016* 0.025 0.810 0.844 0.833 0.800 0.796 0.775 G-DINA

高 0.019* 0.032 0.812 0.839 0.841 0.815 0.809 0.755

*表示 g 參數為多個認知屬性狀態組型答對機率的平均值

試題參數的影響:在猜測機率方面,高能力組受試者的猜測機率較高,但大 致皆符合參數不變性的特性;在粗心機率方面,低能力組受試者較不容易出現粗 心的現象,反而隨著受試者能力的提升,粗心現象有逐漸增加的趨勢。

整體辨識率的影響:在 DINA 模式與 G-DINA 模式的觀察下發現,中能力組 的受試者其辨識率最低,而低、高能力組的受試者則擁有較高的辨識率。DINA 模式的平均辨識率在 0.84~0.85 之間,G-DINA 模式的平均辨識率在 0.81~0.82 之 間,顯示在辨識率的估計上 DINA 模式比 G-DINA 模式來得略好,如圖 4-2-5 所 示。

第三節 第三節 第三節

第三節 實徵 實徵 實徵資料分析 實徵 資料分析 資料分析 資料分析

本研究中使用洪祥堯(2009)作為實徵資料驗證,其測驗結構為:受試者 290 人、題數 33 題、概念數 13 個。根據模擬樣本資料研究的分類方式,並仿照 de la Torre & Lee(2010)實徵資料的能力區分方式,先計算出平均分數為 21.89 分,再將 全部受試者分為低分組與高分組,並結合 132 人低分組與 88 人高分組為低能力 組;110 人低分組與 110 人高分組為中能力組;88 人低分組與 132 人高分組為高 能力組。此分類方式主要是將受試者分配成低、中、高能力組,其目的是為了預 防作答反應過於相近導致無法估計,故三組能力組的平均數與標準差,如表 4-3-1 所示。

表 4-3-1 實徵實徵實徵實徵資料資料資料資料----平均數與標準差平均數與標準差平均數與標準差平均數與標準差 受試者 平均數 標準差 低能力組 20.08 6.95 中能力組 21.35 6.89 高能力組 22.65 6.81

全體 21.89 7.07

壹 壹 壹

壹、 、 、 、探討 探討 探討 探討 DINA 模式下 模式下 模式下 模式下的 的 的 的參數不變性之估計結果 參數不變性之估計結果 參數不變性之估計結果 參數不變性之估計結果

此研究之作答反應以 DINA 模式估計後,全體辨識率平均為 0.7822;而低能 力組為 0.7294,中能力組為 0.7406,高能力組為 0.7612,如表 4-3-2 所示。

表 4-3-2 實徵實徵實徵實徵資料資料資料資料----DINA 模式估計之模式估計之模式估計之模式估計之辨識率辨識率辨識率辨識率

受試者 平均辨識率

低能力組 0.7294 中能力組 0.7406 高能力組 0.7612

全體 0.7822

圖 圖

圖 4-3-1 實徵資料-DINA 模式估計之不同能力組的辨識率比較

0.20 0.40 0.60 0.80 1.00

低能力組 0.809 0.695 0.991 0.727 0.755 0.682 0.382 0.523 0.900 0.773 0.982 0.745 0.518 中能力組 0.741 0.732 0.986 0.777 0.773 0.695 0.414 0.568 0.905 0.809 0.905 0.745 0.577 高能力組 0.736 0.750 0.991 0.791 0.786 0.727 0.441 0.627 0.914 0.836 0.909 0.764 0.623

S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13

由上列圖表得知,此實徵資料在 DINA 模式下,不同能力組的受試者在辨識 率方面會略有差異,除了 S1、S3、S11 的低能力組之外,隨著受試者能力的提升 其辨識率也會逐漸上升。但由於估計人數的不同,全體 290 人的平均辨識率最好。

表 4-3-3 實徵資料實徵資料實徵資料實徵資料---DINA 模式估計之不同能力組的- 模式估計之不同能力組的模式估計之不同能力組的試題模式估計之不同能力組的試題試題參數估計試題參數估計參數估計(g)比較參數估計 比較比較 比較 低能力組低能力組

低能力組低能力組 中能力組中能力組中能力組中能力組 高能力組高能力組高能力組高能力組 all-290 人人人

I1 0.219 0.451 0.318 0.321

I2 0.576 0.560 0.645 0.559

I3 0.354 0.328 0.346 0.357

I4 0.000 0.000 0.000 0.000

I5 0.351 0.352 0.391 0.341

I6 0.208 0.220 0.258 0.237

I7 0.221 0.194 0.211 0.240

I8 0.175 0.179 0.203 0.190

I9 0.706 0.726 0.725 0.747

I10 0.528 0.536 0.521 0.517

I11 0.691 0.571 0.594 0.557

I12 0.000 0.000 0.000 0.000

I13 0.443 0.466 0.507 0.467

I14 0.152 0.350 0.496 0.436

I15 0.529 0.526 0.645 0.507

I16 0.236 0.303 0.317 0.284

I17 0.236 0.241 0.262 0.275

I18 0.115 0.139 0.106 0.133

I19 0.000 0.000 0.000 0.000

I20 0.314 0.325 0.325 0.340

I21 0.201 0.203 0.174 0.223

I22 0.366 0.397 0.403 0.394

I23 0.000 0.258 0.278 0.262

I24 0.402 0.434 0.460 0.432

I25 0.261 0.300 0.295 0.290

I26 0.159 0.138 0.333 0.295

I27 0.000 0.083 0.000 0.080

I28 0.152 0.162 0.155 0.140

I29 0.438 0.463 0.429 0.448

I30 0.224 0.173 0.141 0.220

I31 0.170 0.162 0.193 0.178

I32 0.207 0.264 0.287 0.232

I33 0.238 0.228 0.223 0.258

粗體 粗體粗體

粗體表示整體估計值未包含在各組估計值的範圍內

表 4-3-4 實徵資料實徵資料實徵資料-實徵資料---DINA 模式估計之不同能力組的模式估計之不同能力組的模式估計之不同能力組的模式估計之不同能力組的試題試題試題試題參數估計參數估計參數估計參數估計(s)比較比較比較比較 低能力組

低能力組低能力組

低能力組 中能力組中能力組中能力組中能力組 高能力組高能力組高能力組高能力組 all-290 人人 I1 0.111 0.122 0.000 0.000 I2 0.119 0.085 0.101 0.069 I3 0.000 0.000 0.000 0.000 I4 0.000 0.000 0.000 0.000 I5 0.000 0.000 0.000 0.000 I6 0.148 0.116 0.101 0.117 I7 0.262 0.264 0.268 0.228 I8 0.144 0.114 0.132 0.109 I9 0.000 0.000 0.000 0.000 I10 0.014 0.014 0.009 0.008 I11 0.132 0.000 0.000 0.000 I12 0.000 0.000 0.000 0.000 I13 0.145 0.118 0.106 0.087 I14 0.180 0.193 0.243 0.246

I15 0.193 0.144 0.165 0.147 I16 0.000 0.000 0.000 0.000 I17 0.000 0.010 0.001 0.021 I18 0.362 0.336 0.308 0.309 I19 0.000 0.000 0.000 0.000 I20 0.061 0.053 0.044 0.043 I21 0.000 0.000 0.000 0.000 I22 0.000 0.000 0.000 0.000 I23 0.000 0.000 0.000 0.000 I24 0.418 0.364 0.317 0.364 I25 0.049 0.065 0.043 0.063 I26 0.151 0.000 0.042 0.050 I27 0.000 0.000 0.000 0.018 I28 0.274 0.255 0.240 0.233 I29 0.052 0.044 0.036 0.052 I30 0.334 0.333 0.311 0.319 I31 0.196 0.207 0.184 0.176 I32 0.197 0.217 0.203 0.212 I33 0.349 0.303 0.297 0.287 粗體

粗體

粗體粗體表示整體估計值未包含在各組估計值的範圍內

由上列表格得知,此筆實徵資料在 DINA 模式下的試題參數估計結果,以表 4-3-3 的第 3 題來看,全體受試者所估計出來的 g 參數(0.357)不包含在低、中、高 能力組受試者的估計範圍(0.328~0.354)內,顯示此筆實徵資料的 g 參數可能不具 有參數不變性的特性;同理來看表 4-3-4 的第 7 題,全體受試者所估計出來的 s 參數(0.228)不包含在低、中、高能力組受試者的估計範圍(0.262~0.268)內,顯示 此筆實徵資料的 s 參數可能也不具有參數不變性的特性。

貳 貳

貳 貳、 、 、 、探討 探討 探討 探討 G-DINA 模式下的 模式下的 模式下的試題 模式下的 試題 試題參數不變性之估計結果 試題 參數不變性之估計結果 參數不變性之估計結果 參數不變性之估計結果

此研究之作答反應以 G-DINA 模式估計後,全體辨識率平均為 0.7948;而低 能力組為 0.7510,中能力組為 0.7458,高能力組為 0.7587,如表 4-3-5 所示。

表 4-3-5 實徵實徵實徵資料實徵資料資料資料----G-DINA 模式估計之模式估計之模式估計之辨識率模式估計之辨識率辨識率 辨識率

受試者 平均辨識率

低能力組 0.7510 中能力組 0.7458 高能力組 0.7587

全體 0.7948

由上列圖表得知,此實徵資料在 G-DINA 模式下,不同能力組的受試者在辨 識率方面會略有差異,而不同能力分佈對於辨識率的影響並沒有顯著的差異。但 和 DINA 模式估計的原因相同,由於估計人數的不同,全體 290 人的平均辨識率

由上列圖表得知,此實徵資料在 G-DINA 模式下,不同能力組的受試者在辨 識率方面會略有差異,而不同能力分佈對於辨識率的影響並沒有顯著的差異。但 和 DINA 模式估計的原因相同,由於估計人數的不同,全體 290 人的平均辨識率

相關文件