實徵資料驗證

實徵資料的測驗結構為：受試者 290 人、題數 33 題、概念數 13 個，其作答 反應資料以 DINA 模式估計後，試題參數估計結果：猜測度介於 0.1~0.5 之間，

粗心則介於 0.01~0.07 之間。分類辨識率平均為 0.7480，如表 4-11~表 4-13。

表 4-11 實徵資料以實徵資料以實徵資料以 DINA 模式估計之實徵資料以 模式估計之模式估計之模式估計之辨識率辨識率辨識率結果辨識率結果結果結果

辨識率 概念 1 概念 2 概念 3 概念 4 概念 5 概念 6 概念 7

0.7480

0.7207 0.7483 0.9897 0.7621 0.7862 0.7069 0.4241 概念 8 概念 9 概念 10 概念 11 概念 12 概念 13

0.5966 0.9069 0.8069 0.9138 0.7690 0.5931

表 4-12 實徵資料以實徵資料以實徵資料以 DINA 模式估計之試題參數實徵資料以 模式估計之試題參數模式估計之試題參數模式估計之試題參數 g

試題 1 2 3 4 5 6 7 8 9 g 參數 0.2578 0.5580 0.3547 0.0000 0.3400 0.2389 0.2270 0.1896 0.7464 試題 10 11 12 13 14 15 16 17 18 g 參數 0.5140 0.5591 0.0000 0.4647 0.1785 0.5078 0.2810 0.2713 0.1279 試題 19 20 21 22 23 24 25 26 27 g 參數 0.0000 0.3423 0.2212 0.3881 0.2652 0.4275 0.2892 0.1610 0.0743 試題 28 29 30 31 32 33

g 參數 0.1321 0.4442 0.2197 0.1803 0.2310 0.2562

表 4-13 實徵資料以實徵資料以實徵資料以 DINA 模式估計之試題參數實徵資料以 模式估計之試題參數模式估計之試題參數模式估計之試題參數 s

試題 1 2 3 4 5 6 7 8 9 s 參數 0.0918 0.0741 0.0000 0.0000 0.0000 0.1260 0.2393 0.0934 0.0000 試題 10 11 12 13 14 15 16 17 18 s 參數 0.0088 0.0000 0.0000 0.0859 0.2132 0.1516 0.0000 0.0148 0.3157 試題 19 20 21 22 23 24 25 26 27 s 參數 0.000 0.047 0.000 0.000 0.000 0.380 0.068 0.116 0.021 試題 28 29 30 31 32 33

s 參數 0.2407 0.0571 0.3142 0.1906 0.2204 0.2920

實徵資料以 G-DINA 模式估計後，分類辨識率平均為 0.7597，如表 4-14 所 列。

表 4-14 實徵資料以實徵資料以實徵資料以實徵資料以 G-DINA 模式估計之結果模式估計之結果模式估計之結果 模式估計之結果

辨識率 概念 1 概念 2 概念 3 概念 4 概念 5 概念 6 概念 7 0.7597

0.7690 0.7172 0.9862 0.7621 0.7862 0.7034 0.5621 概念 8 概念 9 概念 10 概念 11 概念 12 概念 13

0.6000 0.9034 0.8103 0.9138 0.7690 0.5931

本研究與實徵資料估計相近的實驗結果如表 4-16，為 Q 矩陣為 K10_J30_UB 設計及 K=10、J=30 之情形。實徵資料之參數 g，DINA 模式估計之平均值約為 0.27，而參數 s 估計之平均值約為 0.10，且概念數比實驗設計之概念數較多，樣 本人數介於 100 人至 500 人間，故預期以 DINA 模式估計應介於 0.70~0.85 之間、

以 G-DINA 模式估計應介於 0.63~0.81 之間。

而實際估計結果 DINA 模式辨識率 0.7241，G-DINA 模式 0.7265 皆位於上述 區間內，故與實驗結果相符。

表 4-15 與實徵資料相近之實驗結果與實徵資料相近之實驗結果與實徵資料相近之實驗結果 與實徵資料相近之實驗結果 分佈_試題參數_人數 估計模式

DINA G-DINA HO_S01_100 0.8514 0.8040 HO_S01_500 0.8734 0.8182 U_S01_100 0.8062 0.7720 U_S01_500 0.8120 0.7784 HO_S25_100 0.7084 0.6789 HO_S25_500 0.7364 0.6789 U_S25_100 0.6606 0.6372 U_S25_500 0.7402 0.6863

另外，值得探討的一點，本研究實徵資料是來自洪祥堯的研究，其研究結果 也對這 13 個概念進行診斷，診斷所使用的模型是貝氏網路，其診斷辨識率如表 4-15 所示，平均為 0.9358。此結果較本研究所使用的方法估計效果來的好，推測 其原因應該是，貝氏網路屬於監督式的學習機制，而本研究的認知診斷模型皆屬 於非監督式學習，其診斷結果較低尚屬合理結果，但 DINA 模式為許多認知診斷 模型的基礎，有其模式的重要性，未來可朝此方向發展，以期改善。

表 4-16 實徵資料由貝氏網路估計之結果實徵資料由貝氏網路估計之結果實徵資料由貝氏網路估計之結果實徵資料由貝氏網路估計之結果

辨識率 概念 1 概念 2 概念 3 概念 4 概念 5 概念 6 概念 7 0.9358

0.9586 0.9483 0.9897 0.8345 0.8517 0.8207 1.0000 概念 8 概念 9 概念 10 概念 11 概念 12 概念 13

0.8759 0.9759 0.9690 0.9862 0.9759 0.9793