綜合比較

由實驗結果得知，各實驗在 HO-DINA 模式下產生資料、試題參數設定為 s=g=0.1 及人數為 1000 人時，有較佳的估計效果，因此綜合比較時，研究者以上 述情形為例，分項探討變項影響結果。

壹、 Q 矩陣平衡設計與不平衡設計對參數估計的影響

僅列出實驗一、實驗二之在 DINA 模式估計下之比較。

圖圖圖

圖 4-1 Q 矩陣在平衡與不平衡設計辨識率估計效果比較圖

分類辨識率的影響：從圖中可知，Q 矩陣不平衡設計的辨識率是較佳，而從 各概念的辨識率可知因不平衡設計在概念 1 對應到的題數較多，致概念 1 有較佳 的辨識效果並影響到之後的概念辨識率，二者的差距至概念 5 時趨近於相等。

試題參數的影響：其參數估計值如下圖：可知二者並無明顯差異。

表 4-7 Q 矩陣平衡與不平衡設計對試題參數估計的影響矩陣平衡與不平衡設計對試題參數估計的影響矩陣平衡與不平衡設計對試題參數估計的影響 矩陣平衡與不平衡設計對試題參數估計的影響 設計區分 MAB_g MAB_s

BALANCE 0.0126 0.0172 UNBALANCE 0.0129 0.0166

辨識率 概念1 概念2 概念3 概念4 概念5

BLANCE 0.9015 0.8314 0.8747 0.9047 0.9308 0.9661

UNBLANCE 0.9541 0.9488 0.9431 0.9528 0.9593 0.9666 0.7500

0.8000 0.8500 0.9000 0.9500 1.0000

百分比

貳、 測驗長度對不同測量模式參數估計精準度的影響

以實驗一、實驗三之估計結果為例，這二者實驗 Q 矩陣均為平衡設計，概念 數均為 5，試題參數設定為 s=g=0.1。其比較結果如下：

圖圖圖

圖 4-2 測驗長度對辨識率估計效果比較圖

表 4-8 試題長度對試題參數估計的影響試題長度對試題參數估計的影響試題長度對試題參數估計的影響試題長度對試題參數估計的影響 試題長度 MAB_g MAB_s

20 題 0.0126 0.0172 30 題 0.0109 0.0150

由圖表中可知，試題長度 30 題時不論是在整個辨識率或各概念的辨識率都 有明顯提高，但對試題參數估計的影響，沒有明顯差異。

參、 試題參數設定對不同測量模式參數估計精準度的影響

以實驗二為例，其估計之比較結果如下：

試題參數設定為 s=g=0.1 在分類辨識率及參數估計均有較佳的估計效果。

辨識率 概念1 概念2 概念3 概念4 概念5

20題 0.9015 0.8314 0.8747 0.9047 0.9308 0.9661 30題 0.9817 0.9678 0.9772 0.9828 0.9890 0.9918 0.7000

0.7500 0.8000 0.8500 0.9000 0.9500 1.0000

百分比百分比百分比百分比

圖 圖

圖圖 4-3 試題參數設定對辨識率估計效果比較圖

表 4-9 試題參數設定對試題參數估計的影響試題參數設定對試題參數估計的影響試題參數設定對試題參數估計的影響試題參數設定對試題參數估計的影響 試題參數設定 MAB_g MAB_s

s=g=0.1 0.0129 0.0166 s=g=0.25 0.0371 0.0353

肆、 認知屬性數量對不同測量模式參數估計精準度的影響

以實驗三、實驗五比較為例，不論是以 DINA 模式估計或以 G-DINA 模式估 計時，均以認知屬性數量較少者，估計的效果較佳，詳細比較如圖 4-4。推測其 發生原因在於樣本數不足，而認知屬性類型從 32 組增加至 1024 組，導致估計效 果不佳。

辨識率 概念1 概念2 概念3 概念4 概念5

s=g=0.1 0.9541 0.9488 0.9431 0.9528 0.9593 0.9666 s=g=0.25 0.8284 0.8122 0.8012 0.8095 0.8534 0.8656

0.7000 0.7500 0.8000 0.8500 0.9000 0.9500 1.0000

百分比百分比百分比百分比

圖

表 4-10 不同認知屬性分佈對參數估計的影響比較 認知屬性的分佈 MAB_g MAB_s

Uniform 0.0116 0.0342 HO-DINA 0.0134 0.0175

由實驗結果可知，以 HO-DINA 模式模擬受試者的作答反應時，所得到的辨 識率都高出以隨均勻分佈產生的作答反應。而在參數估計方面也是相同的結果，

以 HO-DINA 模式的估計成果較好。