結論

壹、Q 矩陣設計的影響

由實驗結果得知，Q 矩陣在不平衡設計時，所得到的準確度略高於平衡設計，

影響原因約是認知屬性精熟的難度與認知屬性對應到題數的多寡，為了探討認知 屬性精熟的難度是否是影響此結果的原因，研究者嘗試將λ_設定為（1,0.5, 0,- 0.5,- 1）來估計，以 DINA 模式在 HO_S01_500 情形下為例結果如表 5-1，發現仍是不 平衡設計的準確度高於平衡設計。

表 5-1 平衡設計與不平衡設計辨識率的比較平衡設計與不平衡設計辨識率的比較平衡設計與不平衡設計辨識率的比較平衡設計與不平衡設計辨識率的比較(認知屬性難度相反認知屬性難度相反認知屬性難度相反認知屬性難度相反) Q 矩陣設計矩陣設計矩陣設計矩陣設計 辨識率辨識率辨識率辨識率 概念概念概念概念 1 概念概念概念概念 2 概念概念概念概念 3 概念概念概念概念 4 概念概念概念概念 5 平衡設計

平衡設計

平衡設計平衡設計 0.8984 0.9520 0.9360 0.8980 0.8800 0.8260 不平衡設計

不平衡設計 不平衡設計

不平衡設計 0.9280 0.9820 0.9120 0.9040 0.9220 0.9200

而若把認知屬性精熟的難度這因素摒除時，也就是當認知屬性分佈為均勻分 佈時之估計結果，以表 5-2 來說明，其數據取自本研究實驗一表 4-1-2 與實驗二 表 4-2-2，以 DINA 模式在 U_S01_1000 的情形下為例，依然不平衡設計的準確度 高於平衡設計。

表 5-2 平衡設計與不平衡設計在個別概念辨識率的比較平衡設計與不平衡設計在個別概念辨識率的比較平衡設計與不平衡設計在個別概念辨識率的比較平衡設計與不平衡設計在個別概念辨識率的比較

Q 矩陣設計矩陣設計矩陣設計矩陣設計 項目項目項目項目 概念 1 概念 2 概念 3 概念 4 概念 5 平均 平衡設計 辨識率 0.8628 0.8664 0.8626 0.8623 0.8626 0.8628

概念對應的題數 10 10 10 10 10 10 不平衡設計 辨識率 0.9394 0.9242 0.9167 0.9221 0.9093 0.9224 概念對應的題數 13 11 10 9 7 10

在表 5-2 中，平衡設計時每個概念對應到 10 個試題，在不平衡設計時每個概 念對應到 7~13 個試題，但平均仍維持在 10 個試題；平衡設計在各個概念的辨識 率變動差異不大，而不平衡設計中，概念的辨識率隨者對應的題數遞減而遞減，

但整體而言，不平衡設計的平均辨識率還是優於平衡設計的表現。

從以上所述可知，認知屬性精熟的難度，並非影響本實驗結果之原因。另以 kappa 檢驗平衡設計與不平衡設計二者與其真值的一致性程度，結果如表 5-3，亦 是不平衡設計有較高的一致性。

表 5-3 平衡設計與不平衡設計平衡設計與不平衡設計平衡設計與不平衡設計平衡設計與不平衡設計 kappa 值的比較值的比較值的比較值的比較 Q 矩陣設計矩陣設計矩陣設計矩陣設計 kappa 值值值值

平衡設計平衡設計

平衡設計平衡設計 0.7595 不平衡設計

不平衡設計 不平衡設計

不平衡設計 0.8559

因此，探討其原因應是於測驗設計時，在 Q 矩陣不平衡設計下，某概念所對 應到的題數多於平衡設計時(如表 5-2 不平衡設計時概念 1 對應到 13 題，但平衡 設計時均只對應到 10 題)，除了提高本身估計的辨識率外，並也間接提高了其他 概念估計的辨識率，所以不平衡設計時之概念 5 雖然對應到的題數只有 7 題較 10 題少，但辨識率仍然較高，致使整體估計的辨識率提高。但在部份的情形，也出 現平衡設計的認知屬性對應題數多於不平衡設計時，其辨識率高於不平衡設計，

這也說明了認知屬性對應到題數的多寡確實有其影響。

貳、測驗長度的影響

由實驗結果得知，在概念數相同時，測驗長度較長，所得到的分類辨識率及 試題參數估計的準確性都較好。

參、樣本數的影響

由實驗結果得知，以 DINA 模式估計或以 G-DINA 模式估計時，大致上有樣 本數變多，試題參數估計的準確性提高，分類辨識率也較佳的結果。

肆、試題參數設定的影響

由實驗結果得知，當試題參數 s、g 設定由 0.1 提高到 0.25 時，也就是說當 試題容易讓學生產生粗心及猜測時，估計的結果不論是試題參數的準確性及分類 的辨識率，大致上呈現下降。較易影響診斷的正確性。

伍、估計模式的影響

由實驗結果得知，均以 EM 法估計下，以 DINA 模式估計在試題參數的準確 性及分類的辨識率大致上較 G-DINA 模式佳。應是 G-DINA 模式必須估計概念彼 此間的影響，反而無法精準判斷純以 DINA 模式產生的資料。但在樣本數小時，

因其考慮到的因素比較多，出現以 DINA 模式估計但產生無法收斂的情形時，以 G-DINA 模式進行估計卻可進行估計。

陸、概念數的影響

當概念數增加時，如由 K=5 提高到 K=10，知識型態由 32 組提高到 1024 組，

增加了判斷的複雜性。因此，受試者分類的辨識率下降，但是二者在試題參數的 估計差異不太。