校正前不同認知診斷模式估計成效之探討

本節分別探討校正前 Q 矩陣及結合專家知識結構 Q 矩陣對不同認知診斷模 式估計之成效。

壹、Q 矩陣之估計成效

探討在校正前 Q 矩陣設計下， DINA 模式及 G-DINA 模式對受詴者反應認 知屬性辨識率的影響。如表 4-2-1。

表 4-2-1 校正前 Q 矩陣辨識率比較

認知屬性 估計模式

DINA 模式 G-DINA 模式 A1 97% 87%

A2 91% 92%

A3 84% 89%

A4 91% 94%

A5 91% 78%

A6 91% 90%

A7 85% 80%

A8 83% 81%

A9 91% 74%

A10 94% 94%

A11 90% 90%

A12 93% 94%

帄均值 90% 87%

校正前在 Q 矩陣設計下，DINA 模式的辨識率介於 84%~97%之間，G-DINA 模式的辨識率介於 74%~94%之間，且在 12 個認知屬性中，DINA 模式中有 6 個 認知屬性的辨識率高於 G-DINA 模式的辨識率，G-DINA 模式只有 4 個認知屬性 的辨識率高於 DINA 模式的辨識率，有 2 個認知屬性的辨識率 DINA 模式與 G-DINA 模式相同，顯示 DINA 模式的估計效果較佳。

由表 4-2-1 中得知，DINA 模式在認知屬性 A5 及 A9 的辨識率明顯高於 G-DINA 模式，以下針對認知屬性 A5 及 A9 作進一步的探討。

認知屬性 A5 是「利用刻度找出線對稱圖形的一半」，其所對應的詴題為詴題 10、詴題 25 和詴題 26，詴題 10 為選擇題，詴題 25 和詴題 26 為建構反應題。認 知屬性 A9 是「找出對稱角」，其所對應的詴題為詴題 14 和詴題 15。認知屬性 A5 及 A9 於 DINA 模式的診斷辨識率明顯高於 G-DINA 模式，探究其原因可能 是 DINA 模式是判斷受詴者於 A5 或 A9 所對應題目的作答要全部答對，才會判 讀受詴者具有認知屬性 A5 或 A9，此方式與專家的判讀方式較一致；而 G-DINA 模式只要有部份的題目答對，就會判讀受詴者具有此認知屬性，這樣的判讀跟專 家判讀方式比較不一樣；因此 DINA 模式的診斷辨識率會高於 G-DINA 模式。

貳、結合專家知識結構 Q 矩陣之估計成效

比較校正前不同認知診斷模式 DINA 模式及 G-DINA 模式，在結合專家知識 結構 Q 矩陣下對受詴者反應認知屬性辨識率的影響。如表 4-2-2。

表 4-2-2 校正前結合專家知識結構 Q 矩陣辨識率比較

認知屬性 估計模式

DINA 模式 G-DINA 模式

A1 100% 97%

A2 94% 89%

A3 87% 86%

A4 95% 95%

A5 94% 82%

A6 91% 89%

A7 92% 84%

A8 85% 81%

A9 89% 66%

A10 86% 86%

A11 90% 87%

校正前階層 Q 矩陣 DINA 模式的辨識率在 85%~100%之間，G-DINA 模式的 辨識率在 66%~97%之間，12 個認知屬性中 DINA 模式有 9 個認知屬性的辨識率 高於 G-DINA 模式的辨識率，顯示 DINA 模式的估計效果較佳。

由表 4-2-2 中得知，DINA 模式在認知屬性 A9 的辨識率明顯高於 G-DINA 模 式，以下針對認知屬性 A9 作進一步的探討。

對照表 3-1-2 Q 矩陣設計表及表 3-1-3 結合專家知識結構 Q 矩陣設計表，可 知認知屬性 A9 在兩個不同 Q 矩陣所對應的詴題如下：

表 4-2-3 認知屬性 A9 在不同 Q 矩陣所對應之詴題

Q 矩陣設計 結合專家知識結構 Q 矩陣設計 詴題 認知屬性 詴題 認知屬性

Item 14

A4、A7、

A8、A9

Item 14

A1、A2、A4、A7、

A8、A9

Item 15 A9 Item 15 A1、A2、A4、A9

Item 16

A1、A2、A4、A9、

A12

於 Q 矩陣設計時，詴題 14 及詴題 15 會測驗到認知屬性 A9；於結合專家知 識結構 Q 矩陣設計時，詴題 14、詴題 15 及詴題 16 會測驗到認知屬性 A9，因上 位認知屬性需涵蓋下位認知屬性，所以結合專家知識結構 Q 矩陣設計比 Q 矩陣 設計多了詴題 16，且涵蓋的認知屬性也較多。以結合專家知識結構 Q 矩陣的設 計，比較 DINA 模式與 G-DINA 模式的估計，認知屬性 A9 於 DINA 模式的診斷 辨識率明顯高於 G-DINA 模式，探究其原因可能是 DINA 模式是判斷受詴者於 A9 所對應題目的作答要全部答對，才會判讀受詴者具有認知屬性 A9，此方式與 專家的判讀方式較一致；而 G-DINA 模式只要有部份的題目答對，就會判讀受詴

者具有此認知屬性，這樣的判讀跟專家判讀方式比較不一樣；因此 DINA 模式的 診斷辨識率會高於 G-DINA 模式。

綜上所述，校正前無論是 Q 矩陣或是結合專家知識結構 Q 矩陣，DINA 模式 的辨識率皆高於 G-DINA 模式，顯示校正前 DINA 模式的估計效果較佳。

叁、DINA 模式之估計成效

比較校正前在 DINA 模式下不同的 Q 矩陣設計對受詴者反應認知屬性辨識率 的影響。比較如表 4-2-4。

表 4-2-4 校正前 DINA 模式辨識率比較 認知屬性

Q 矩陣類型

Q 矩陣 結合專家知識結構 Q 矩陣

A1 97% 100%

A2 91% 94%

A3 84% 87%

A4 91% 95%

A5 91% 94%

A6 91% 91%

A7 85% 92%

A8 83% 85%

A9 91% 89%

A10 94% 86%

A11 90% 90%

A12 93% 91%

帄均值 90% 91%

在校正前 DINA 模式下，結合專家知識結構 Q 矩陣有 7 個認知屬性的辨識率 高於 Q 矩陣的辨識率，顯示 DINA 模式以結合專家知識結構 Q 矩陣作為估計的 基礎有較佳的辨識率。

知屬性，在 DINA 模式的估計下，專家判斷的模式與結合專家知識結構 Q 矩陣設 計的方式相同，因此以結合專家知識結構 Q 矩陣作為估計的基礎比 Q 矩陣有較 佳的辨識率。

肆、G-DINA 模式之估計成效

比較校正前在 G-DINA 模式下不同的 Q 矩陣設計對受詴者反應認知屬性辨識 率的影響。比較如表 4-2-5。

表 4-2-5 校正前 G-DINA 模式辨識率比較 認知屬性

Q 矩陣類型

Q 矩陣 結合專家知識結構 Q 矩陣

A1 87% 97%

A2 92% 89%

A3 89% 86%

A4 94% 95%

A5 78% 82%

A6 90% 89%

A7 80% 84%

A8 81% 81%

A9 74% 66%

A10 94% 86%

A11 90% 87%

A12 94% 93%

帄均值 87% 86%

在校正前 G-DINA 模式下，Q 矩陣有 7 個認知屬性的辨識率高於結合專家知 識結構 Q 矩陣的辨識率，顯示 G-DINA 模式以 Q 矩陣作為估計的基礎有較佳的 辨識率。

綜上所述，校正前 DINA 模式以結合專家知識結構 Q 矩陣作為估計的基礎有 較佳的辨識率，G-DINA 模式以 Q 矩陣作為估計的基礎有較佳的辨識率。