第四章 第四章
第四章 研究結果 研究結果 研究結果 研究結果
本章將施測後所得學生作答資料，進行資料分析及認知診斷模式估計成效的 探討，共分為三節，第一節為自編紙筆測驗試題參數分析，第二節為三種不同 Q 矩陣設計在 DINA 模式下參數值比較，第三節為三種不同 Q 矩陣設計在 DINA 模 式下估計成效比較。
第一節 第一節
第一節 第一節 自編 自編 自編紙筆測驗 自編 紙筆測驗 紙筆測驗 紙筆測驗試題 試題 試題 試題參數 參數 參數 參數分析 分析 分析 分析
研究者編製「因數和倍數」單元紙筆測驗，整份測驗包含 20 題選擇題及 3 題建構反應題，以古典測驗理論(CTT)進行分析，得到內部一致性信度 Cronbach α 係數為 0.82，試題難度值在 0.60～0.93 之間，鑑別度落在 0.2~0.5 之間，屬於難 度中等偏易的測驗，由於本測驗目的是診斷學生是否具備該試題所需的認知屬 性，因此題目難度值較低是合理的。
本研究利用認知診斷 DINA 模式進行試題參數分析，同時使用試題反應理論 3PL 模式進行參數值分析，並比較兩種模式試題參數值的相關性，以下分述之。
壹 壹 壹
壹、 、 、DINA 模式試題參數值 、 模式試題參數值 模式試題參數值 模式試題參數值
彙整受試者施測的資料後，使用試題對應認知屬性的 Q 矩陣，在 DINA 模式 下進行分析，分別得到猜測參數(g)及粗心參數(s），參數值如表 4-1-1 所示：
表 4-1-1 Q 矩陣在 DINA 模式下的猜測與粗心參數值 g 值值值值 s 值值值值 Item1 0.18 0.12 Item2 0 0.25 Item3 0.78 0.01
Item4 0.71 0.05 Item5 0.37 0.06 Item6 0 0.06 Item7 0.17 0.02 Item8 0.48 0 Item9 0.55 0.02 Item10 0.35 0.06 Item11 0.40 0 Item12 0.76 0.02 Item13 0.40 0 Item14 0.31 0.15 Item15 0.56 0.11 Item16 0.70 0.02 Item17 0.39 0.05 Item18 0.24 0.49 Item19 0.30 0.13 Item20 0.12 0.11 Item21 0.17 0.34 Item22 0.11 0.10 Item23 0.19 0.02
由上表可得，Q 矩陣在 DINA 模式的猜測參數值介於 0~0.78，試題猜測參數 差異大，且有部分試題猜測參數大於 0.5（I 3, I 4, I 9, I 12, I 15, I 16），但是 DINA 模式中是以未具備該題所要求的認知屬性之受試者中，答對此題的比率為猜測機 率，當這一個群體人數很少時，猜測猜數就易偏高；粗心參數值介於 0~0.49，除 了 I 18 粗心參數值最高(0.49)之外，其餘題目的粗心參數值差異不大。
貳 貳 貳
貳、 、 、試題反應理論參數值 、 試題反應理論參數值 試題反應理論參數值 試題反應理論參數值
本研究所編製的紙筆測驗利用試題反應理論 3PL 模式進行分析，分別得到鑑 別度參數(a)、難度參數(b)及猜測度參數(c)，如表 4-1-2：
表 4-1-2 試題反應理論 3PLM 參數值
a 參數 b 參數 c 參數 Item1 0.83 -0.55 0.23 Item2 0.18 -3.05 0.20 Item3 0.76 -0.84 0.20 Item4 0.13 -2.67 0.20 Item5 0.63 -0.90 0.23 Item6 0.46 -1.25 0.21 Item7 0.71 -1.34 0.18 Item8 0.47 -1.68 0.14 Item9 0.58 -1.55 0.19 Item10 0.71 -0.50 0.20 Item11 0.62 -1.76 0.15 Item12 0.22 -1.85 0.16 Item13 0.33 -1.80 0.15 Item14 0.45 -0.05 0.25 Item15 0.36 -1.39 0.18 Item16 0.30 -1.71 0.16 Item17 0.45 -0.78 0.20 Item18 0.18 1.26 0.21 Item19 0.50 -0.51 0.17 Item20 0.69 -0.25 0.16 Item21 0.56 -0.55 0.14 Item22 0.83 -0.84 0.11 Item23 0.83 -3.05 0.18
由上述表格可得，使用試題反應理論 3PLM 進行參數值分析，本研究使用之 紙筆測驗鑑別度參數值介於 0.13~0.84，猜測度參數 c 介於 0.11~0.25，難度參數 b 介於 -3.05~1.26。
綜合上述的兩種試題參數表可得，I 18 在 IRT 分析的難度值最高，而且在 DINA 分析的粗心參數值(s)也最高，因此針對 I18 進行分析討論，題目內容及各
選項的選項率如下：
第 18 題：游泳社團的男生有 45 人，女生 30 人，將男女混合編組，每組的男生 一樣多，女生也一樣多，全部分完共有幾種編組的方法？
（1 3 4 5）種
選項 選項 1 選項 2 選項 3◎ 選項 4 選項率 .07 .35 .40 .17 高分組 .01 .16 .64 .19 低分組 .11 .44 .24 .19
比較各選項的選項率，雖然選擇正確答案（選項 3）的比率最高，但是選項 2 的選項率高達 0.35，低分組有 44％選擇選項 2，而高分組則有 16％，表示選項 誘答力很高。研究者在進行個別晤談時，特別請學生寫出第 18 題的作答反應，
發現學生的錯誤類型大致分 2 類：
一、 能瞭解題目是要求找出「公因數」，但是不瞭解要找出全部的公因數有幾 個，而是以直觀法選擇 45 和 30 的公因數：3。
二、 能瞭解題目是要求找出「所有的公因數有幾個」，但是在過程中有缺漏(容 易缺少公因數 1 或公因數 15)，才會選擇選項 2。
綜上所述，學生的錯誤原因是在學習因數與倍數單元中常見的類型，而且第 18 題的選項 2 確實具有誘答性，因此本測驗的第 18 題將予以保留。
叄 叄 叄
叄、 、 、DINA 模式試題參數 、 模式試題參數 模式試題參數 模式試題參數值與試題反應理論參數值比較 值與試題反應理論參數值比較 值與試題反應理論參數值比較 值與試題反應理論參數值比較
本研究將 DINA 模式試題參數與 IRT 3PLM 中的參數值進行 Pearson 相關分 析比較，結果如下：
一、 猜測參數比較：
比較 DINA 模式下猜測參數 g 值與 IRT 3PL 猜測度參數 c 值的相關性，如表 4-1-3：
表 4-1-3 DINA 模式 g 參數與 IRT 模式 c 參數相關分析表
由上述表格發現，DINA 模式的猜測度參數與 IRT 模式的 c 參數經過相關分 析後，未達到顯著相關（-.023），探究其原因：在 IRT 模式中猜測參數值為整體 受試者的猜測參數，但是 DINA 模式中是以未具備該題所要求的認知屬性之受試 者中答對此題的比率為猜測機率，當這一個群體人數很少時，猜測猜數就易偏 高，造成兩種模式的猜測參數相關係數低。
二、 鑑別度參數比較
DINA 模式假設當受試者具備解該題目所需之認知屬性時，即能正確回答該 題，但是受試者答對該試題的機率會受到粗心 s 和猜測 g 兩個參數的影響（de la Torre，2004），因此本研究將 DINA 模式試題參數 1-s-g 值，與 IRT 模式的鑑別度 參數 a 值進行 Pearson 相關分析，結果如表 4-1-4。
表 4-1-4 DINA 模式 1-s-g 值與 IRT 模式 a 參數相關分析表
由上表發現，DINA 模式的 1-s-g 值與 IRT 模式的 a 參數進行相關分析後，達 到顯著相關（.802＊＊），探究其原因：IRT 模式的鑑別度參數代表該試題能區辨高 低能力的學生，而 DINA 模式的 1-s-g 值是將高分組正確回答率（1-s）與低分組 可能答對的機率（g）互相比較，兩者都是在區別高低分組的學生，因此試題參 數存在高度正相關。
DINA 模式猜測參數 g IRT 模式 c 參數 -.023
＊＊相關的顯著水準為 0.01 (雙尾)。
＊相關的顯著水準為 0.05 (雙尾)。
DINA 模式 1-s-g IRT 模式 a 參數 .802＊＊
＊＊相關的顯著水準為 0.01 (雙尾)。
＊相關的顯著水準為 0.05 (雙尾)。
第二節 第二節 第二節
第二節 不同 不同 不同 Q 矩陣設計在 不同 矩陣設計在 矩陣設計在 DINA 模式參數值比較 矩陣設計在 模式參數值比較 模式參數值比較 模式參數值比較
本節探討在 DINA 模式下三種不同 Q 矩陣設計，即試題對應認知屬性的 Q 矩陣、結合專家知識結構的階層性 Q 矩陣與結合學生知識結構的階層性 Q 矩陣 參數值比較。
壹 壹
壹 壹、 、 、 、 不同 不同 不同 不同 Q 矩陣 矩陣 矩陣 矩陣設計 設計 設計之 設計 之 之猜測參數值比較 之 猜測參數值比較 猜測參數值比較 猜測參數值比較
將三種不同的 Q 矩陣設計猜測參數進行比較，如表 4-2-1。
表 4-2-1 不同 Q 矩陣設計猜測參數值比較 猜測參數值 猜測參數值猜測參數值
猜測參數值（（（（g））））
Q 矩陣 專家階層 Q 矩陣 學生階層 Q 矩陣
Item1 0.18 0 0.34
Item2 0 0 0.38
Item3 0.78 0.80 0.63 Item4 0.71 0.81 0.66 Item5 0.37 0.29 0.41
Item6 0 0.47 0.42
Item7 0.17 0.26 0.23 Item8 0.48 0.53 0.27 Item9 0.54 0.41 0.63 Item10 0.35 0.23 0.35 Item11 0.40 0.38 0.34 Item12 0.76 0.76 0.70 Item13 0.40 0.66 0.32 Item14 0.31 0.38 0.31 Item15 0.56 0.51 0.57 Item16 0.70 0.68 0.56 Item17 0.39 0.50 0.37 Item18 0.24 0.30 0.24 Item19 0.30 0.36 0.36 Item20 0.11 0.16 0.31 Item21 0.17 0.16 0.19
Item22 0.11 0.07 0.18 Item23 0.19 0.17 0.22
由上表發現，Q 矩陣的猜測參數值介於 0~0.78，結合專家知識結構的階層性 Q 矩陣的猜測參數值介於 0~0.81，結合學生知識結構的 Q 矩陣的猜測參數值介於 0.19~0.70。部分試題（I 3, I 4, I 9, I 12, I 15, I 16）的猜測參數值偏高，且三種不 同的 Q 矩陣設計的猜測參數值具有一致性，可能原因為這些試題都是中間偏易的 難度，因此在 DINA 模式在判斷低能力者答對的機率時會歸因於猜測，導致猜測 參數偏高。
貳 貳 貳
貳、 、 、不同 、 不同 不同 不同 Q 矩陣 矩陣 矩陣設計 矩陣 設計 設計之 設計 之 之 之粗心參數值比較 粗心參數值比較 粗心參數值比較 粗心參數值比較
將三種不同的 Q 矩陣設計之粗心參數進行比較，如表 4-2-2。
表 4-2-2 不同 Q 矩陣設計粗心參數值比較 粗心參數粗心參數粗心參數
粗心參數值值值（值（（（s））） ）
Q 矩陣 專家階層 Q 矩陣 學生階層 Q 矩陣 Item1 0.12 0.17 0.13 Item2 0.25 0.24 0.25 Item3 0.01 0.01 0.02 Item4 0.05 0.06 0.06 Item5 0.06 0.08 0.06 Item6 0.06 0.07 0.08 Item7 0.02 0.02 0.06
Item8 0 0 0.02
Item9 0.02 0.01 0.07 Item10 0.06 0.05 0.06
Item11 0 0 0.02
Item12 0.02 0.02 0.03
Item13 0 0.01 0.02
Item14 0.15 0.18 0.14 Item15 0.11 0.12 0.11
Item16 0.02 0.02 0.01 Item17 0.04 0.06 0.09 Item18 0.49 0.52 0.46 Item19 0.13 0.14 0.13 Item20 0.11 0.14 0.16 Item21 0.34 0.29 0.30 Item22 0.10 0.09 0.11
Item23 0.02 0 0.06
由上表可得，Q 矩陣的粗心參數值介於 0~0.49，結合專家知識結構的階層 性 Q 矩陣的粗心參數值介於 0~0.52，結合學生知識結構的 Q 矩陣的粗心參數值 介於 0~0.46。三種不同的 Q 矩陣設計在粗心參數值的差異不明顯，唯有第 18 題 在三種不同 Q 矩陣設計的參數值都偏高（達 0.45 以上），從前一節中 IRT 的難度 參數值可得，第 18 題屬於難度較高的題目，學生在作答時容易受到其他選項的 干擾，造成粗心參數偏高。
叄 叄
叄 叄、 、 、不同 、 不同 不同 Q 矩陣 不同 矩陣 矩陣設計 矩陣 設計 設計之 設計 之 之 1-s-g 參數值比較 之 參數值比較 參數值比較 參數值比較
將三種不同的 Q 矩陣設計之 1-s-g 參數進行比較，如表 4-2-3。
表 4-2-3 不同 Q 矩陣設計 1-s-g 參數值比較 1-s-g 參數參數參數參數值值值值
Q 矩陣 專家階層 Q 矩陣 學生階層 Q 矩陣 Item1 0.70 0.83 0.53 Item2 0.75 0.76 0.37 Item3 0.21 0.18 0.35 Item4 0.24 0.13 0.28 Item5 0.57 0.63 0.54 Item6 0.94 0.46 0.50 Item7 0.80 0.71 0.71 Item8 0.52 0.47 0.71 Item9 0.44 0.58 0.30
Item10 0.59 0.71 0.59 Item11 0.60 0.62 0.64 Item12 0.22 0.22 0.27 Item13 0.60 0.33 0.66 Item14 0.54 0.45 0.55 Item15 0.33 0.36 0.32 Item16 0.28 0.30 0.43 Item17 0.57 0.45 0.54 Item18 0.27 0.18 0.30 Item19 0.57 0.50 0.51 Item20 0.77 0.69 0.53 Item21 0.49 0.56 0.51 Item22 0.79 0.83 0.71 Item23 0.79 0.83 0.72
由上表發現，Q 矩陣的 1-s-g 參數值介於 0.21~0.94，結合專家知識結構的階 層性 Q 矩陣的 1-s-g 參數值介於 0.13~0.84，結合學生知識結構的 Q 矩陣的 1-s-g 參數值介於 0.28~0.72。
第 第 第
第三 三 三節 三 節 節 不同 節 不同 不同 Q 矩陣設計在 不同 矩陣設計在 矩陣設計在 DINA 模式 矩陣設計在 模式 模式 模式認知屬性辨識 認知屬性辨識 認知屬性辨識 認知屬性辨識 率
率 率
率比較 比較 比較 比較
本節探討在 DINA 模式下，三種不同的 Q 矩陣設計，即試題對應認知屬性的 Q 矩陣、結合專家知識結構的階層性 Q 矩陣與結合學生知識結構的階層性 Q 矩 陣認知屬性辨識率比較，結果如表 4-3-1：
表 4-3-1 三種不同 Q 矩陣設計辨識率比較（%）
Q 矩陣 專家階層 Q 矩陣
學生階層 Q 矩陣 A1 84 88 81 A2 83 84 82 A3 86 88 84 A4 80 83 82 A5 91 95 87 A6 80 82 76 A7 80 80 82 A8 79 82 92 A9 81 82 80 A10 91 93 96 A11 82 85 85 A12 74 77 73 A13 86 94 88 平均 83 86 84
由上表可得，Q 矩陣的辨識率介於 74％~91％，全部認知屬性的平均辨識率 為 83％；結合專家知識結構的階層性 Q 矩陣辨識率介於 77％~95％，全部認知屬 性的平均辨識率為 86％；結合學生知識結構的階層性 Q 矩陣辨識率介於 73％~96
％，全部認知屬性的平均辨識率為 84％。
比較 Q 矩陣與結合專家知識結構的階層性 Q 矩陣辨識率，發現結合專家知 識結構的階層性 Q 矩陣，在全部 13 個認知屬性的辨識率都高於 Q 矩陣，可能原
因為：結合專家知識結構的 Q 矩陣能提供較多的判讀資訊，經過 DINA 模式的分 析後與專家判定的結果較有一致性，因此認知屬性的辨識率較高。
比較 Q 矩陣與結合學生知識結構的階層性 Q 矩陣辨識率，發現結合學生知 識結構的階層性 Q 矩陣有 6 個認知屬性的辨識率高於 Q 矩陣，尤其學生知識結 構中較上位的認知屬性（A7、A8、A10、A11）差異較明顯，而且以平均辨識率 比較，結合學生知識結構的階層性 Q 矩陣平均辨識率較高，可能原因為：結合學 生知識結構的階層性 Q 矩陣中，由於加入認知屬性的難易程度，因此提供判讀的 資訊較多，而且上位的認知屬性對學生而言較為困難，經過 DINA 分析後的結果 會與專家判定較有一致性，因此辨識率較高。
比較結合不同知識結構的階層性 Q 矩陣辨識率，發現全部 13 個認知屬性中，
結合專家知識結構的階層性 Q 矩陣有 9 個認知屬性的辨識率較高，而結合學生知 識結構的階層性 Q 矩陣有 4 個認知屬性的辨識率較高，可能原因為：在 Q 矩陣 設計中加入專家依照教學順序編制的階層性，經過 DINA 分析後與專家判定的結 果較具一致性，所以多數的認知屬性辨識率較高；在 Q 矩陣中加入學生知識結構 中認知屬性的難易程度後，發現違反專家知識結構順序性的認知屬性（A7、A8、
A10、A11）成為較上位的認知屬性，意即學生認為這些概念較困難所以表現較 差，因此經過 DINA 分析後，反而會與專家判定的結果較一致。
第 第五 第 第 五 五 五章 章 章 結論與建議 章 結論與建議 結論與建議 結論與建議
本章內容分為二節，第一節為研究結論，第二節為研究建議。分述如下：
第一節 第一節 第一節
第一節 結論 結論 結論 結論
本研究主要是以九年一貫能力指標「5-n-03 能理解因數、倍數、公因數與公 倍數」編製診斷測驗，分別以DINA模式及IRT模式3PL進行分析，比較兩種模式
本研究主要是以九年一貫能力指標「5-n-03 能理解因數、倍數、公因數與公 倍數」編製診斷測驗，分別以DINA模式及IRT模式3PL進行分析，比較兩種模式