第三章 研究方法
第三節 實驗設計
本研究以模擬研究比較不同Q 矩陣在不同選題法下的診斷辨識率成效，以及 探討結合知識結構之選題法的診斷辨識率成效，以下針對模擬資料進行說明。
壹、模擬資料
本研究是以DINA 模式為基礎的認知診斷適性測驗，透過模擬研究方式探討 不同實驗設計的成效，其模擬資料變項與估計方式設計如表 3-3，以下針對實驗 設計的變項進行詳述。
表3-3 模擬資料變項與估計方式彙整表
變數 設定值
Q 矩陣 認知屬性數K=6 題庫n=300
試題參數 s~Uniform(0.05,0.25) g~Uniform(0.05,0.25) 測驗長度 T=12
受試者樣本數 N=2000
受試者認知屬性 HO_DINA 模式：theta~N(0,1)
1 1
0k (1.0,0.5,0,0.5,1,1.5) 估計模式 DINA 模式
估計方法 最大概似值估計法（Maximum Likelihood Estimation, MLE）
選題法 Random、KL、SHE、PWKL、HKL、
SHE_KSAT、PWKL_KSAT、HKL_KSAT 模擬次數 10 次
實徵資料
國立臺中教育大學教育測驗統計研究所執行之「團班教學和 個別指導之教材與評量以及其相關行政管理系統計畫」的研 究成果
一、Q 矩陣與試題參數設計
本研究題庫的 Q 矩陣與試題參數是參考 Cheng 與 Chang (2007)以及 Cheng
(2009)的實驗設計，其測驗的認知屬性數 K=6，並設定每個試題有 20%的機會測 量到每一個屬性，也就是每個試題平均測量屬性數為6×20%=1.2 個，這個機制可 以確保題庫內每一個屬性被測量到試題數是相等的。因此，本研究分別設定每個 試題有20%、30%、40%和 60%四種機會測量到每一個屬性，也就是每個試題平 均測量屬性數分別為1.2 個、1.8 個、2.4 個和 3.6 個等四種 Q 矩陣，Q 矩陣的設 計如表 3-4 所示。試題參數分別設定粗心參數 s 與猜測參數 g 皆服從均勻分布 U(0.05,0.25)。
根據研究顯示，題庫大小至少需要測驗長度的12 倍（Stocking, 1994），甚至 有其他的研究者建議要更大的比率（Chang & Zhang, 2002），因此，本研究模擬 300 題的題庫以確保有足夠的試題來進行測驗。
表3-4 Q 矩陣設計表
平均每題測量1.2 個屬性（Q_1.2）
屬性試題數 屬性1 屬性2 屬性3 屬性4 屬性5 屬性6
題數分布 60 60 60 60 60 60
試題屬性數 1 個屬性 2 個屬性 3 個屬性 4 個屬性 5 個屬性 6 個屬性
題數分布 280 4 4 4 4 4
平均每題測量1.8 個屬性（Q_1.8）
屬性試題數 屬性1 屬性2 屬性3 屬性4 屬性5 屬性6
題數分布 90 90 90 90 90 90
試題屬性數 1 個屬性 2 個屬性 3 個屬性 4 個屬性 5 個屬性 6 個屬性
題數分布 220 16 16 16 16 16
平均每題測量2.4 個屬性（Q_2.4）
屬性試題數 屬性1 屬性2 屬性3 屬性4 屬性5 屬性6
題數分布 120 120 120 120 120 120
試題屬性數 1 個屬性 2 個屬性 3 個屬性 4 個屬性 5 個屬性 6 個屬性
題數分布 160 28 28 28 28 28
平均每題測量3.6 個概念（Q_3.6）
屬性試題數 屬性1 屬性2 屬性3 屬性4 屬性5 屬性6
題數分布 180 180 180 180 180 180
試題屬性數 1 個屬性 2 個屬性 3 個屬性 4 個屬性 5 個屬性 6 個屬性
題數分布 40 52 52 52 52 52
以平均每題測量1.2 個屬性的 Q 矩陣為例說明，若每個屬性被測量到的機會 是 20%，也就是測量每個屬性的試題數為30020% 60題，在本研究中所使用 的Q 矩陣測量 1 個屬性的試題有 280 題，測量 2 個屬性以上的試題分別皆為 4 題。
二、受試者認知屬性
本研究受試者認知屬性分布是使用 HO_DINA 模式產生，設定屬性數 K=6 時，高階層試題迴歸參數0k (1.0,0.5,0,0.5,1,1.5)及1 1，受試者的能力服 從標準常態分布 ~ N(0,1)，並使用公式 4 產生受試者k的狀態，產生之受試者 認知屬性其平均每個屬性所精熟的人數比率如表3-5 所示。
表3-5 平均屬性精熟人數比率表
屬性產生分布 1 2 3 4 5 6
人數 1543 1227 988 746 473 318
比率 0.77 0.61 0.49 0.37 0.24 0.16 三、模擬作答反應資料
本研究利用DINA 模式計算出受試者在每一題的答對機率，再透過隨機產生 之均勻分配U(0,1)判定受試者是否答對該題來產生受試者的作答反應。
四、模擬次數
本研究提出之選題法是藉由知識結構提供額外的訊息來提升診斷辨識率，知 識結構是利用學生作答反應建構出來的，因此本研究在每個Q 矩陣設計下，皆產 生 10 個不同作答反應資料集，並且將每個資料集模擬 5 次適性測驗，以降低當 選題時，計算選題指標一樣的情況下，從中隨機選題所造成隨機效果，以及降低 估計時計算 MLE 值相同的情況下，從中隨機選擇受試者潛在認知狀態所造成的 隨機效果。
貳、實徵資料驗證
本研究使用的實徵資料為國立臺中教育大學教育測驗統計研究所執行之「團 班教學和個別指導之教材與評量以及其相關行政管理系統計畫」的研究成果，選 擇國中第三冊第五單元「根式的運算」，該測驗試題數為32 題、概念數為 8 個，
施測人數共319 人，概念與試題對照表和 Q 矩陣設計分別如表 3-6 與表 3-7 所示，
接著利用OX 軟體估計試題參數，試題參數如表 3-8 所示，試題選項分析如表 3-9 所示，並以專家的判斷作為受試者認知屬性的真值。
由表3-8 可發現利用 OX 軟體估計出的猜測參數 g 在某些試題偏大，如試題 1、試題 2、試題 4、試題 5、試題 9 其猜測參數高達 0.7 以上，可能是因為此測 驗樣本只有319 人；或者是因為專家設定的 Q 矩陣不適當；亦或是此份測驗試題 過於簡單，而導致猜測參數估計值較高的現象。由表3-7 可知，此份測驗平均通 過率為74.15%，也就是能力較低的學生在此份測驗上能答對大部分的試題。
表3-6 實徵資料概念與試題對照表
概念內容 試題
【概念01】根式的乘法 1、9、17、24
【概念02】根式的除法 2、10、18、25
【概念03】最簡根式 3、11、19、26
【概念04】根式的加法 4、12、20、27
【概念05】根式的減法 5、13、21
【概念06】同類根式的化簡 6、14、22、28、30
【概念07】有理化根式 7、15、31、32
【概念08】根式的綜合運算 8、16、23、29
表3-7 實徵資料 Q 矩陣設計
表3-8 實徵資料試題參數表
表3-9 實徵資料選項分析表