第三章 研究方法
第一節 研究設計
本節分為三部份，首先介紹研究步驟、其次介紹本研究之變項設計，最後介 紹研究程序。
壹、研究步驟
本研究目的在探討測驗設計時，不同 Q 矩陣的設定在不同的變項設計下，是 否會影響對試題參數的估計及受試者知識狀態的診斷辨識率，透過 MATLAB 軟 體進行模擬資料的產生及計算誤差，使用 DINA 模式及 G-DINA 模式進行參數估 計，並以平均絕對誤差(mean absolute bias, MAB)及辨識率作為評估指標。其中的 Q 矩陣設計、變項設計、程式所需工具及辨識率的計算方法，將於以下各節作詳 細的介紹。
圖 3-1 為本研究之研究流程圖。
圖圖
圖圖 3-1 研究流程圖 擬定研究主題
文獻蒐集
產生模擬作答反應 (含高階層能力、試題參
數)
以 G-DINA 模式
進行參數估計 以 DINA 模式 進行參數估計
參數估計效果評估
撰寫研究報告
實徵資料驗證
貳、變項設計
本研究模擬資料變項與估計方式，設計如表 3-1 表 3-1 資料變資料變資料變資料變項與估計方式彙整表項與估計方式彙整表項與估計方式彙整表項與估計方式彙整表
變數 設定值
Q 矩陣
K=5, n=20(平衡、 不平衡) K=5, n=30(平衡、 不平衡) K=10, n=30(平衡、 不平衡) 試題參數(s, g) 0.1 , 0.25
樣本數 100 人、500 人、1000 人
Alpha 產生方式 HO-DINA：theta~N(0,1) alpha~Uniform
收斂標準 0.0001 模擬次數 25 次 估計模式 DINA
G-DINA 實徵資料 洪祥堯(2009)
依上表本研究針對 Q 矩陣的設計不同，共區分成六個實驗，每個實驗依認知 屬性分佈分為兩部分，每個部分中呈現兩種的試題參數設定、兩種估計模式及三 種人數分佈之估計結果。實驗設計如表 3-2，矩陣設計如表 3-3~表 3-8。
表 3-2 實驗設計表實驗設計表實驗設計表實驗設計表
概念數 題數 Q 矩陣設計
實驗一 5 20 平衡 實驗二 5 20 不平衡 實驗三 5 30 平衡 實驗四 5 30 不平衡 實驗五 10 30 平衡 實驗六 10 30 不平衡
表 3-3 實驗一實驗一實驗一之實驗一之之 Q 矩陣之 矩陣矩陣矩陣 概念
試題編號 1 2 3 4 5
1 1 1 0 0 0
2 1 0 1 0 0
3 1 0 0 1 0
4 1 0 0 0 1
5 0 1 1 0 0
6 0 1 0 1 0
7 0 1 0 0 1
8 0 0 1 1 0
9 0 0 1 0 1
10 0 0 0 1 1
11 1 1 1 0 0
12 1 1 0 1 0
13 1 1 0 0 1
14 1 0 1 1 0
15 1 0 1 0 1
16 1 0 0 1 1
17 0 1 1 1 0
18 0 1 1 0 1
19 0 1 0 1 1
20 0 0 1 1 1
概念數統計 10 10 10 10 10
表 3-4 實驗二之實驗二之實驗二之 Q 矩陣實驗二之 矩陣矩陣矩陣 概念
試題編號 1 2 3 4 5
1 1 0 0 0 0
2 0 1 0 0 0
3 0 0 1 0 0
4 0 0 0 1 0
5 0 0 0 0 1
6 1 1 0 0 0
7 1 0 1 0 0
8 1 0 0 1 0
9 0 1 1 0 0
10 0 1 0 1 0
11 1 1 1 0 0
12 1 1 0 1 0
13 1 1 0 0 1
14 1 0 1 1 0
15 1 0 1 0 1
16 1 1 1 1 0
17 1 1 0 1 1
18 0 1 1 1 1
19 1 0 1 1 1
20 1 1 1 0 1
概念數統計 13 11 10 9 7
表 3-5 實驗三之實驗三之實驗三之 Q 矩陣實驗三之 矩陣矩陣矩陣
表 3-6 實驗四之實驗四之實驗四之 Q 矩陣實驗四之 矩陣矩陣矩陣
表 3-7 實驗五之實驗五之實驗五之 Q 矩陣實驗五之 矩陣矩陣矩陣
表 3-8 實驗六之實驗六之實驗六之 Q 矩陣實驗六之 矩陣矩陣矩陣
參、研究程序
一、模擬資料研究：
(一)、模擬資料產生：
1、產生作答反應矩陣：
第一步是產生受試者的概念分佈，分為兩種方式，第一種為從 HO-DINA 模 式產生，第二種方法是直接從均勻分配中產生。
HO-DINA 模式產生：
設定概念數 K=5 時，高階層試題迴歸參數λE及λ設定為（-1, -.5, 0, 0.5, 1），
λ=1，受試者的能力θ 服從標準常態分佈θ ~ N(0,1)，以下列式子產生。依下列式 子產生受試者α的狀態。
!(0 = 1|c) = nkob1.7q(c − qE)e 1 + nkob1.7q(c − qE)e
利用 DINA 模式計算出受試者在每題的答對機率，再透過隨機產生之均勻分 配 U(0,1)判定受試者於該題之答對與否、來產生作答反應矩陣。
當設定概念數 K=10 時，高階層試題迴歸參數λE及λ設定為（-1, -1, -.5, -.5, 0, 0, 0.5, 0.5, 1, 1），λ=1，受試者的能力θ 服從標準常態分佈θ ~ N(0,1)，其後流程 與 K=5 時相同。
以均勻分配產生：
由均勻分配中產生受試者擁有各概念的機率，如該機率>=0.5，則令受試者 具有該概念，反則不具有該概念。再利用 DINA 模式產生受試者在每題的答對機 率，再透過隨機產生之均勻分配 U(0,1)判定受試者於該題之答對與否、來產生作 (3-1)
答反應矩陣。而產生之模擬資料平均每個概念所精熟的人數比率，如表 3-9 所示。
表 3-9 平均概念精熟比率平均概念精熟比率平均概念精熟比率平均概念精熟比率
概念產生分佈 K1 K2 K3 K4 K5 K6 K7 K8 K9 K10 HO-DINA K=5 0.76 0.64 0.5 0.36 0.24
HO-DINA K=10 0.76 0.76 0.64 0.64 0.5 0.5 0.36 0.36 0.24 0.24 Uniform K=5 0.5 0.5 0.5 0.5 0.5
Uniform K=10 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5
2、估計：
(1)以 DINA 模式估計試題參數及受試者概念型態。
(2)以 G-DINA 模式估計受試者概念型態。
3、評估效益：
以模擬資料的受試者概念型態及設定的試題參數為真值，與估計出來的 受試者概念型態及試題參數比較，利用評估指標 MAB、辨識率判斷其精準度。
二、實徵資料驗證：
本研究使用洪祥堯(2009)研究資料作為實徵資料驗證，洪祥堯以國小六年級 數學「圓形圖」單元對台中縣某國小四個班級為教學實驗對象，研發編製以知識 結構為基礎的教學教材及補救教材，並探討教材應用後的成效。並探討以貝氏網 路為推論工具，應用於診斷學生子技能與錯誤類型有無之預測精準度。因其貝氏 網路研究需專家對受試者判斷具備之認知屬性，可視為受試者的知識型態的真值，
故以該研究的資料，做為本研究之實徵資料。將此實徵資料以DINA及G-DINA模 式估計並與真值比較，探討DINA及G-DINA模式在實際運用上之效果。
其研究之概念數及對應之試題表3-10：
表3-10 實徵資料實徵資料實徵資料實徵資料技能代號對應表技能代號對應表技能代號對應表技能代號對應表
概念內容 對應之試題
S1 能判斷出正確的次數分配表 1、14、26
S2 能將分數化成小數 1、15、27
S3 能把分數擴分為分母是 100 的分數 3、16
S4 能把分母是 100 的分數記成百分率 4
S5 能把分數換算為百分率 5、17
S6 能用四捨五入法求取百分率的近似值 6、18、28
S7 各分量百分率總和不是 100％時，能調整分量的 7、19 百分率，使其總和剛好為 100％
S8 能將各個統計資料換算成所占的百分率 8、20、29、31
S9 能報讀長條百分圖 9、21
S10 能報讀圓形圖 10、22
S11 能依據統計資料判斷出正確的圓形圖 11、23
S12 能從圓形圖判斷出正確的統計資料 12、24
S13 能解決圓形圖的各種應用問題 13、25、30、32、33
依表 3-10 可以產生 DINA 模式中所需的 Q 矩陣如表 3-11，其中每個概念數 對應到的題數不盡相同，因此屬於本研究所定義之不平衡設計，再依其施測之受 試者反應組型，即可提供 DINA 及 G-DINA 模式下所需各項資料進行估計與判 斷。
表 3-11 實徵資料之實徵資料之實徵資料之 Q 矩陣實徵資料之 矩陣矩陣矩陣