實驗設計

本研究是以 DINA 模式為估計模式的認知診斷適性測驗，模擬研究是在探討 不同選題法在不同 Q 矩陣式定下之成效。其模擬資料之認知概念數、題庫題數、

試題參數、測驗長度、模擬資料之受試者樣本數以及估計方法參考 Cheng 與 Chang(2007)之設計。受試者認知概念組型參考卓淑瑜(2011)之設計。而 Q 矩陣之 設計則參考 Cheng 與 Chang(2007)、Cheng(2009)及卓淑瑜(2011)。相較 Cheng 與 Chang(2007)、Cheng(2009)及卓淑瑜(2011)都不同之處為模擬次數。模擬資料與估 計方式之詳細說明如表 3-1：

表 3-1 模擬資料與估計方式表

變數 設定值

認知概念數 6

試題平均測量概念數(Q 矩陣) 1.2、3.6

題庫題數 300

試題參數 s～U (0.05,0.25)、g～U (0.05,0.25)

測驗長度 12

受試者樣本數 1000

受試者認知概念組型

DINA 模式：αk ^~Bernoulli

( )

HO-DINA 模式：^{θ ~N}

( )

( )

0_k 1.0, 0.5,0,0.5,1.0,1.5

λ = − −

1 1

λ =

估計模式 DINA 模式

估計方法 最大概似值估計法

選題法 PWKL、WADI1、WADI3、WADI5、WADI10d

模擬次數 50 次

壹、Q矩陣與試題參數設計

本研究是參考 Cheng 與 Chang(2007)以及 Cheng(2009)之實驗設計來模擬產生 之題庫，其題庫之 Q 矩陣認知概念數 K=6，並設定每個試題有 20%的機率測量到 每個認知概念，意即每個試題的平均測量到 6×20%=1.2 個認知概念數，此一設定 可以確保每個認知概念在題庫中被測量到的數量是相同的。為求更清楚瞭解各選 題法在不同 Q 矩陣設計下之成效，本研究除了依據上述設定平均認知概念數為

1.2 個之外，另外再參考卓淑瑜(2011)之實驗設計加上 3.6 個，共兩種 Q 矩陣設計 Q1.2 及 Q3.6，而其詳細說明如表 3-2 所述，以瞭解在不同 Q 矩陣設計下之差異。

試題參數之設計皆以粗心參數、猜測參數依據 U(0.05,0.25)來產生。

表 3-2 Q 矩陣設計

平均每題測量 1.2 個概念（Q1.2）

概念 概念 1 概念 2 概念 3 概念 4 概念 5 概念 6 題數分布 60 60 60 60 60 60 試題概念數 1 個概念 2 個概念 3 個概念 4 個概念 5 個概念 6 個概念

題數分布 280 4 4 4 4 4

平均每題測量 3.6 個概念（Q3.6）

概念 概念 1 概念 2 概念 3 概念 4 概念 5 概念 6 題數分布 180 180 180 180 180 180 試題概念數 1 個概念 2 個概念 3 個概念 4 個概念 5 個概念 6 個概念

題數分布 40 52 52 52 52 52

貳、受試者認知概念組型

DINA 模式部分，本研究參考 Cheng 與 Chang(2007)之設計，設定認知概念數 K=6，並以^Bernoulli

( )

HO-DINA 模式部分，本研究參考卓淑瑜(2011)由 HO-DINA 模式產生受試者 認 知 概 念 組 型 ， 設 定 認 知 概 念 數 K=6 ， 高 階 層 試 題 迴 歸 參 數

( )

0_k 1.0, 0.5,0,0.5,1.0,1.5

λ = − − ^及 λ₁ =¹， 受 試 者 能 力θ ^{設 為}依 標 準 常 態 分 布

( )

~ N 0,1

θ 所產生，並使用方程式(4)產生受試者之認知概念組型。而產生之組型 在每個認知概念平均的精熟人數比例分布如表 3-3 所述。

表 3-3 平均概念精熟人數比例表 DINA 模式（D1.2、D3.6）

α1 α₂ α₃ α₄ α₅ α₆

平均 0.499 0.501 0.500 0.501 0.499 0.501

HO-DINA 模式（HD1.2、HD3.6）

平均 0.760 0.637 0.498 0.363 0.239 0.145

參、選題法

本研究採用 PWKL 法及本實驗提出之新選題法 WADIN。其中 WADI1 代表 不採用候選認知概念組型，只採用受試者估計認知概念組型。WADI3 代表除了 受試者估計認知概念組型外另外採用 2 組候選認知概念組型。WADI5 代表除了 受試者估計認知概念組型外另外採用 4 組候選認知概念組型。WADI10d 代表除 了受試者估計認知概念組型外另外採用 9 組候選認知概念組型，但是隨著施測題 數減少候選認知概念組型到 0 組為止。

肆、模擬作答反應資料

本研究以上述所產生之受試者認知概念組型，利用 DINA 模式來計算每個受 試者在每一題的答對機率，再以 U（0,1）所產生之隨機數來判斷受試者該題之作 答反應。因此以 DINA 模式根據 Q1.2 及 Q3.6 所產生之模擬作答反應資料為 D1.2 及 D3.6，以 HO-DINA 模式根據 Q1.2 及 Q3.6 所產生之模擬作答反應資料為 HD1.2 及 HD3.6。