認知診斷評量

傳統評量主要目的在於選擇的功能，其測驗理論的建構，主要是想估計出個

15 

人在某種潛在變項中的位置（涂金堂，2003）。其根據邏輯分類與內容細目來進 行評量設計，但卻忽略了知識結構與學習歷程的詳細描述(Nichols, 1994)。傳統 評量試題常依據Bloom et al.(1956)所提出的六個教學目標：知識、理解、應用、

分析、綜合與評鑑來編製，並由其學生Anderson(2001)修改為記憶、了解、應用、

分析、評鑑與創造來編製試題，但顯然此等測驗出來的分數所代表的只是學習者 的能力在某一群體中所處的相對位置，而無法確切指出該學習者是否具備精熟某 些技能（skill）的訊息。

余民寧（1995）指出，認知心理學可以對教育評量或心理測驗理論有下列幾 點顯著的貢獻：

一、認知心理學對認知歷程的研究成果，有助於我們進一步瞭解測量背後所表徵 的理論建構。

二、認知心理學能針對教育測量所要測量的教學目標，提供創新的測量策略，以 及改善現有測量工具的缺失。透過認知心理學的協助，教育測驗可以針對教 學與學習歷程，供更多的診斷和有用的訊息。

三、教育學術有許多新創的性向、學習與成就理論，都是由認知心理學的相關研 究所建構得來的。因此，將認知心理學的研究結果，與教育評量相結合，意 謂著教育測量將有全新的發展趨勢。

而認知診斷測驗主要的目的在於透過測驗的結果，分析學習者在整份教材學 習中，哪些觀念不清，哪些概念不懂，藉以提供教學評量回饋或補救教學的參考

（賴泳伶，洪燕竹，林居鶴，2003）。鑑於認知心理學與教學評量理論均有其盲 點存在，Nichols(1994)主張傳統測驗理論無法提供完整且有效的訊息，讓教師對 學習者的錯誤概念學習進行評量診斷，因此，他提倡將認知科學(cognitive science) 與心理計量學(psychometrics)結合，發展出新的診斷評量方法，藉以診斷出學習 者的概念迷失與錯誤類型。Nichols 將這種新的診斷評量方法，稱為認知診斷評 量(cognitively diagnostic assessment,簡稱為CDA)。

認知診斷評量是以技能為診斷目標，為的是診斷學習者是否習得該單元的某 些技能，而每一個技能都是二元的分類，即精熟(master)或不精熟(non-master)，

分別以0、1表示之。也就是說，一個認知診斷測驗如果欲評估學習者在該單元的 K個技能的話，則每一個學習者均可對應到2^K的反應組型其中之一(Huebner,2010)。

例如，當K = 2時，學習者的反應組型即有2²種，即{0,0}、{1,0}、{0,1}、{1,1}

等4種。

為了表示各試題與各技能間的關係，多數的認知診斷評量均使用Q 矩陣(Q -matrix)當作技能影響試題的對照表(Tatsuoka, 1985)，且 Q 矩陣通常是由學科專 家(subject matter experts, SMEs)來建立，目的是決定學習者在解答每道試題時所 需的技能為何？

Q矩陣是指將每一道試題所需技能以列向量來表示，因此若共有J道試題及K 個技能，則Q矩陣的大小即為J × K；而解題所需使用之技能以「1」表示，不需 使用的則以「0」表示，其元素[ qjk ]定義如下：

16  用，而關於認知診斷的模型（cognitive diagnostic models, CDMs）種類，因其影 響答對試題的機率來自於概念精不精熟，目前已有許多模式被研發應用，其中最 具代表性的為DINA 模式（Deterministic Input, Noisy “And” Gate model, Junker &

Sijstma ,2001)，其模式的因簡單性及易解釋性而使其被推廣。

以下就DINA 模式及 G-DINA 模式做一簡單介詔。

一、DINA 模式

DINA 模式是許多認知診斷與評估方法的基礎( Doignon & Falmagne, 1999;

Tatsuoka, 1995)。DINA 模式是由 Junker 和 Sijtsma(2001)的研究中所創建的。該 模式假定受試者若具備解答該題的技能時，即能答對，但是因答對試題為一機率，

17 

Douglas, 2004)，也因此 DINA 能被廣泛的應用在許多測驗上。

而國外學者對於DINA 相關模式的研究論文近年來也與日俱增，如下所列

（王文卿，2010）：

（1）de la Torre & Douglas(2004) 探討了 DINA 與 Linear logistic model(LLM)模 式的比較，利用Markov chain Monte Carlo(MCMC)來進行參數估計，研究 結果顯示DINA 的參數估計精準度相較之下比較穩定。

（2）Henson and Douglas(2005)提出 Kullback-Leibler Information (KL)在 DINA 模

18 

式下進行測驗編制。

（3）de la Torre(2009a)詳述了 DINA 參數估計的方法，如 Joint Maximum

Likelihood Estimation 及 Marginalized Maximum Likelihood Estimation 等，降 低MCMC 參數估計的時間。

（4）de la Torre(2009b)針對選擇題型，提出 multiple-choice DINA 的模式，試圖 從選項中獲得更多的診斷訊息，達到更精準的估計。

（5）在電腦適性化測驗上，Xu, Chang 與 Douglas (2003) 比較認知診斷架構下 電腦適性化測驗策略的模擬研究。

（6）McGlohen 與 Chang (2008)也提出了結合認知診斷測驗的電腦化適性測驗技 術。

（7）在測驗編制上，Henson 與 Douglas (2005)提出利用 Kullback-Leibler Information (KL)在 DINA 下進行測驗編制。

（8）Finkelman 與 Roussos (2009)提出利用基因演算法進行自動編制認知診斷模 型測驗。

（9）在等化與信度上，Gierl, Cui 與 Zhou (2009)探討了在認知診斷評量下基於認 知屬性的分數與信度（reliability）的研究。

本研究所作的參數估計即是採用G-DINA 模式，在 Ox (Doornik, 2003)程式 底下執行。該程式執行後提供了G-DINA 的參數估計與標準誤還有認知技能的後 驗分配及受試者的分類情形。

19