認知診斷評量

學的研究成果(涂金堂, 2003)。目前的教育評量在標準測驗理論(standard test theory)中 關於人類能力的觀點，無法配合認知心理學與教育心理學的快速發展，因此面臨了一 個可能危及基礎的危機(Mislevy, 1993)。

傳統評量主要是根據「邏輯分類」與「內容細目」來進行評量設計，但這些評量 設計缺乏對該領域知識結構與歷程的詳細描述(Nichols, 1994)。傳統測驗的編製常根據 Bloom等人提出的六個認知教學目標：知識、理解、應用、分析、綜合與評鑑(Bloom &

Krathwohl, 1956)，然而這種方式的評量結果，往往是一些測驗分數，反映出學生答對 與答錯的題數，瞭解該生在團體中的排名，似乎比較強調統計技術，而較忽略所欲評 量的能力或特質，是否具有心理學上的意義(Anastasi, 1967) 。但若只有總分的高低，

並無法由總分看出學生是否精熟某種技能，倘若測驗結果能提供對各項技能的精熟程 度，可以幫助學生或老師更加瞭解分數所代表的涵義，以及哪一類的的學習可以增進 學習成效(Sheehan, 1997)。

若要使評量發揮「診斷學習歷程」的功能，可以將教育評量結合認知心理學學 (cognitive psychology)，因為認知心理學可以幫助瞭解測量背後所表徵的理論建構，並 針對教學與學習歷程，提供更多的診斷和有用的訊息(余民寧，1995)。

Nichols(1994)提倡將認知科學(cognitive science)與心理計量學(psychometrics)結 合，發展新的診斷評量方法，以幫助教學目標的達成。Nichols 將這種新的診斷評量 方法，稱為認知診斷評量(cognitively diagnostic assessment,簡稱為CDA)。

一份教材往往包含了數個概念與技能，在本研究中，為了想進一步瞭解學生對排 容原理各項技能的精熟程度，藉以診斷學生學習情況，並檢視教材或教學方法是否需 要修正，因此採用認知診斷測驗作為評量依據。

2.4.2 認知診斷評量的模型

認知診斷評量主要在探討學生的潛在知識結構與其作答反應過程的關係，因此開 發認知診斷模型(cognitive diagnostic models, CDMs)與測驗分析就顯得相當重要。

CDMs 是種可判斷受詴者優勢與劣勢的心理計量學模式，透過其提供的測驗結果，可 以有效測量學生的學習和進步(de la Torre, 2009a)。因此在過去幾年中許多的認知診斷 模型迅速發展與開發，並應用於認知診斷上。(王文卿，2010)指出，只有建構出能融 數的認知診斷模型，藉由關聯矩陣(incidence matrix) 來表示每個詴題所需要具備的概 念，(Tatsuoka, 1995)。關聯矩陣通常又稱為「Q矩陣」（Q-matrix）。施測者藉由受詴 模型會給予每位受詴者一個二元精熟分數(binary mastery scores)向量，以

)

(0,0,0) (1,0,0) (0,1,0) (0,0,1) (1,1,0) (1,0,1) (0,1,1) (1,1,1)

由於每位受詴者得到的反應組型不同，教師可針對個人的反應組型進行個別化的 補救教學，甚至對於能力較佳者，提供更進階的教材或自學的方向。

而Q矩陣便可視為技能影響詴題的對照表(Tatsuoka, 1995)，若一份測驗題有K個技 能及J個詴題，則對應的Q矩陣大小為 J K ，其中q_jk 1代表要解決詴題 j ，是否需具 備認知屬性 k ，公式定義如下：

1 此類推。Q矩陣通常是由學科專家(subject matter experts, SMEs)所建立。

2.4.3 DINA 模式

根據國外研究者統計，目前至少有十四種認知診斷模型被開發並應用於認知診斷 上，其中最具代表為Junker和Sijtsma (2001)提出之（Deterministic Input, Noisy “And”

Gate model），因其模式較簡單且較易於解釋，僅涉及粗心（slip）和猜測（guess）兩 參數的影響，且近年來，又有許多學者投入此模型的探索與應用，使DINA模式被推廣。

DINA模式是許多認知診斷與評估方法的基礎(Doignon & Falmagne, 1999)。DINA 模式是由Junker和Sijtsma(2001)所創立的，適用於對二元計分項目測驗進行認知診斷。

如需要該屬性其值為 1，無則為 0。

表 4

綜合上述，DINA 模式是一個非常簡單且很好解釋的模式，因為它每個詴題，僅 包含粗心及猜測兩參數，且具有良好的模式適配度(de la Torre & Douglas, 2004)，也因 此被應用在測驗的許多方面。相關的研究近年來也與日俱增。de la Torre 和 Douglas (2004)探討了 DINA 與 Linear logistic model(LLM)模式的比較，利用 Markov chain Monte Carlo(MCMC)來進行參數估計，研究結果顯示 DINA 的參數估計精準度相較之 下比較穩定；Henson 和 Douglas (2005)提出 Kullback-Leibler Information (KL)在 DINA 下進行測驗編制； de la Torre (2009)更詳述了 DINA 參數估計的方法，如 joint maximum likelihood estimation 及 marginalized maximum likelihood estimation 等，降低 MCMC 參 數估計的時間； de la Torre(2009)針對選擇題型，提出 multiple-choice DINA 的模式，

詴圖從選項中獲得更多的診斷訊息，達到更精準的估計。

本研究的認知診斷評量是採用 DINA 模型，根據受詴者的認知屬性狀態，來判斷 受詴者在數個技能中，何者較為精熟，又何者較不精熟。