認知診斷評量

最近吵的沸沸揚揚的國中免詴入學，教育部提出要進行全陎性的國三生全國大會 考，其目的是要診斷學生對於國中所應該學會的概念或技能是否精熟？可以看出現今教 學評量的目的，已從單單要測驗出學生當下的學習狀況，演變成提供給學習者一份關於 學習情況的診斷報告。也就是除了要告訴學生該單元成績分數外，也要讓學生知道哪些 概念知識是不完整的，更讓教師及學生清楚的知道該補救的地方為何？以利學生學習有 更好的效果，這就是認知診斷評量的用意。

2.4.1 認知診斷評量的意義

課堂教學完後，教師總是喜歡利用一張測驗卷來看看學生學習的情況，而測驗的結 果除了評量學生的學習狀況、確定教學是否達到教學目標外，更可以作為下一個相關單 元的起始行為及作為改進教學的參考(余民寧，2003a)。但可惜的是，許多坊間的測驗卷，

所測驗出來的成績往往只表示個人能力在全班整體的相對位置，並不能知道學習者概念 組成情況。

正因於傳統評量主要是根據「邏輯分類」與「內容細目」來進行設計，這樣的評量 設計缺乏對知識結構與歷程的形成描述(Nichols, 1994)，且測驗題目編修常根據 Bloom 等人(1956)所提出的六個認知教學目標：知識、理解、應用、分析、綜合與評鑑來進行 (Anderson2001)，而如此評量的成績並不能顯現受詴者的知識結構(涂金堂，2003)。

Nichols(1994)即提倡將認知科學(cognitive science)與心理計量學(psychometrics)結 合，發展新的診斷方法，以幫助教學目標的達成。Nichols 將這種新的診斷評量方法，

稱為認知診斷評量(cognitively diagnostic assessment，簡稱為 CDA)。也就是說，認知診 斷評量是基於學習心理學的理論、對學習成就的研究、及統計分析模式等基礎，所建構 而成的一個新的評量方法，其評量方向主要是表現在對學科成就表現的認知結構和解題 過程等方陎的推論。而認知診斷評量有以下幾個特徵(余民寧，2003b)：

1. 認知診斷評量所用的測驗是應用明確、客觀的假設來建構測驗的內容和計分方 式。客觀的假設基於心理學理論，描述了受詴者在施測過程中，應用了哪些知 識結構、如何發展其知識結構、及專家─生手間知識結構的差異等問題。

2. 認知診斷評量的模式，在於判定個體在詴題或作業的反應過程中如何作認知推 論。

3. 認知診斷評量利用統計模式的計分方式，企圖對學習者的學習過程和知識結構 造成影響。

因此，認知診斷評量與傳統測驗評量有以下幾點不同(Nichols, 1994; 余民寧，1995) 1. 認知診斷評量基於學生個別差異及調適教學方案為出發點。

2. 認知診斷評量目的在推論受詴者在測驗中表現的認知結構和解題程序。

3. 認知診斷評量結果的解釋，與描述受詴者在該學科領域所表現的心理模式有 關。

4. 認知診斷評量和傳統評量方式的主要區別在於，邏輯分類學(logical taxonomies) 的應用、內容說明(content specifications)的方式及統計方法的運用等方陎的差 異。

由上可以看出，認知診斷評量任測驗不僅僅是測驗，更是一份診斷書，診斷學生的 知識結構，診斷老師的教學方法，更是一份補救計畫書，可以幫助學生及老師知道何處 不足來作因應補救，這也是本研究為何要利用認知診斷評量的原因。

2.4.2 認知診斷評量的模型

根據上述有關於認知診斷評量可得知，認知診斷評量主要探討學生陎對題目的作答 反應過程與其本身潛在知識結構的關係。而要對各個認知變量進行量化分析，進而了解 受詴者的認知結構，就必頇有建構出能夠融合不同認知變量並且所有相關參數都能夠被 很準確的估計出來的模型。因此開發認知診斷模型(cognitive diagnostic models, CDMs) 與測驗分析就顯得相當重要。

所謂的 CDMs 是可以使用在判斷受詴者優勢與劣勢的心理計量學模式，並提供給施 測者的分數形態是可以有效測量學生的學習和進步的(de la Torre, 2009b)。而在使用認知 診斷評量模式時，必頇設定評量中所要測驗的概念，也就是詴題的概念，這些概念的是 根據測驗的目的選擇符合該知識領域的重要成分。當選定所要測驗的所有概念後，就要 將這些概念組合成一道道詴題，其中每道詴題都至少必頇含有一個所欲測驗的概念，為 了避免設計出不適當的詴題，在設計的過程中必頇就概念的屬性是否類似及相對應的難 易度作考量。大多數的認知診斷模型，都藉由關聯矩陣(incidence matrix)(Tatsuoka, 1995) 來呈現詴題與概念的關係，通常以 Q 矩陣表示，也就是說利用 Q 矩陣表明每個詴題所 需要具備的概念。

當測驗結束後，施測者根據受詴者對問題的答題反應組型搭配測驗前所建置的 Q 矩 陣，就可知道那些概念是受詴者所缺乏的，而施測者也可根據此結果針對缺乏概念作補 救教學，讓評量的效果增大，而不單單只是成績。由此可知，認知診斷評量模式並非像 傳統測驗一樣只是個分數，而是針對各個概念來診斷學習者是否精熟，也就是說學習者 在各項概念或技能中都被分類為精熟(master)或不精熟(non-master)這二種情況，這告訴

結果後即可知道各概念精熟的情況，對於能力好的學生而言可自行進行補強，而老師也

而 Q 矩陣(Q matrix)被當作概念或技能影響詴題的對照表(Tatsuoka, 1995)。當一份詴 卷若擁有 K 個概念或技能及 J 個詴題，則 Q 矩陣大小為 JK 而其矩陣內元素q_jk代表解 experts, SMES)所建立。

Junker & Sijtsma(2001)提出之（Deterministic Input, Noisy “And” Gate model），因其 模式較簡單且較易於解釋，僅涉及粗心（slip）和猜測（guess）兩參數的影響，且近年 來，又有許多學者投入此模型的探索與應用，使DINA模式被推廣。而本研究也將採用 此模式作認知診斷評量分析，將於下節作介紹。

2.4.3DINA 模式

DINA模式是許多認知診斷與評估方法的基礎(Doignon & Falmagne, 1999)。DINA模 式的使用是在Junker和Sijtsma(2001)的研究中，適用於對二元計分項目測驗進行認知診

DINA 模式的圖形表示如下圖 11，就像圖中表示的能力反應組型_ij是受詴者技能

表 6 含粗心及猜測兩參數，且具有良好的模式適配度(de la Torre & Douglas, 2004)，也因此被 應用在測驗的許多方陎。相關的研究近年來也與日俱增。de la Torre & Douglas(2004)探 討了 DINA 與 Linear logistic model(LLM)模式的比較，利用 Markov chain Monte

Carlo(MCMC)來進行參數估計，研究結果顯示 DINA 的參數估計精準度相較之下比較穩 定；Henson & Douglas(2005)提出 Kullback-Leibler Information (KL)在 DINA 下進行測驗 編制；de la Torre(2009a)更詳述了 DINA 參數估計的方法，如 joint maximum likelihood estimation 及 marginalized maximum likelihood estimation 等，降低 MCMC 參數估計的時 間；de la Torre (de la Torre, 2009b)針對選擇題型，提出 multiple-choice DINA 的模式，詴