認知診斷評量

認知診斷評量（cognitively diagnostic assessment,簡稱為 CDA）是由 Nichols

（ 1994 ） 所 提 倡 。 他 認 為 應 該 將 認 知 科 學 （ cognitive science ） 與 心 理 計 量 學

（psychometrics）互相結合，依據認知心理學理論、語言認知程序與知識結構等為基 礎來設計評量試題。認知診斷評量可解決學生在學習上的困惑，甚至是能針對個人問 題提供更完善的解釋，以達到個人化的評量效果。茲將其使用理由與方法概述於以下 二小節。

2.3.1 認知診斷評量簡介

人類獲取知識的過程，主要包括知覺，記憶，言語，思維等等的歷程，即所謂認 知歷程。這又與人類之心理活動息息相關。傳統之教育評量結果，只是一種概括性的 描述，並無法顯現受試者在該領域的知識結構（Anastasi，1967）。也無法由受試者作 答的反應組型中，顯示出受試者是否已達精熟某種技能的資訊。而這些額外的資訊卻 是可以幫助受試者或老師更加瞭解測試結果所代表的涵義，以及確認哪一類的學習可 以增進學習成效（Sheehan，1997）。

同時，傳統評量理論並無法提供有效的資訊，讓教師對學生（受試者）的錯誤學 習進行診斷或分析。然而「與學習表現有關的認知心理學理論」卻可以增進「傳統教 學評量」的評鑑資訊，進一步提供師生瞭解測試結果所代表的涵義，來增進學習活動 之成效。因此，有許多學者一再地呼籲，希望教育評量能依據「認知心理學」所提出 的「認知模式」加以修訂，促使教學評量能夠顯示出受試者個體表現的質化特質

（qualitative characterization），讓加入心理評量的教學評量，能對教學目標提供更多 的協助（Frederiksen，1986; Snow & Lohman，1989; Lohman & Ippel，1993; Yamamoto

& Gitomer，1993）。

於是，Nichols 在 1994 年即提倡將認知科學（cognitive science）與心理計量學

（psychometrics）結合，並發展出更有效的診斷評量方法，以協助教學目標的達成。

Nichols 將這種較新、較有效的診斷評量方法稱為認知診斷評量（cognitively diagnostic assessment）。

2.3.2 使用認知診斷評量的方法

Nichols （ 1994 ） 認 為 認 知 診 斷 評 量 應 該 有 明 顯 的 實 質 假 定 （ substantive assumptions），也就是說，探討學習者在受試時，回答問題所顯現的結果，是顯示受 測者在學習過程中產生何種認知歷程與知識結構？這些認知歷程與知識結構如何發 展？同時顯示，能力高與能力低的受試者，在這些評量範圍內之學習上，有何差異？

這種認知診斷評量方法，可以透過受試者對試題的作答反應，分析、歸類而推論出其 認知歷程與知識結構的建構過程與狀態。例如：Tatsuoka, 1983）所發展的規則空間模 型，可以推測出受試者所採取的解題策略；而 Goldsmith, Johnson, & Acton（1991）

所使用的路徑搜尋法，則可以推測出受試者的知識結構等。

Nichols 也認為認知診斷評量測驗的編製必須以心理學所發展出的理論為基礎，

如此才能編製一份可以反映受試者知識狀態的測驗，來達成認知診斷評量所追求的目 標。因此，他提出以心理學為導向來編製認知診斷測驗的構想，並依據下列，表 2-8 所示，五個重要的編製步驟完成測驗。

表 2-8 發展以心理學為導向的認知診斷測驗之五個編製步驟

步驟一 實質理論的建構：

實質理論關注於描述知識與技能的模式或理論之發展，其知識與技能 則被假設在「認知表現時」所產生的，而且測量的試題必須能描述受試者 個體「認知表現時」的知識與技能。

步驟二 設計的選擇：

在此步驟，測驗的編製者必須依「觀察與測量」所需來設計、選擇試 題，選擇的標準必須以「步驟一的實質理論」為基礎；所建構的試題必須 是能夠預測受試者所可能產生的特定知識與技能。建構測量的程序是一種

「測量設計的操作化」過程。

步驟三 測驗管理：

測驗管理包括測驗內容的每個部分，包括試題的形式、反應的種類、

計分的工具、施測的環境等等。

步驟四 反應計分：

此步驟之目標是根據受試者的反應組型，給予某個數值，使相聯結於 其反應組型與實質理論所建構的策略或錯誤規則。

步驟五 設計修正：

設計修正是一個蒐集支持理論（或模式）的過程，即透過證據的蒐集，

以獲知該理論（或模式）是被支持或被挑戰。在此步驟，測驗施測的結果 將用來修正實質理論（模式）的建構。

資料來源：（Nichols,1994）

使用認知診斷評量模式時，首先必須依據評量之目的，建立所要評量之認知屬 性；其次，考量屬性的難易度與相似程度；最終組合成評量測驗試題，並藉由關聯矩 陣（Incidence Matrix）；通常是使用 Q-矩陣，用以表示每個試題對應到之認知屬性或 概念（Tatsuoka, 1985）。施測者可藉由受試者之試題反應組型（Item Response Patterns）

與 Q-矩陣的回饋，推估受試者所具備或缺乏的認知屬性或概念，藉此瞭解受試者之 學習狀況，並可進一步實施補救教學（de la Torre, 2008）。

對於認知診斷測驗的研究或編製一直以來都以「假設認知屬性之間是獨立的」為 主。而根據 Leighton,Gierl & Hunka（2004）的研究，若能於「認知屬性」內加上「階 層式的架構」，則可以在估計受試者認知屬性時，減少屬性組合數。如此處理，對於 評量之操作應該較為理想。de la Torre 等（2010）研究也指出，若認知屬性具有結構 關係，在進行認知診斷分析時，在先備（知識）分布上加入屬性的階層關係，可以降 低認知屬性的誤診率（misclassification rate）。

Gagne（1977）所提出之學習階層（learning hierarchy）概念，則認為學習活動應 有合理的先後順序，需由簡入繁。也就是說，學習任何複雜行為之前，都要先學會這 項複雜行為的「先備能力（pre-requisites）」。所謂「先備能力（pre-requisites）」有學 者稱之為「下屬能力」（subordinate capabilities，也就是我們常說的「基礎能力」（吳 幸宜譯，1994；張新仁，2003）。所以知識結構（knowledge structure）在定義概念之 階層關係是：要精熟某些概念之前，需先精熟其先備概念。因此就認知領域觀點而言，

認知屬性在有些情況下應被視為是「彼此相依且依循某種結構」才是比較合理，也就 是說，學生必須先具有恰當的認知策略，方能使其正確地選擇資訊和技巧去解決問題

（趙居蓮，1996），因此，認知診斷評量實務上，應以建構式反應題型為主。

而所謂建構式反應題型，常見者有「填充題（completion item）和論文題（essay question）」；論文題亦稱「開放式問題（open-ended question）」。填充題通常要求學生 填寫明確答案於答案框（卷），論文題則由學生依其對題目之認知，自由建構、組織 和呈現想法。論文題又可依據試題給予學生組織思考和表達觀念的自由程度，將其分 為限制反應題（restricted-response question）與擴展反應題（extended-response question）

等兩大類。而擴展反應題又可稱為「申論題」。

但是，在認知診斷評量中，由於選擇題型的計分具客觀性、公平性以及使用便利 性 等 特 質 ， 因 此 一 直 以 來 都 是 最 常 使 用 的 題 型 之 一 。 然 而 ， 和 建 構 式 反 應 題

（constructed-response）相比，則選擇題較容易受猜測因素所影響（盧雪梅，2009）。

但建構式反應題型（constructed-response items）也有其限制與局限性；建構式反應題 的答案必須由學生填答來提供，需由人工閱卷方式來計分，無法使用電腦閱卷。評量 結果容易受人為能力、認知、受測當時的心情等因素所影響，同時必須耗費大量人力 與資源，所以難以全面實施於大型測驗中。

由於上述原因，升學評量題型通常使用混搭方式，使用大量的選擇題型，配以局 部的填題型與申論題型，即所謂的「各考試科目之題型以選擇題為主，非選擇題為輔」

（教育部，十二年國教 Q&A，2014），所以在教學評量上，選擇題仍然大量受到使用。