認知屬性集

Dibello 等人(2007)指出目前認知診斷的相關研究至少包含兩類－(1)將更複雜，以屬 性為基礎的模型應用於既有的評量資料上，以萃取比單維度或其他既有的分析更豐富的 訊息，以及(2)從頭設計基於診斷屬性目的的測驗。其中應用複雜的認知診斷模型的研究 以第(1)類居多。本研究擬應用 TIMSS 2007 測驗之相關資料，亦歸屬於此類型研究。

為因應上述目的，本研究需使用相關文獻內容，以透過對試題進行編碼分析的過程 建立所能診斷的認知屬性。相關文獻包含以下三類：

1. 將認知診斷模型應用於 TIMSS 的研究所使用的認知屬性。

2. TIMSS 2007 測驗目標。

3. 試題難度認知成分分析。

以下將分別說明。

壹、 將認知診斷模型應用於 TIMSS 的研究所使用的認知屬性

由 Kikumi K. Tatsuoka、James E. Corter、Anabelle Guerrero、Seongah Im、Tao Xin、

Enis Dogan、Michael Dean、Tomoko Yamada 與 Eunkyoung Um 等人組成的研究團隊在研 究計劃「TIMSS-R 數學－診斷評量」(TIMSS-R Mathematics-Diagnostic Assessment)中，

利用 TIMSS-R 的試題與各國學生作答的資料，以 CDM 中的規則空間模型(rule space

model, RSM) (Tatsuoka, 1983)來評量學生在測驗分數之下的各種內容知識與認知歷程技 能等屬性，以提供診斷訊息。而為了發展進行診斷的認知屬性集，該計劃的團隊成員參 考了 TIMSS 1999、TIMSS 1995、SAT 與 GRE 等多項大型測驗的理論架構與認知模型，

和領域專家的意見、學生與中學教師的面談資料以及統計分析後，提出了一個解數學試 題所需認知屬性的架構。該架構包含三個面向，即數學內容知識、認知歷程能力以及應 試策略與解題技能，當中的屬性分別被統稱為內容屬性、歷程屬性與技能／試題類型屬 性(Chen, Thompson, & Tatsuoka, 2008; Corter, Tatsuoka, Guerrero, Dean, & Dogan, 2006;

Tatsuoka, 1995; Tatsuoka & Boodoo, 2000; Tatsuoka, et al., 2004)，Corter 等人並以「TCD 屬性」一詞為總稱，各認知屬性的定義與試題編碼準則如表 2-12 所示。發展出此一完 整架構後，便可對 TIMSS 1999 或其他類似的數學測驗試題進行編碼而得到 CDM 所需 的 Q 矩陣，進而以學生作答資料與 RSM 進行診斷分析。目前計畫的成員藉由上述過程 已得出豐富的研究成果，並發表於多個期刊與研討會，詳細資料請參見

(http://www.tc.edu/centers/timms-diag/detail.htm?id=Group5)。由使用的頻繁可見 TCD 一 定程度地涵蓋了解決數學試題所需的認知屬性，加上 TCD 的發展所參考的理論架構亦 包含了 TIMSS 試題的架構，因此本研究選擇以 TCD 屬性作為試題編碼，進而建立進行 診斷的認知屬性集。

此外由於上述 Tatsuoka 等人的研究使用的是 TIMSS 1999 的資料，還未將 TIMSS 2007 的資料納入分析，目前國內亦無針對 TIMSS 2007 臺灣學生的資料進行認知診斷分 析的研究，加以 RSM 的理論基礎較為複雜，因此研究者選擇應用 DINA 模型於 TIMSS 2007 的相關資料以進行認知診斷分析。

表 2-12 TCD 屬性的詳細描述

表 2-12 TCD 屬性的詳細描述（續）

表 2-12 TCD 屬性的詳細描述（續）

表 2-12 TCD 屬性的詳細描述（續）

表 2-12 TCD 屬性的詳細描述（續）

表 2-13 TIMSS 2007 八年級數學測驗內容維度測驗目標

資料來源：Mullis 等人(2005: 23-32); 整理自曹博盛（2009a：1-5）

表 2-14 TIMSS 2007 八年級數學測驗認知維度測驗目標

表 2-14 TIMSS 2007 八年級數學測驗認知維度測驗目標（續）

6. 分類/排序(classify/order)：

根據共同的特性將物體、形狀、數、代數式

(quasi-real context)。

1. 選擇(select)：

5. 解例行性問題(solve routine problems)：

解例行性問題（例如類似於受測學生在教室 可能已經見到的題目），像使用幾何性質去解 題、比對資料的不同表徵、使用來自於統計 圖表、表格、坐標圖、地圖的資訊去解例行 性問題。

表 2-14 TIMSS 2007 八年級數學測驗認知維度測驗目標（續）

3. 綜合／整合(synthesize/integrate)：

結合（不同的）數學過程去建立結果，然後

5. 解非例行性問題(solve non-routine problems)：

資料來源：Mullis 等人(2005: 33-38); 整理自曹博盛（2009a：5-8）

参、試題難度認知成分分析

如同 CDA 一般，有關試題難度的認知成份分析也是結合認知心理學與心理計量學 的研究。許多學者透過文獻與試題分析等方式提出試題所具有認知的成份後，透過多元 迴歸與線性邏輯斯測驗模式 (Linear Logistic Test Model, LLTM) 等統計方法來預測試題 的難度來源，以提供有助於教學與評量設計的訊息（洪碧霞，蕭嘉偉、林素微, 2009）。

張惠芳（2010）回顧近年來國內外有關「認知成份」的文獻後，發現相關研究可概分為

兩類。第一類的研究是參酌測驗內容後，再設計符合該內容的認知成份，並將各認知成 份分成 2~4 個等級(level)，以對各試題進行各認知成份編碼，而做為預測試題難度的變 異來源；第二類則是研究者事先設計認知成份，再據以編製測驗試題。此二類研究法即 對應於 Dibello 等人(2007)所指出目前認知診斷相關文獻中的二類主要研究法，而其中第 一類的研究法取向與本研究相近。再檢視近年來在大型測驗上以第一類方法進行的研 究，可發現認知成份常以解題所需的認知歷程與能力，或是試題特徵的描述來界定，與 TCD 屬性的內容相近。例如洪碧霞等人參考由 Embretsom 和 Daniel (2008)提出的數學問 題解決模式以及每三年舉行一次的國際性大型測驗 PISA (The Programme for

International Student Assessment)當中的數學素養測驗架構後，發展出「方程式資訊」、「圖 形資訊」與「認知類別」三項成份以預測 PISA 2006 數學素養試題難度，各成份界定詳 如表 2-15 所示；張惠芳回顧數學解題與近年來認知成份相關研究的文獻後，以「解決 數學問題」、「方程式資訊」、「認知層次」、「情境新穎」、「圖形資訊」與「數學知識量」

六項成份針對「97 年花蓮縣國中小長期資料庫數學科」試題分析其難度來源，各成份界 定詳如表 2-16 所示；Turner(2009)以「符號與形式化」、「推理與辯論」、「以數學的方式 解題」、「建模」、「溝通」與「表徵」六個成份預測 PISA 2003 數學素養試題難度的變異

表 2-15 洪碧霞等人（2009）研究使用之認知成份說明表（續） 歷程向度(cognitive process dimension)。

表 2-16 張惠芳（2010）研究使用之認知成份說明表（續）

表 2-17 Turner (2009)研究使用之認知成份說明表

表 2-17 Turner (2009)研究使用之認知成份說明表（續）