第二章 文獻探討
第三節 認知診斷模型
認知診斷模型(cognitive diagnostic model,CDM)一般用於單元測驗,透過分 析受試者之認知反應組型,瞭解學生的學習狀況,包括認知概念或技能精熟程度,
作為現場教師補救教學分組參考(曾建銘,2013)。認知診斷模型為Nichols(1994),
結合認知科學(cognitive science)以及心理計量學(
Psychometrics)所提出
的認 知評量模型,是近年來蓬勃發展的心理計量研究領域。肇始於美國在2002年1月8 日簽署了一份美國聯邦法案-沒有落後的孩子(No Child Left Behind Act of 2001), 簡稱為NCLB(陳珮英,2010)。此法案要求全美三年級至八年級公立學校的學生,每一年皆須接受標準化測驗,以診斷學生在閱讀及數學各領域的概念或能力屬性 是否已達精熟,並提供學生優勢與劣勢的相關訊息(陳珮英,2010)。因此理論
清楚簡明,以認知屬性或認知概念作為診斷目標的認知診斷模式漸漸受到重視。
認知診斷模型運用在教育上,是以認知屬性作為診斷的目標,採用二元計分 的方式,此模式透過測驗將受試者認知概念的表現分為精熟(masters)與未精熟
(non-masters),旨在診斷受試者學會或已具備了那些認知概念,提供教學者對於 學生學習成果的訊息,其結果亦能做為補救教學之依據,提升適性化教學之成 效。
編製認知診斷測驗前,要先設計單元的認知概念。從吳慧珉、施淑娟、曾建 銘(2012)的研究報告中,有更清楚的說明:假設有一份診斷 K 個認知概念的測 驗,認知診斷模型會給受試者一個二元分數,通常以向量𝛼𝑖 =(𝛼𝑖1,𝛼𝑖2,𝛼𝑖3,…,𝛼𝑖𝑘) 來表示受試者是否精熟了每一個認知概念。如果𝛼𝑖𝑘=1 表示第 i 位受試者精熟了 第 k 個認知概念;𝛼𝑖𝑘=0 則表示第 i 位受試者對於第 k 個認知概念尚不精熟。因 為診斷 K 個認知概念,故受試者會有2𝑘種可能出現的反應組型。例如 K=2,則受 試者會有22 共 4 種可能的反應組型,分別為:(1,1)(1,0)(0,1)(0,0,)
當𝛼3 =(1,0,)表示編號 3 的受試者,在 2 個認知概念中,對於第 1 個認知概念 是精熟的,而第 2 個認知概念尚不精熟。
為了清楚表示試題和認知概念之間的關係,認知診斷模型常使用 Q 矩 陣(Q-matrix) 做為試題和認知概念間的對照表,清楚的表示試題和認知概念之間 的關係(Tatsuoka,1985)。Q 矩陣通常是由學科專家(subject matter experts, SMEs)建立 的,矩陣中表示試題 j 所具備的認知概念 k,若𝑄𝑗𝑘 =1,代表受試者在試題 j 中 能答對此試題,具備認知概念 k;若𝑄𝑗𝑘 = 0,則表示受試者在試題 j 中答錯此試 題,不具備認知概念 k。舉例說明 Q 矩陣為 3×2 矩陣如下:
𝑄
𝑗𝑘= [ 1 0 0 1 1 1
]
這是表示有 3 個試題,2 個概念。當受試者答對第一題時,須具備第一個認知概 念(診斷單一認知概念);當受試者答對第三題時,必須具備第一個及第二個認
目前較常用於測驗分析的模式大致有 DINA 模式(deterministic input, noisy “and”
gate model)、G-DINA 模式(generalized deterministic input, noisy “and”gate model)、DINO 模式(deterministic input, noisy “or” gate model)等,皆用於測量 受試者是否精熟重要的認知概念,近年來國內也有修正部分模式,探討錯誤類型 模式的研究(吳國禎,2014),例如 Bug-DINO(Bug deterministic inputs, noisy “or”
gate model)模式可以診斷出學生是否使用某些迷思概念,下一段針對 DINA 模 式用於概念的診斷、Bug-DINO 模式用於迷思概念的診斷做進一步的介紹。
壹、DINA 模式
DINA 模式(deterministic input, noisy “and” gate model)是許多認知診斷模式 的基礎,是一種適用於二元計分的方式來進行評估,其創建與流行則是開始於 Junker & Sijtsma(2001)的研究(楊智為,2011)。本研究參考用吳慧珉(2012)
之研究報告來說明 DINA 模式。DINA 模式是假設受試者完全具備診斷的認知蓋 念,就會答對試題,答錯的機率會受到粗心(slip)的影響;受試者缺乏其中任一概 念時,便會答錯,答對的機率會受到猜測(guessing)影響。DINA 模式簡明清晰,
公式定義如下:
P(𝑋𝑖𝑗 = 1|𝛼, 𝑠, g) = (1 − 𝑠𝑗)𝑛𝑖𝑗g𝑗1−𝑛𝑖𝑗 其中,
𝜂𝑖𝑗 = ∏ 𝛼𝑞𝑖𝑘𝑗𝑘
𝐾
𝑘=1
𝜂𝑖𝑗 =P(𝑋𝑖𝑗 = 0|𝜂𝑖𝑗 = 1)
g𝑗 = 𝑃(𝑋𝑖𝑗 = 1|𝜂𝑖𝑗 = 0)
其中,𝑋𝑖𝑗:第 i 個受試者在第 j 題的反應組型。
𝜂𝑖𝑗表示受試者 i 是否精熟試題 j 所需要的認知概念,完全精熟其值為 1,反之,缺少一個以上需精熟的認知概念其值為 0。
𝛼𝑖𝑘:表示受試者 i 是否具備認知概念 k,具備該認知概念其值為 1,
反之為 0。
𝑞𝑗𝑘:表示試題 j 是否需要認知概念 k,需要該認知概念其值為 1,反 之為 0。
𝑠𝑗:粗心參數;表示受試者完全精熟試題所需的認知概念,卻因為粗 心而答錯此題的機率。
g𝑗:猜測參數;表示受試者缺少一個以上試題所需的認知概念,卻因 為猜測而答對此題的機率。
本研究參考吳慧珉(2012)之研究,以實驗單元「圖形縮放與比例尺」為例,
說明 DINA 模型的計算方法:
表 2-6 為圖形縮放與比例尺的認知概念(節錄),表 2-7 為認知診斷測驗的 選擇題範例試題,表 2-8 選擇題範例試題與認知概念之 Q 矩陣,由 Q 矩陣表中得 知,解此題需具備認知概念 3、4、5。
表 2-6
定試題參數𝑠1=0.02、g1=0.02,假設三名受試者具備解題的認知概念如下表 2-9 所示,其中受試學生 1 僅具備 1 個認知概念,受試學生 2 具備 3 個認知概念,受 試學生 3 具備 2 個認知概念,故受試學生 1、3 都至少缺少一個以上的認知概念,
因此𝜂11=𝜂31=0,由於受試學生 2 具備解題的所需的 3 個認知概念,因此𝜂21=1。
表 2-9
受試學生認知概念表 概念
題號 K3 K4 K5 K6
受試學生 1 1 0 0 0
受試學生 2 1 1 1 0
受試學生 3 0 0 1 1
以下為三位受試學生分別對答的機率,計算如下:
P(𝑋11= 1|𝛼1,𝑠1, g1) = (1 − 𝑠1)𝜂11g11−𝜂11 = (1 − 0.02)0(0.02)1−0 =0.02 P(𝑋21= 1|𝛼2, 𝑠1, g1) = (1 − 𝑠1)𝜂21g11−𝜂21 = (1 − 0.02)1(0.02)1−1= 1 − 0.02 = 0.98
P(𝑋31= 1|𝛼3, 𝑠1, g1) = (1 − 𝑠1)𝜂31g11−𝜂31 = (1 − 0.02)0(0.02)1−0= 0.02
由此可得,受試學生 1、3,至少缺少一個以上的認知概念,如果二位受試 學生答對,在 DINA 模式計算下,是屬於猜測的情況;,而受試學生 2 具備本試 題所需的 3 個認知概念,因此答對的機率最高,若答錯,在 DINA 模式計算下,
是屬於粗心的情況。
貳、Bug-DINO 模型
Bug-DINO 模型(Bug deterministic input, noist “or” gate model)是應用 DINO 模型於錯誤類型之診斷(吳國楨,2014)。本研究之錯誤類型係參考文獻資料、
教學手冊、專家專家建議及將學生在數學演算的過程中,常出現的計算錯誤、犯 錯型態,加以分類而來。Bug-DINO 模式是將不同的錯誤類型視為認知概念,用 DINO 模型診斷學生的迷思概念。在使用此模型前,要先根據該測驗單元學生常 出現的迷思概念編製試題,並整理試題與迷思概念 Q 矩陣,在 DINO 模型中估 計受試者在測驗中是否有該迷思概念,診斷報告便能呈現受試者的各種錯誤類 型。
本研究根據受試者所具備及試題所對應的迷思概念,分為二類:一類是不具 備作答可能產生的迷思概念(𝜔𝑖𝑗=0)和具備作答可能產生的迷思概念(𝜔𝑖𝑗=1)
兩類,若受試者不具備任一個迷思概念時,答對的機率較高;相反的,若受試者 具備任一個迷思概念,則其答對的機率會降低。Bug-DINO 模型一樣是受到粗心
(slip)及猜測(guess)兩個參數的影響,粗心是指當受試者不具備作答可能產 生的迷思概念,卻答錯該題,系統會評估是因為粗心的因素;猜測是指受試者具 備任一個作答可能產生的迷思概念,答對該題是由於猜測的緣故。
在 Bug-DINO 模式中,機率反應模型如下:
P (𝑌𝑖𝑗 = 1|𝜔𝑖𝑗) = (1 − 𝑠𝑗)𝜔𝑖𝑗 ( g𝑗 ) (1−𝜔𝑖𝑗)
𝜔𝑖𝑗 = ∏ (1 − 𝛽𝑖𝑘)𝑄𝑗𝑘
𝐾
𝐾=1
𝑠𝑗 = P(𝑌𝑖𝑗 = 0|𝜔𝑖𝑗 = 1) g𝑗 = P(𝑌𝑖𝑗 = 1|𝜔𝑖𝑗 = 0) 其中,
𝑌𝑖𝑗:第𝑖個受試者在第𝑗題試題的反應組型。
𝑆𝑗:受試者不具備作答可能產生的迷思概念,但卻因粗心而答錯該題的機率。
g𝑗:受試者具備任一個作答可能產生的迷思概念,但卻因猜測而答對該題的機率。
𝑄𝑗𝑘:受試者在第𝑗題是否有第𝑘個迷思概念。
𝜔𝑖𝑗:受試者是否具備作答可能產生的迷思概念,若全部無,則其值為 1,反之,
若受試者具備任一個作答可能產生的迷思概,則其值為 0。
𝛽𝑖𝑘:受試者是否具有第k個迷思概念,若有為 1,若無為 0。
本研究參考吳慧珉(2012)之研究,以實驗單元「圖形縮放與比例尺」為例,
說明 Bug-DINO 模型的計算方法:
表 2-10 為圖形縮放與比例尺的迷思概念(節錄),表 2-11 為認知診斷測驗 的選擇題範例試題,表 2-12 選擇題範例試題與迷思概念之 Q 矩陣,由 Q 矩陣表 中得知,解此題時會產生的迷思概念為 3、6、8。
表 2-10
圖形縮放與比例尺的迷思概念(節錄)
迷思概念 敘述
B3 將半徑誤以為直徑;直徑誤以為半徑。
B6 誤以為圖形放大(或縮小),對應角(圓心角)亦隨之放大
(或縮小)。
B7 平面圖形面積計算公式引用錯誤(邊長×邊長、底×高÷2、底
×高…)
B8 對應邊(半徑或直徑)放大(或縮小)的 N 倍,與面積放 大(或縮小)的 N×N 倍混淆。
表 2-11
下列計算式為三位受試學生分別答對的機率,計算如下:
P(𝑌11 = 1|𝜔11 ) = (1 − 𝑠1)𝜔11g1(1−𝜔11) = (1 − 0.03 )0 (0.03)1−0 = 0.03 P (𝑌21= 1|𝜔21) = (1 − 𝑠1)𝜔21g1(1−𝜔21)= (1 − 0.03)0 (0.03)1−0 = 0.03 P(𝑌31 = 1|𝜔31) = (1 − 𝑠1)𝜔31g1(1−𝜔31)= (1 − 0.03)1(0.03)1−1= 1 − 0.03 = 0.97
由上式可得知:受試學生 1,因具備解答該題至少 1 個迷思概念,故答對機 率為 0.03,若答對該題,在 Bug-DINO 模式模式計算下,屬於猜測的情況;受試 學生 2 亦有相同之情形,至少具備 1 個解答該題的迷思概念,因此答對機率為 0.03,
若答對該題,在 Bug-DINO 模式下,屬於猜測的情況;受試學生 3,不具備解答 該題之任何迷思概念,故答對機率最高,若答錯該題,在 Bug-DINO 模式計算下,
屬於粗心的情況。
綜合上述,可了解在眾多認知診斷模型中,DINA 模式及 Bug-DINO 模式理 論清晰,易懂易算,近年來廣為學者使用與研發。本研究使用 DINA 模式來診斷 學生的認知屬性;使用 Bug-DINO 模式來診斷學生的錯誤類型。