第二章 文獻探討
第四節 試題反應理論
試題反應理論 IRT(Item Response Theory, IRT)又稱潛在特質論,以受試者 在 某 一 試 題 上 的 作 答 表 現 來 分 析 試 題 的 難 度 ( difficulty ) 、 鑑 別 度
(discrimination)與猜測度(guessing)。試題反應理論有四個特點:非速度測 驗、知道答案必定會答對、單向度(同一份測驗中的各個試題都測量同一種共同 的能力)、局部獨立性(樣本與試題獨立,當會影響作答表現的能力不變動時,受 試者在任一試題上的作答是不會相互影的) (余民寧,1991;趙素珍,1998)。
試題反應理論中,多點計分各選項間可以有次序、程度關聯,除了正確選項 外,其他選項可提供誘答力,而每個誘答選項之試題曲線也不相同(Dodeen, 2004;Reise, 1990)。
而試題反應理論與古典測驗理論(Classical Test Theory, CTT)最大的差異為以 試題反應理論為架構並依據強勢假設(古典測驗理論為弱假設,依據真實分數模 式),其概念為受試者在某一試題上的作答反應可解釋該受試者的能力。受試者 的能力與作答反應的關係可以畫出一條代表試題特徵的曲線(Item Characteristic Curve, ICC),如圖 1 所示,受試者在一份測驗試題上的作答反應情形,可用一 組因素來預測與解釋,這一組因素便稱為受試者潛在特質或受試者能力。
圖 1 中,橫軸代表受試者能力值,縱軸代表作答反應機率,試題之 ICC 即代表 某位受試者在不同能力值時之作答反應機率,可由此曲線得知某種潛在特質的 程度與其在某一試題上正確反應機率的關係;這種潛在特質的程度愈高(或愈
19
強),其在某一試題上的正確反應機率便愈大(余民寧,1992)。
圖 1 ICC 圖(資料來源:余民寧,1992)
受試者的表現情形與這組潛在特質間的關係,可透過一條連續性遞增的函 數來加以詮釋,這個函數即為試題特徵曲線(Test Characteristic Curve, TCC),
透過觀察試題特徵曲線可以了解能力與正確作答的關係,但每一試題之訊息量 和其他試題之訊息量無關(李明如,2002)。而所選用的試題反應模式所具有的參 數個數及其數值的不同,所畫出的試題特徵曲線形狀便不同。常見的曲線形 狀,如圖 2 所示。圖 2 中,θ 表示受試者的潛在特質或能力值,
P
i(
)則表示能 潛在特質或能力值為 θ 的受試者,在某一試題正確作答的機率。圖中(a)、(b)、(c)、(d)、(e)、(f)、(g) 分別代表不同模式之試題特徵曲線。而圖中(g)所示即為 試題反應模式之試題特徵,圖中曲線所代表的意思是指試題中每一選項被選中 的機率,它也是能力或潛在特質的一種函數,它有個基本假設,亦即就某一固 定能力的考生而言,他/她 在同一試題上所有的試題選項特徵曲線的總和為 1(余民寧,1992)。試題反應理論應用到測驗編製上,最常被探討的莫過於訊息 函數(information function)。根據一般建立題庫的過程,在選定合適的試題反應 模式來分析資料後,除了可以獲得試題參數和學生的能力參數估計值外,也可
20
圖 2 各種試題特徵曲線(資料來源:Hambleton & Cook, 1977)
以獲得訊息函數值。有了測驗訊息函數之後,研究測驗編製的學家們開始比較 兩份或多份測量到同樣能力的測驗訊息函數,比較測驗訊息函數的作用是讓測 驗研究人員對測驗評鑑和選擇的參考,所以在發展一份新測驗時常常需要比較 不同測驗的訊息函數,並從中挑選出可傳遞最多試題訊息者。將整份測驗中相 同能力值上的試題訊息量總和曲線加總起即為試題訊息曲線 TIC,其重點是表現 出測驗對各種能力的受試者所測得之測驗訊息與測驗誤差,相關研究多探討測 驗訊息的部分,而測驗訊息量越大表現越好(余民寧,2005) ,而試題訊息量與 測量誤差值互為倒數,故訊息量最大的地方就是標準誤最小的地方,如圖 3 所 示,計算公式如數式(7)所示。
21
Test information curve: solid line Standard error curve: dotted line
The total test information for a specific scale score is read from the left vertical axis.
The standard error for a specific scale score is read from the right vertical axis.
-3 -2 -1 0 1 2 3
Test Information and Measurement Error
0 Samejima(1969)所發展用來分析認知能力的方法,是 IRT 中一種模式,是雙 參數模式的延伸,其他模式還有單參數模式和三參數模式等。其理論主要是以
22
而類別反應函數(category response function),表示能力值θ 的人在第j題得 到k分的機率,如數式(10),其中k=1,2,3 K。
23