第二章 文獻探討
第二節 局部獨立性
局部獨立性 (local independence, LI) 是指在給定受試者潛在特質或能力下,
其試題反應相互獨立,亦即每個受試者在某一題的正確反應的機率,不受其他試 題反應所影響。令θ為某一受試者的潛在特質或能力,Ui為受試者回答試題i的 隨機反應 (i=1,2,...,n),P(Ui |θ) 則為給定受試者能力θ下,在試題i反應的機 率,此時假設所有試題皆為局部獨立,那麼某一能力為θ的受試者,其反應組型 的機率,可以寫成個別試題反應機率的連乘積 (Chen & Thissen, 1997; Lord, 1980;
Yen, 1993),公式如下:
) 答的聯合機率,利用最大概似估計法 (maximum likelihood estimate, ML) 進行參 數估計,經過多次疊代 (iteration) 後求得各參數的近似值。 多研究者亦深入探討 (Chen & Thissen, 1997; Hambleton & Swaminathan, 1985;
Hambleton et al., 1991; Rosenbaum, 1988; Sireci, Wainer, & Thissen, 1991; Wainer, 1995; Wainer & Thissen, 1996; Yen, 1984, 1993)。造成違反試題局部獨立性的原因 主要分成兩大類:一是考試實施期間的因素;另一個則是試題本身的因素,以下
(e)隱含正確答案的跡象:若一試題隱含另一試題正確答案的提示,則此兩試題將 存在高度的違反局部獨立性。
(f)連鎖試題:假如一測驗的試題為一系列 ,也就是說這一連串試題是一步接著一 步完成的,那麼將存在違反試題局部獨立性。
(g)題組型試題:由於題組型的試題群是來自共同刺激 (common stimulus),因此 試題存在著高度違反局部獨立性。
根據許多研究者的分析與探討,忽略違反試題局部獨立性,將造成兩種主要 的負面效果:第一個負面效果是測驗訊息函數的高估及測驗標準誤的低估 (林原 宏,2006;Sireci et al., 1991; Thissen, Steinberg & Mooney, 1989; Wainer, 1995;
Wainer & Thissen, 1996; Yen, 1984, 1993)。Yen (1993) 指出,假如忽略試題違反局 部獨立性,將會造成幾乎 100%訊息函數的高估,想達到測量精準所需的試題數,
也因此被低估;第二個負面效果則是參數估計的偏誤,若存在試題局部相依性,
平均會有 60%的試題參數會有偏誤。
題組 (testlet) 型 測 驗 為 造 成 試 題 違 反 局 部 獨 立 性 的 因 素 之 一。 Bradlow, Wainer, and Wang (1999) 提出題組型反應模式,意指一 組試題來自共同的刺激,
例如閱讀測驗等,他們所建立題組型反應模式為是二參常態肩形模式的延伸,其 潛在分數tij為:
ij i jd i j i
ij a b
t = (θ − −γ ())+ε (9) 其中ai為試題i的鑑別度,bi為試題i的難度,θ 為受試者j j的能力,γjd(i)為 受試者 j與題組d(i)的題組效果,且試題i屬於題組d(i)的試題,εij為隨機誤差,
因此受試者 j 在試題 i的反應可以寫成:
=10 , , ifelset >0
ij ij
y (10)
) (i
γjd 為受試者 j與試題i的題組效果,表示相同題組的試題,對受試者 j而 言,其題組效果一樣。而γjd(i) ~ N(0,σγ2),σγ2就代表題組效果的程度,即違反試 題局部獨立的程度。
許多研究者致力於如何檢測出試題違反局部獨立性的問題,其中以 χ 、2 G2、
異越大,其 χ2統計量也越大,越容易拒絕需無假設,其試題局部相依程度亦越 大。當所有組合的期望次數Ekk' ≥5,對大樣本而言,其χ2統計量會接近卡方分 配。其
χ
2統計量的自由度為df = ( K - 1 )
2,K為反應類別數之總個數,因此對二 元計分試題而言,其自由度df =1,亦即 p值為P(χ2 >χdf2 ), 其中df =1。 (b) 概似比G2 (likelihood-ration statistic)∑ ∑
= =假設 yjk為試題 j 類別反應k的加權值,而yj'k'為試題 'j 類別反應k'的加權
差Z : d (Hambleton & Swaminathan, 1985; Sireci et al., 1991; Thissen et al., 1989; Yen, 1984, 1993) ,一般來說,對策分成兩種類型:一是事先的對策;另一個則是事後的對
adaptive testing, ACT),在完成一題組的所有試題之前,受試者在任何試題的反 應,都無法提供受試者能力程度之任何訊息 ,亦即受試者在一題組第一題的反 應,無法作為下一試題的選擇條件,因此對於電腦化適性測驗存在困難度。第二 種方法由 Bradlow et al. (1999) 提出,明確地將題組效果,亦即試題違反局部獨立 的程度計算於一般題組模式內 ,且將有下列三種優點:(1)題組內各試題反應組 型,其訊息得以保留;(2)在電腦化適性測驗中,受試者於題組內第一題的反應,
得以作為下一題的選擇條件;(3)題組效果的程度,可藉由題組反應模式估計出 來。因此,題組反應模式不但可以於施測之後,處理試題違反局部獨立性的問題,
亦可檢測題效果及對施測的過程提供幫助。
近年有許多跟違反試題局部獨立的相關研究,例如偵測違反試題局部的指標 (Chen & Thissen, 1997; Lee, 2004)、與處理違反試題局部獨立的對策 (Bradlow, Wainer, & Wang, 2002; Yen, 1993)等,可看出許多研究者對於違反試題局部獨立的 重視。