第二章 文獻探討
第三節 測驗等化的意義、種類與等化設計
在許多大型測驗中,例如:TASA、NAEP 及 PISA 等,經常透過測驗等化來 比較施測不同測驗題本之受試者的能力特質。然而,文獻之中尚無針對次級量尺 做垂直等化之探討,且鑑於多種測驗等化設計之中,尤以 BIB 此種設計最常使用 於這些大型測驗之中,本節將對測驗等化的意義、種類以及本研究所使用之 BIB 等化設計、水平等化及垂直等化做說明。分述如下。
壹
、測驗等化的意義
測驗等化(test equating)是使用統計方法將受試者在某一測驗的分數轉換至 另一測驗分數量尺,即兩測驗分數在同一量尺比較的過程(Kolen & Brennan, 1995)。等化進行必須滿足以下條件(Hambleton & Swaminathan, 1985;Lord, 1980):
一、對稱性(symmetry property):等化的轉換是可逆的,即由 X 測驗等化至 Y 測驗的結果,與 Y 測驗等化至 X 測驗的結果必須相同。
二、相等性(equity properties):即受試者不論接受 X 測驗或 Y 測驗的施測,所 測得結果並無差異。
三、團體不變性(group invariance property):即等化過程中受試者不論來自何種 團體,轉換出來的結果也要相同。
四、單向度(unidimensionality of the tests): 其測驗內容進行等化時須測量同 一能力特質。
貳
、測驗等化的種類
Hambleton 與 Swaminathan(1985)認為測驗等化可分為水平等化與垂直等化 兩種,茲介紹如下:
一、水平等化
水平等化是指當兩個或兩個以上欲測量同一能力或同一特質測驗間之原始 測驗分數可在共同的量尺上進行轉換過程,且接受測驗的受試者的能力分布與試 題難度是相似的群體,這些測驗題本為維持公平性,編制成不同形式但內容及難 度極為相似的複本測驗。例如:大型測驗中的托福、GRE的考試就有多種複本測 驗,可以在一年有多次考試機會。
二、 垂直等化
垂直等化是指當兩個或兩個以上測驗測量同一能力或同一特質測驗間之原 始測驗分數可在共同的量尺上進行轉換過程,但接受測驗的受試者的能力分布與 試題難度是不相等的群體。這些測驗題本會包括許多不同形式、不同難度水準之 題本,此類型等化適用於比較不同年齡或不同年級受試者。如美國的加州成就測 驗(California Achievement Tests)、愛奧華基本技能測驗(Iowa Test of Basic Skills)
等。
參
、測驗等化設計
測驗等化設計指收集資料之方式以進行等化,等化設計的選擇會影響等化的 誤差,茲介紹本研究所採用的 BIB 設計:
Yates(1963)提出 BIB 設計,將題庫中的試題分成數個試題區塊,區塊間 與區塊內的試題皆不重複。若設計幾個題本(booklet)則受試者可分為幾群,每 群受試者只需接受某些試題區塊的試題,不同受試者可以接受完全相同、部分相 同、或完全不同的試題區塊。最後,將所有受試者的作答反應資料堆疊進行等化 分析,以達到能力估計的目的。
此設計在無作答時間(response time)之限制情形下,必須滿足以下限制式:
S s
k x
t
,..., 1 , =
∑
= (2-20)t j
i z
S
s
ijs , 1,...,
1
=
<
∑
≥=
λ (2-22)
S s
t j
i z x
xis + js ≥2 ijs, < =1,..., , =1,..., (2-23)
其中: t 指試題區塊數;
s 指題本代號,s=1,...,S; k:每個題本配置的試題區塊數;
r:試題區塊在所有題本中出現的次數;
i:題庫中個別區塊代號,i =1,...t;
j:題庫中成對區塊中第二個區塊代號, j =1,...,t;
λ:成對試題區塊在所有題本中出現的次數;
xis:試題區塊與題本的配置組型,xis ∈
{ }
0,1 ,i = 1,..., t,s = 1,..., S ; zijs:成對試題區塊與題本的配置組型,zijs∈{ }
0,1 ,i< j=1,...,t,s =1,...,S 。 公式(2-20)代表每一個題本配置的試題區塊數目;公式(2-21)代表每一 個試題區塊在所有題本中出現的次數;公式(2-22)代表成對試題區塊在所有題 本中出現的次數;公式(2-23)代表成對試題區塊與組型的一致性。BIB 設計須 符合公式(2-20)至(2-23)的要求,求出符合的最佳解。BIB 設計的優點為試題區塊與題本之配置方式乃是採用螺旋(spiral)式排 列方式,其可使每一個試題區塊的施測次數相同(Nemhauser & Wolsey, 1999;van der Linden, Veldkamp & Carlson, 2004)。另外BIB 設計有三項基本限制:
(一) 每一個題本內的試題區塊數要相同;
(二) 試題區塊作結合以求出最小題本數;
(三) 每一個試題區塊在所有題本中出現的次數要相同。