第二章 文獻探討
第三節 測驗等化設計
測驗等化設計指施測者在進行測驗等化前，收集等化資料的方式。其設計的 方法有很多，以下簡略地介紹幾種常用的測驗等化設計：
一、等群組設計(equivalent group design)
假設有兩測驗(X 測驗和 Y 測驗)需要施測，從受試母體 P 中取出兩組獨立的 隨機受試樣本(P1 與 P2)，每一組的受試者只參加其中一個測驗。等群組設計是吸 引人的，其優點是因為簡單及測驗分數能夠直接使用，而且測驗資料也不會受練 習(practice)、疲勞(fatigue)、學習(learning)與順序因素(order effects)的影響。然而，
簡單是要付出代價的，兩組受試者群的能力值分布必須相似，即需要相當大的樣 本數，等化風險才能測量到一個精確的水準。等群組設計如表 2-1 (Kolen &
Brennan,1995；von Davier, Holland, & Thayer, 2004)。
表2-1 等群組設計
受試樣本 X 測驗 Y 測驗
P1 V P2 V “V”為受試者必須受測之測驗
二、單組設計(The Single-Group Design)
假設有兩測驗(X 測驗和 Y 測驗)需要施測，從受試母體中抽取一組受試樣本 P，同時施測此兩測驗。單組設計大概是第一個等化設計，由於受試者必須施測所 有測驗，因此，單組設計的優點在於能直接比較受試者的資料，但必須注意受試 者是否會因作答過多而感到疲勞及測驗施測產生的順序因素。單組設計如表 2-2 (Kolen & Brennan,1995；von Davier, Holland, & Thayer, 2004)。
15
表2-2 單組設計
受試樣本 X 測驗 Y 測驗
P V V “V”為受試者必須受測之測驗
三、平衡對抗隨機組設計(counterbalanced equivalent groups design)
平衡對抗隨機組設計是較複雜的設計，包含了先前介紹的兩個等化設計(等群 組設計與單組設計)。假設有兩測驗(X 測驗和 Y 測驗)需要施測，從受試母體 P 中 取出兩組獨立的隨機受試樣本(P1 與 P2)，且須在不同的順序下施測兩個測驗。因 此，平衡對抗隨機組設計改良了受試者疲勞與測驗產生順序因素的缺點，而這平 衡測驗順序的目的，是為了確保任何順序因素對於兩測驗的分數公平。平衡對抗 隨機組設計如表2-3 (Kolen & Brennan,1995；von Davier, Holland, & Thayer, 2004)。
表2-3 平衡對抗隨機組體設計
X 測驗 Y 測驗 受試樣本
先測 後測 先測 後測
P1 V V
P2 V V
“V”為受試者必須受測之測驗
四、NEAT 設計
NEAT 設計內包含兩個獨立的單組設計，其設計方式為在兩組受試者的母群 體中，隨機抽取兩組受試者樣本(P 和 Q)。其中，P 組受試者接受 X 測驗，Q 組 受試者接受Y 測驗，且兩組受試者施測的時間不同。P 和 Q 兩組受試樣本另外須 接受定錨試題A 測驗，通常定錨試題在兩樣本的測驗順序是一樣的，以避免順序 因素的影響，而測驗內容和難度必須與X、Y 測驗十分類似，其測驗長度相當於
16
一個分測驗(von Davier, Holland, & Thayer, 2004；Dorans & Holland, 2000；Tianyou, 2005)。NEAT 設計如表 2-4 (Kolen & Brennan,1995；von Davier, Holland, & Thayer, 2004)。
表2-4 NEAT 設計
受試者群 X 測驗 Y 測驗 定錨測驗A
P V V Q V V “V”為受試者必須受測之測驗
NEAT 設計為常見的測驗等化設計，然而在 NEAT 設計中，每個題本必須施 測相同的定錨試題，因此，定錨試題的好壞將會影響等化估計效果，而且若定錨 試題選得好的話，NEAT 設計可以避免單組設計或等群組設計所遭遇到的問題
（Klein & Jarjoura, 1985）。MCAS(Massachusetts comprehensive assessment system) 即使用 NEAT 設計進行不同年度間學生之測驗等化，因為它只需要假設受試群體 是隨機抽取，不必假設兩受試群體有相同的能力值。NEAT 設計的定錨試題內容 要盡可能相似且試題難度要相同，因為定錨試題是用來調整兩個不同能力之群體 所造成的等化風險(Petersen, Kolen & Hoover,1993)。
五、BIB 設計
BIB 設計是將試題分成若干試題區塊，區塊間與區塊內的試題皆不重複，受 試者只需接受若干試題區塊的試題，且不同受試者可能接受部分相同、完全相 同、或完全不同的試題區塊。最後，將所有受試者的作答反應資料堆疊進行等化 分析，以達到能力估計的目的。BIB 設計如表 2-5(曾玉琳、王暄博、郭伯臣、許 天維，民95)。
表2-5 BIB 設計 排列方式，可使每一個試題區塊的施測次數相同(van der Linden, Veldkamp &
Carlson, 2004；Nemhauser & Wolsey, 1999)。此設計在無作答時間(response time) 的限制情形下，必須滿足以下限制式：
i
指題庫中個別區塊代號，i = 1 ,..., t
；
j
指題庫中成對區塊中第二個區塊代號，j = 1 ,..., N
；λ
指成對試題區塊出現在相同區塊位置的次數；
x
is指試題區塊與題本的配置組型，其中：x
is∈ { } 0 , 1
,i = 1 ,..., t
,s = 1 ,..., S
；z
ijs指成對試題區塊與題本的配置組型，z
ijs∈ { } 0 , 1
,i < j = 1 ,..., t
,s = 1 ,..., S
。式子(2.5)代表每一個題本配置的試題區塊數目；式子(2.6)代表每一個試題區 塊在所有題本中出現的次數；式子(2.7)代表成對試題區塊在所有題本中出現的次 數；式子(2.8)代表成對試題區塊與組型的一致性。BIB 設計須符合式子(2.5)至(2.8) 的要求，求出符合的最佳解。
美國的NAEP 和荷蘭的 PPON(Periodiek Peilingsonderzoek van het Onderwijs) 即依據 BIB 設計的原則。這個設計假設題庫中的試題被區分為數個區塊，並利用 這些試題區塊編製成題本。在區分試題區塊的過程不為隨機，但必須考量受試者 可以有足夠的時間完成所有的題目，且試題區塊數也要事先確定。最後題本根據 最小單位，經由螺旋排序並束在一起(spiraled and bundled)的方式確保每一試題區 塊出現的次數均等，以減低順序因素。所以施測時，必須依據排好的順序將題本 循序發給考生。另外，根據NAEP 1998 年的技術性報告中指出，每一試題在施測 時，大約需要500 個測試樣本(Allen, Donoghue & Schoeps, 2001)。
BIB 設計有三項基本限制：
1. 每一個題本內的試題區塊數要相同；
2. 試題區塊作結合以求出最小題本數；
3. 每一個試題區塊在所有題本中出現的次數要相同。
然而，這只是 BIB 設計必須符合的三項基本限制，但在實際設計時，還需考 慮試題的內容、形式及作答時間。
18
19
本研究測驗等化設計即採用 BIB 與 NEAT 設計進行模擬研究，此兩設計均將 試題分成若干試題區塊，使用每個題本配置若干個試題區塊來進行施測。而最大 的差異在於，BIB 設計的每個試題區塊施測次數皆相同，且題本與試題區塊使用 螺旋式排列來進行等化分析，使得部份題本無定錨試題，依然可進行等化分析；
NEAT 設計的每個試題區塊施測次數並不相同，並利用每個題本中之定錨試題，
作為等化分析之連結。
NEAT設計為一般常用的等化設計，但由於國內基於受測試題必須公佈的原 則，使得第二年之測驗無法順利進行。然而，BIB設計可利用無共同試題之題本 進行連結等化。因此，本研究擬利用BIB設計以補NEAT設計不足，進行BIB與 NEAT設計等化效果之比較。
六、BIB 與 NEAT 設計的優缺點
本模擬研究之 BIB 與 NEAT 等化設計，應用於實際施測資料時，可依施測所 需的定錨題數與施測人數來選擇較適用之等化設計。在此，研究者列出 BIB 與 NEAT 等化設計的優缺點，作為採用時的參考依據：
(一)BIB 設計的優點
1. 對於有非共同試題的試題卷，依然可進行等化連結；
2. 每題試題作答人數均等(除兩年級的定錨試題外)，試題平均分配施測；
3. 若需進行題本公佈時，不會公佈到所有的定錨試題。
(二)NEAT 設計的優點
1. 試題區塊配置方式容易找尋；
2. NEAT 設計在估計受試者能力風險值的等化效果較 BIB 設計好。
(三)BIB 設計的缺點
1. 題本與試題區塊的配置方式不易找尋；
20
2. BIB 設計等化效果須在施測人數及定錨試題數夠多時，才有最好的等化效 果。
(四)NEAT 設計的缺點
1. 進行等化的題本，必須有共同的定錨試題，才能進行等化；
2. 進行垂直等化時，NEAT等化設計試題區塊內所包含的試題數，將限制不 同年級間之定錨試題數。
3. 若需進行題本公佈時，將會公佈所有的定錨試題。