• 沒有找到結果。

測驗等化使用之連結設計

第二章 文獻探討

第二節 測驗等化使用之連結設計

在測驗發展初期,即需考慮將來不同測驗間的連結,故研究者在進行測驗等 化前須先考慮測驗連結的方式。其設計的方法眾多,簡單地分為四種連結方法,

其設計將一一說明。(Kolen et al., 1995;余民寧,1993) 

壹、單組設計(single­group design) 

單組設計是將欲連結的兩份測驗 X 和 Y,給同一群受試樣本 P 施測。此種方 法最簡單,能直接將兩份測驗放在同一量尺上,但由於受試者必須施測所有測 驗,因此必須注意受試者是否會因作答時間過長而感到疲勞,同時,測驗施測的 順序亦會影響連結效果。單組設計如表 2­1(Kolen et al.,1995;余民寧,1993)。

表 2­1  單組設計

受試樣本  X 測驗  Y 測驗 

P  V  V 

註:V 為受試者必須受測之測驗

貳、等群組設計(equivalent­group design) 

等群組設計是將欲連結的兩份測驗 X 和 Y,給予隨機選取之相似卻不完全相 同的兩組受試樣本 P1 與 P2,每一組的受試者只接受其中一個測驗。等群組設計 之優點是測驗資料也不會受練習(practice)、疲勞(fatigue)、學習(learning)與順序因 素(order  effects)的影響。然而,需要相當大的樣本才能避免隨機誤差的產生。等 群組設計如表 2­2 (Kolen et al.,1995;余民寧,1993)。

表 2­2  等群組設計

受試樣本  X 測驗  Y 測驗 

P1  V 

P2  V 

註:V為受試者必須受測之測驗

參、定錨不等組設計(non­equivalent groups with anchor test design) 

NEAT 設計是將欲連結的兩份測驗 X 和 Y,給予兩組不同受試樣本 P1 和 Q1  施測,其中,P1 和 Q1 分別從受試母群體 P 和 Q 中隨機抽取,且兩組受試樣本皆 須另外接受一份共同測驗  A,即為定錨測驗。NEAT  設計如表  2­3(Kolen  et  al.,1995;余民寧,1993)。

表 2­3  NEAT 設計

受試者群  X 測驗  Y 測驗 定錨測驗 A 

P1  V  V 

Q1  V  V 

註:V為受試者必須受測之測驗 

NEAT 設計為常見的測驗等化設計,由於在 NEAT 設計中,每個受試群必須 測驗相同的定錨測驗,因此,定錨試題之試題參數好壞將會影響連結效果。若定 錨試題選擇恰當,則  NEAT  設計可以避免受練習(practice)、疲勞(fatigue)、學習  (learning)、順序因素(order effects)及需要大樣本的問題(Klein & Jarjoura, 1985)。  MCAS(Massachusetts  comprehensive  assessment  system)即使用 NEAT 設計進行不 同年度間學生之測驗等化,因為它只需要假設受試群體是隨機抽取,不必假設兩 受試群體有相同的能力值。此外,NEAT 設計的定錨測驗內容要盡可能相似且試 題難度要相近,因為定錨試題是用來調整兩個不同能力之群體所造成的不等  (Petersen, Kolen & Hoover, 1993;王暄博,2006)。

肆、平衡不完全區塊(balanced incomplete block, BIB)設計 

BIB 設計是將試題分成若干試題區塊,區塊間與區塊內的試題皆不重複。將 受試者分為數群,有幾個題本(booklet)就分為幾群,每群受試者只需接受若干試 題區塊的試題,不同受試者可能接受部分相同、完全相同、或完全不同的試題區 塊。最後,將所有受試者的作答反應資料堆疊進行等化分析,以達到能力估計的 目的。BIB 設計如表 2­4(曾玉琳、王暄博、郭伯臣、許天維,2005)。

其中, S 表示題本序號, i = 1 K ,  , 7 ;  表示題庫試題區塊, j = 1 K ,  7 ;

表 2­4  BIB 設計表

BIB  設計試題區塊與題本的配置方式採用螺旋(spiral)式排列方式,其可使每 一個試題區塊的施測次數相同(van  der  Linden,  Veldkamp  &  Carlson,  2004; 

Nemhauser & Wolsey, 1999)。此設計在無作答時間(response time)的限制情形下,

必須滿足以下限制式:

ijs 指成對試題區塊與題本的配置組型, ijs Î 

{ } 

0 , 1 , i = 1 ,..., t , s = 1 ,..., 。 其中,式子(2.1)代表每一個題本配置的試題區塊數目;式子(2.2)代表每一個 試題區塊在所有題本中出現的次數;式子(2.3)代表成對試題區塊在所有題本中出 現的次數;式子(2.4)代表成對試題區塊與組型的一致性。BIB 設計須符合式子(2.1)  至(2.4)的要求,求出符合的最佳解。

所以,BIB 設計有三項基本限制: 

1.每一個題本內的試題區塊數要相同; 

2.試題區塊作結合以求出最小題本數; 

3.每一個試題區塊在所有題本中出現的次數要相同。

然而,這只是 BIB 設計必須符合的三項基本限制,但在實際設計時,還需考 慮試題的內容、形式及作答時間。

伍、BIB 與 NEAT 設計綜合比較

本研究採用 BIB 與 NEAT 設計進行同年級不同年度間測驗連結模擬研究,此 二設計均將試題分成若干個試題區塊,每個題本配置相同試題區塊數進行測驗。

其最大差異在於 BIB 設計的每個試題區塊測驗次數皆相同,而且題本之試題區塊 採用螺旋式排列來進行連結,使得部份題本間無定錨試題亦可進行等化分析;而  NEAT  設計的每個試題區塊測驗次數不全相同,其利用每個題本中之定錨試題作 為等化分析之連結。

曾玉琳(2005)曾針對  BIB  設計與  NEAT  設計進行四種能力分布(常態、正偏 態、負偏態及雙峰)、三種施測樣本數(約 2600 人、5460 人、約 10000 人)模擬研 究,研究發現在施測樣本數約 2600 人時,NEAT 設計比 BIB 設計連結效果較佳;

當施測樣本超過  5460  人且受試者能力分布為常態或雙峰分布時,兩種設計皆可 得到最佳的連結效果。

王暄博(2006)也針對 BIB 設計與 NEAT 設計進行水平等化及垂直等化之模擬 研究,其控制變項有三種施測樣本數(5460 人、7500 人及 10000 人)、不同定錨題

數,研究發現在水平等化測驗中,試題參數以 BIB 設計之連結效果優於 NEAT 設 計,而能力參數以 NEAT 設計之連結效果優於 BIB 設計;在垂直等化測驗中,試 題鑑別度參數以 BIB 設計之連結效果優於 NEAT 設計,而能力參數、試題難度參 數及試題猜測度參數以 NEAT 設計之連結效果優於 BIB 設計。

相關文件