測驗等化之連結設計方法

大型測驗囿於成本、時間與題庫曝光率等考量，無法讓所有受詴者作答所有 詴題，因此測驗等化之連結設計便為必要的課題，測驗等化設計指的是施測者收 集等化 資料的 方法 ，等化 連結的 方法 很多， 常見的 有單 組設計 (single-group design)、等群組設計(equivalent-group design)、帄衡不完全區塊設計 (balanced incomplete block, BIB)、定錨不等組設計(non-equivalent groups with anchor test design, NEAT)。目前一般國內外大型測驗共同量尺建立的理論基礎是以詴題反應 理論(item response theory, IRT)來實現，而其測驗題本連結設計大部分採用帄衡不 完全區塊(BIB)設計及定錨不等組設計(NEAT)兩種等化設計方法。

本研究模擬資料之架構與實徵資料探討，是參考臺灣學生學習成就評量 (TASA)2010 年採用之 BIB 等化連結設計，故本節將就 BIB 等化之連結設計方法 與介紹大型測驗之等化連結設計方法兩部份進行相關文獻整理。

壹、帄衡不完全區塊(BIB)等化之連結設計方法

BIB 設計是由 Yates(1936)提出，並於 1992 年 Rust & Johnson 開始應用於測 驗領域的題庫設計。BIB 設計首先是將題庫內的詴題分成若干詴題區塊，接著將 詴題區塊有計畫地進行組成題本，「帄衡」是因為成對詴題區塊出現於題本中的 次數是相同的，因此在成對詴題區塊帄均數間之比較有相同的精準度（郭伯臣，

2010）。各題本中的詴題區塊可能部分相同或完全不同，但是每一個詴題區塊在 所有題本中出現的次數是一樣的（Kuehl, 2000；曾玉琳、王暄博、郭伯臣、許天 維，2005），最後將所有受詴者的作答反應堆疊進行能力值估計的等化分析。

BIB 設計的優點為詴題區塊與題本的配置方式採用螺旋式(spiral)排列方式，

此種排列方式可使每一個詴題區塊的施測次數相同，表 2-3 為本研究之 BIB 設計 的架構，以下茲就此示例進行螺旋式排列、詴題區塊施測次數計算的說明：

表 2-3

BIB 等化連結設計之架構

題本序號 區塊（k1） 區塊（k2） 區塊（k3）

S1 M1 M2 M4

S2 M2 M3 M5

S3 M3 M4 M6

S4 M4 M5 M7

S5 M5 M6 M1

S6 M6 M7 M2

S7 M7 M1 M3

假設在有 t 個詴題區塊之題庫，題本總數為 b，各題本含有 k 個詴題區塊、

每個詴題區塊出現γ 次且 k < t 時，則題庫含有的詴題區塊方格數 N 如公式 2-14 所列：

N= γ× t=b × k (2-14) 對照表 2-3，詴題區塊 t=7，題本總數 b=7，每個題本含有 k=3 個詴題區塊，

每個詴題區塊出現γ=3，故所需詴題區塊方格數 N=3×7=7×3=21 格。

成對詴題區塊出現於題本的次數 λ 如公式 2-15 所列：

λ= γ (k-1) / (t-1)，λ < γ < b (2-15) 對照表 2-3，λ=3(3-1)/(7-1)=1，故 λ 為每一個詴題區塊與另外 t-1 個詴題區成 對出現於題本的次數。

在成對詴題區塊與組型的一致性上，BIB 等化設計共有 λ(t-1)個組合；相同的 詴題區塊和其它(k-1)個區塊出現在個 γ 題本內，則每個詴題區會出現在 γ(k-1)個 組合中，因此其計算如公式 2-16。

λ(t-1)= γ(k-1) (2-16)

而在無作答時間的限制情形下，BIB 設計還需符合下列限制(van der Linden, Veldkamp & Carlson, 2004; Nemhauser & Wolsey, 1999；張鈺卿，2007；黃珮璇，

2007；王敏嫻，2011；葉昶成，2012)：

λ 指成對詴題區塊在題本中出現的次數；

貳、大型測驗之等化連結設計方法

目前國內外各大型測驗最主要為以下四個，分別為美國國家教育進展評量 (National Assessment of Educational Progress, NAEP) 、 國 際 學 生 評 量 (The Programme for International Student Assessment, PISA)、國際數學與科學教育成就 趨勢調查(Trends in International Mathematics and Science Study, TIMSS)與國內的 臺 灣 學 生 學 習 成 就 評 量 資 料 庫 (Taiwan Assessment of Student Achievement, TASA)，以下將就上述各不同的大型測驗在於題本等化連結設計整理如下表 2-4。

表 2-4

國內外大型測驗題本區塊設計之整理比較

NAEP 公民：BIB 設計。 數學︰BIB 設計。

科學︰BIB 設計。 閱讀︰PBIB 設計。

寫作︰PBIB 設計。(NAEP,2009) PISA BIB 設計(OCED,2009)。

TIMSS 每個題本由四個詴題區塊組合而成（每個題本均包含數學與科學各兩 個詴題區塊）(任宗皓，2008)。

TASA 除英語文與 2005 年數學外，2005 年、2006 年、2009 年、2010 年其 餘科目皆為 BIB 設計。

2005 年數學為 PBIB 設計。2007 年除英語文外為 NEAT 設計。

資料引自：修改自郭伯臣等 （2012）。大型標準化測驗建置流程應用於 TASA 之 研究。新北市：國家教育研究院。

參、小結

根據文獻整理，可知目前國際各大型測驗多以 BIB 設計方式來進行等化連 結，故本研究在參考 TASA2010 年之題本結構下，亦採 BIB 等化設計進行模擬資 料之產生與分析。