第二章 文獻探討
第四節 平衡不完全區塊設計
Yates(1936)所提出的平衡不完全區塊(balanced incomplete block, BIB)設計,
一直到了1992 年才由Rust & Johnson 實際應用於測驗領域中的題庫設計。BIB題本 設計原理乃將試題均分成若干試題區塊(treatment block),每個區塊中都有一部分 試題,而且區塊間與區塊內的試題皆不重複。
受試者只需接受若干試題區塊的試題,且不同受試者可能接受部分相同、完全 相同、或完全不同的試題區塊。除了需要符合每個試題區塊出現的次數在所有題本 中都相同、題本內的試題區塊數量也一樣,以及試題區塊組合成最小題本數 (van der Linden, Veldkamp & Carlson, 2004) 。此外,題本內容設計時,必須考量到此試題內 容對於受試者而言,須是具有意義且能有效的測量出受試者能力。
以下茲就本研究題本所採用的 BIB 設計介紹,如表 2-3(曾玉琳、王暄博、郭 伯臣、許天維,2006),此設計包含 7 個區塊、7 個題本,每個題本下皆包含 3 個區 塊,且每個區塊出現在所有題本的次數皆為 3 次,而各題本中的任兩區塊,不會再 重複出現在其它題本之中,在表 2-3 後並對 BIB 各項函數條件式概略介紹:
表 2-7 BIB 題本設計題本設計題本設計 題本設計
題本序號 區塊 K1 區塊 K2 區塊 K3
S1 M1 M2 M4
S2 M2 M3 M5
S3 M3 M4 M6
S4 M4 M5 M7
S5 M5 M6 M1
S6 M6 M7 M2
S7 M7 M1 M3
BIB 題本設計必須符合以下各項條件(Bilous & van Rees, 2005): r × v = b × k (2-22) λ (v −1) = r (k −1) (2-23) b ≥ v (2-24) 又如果 b = v 且 v 為偶數時,則 k −λ 為完全平方數;
如果 b = v 且 v 為奇數時,則' (k – λ, - + 1
./0
1 λ 2 , X、Y、Z 為整數解且不會全部為 0。
其中各代數代表意義如下,
r :區塊出現在所有題本的次數;
v :所有區塊數;
b :所有題本數;
k :每個題本包含之區塊數;
λ :成對區塊出現次數。
目前國內外許多大型測驗中,以 TASA 為例,因應須符合教育部課程綱要之各 項能力指標,導致施測的課程內容範圍相關廣泛,相對需要受試者測驗的題目數量 也相當多,而施測時受限於學生每個科目受測時間大多為一節課(40~50 分鐘)以內的 因素,無法一次測驗完畢所有試題,且 BIB 設計的區塊、題本及受試人數的螺旋式 排列方式平衡設計,讓每個試題區塊的施測次數都一樣,亦即每個試題受測學生數 相同,可降低等化過程中的額外誤差,此特性也相當符合此類大型測驗的需求。
此外,不完全平衡的架構,也使得 BIB 設計只進行整體受試者能力表現,而不 獨立進行個別樣本比較,因此,BIB 題本設計更能符合許多大型測驗的需求,例如:
我國的 TASA 從 2009 年起皆採用 BIB 題本設計以及美國的 NAEP 公民評量部分也 是使用 BIB 題本設計,以了解課程實施成效。
而此種螺旋式區塊的題本設計,亦相當符合 TIMSS 以及 PISA 的組卷需求,此 類大型測驗皆是由多個科目區塊組成題本的,因此,像是 TIMSS2011 的四年級與八 年級題本,皆是由數學與科學各七個區塊所組成的 BIB 題本類型;PISA2006 年使用 的題本,則是由數學、科學、閱讀組成的 BIB 設計,總共 13 個題本,其中每題本皆 包含 4 個區塊。因此,BIB 設計可說是目前國內外大型測驗中,相當重要的一項題 本設計類型。