第三章 研究方法
第一節 BIB 連結設計
BIB設計將試題分成若干試題區塊,區塊間與區塊內的試題皆不重複,受試 者只需接受若干試題區塊的試題,且不同受試者可能接受部分相同、完全相同、
或完全不同的試題區塊。茲將BIB 設計須符合之條件整理如下(Kuehl, 2000):
î í
表 32 為本研究中 BIB 設計之參數設定,依序命名為 BIB1、BIB2、BIB3,
以下將介紹此三種設計,下列為各種設計表之代號意義:
本研究的 BIB1 和 BIB2 設計係依據曾玉琳等人(2005)所設計;BIB3 設計係 依據 van der Linden, Veldkamp & Carlson(2004),26 個題本、13 個試題區塊的最 佳 BIB 設計,以下將介紹三種 BIB 設計模式。
壹、BIB1 設計
BIB1 設計共包含 7 個題本( b = 7 )、7 個試題區塊( t = 7 )、每個題本包含 3 個 試題區塊( k = 3 )、每一試題區塊在題本中出現的次數為 3 次( r = 3 )、及成對試題 區塊在題本中出現的次數只有 1 次( l =1 )。根據 BIB 設計之條件,可知每個題本 中試題區塊的組合不重複,例如:題本 S 1 試題區塊配置為 M 1 、 M 2 、 M 4 ,則 S 2 至
S 7 題本中不會出現試題區塊 M 1 、 M 2 、 M 4 的組合;試題區塊在所有題本配置中 會重複出現 3 次,例如:試題區塊 M 1 出現在題本 S 1 、 S 5 、 S 7 中,依此類推,詳 如表 33。
表 33 BIB1 設計表
題本序號 區塊( k 1 ) 區塊( k 2 ) 區塊( k 3 )
S 1 M 1 M 2 M 4
S 2 M 2 M 3 M 5
S 3 M 3 M 4 M 6
S 4 M 4 M 5 M 7
S 5 M 5 M 6 M 1
S 6 M 6 M 7 M 2
S 7 M 7 M 1 M 3
貳、BIB2 設計
BIB2 設計共包含 12 個題本、9 個試題區塊、每個題本包含 3 個試題區塊、
每一試題區塊在題本中出現的次數為 4 次、及成對試題區塊在題本中出現的次數 只有 1 次。其試題區塊配置規則亦根據 BIB 設計之條件,可參考 BIB1 設計之說 明,詳見表 34。
表 34 BIB2 設計表
題本序號 區塊( k 1 ) 區塊( k 2 ) 區塊( k 3 )
S 1 M 1 M 2 M 5
S 2 M 2 M 3 M 7
S 3 M 3 M 4 M 8
S 4 M 4 M 5 M 7
S 5 M 5 M 6 M 8
S 6 M 6 M 7 M 9
S 7 M 7 M 8 M 1
S 8 M 8 M 9 M 2
S 9 M 9 M 1 M 4
S 10 M 1 M 3 M 6
S 11 M 2 M 4 M 6
S 12 M 3 M 5 M 9
參、BIB3 設計
BIB3 設計共包含 26 個題本、13 個試題區塊、每個題本包含 3 個試題區塊、
每一試題區塊在題本中出現的次數為 6 次、及成對試題區塊在題本中出現的次數 只有 1 次。而其試題區塊配置規則亦根據 BIB 設計之條件,可參考 BIB1 設計之 說明,詳見表 35。
肆、題數及人數設定
一、題數設定
本研究模擬每個題本試題數為 30 題,每個題本有 3 個區塊,每個試題區塊 試題數為 10 題。在 BIB 設計中,兩年度總題數為各年度施測總題數的兩倍,再 扣除不同年度定錨試題數,故兩年度總題數會隨著定錨題數的多寡而有所不同。
詳如表 36。
表 35 BIB3 設計表
BIB3 13
30% 9 39 130 221
二、人數設定
依據 TASA 計畫 2005 年施測人數為 10000 人,2006 年施測人數為 7500 人,
本研究欲比較將人數降低為 5000 人之連結效果,故模擬三種受試人數,分別為
5000 人、7500 人及 10000 人,但為配合各種連結設計題本數的不同,因此本研 究各年度受試人數定為 5460 人、7644 人及 10920 人。詳如表 37。
表 37 BIB 設計人數對照表
等化設計 每個年度
受試人數
每個題本 受試人數
每個試題 受試人數
不同年度定錨 試題受試人數
5460 780 2340 4680
7644 1092 3276 6552 BIB1
10920 1560 4680 9360
5460 455 1820 3640
7644 637 2548 5096
BIB2
10920 910 3640 7280
5460 210 1260 2520
7644 294 1764 3528
BIB3
10920 420 2520 5040
伍、定錨試題的選取及配置
定錨試題選取及配置之步驟如下:
一、設定定錨試題難度範圍
在張鈺卿等人(2006)的研究中指出兩種不同定錨試題選題方法,其中以似常 態分布選取方法較佳,也就是中間難度試題多,兩端難度試題少,故本研究採似 常態分布選取方法。此外,本研究欲比較從三種難度(b 值)範圍(3~3、2~2、1~1) 中選取的定錨試題之連結效果,故依難度範圍分成五等分,依照不同設計訂定每 個等分選取定錨試題之比例,其比例如表 38。
二、挑選各等分中鑑別度較高之試題
依各等分所需之定錨題數選取鑑別度較高之試題,如在 BIB1 設計中,當難 度範圍為3~3 時,等分一(難度範圍為3~1.8)需要定錨試題一題,就從試題難度 (b 值)落在該等分中的試題選取鑑別度最高的一題。其中,由於兩端試題數較少,
因此當該等分試題數少於所需定錨題數時,則由鄰近等分之試題補齊。
表 38 BIB 設計在不同定錨比例之相關題數對照表 等化
設計
每個題 本定錨 比例
等份一 等份二 等份三 等份四 等份五
不同年 度總定 錨題數
10% 1 1 3 1 1 7
20% 2 2 6 2 2 14
BIB1
30% 3 3 9 3 3 21
10% 1 2 3 2 1 9
20% 2 4 6 4 2 18
BIB2
30% 3 6 9 6 3 27
10% 1 3 5 3 1 13
20% 2 6 10 6 2 26
BIB3
30% 3 9 15 9 3 39
三、定錨試題在第二年度試題區塊的配置
將定錨試題依第一年度試題位置排序,依序排入第二年度試題區塊中,其排 列在每一區塊的前幾題,以 BIB1 設計定錨 3 題為例,每個區塊第一題皆放入定 錨試題,其餘 9 題為第二年度試題。其設計如表 39。
表 39 不同年度間 BIB 連結設計表
區塊序號 第二年度試題配置
M 1 A + 1 N 1 M 2 A + 2 N 2 M 3 A + 3 N 3
... ...
M j A + j N j
其中, A j = n :年度間定錨試題區塊( A j )包含n題定錨試題, j = 1 , K t w , w = 1 , 2 , 3 , 本研究欲探討每個題本定錨比例為 10%、20%及 30%,即定錨題數 n = 1 , 2 , 3 之連結效果;
M j :試題區塊, j = 1 , K t w , w = 1 , 2 , 3 ; 其中: t 1 = 7 , t 2 = 9 , t 3 = 13 ;
N j :第二年度試題區塊, j = 1 , K t w , w = 1 , 2 , 3 ; 其中: t 1 = 7 , t 2 = 9 , t 3 = 13 ;