• 沒有找到結果。

第三章 研究方法

第一節  BIB 連結設計

BIB設計將試題分成若干試題區塊,區塊間與區塊內的試題皆不重複,受試 者只需接受若干試題區塊的試題,且不同受試者可能接受部分相同、完全相同、

或完全不同的試題區塊。茲將BIB  設計須符合之條件整理如下(Kuehl, 2000):

î í

表 3­2 為本研究中 BIB 設計之參數設定,依序命名為 BIB1、BIB2、BIB3,

以下將介紹此三種設計,下列為各種設計表之代號意義: 

本研究的  BIB1 和  BIB2 設計係依據曾玉琳等人(2005)所設計;BIB3  設計係 依據 van  der  Linden,  Veldkamp  &  Carlson(2004),26 個題本、13 個試題區塊的最 佳 BIB 設計,以下將介紹三種 BIB 設計模式。

壹、BIB1 設計 

BIB1 設計共包含 7 個題本( b = 7 )、7 個試題區塊( t = 7 )、每個題本包含 3 個 試題區塊( k = 3 )、每一試題區塊在題本中出現的次數為  3  次( r = 3 )、及成對試題 區塊在題本中出現的次數只有 1 次( l =1 )。根據 BIB 設計之條件,可知每個題本 中試題區塊的組合不重複,例如:題本 試題區塊配置為 、 、 ,則 至 

題本中不會出現試題區塊 、 、 的組合;試題區塊在所有題本配置中 會重複出現  3  次,例如:試題區塊 出現在題本 、 、 中,依此類推,詳 如表 3­3。

表 3­3  BIB1 設計表

題本序號 區塊( )  區塊( )  區塊( 

貳、BIB2 設計 

BIB2 設計共包含 12 個題本、9 個試題區塊、每個題本包含 3 個試題區塊、

每一試題區塊在題本中出現的次數為 4 次、及成對試題區塊在題本中出現的次數 只有 1 次。其試題區塊配置規則亦根據 BIB 設計之條件,可參考 BIB1 設計之說 明,詳見表 3­4。

表 3­4  BIB2 設計表

題本序號 區塊( )  區塊( )  區塊( 

10 

11 

12 

參、BIB3 設計 

BIB3 設計共包含 26 個題本、13 個試題區塊、每個題本包含 3 個試題區塊、

每一試題區塊在題本中出現的次數為 6 次、及成對試題區塊在題本中出現的次數 只有 1 次。而其試題區塊配置規則亦根據 BIB 設計之條件,可參考 BIB1 設計之 說明,詳見表 3­5。

肆、題數及人數設定

一、題數設定

本研究模擬每個題本試題數為  30  題,每個題本有  3  個區塊,每個試題區塊 試題數為 10 題。在 BIB 設計中,兩年度總題數為各年度施測總題數的兩倍,再 扣除不同年度定錨試題數,故兩年度總題數會隨著定錨題數的多寡而有所不同。

詳如表 3­6。

表 3­5  BIB3 設計表

BIB3  13 

30%  9  39  130  221 

二、人數設定

依據 TASA 計畫 2005 年施測人數為 10000 人,2006 年施測人數為 7500 人,

本研究欲比較將人數降低為  5000  人之連結效果,故模擬三種受試人數,分別為

5000  人、7500  人及  10000  人,但為配合各種連結設計題本數的不同,因此本研 究各年度受試人數定為 5460 人、7644 人及 10920 人。詳如表 3­7。

表 3­7  BIB 設計人數對照表

等化設計 每個年度

受試人數

每個題本 受試人數

每個試題 受試人數

不同年度定錨 試題受試人數 

5460  780  2340  4680 

7644  1092  3276  6552  BIB1 

10920  1560  4680  9360 

5460  455  1820  3640 

7644  637  2548  5096 

BIB2 

10920  910  3640  7280 

5460  210  1260  2520 

7644  294  1764  3528 

BIB3 

10920  420  2520  5040 

伍、定錨試題的選取及配置

定錨試題選取及配置之步驟如下:

一、設定定錨試題難度範圍

在張鈺卿等人(2006)的研究中指出兩種不同定錨試題選題方法,其中以似常 態分布選取方法較佳,也就是中間難度試題多,兩端難度試題少,故本研究採似 常態分布選取方法。此外,本研究欲比較從三種難度(b 值)範圍(­3~3、­2~2、­1~1)  中選取的定錨試題之連結效果,故依難度範圍分成五等分,依照不同設計訂定每 個等分選取定錨試題之比例,其比例如表 3­8。

二、挑選各等分中鑑別度較高之試題

依各等分所需之定錨題數選取鑑別度較高之試題,如在  BIB1  設計中,當難 度範圍為­3~3  時,等分一(難度範圍為­3~­1.8)需要定錨試題一題,就從試題難度  (b 值)落在該等分中的試題選取鑑別度最高的一題。其中,由於兩端試題數較少,

因此當該等分試題數少於所需定錨題數時,則由鄰近等分之試題補齊。

表 3­8  BIB 設計在不同定錨比例之相關題數對照表 等化

設計

每個題 本定錨 比例

等份一 等份二 等份三 等份四 等份五

不同年 度總定 錨題數 

10%  1  1  3  1  1  7 

20%  2  2  6  2  2  14 

BIB1 

30%  3  3  9  3  3  21 

10%  1  2  3  2  1  9 

20%  2  4  6  4  2  18 

BIB2 

30%  3  6  9  6  3  27 

10%  1  3  5  3  1  13 

20%  2  6  10  6  2  26 

BIB3 

30%  3  9  15  9  3  39 

三、定錨試題在第二年度試題區塊的配置

將定錨試題依第一年度試題位置排序,依序排入第二年度試題區塊中,其排 列在每一區塊的前幾題,以 BIB1 設計定錨 3 題為例,每個區塊第一題皆放入定 錨試題,其餘 9 題為第二年度試題。其設計如表 3­9。

表 3­9  不同年度間 BIB 連結設計表

區塊序號 第二年度試題配置 

A +  A +  A + 

...  ..

A +

其中, A j = n :年度間定錨試題區塊( A )包含n題定錨試題, j = 1 , K , w = 1 , 2 , 3 , 本研究欲探討每個題本定錨比例為 10%、20%及 30%,即定錨題數 n = 1 , 2 , 3  之連結效果; 

:試題區塊, j = 1 , K , w = 1 , 2 , 3 ; 其中: 1 7 , 2 9 , 3 13 ; 

:第二年度試題區塊, j = 1 , K , w = 1 , 2 , 3 ; 其中: 1 7 , 2 9 , 3 13 ;

相關文件