第三章 研究方法
第二節 NEAT 連結設計
本研究欲比較NEAT與BIB設計之連結效果,因此採用同於BIB設計中的三種 試題區塊數排列出三種NEAT設計。本研究將NEAT設計中,第一個試題區塊 M 1 設 定為定錨試題,將其整理成表310。
表 310 NEAT 設計表
等化設計 b t k
NEAT1 3 7 3
NEAT2 4 9 3
NEAT3 6 13 3
表 310 為本研究中 NEAT 參數設計, 依序命名為 NEAT1、 NEAT2、 NEAT3, NEAT1 設計與 BIB1 設計比較;NEAT2 設計與 BIB2 設計比較;NEAT3 設計與 BIB3 設 計比較。以下將介紹三種 NEAT 設計模式。
壹、NEAT1 設計
NEAT1設計共包含3個題本( b = 3 )、7個試題區塊( t = 7 )、每個題本包含3個試 題區塊( k = 3 )。試題區塊 M 1 為NEAT設計之定錨試題區塊,其題本配置如表311。
表 311 NEAT1 設計表
題本序號 區塊( k 1 ) 區塊( k 2 ) 區塊( k 3 ) S 1 M 1 M 2 M 3 S 2 M 1 M 4 M 5 S 3 M 1 M 6 M 7
貳、NEAT2 設計
NEAT2 設計共包含 4 個題本、9 個試題區塊、每個題本包含 3 個試題區塊。
試題區塊 M 1 為 NEAT 設計之定錨試題區塊,其題本配置如表 312。
表 312 NEAT2 設計表
題本序號 區塊( k 1 ) 區塊( k 2 ) 區塊( k 3 ) S 1 M 1 M 2 M 3 S 2 M 1 M 4 M 5 S 3 M 1 M 6 M 7 S 4 M 1 M 8 M 9
參、NEAT3 設計
NEAT3 設計共包含 6 個題本、13 個試題區塊、每個題本包含 3 個試題區塊。
試題區塊 M 1 為 NEAT 設計之定錨試題區塊,其題本配置如表 313。
表 313 NEAT3 設計表
題本序號 區塊( k 1 ) 區塊( k 2 ) 區塊( k 3 ) S 1 M 1 M 2 M 3 S 2 M 1 M 4 M 5 S 3 M 1 M 6 M 7 S 4 M 1 M 8 M 9 S 5 M 1 M 10 M 11 S 6 M 1 M 12 M 13
肆、題數及人數設定
一、題數設定
本研究模擬每個題本試題數為30題,每個題本有3個區塊,每個試題區塊試 題數為10題。在NEAT設計中,兩年度總題數為各年度施測總題數的兩倍,再扣 除不同年度總定錨題數,故兩年度總題數會隨著定錨題數的多寡而有所不同。詳 如表314。
二、人數設定
依據 TASA 計畫 2005 年施測人數為 10000 人,2006 年施測人數為 7500 人,
本研究欲比較將人數降低為 5000 人之連結效果,故模擬三種受試人數,分別為 5000 人、7500 人及 10000 人,但為配合各種連結設計題本數的不同,因此本研
究各年度受試人數定為 5460 人、7644 人及 10920 人。詳如表 315。
NEAT1 7
30% 9 9 70 131
10% 3 3 90 177
20% 6 6 90 174
NEAT 2 9
30% 9 9 90 171
10% 3 3 130 257
20% 6 6 130 254
NEAT 3 13
30% 9 9 130 251 5460 1820 5460 10920 7644 2548 7644 15288 NEAT1
10920 3640 10920 21840 5460 1365 5460 10920 7644 1911 7644 15288 NEAT 2
10920 2730 10920 21840 5460 910 5460 10920 7644 1274 7644 15288 NEAT 3
10920 1820 10920 21840
肆、定錨試題的選取
個等分選取定錨試題之比例,其比例如表 316。
二、挑選各等分中鑑別度較高之試題
依各等分所需之定錨題數選取鑑別度較高之試題,如在 NEAT1 設計中,當 難度範圍為3~3 時,等分一(難度範圍為3~1.8)需要定錨試題一題,就從試題難 度(b 值)落在該等分中的試題選取鑑別度最高的一題。其中,由於兩端試題數較 少,因此當該等分試題數少於所需定錨題數時,則由鄰近等分之試題補齊。
表 316 NEAT 設計在不同定錨比例之相關題數對照表 等化
設計
每個題本 定錨比例
難度 範圍一
難度 範圍二
難度 範圍三
難度 範圍四
難度 範圍五
不同年 度總定 錨題數
10% 0 1 1 1 0 3
20% 1 1 2 1 1 6
NEAT
30% 1 2 3 2 1 9
三、定錨試題在第二年度試題區塊的配置
將定錨試題依第一年度試題位置排序,依序排入第二年度第一個試題區塊 中,因此,在 NEAT 設計中定錨試題會集中在同一個區塊。其設計如表 317。
表 317 不同年度間 NEAT 連結設計表
區塊序號 第二年度試題配置
M 1 A + 1 N 1
M 2 N 2
M 3 N 3
... ...
M j N j
其中, A = 1 n :年度間定錨試題區塊( A 1 )包含n題定錨試題,本研究欲探討每題本 定錨比例為 10%、20%及 30%,即定錨題數 n = 3 , 6 , 9 之連結效果;
M j :試題區塊, j = 1 , K t w , w = 1 , 2 , 3 ; 其中: t 1 = 7 , t 2 = 9 , t 3 = 13 ;
N j :第二年度試題區塊, j = 1 , K t w , w = 1 , 2 , 3 ; 其中: t 1 = 7 , t 2 = 9 , t 3 = 13 ;