在等化的議題中,牽涉到兩個施測群體之間的分數連結,在本研究中以 B 表 示基準群,以 T 表示目標群。依據本研究之設計,不論是在水平等化或是垂直等 化的情境下,均有四種不同的抽樣人數組合:B500/ T500;B1000/T500;
B1000/T1000;B2000/T1000。水平等化時,B∼N(0,1) 且 T∼N(0,1);垂直等化 時,B∼N(-0.5,1) 且 T∼N(0.5,1),兩群體平均能力相差 1。
依據研究設計,以 MATLAB 自行撰寫程式,產生符合本研究設計之能力值 分配,且在各種不同的人數及能力值分配的情況下,均模擬產生 100 筆資料,以 求研究結果的精確與穩定,其能力分佈如圖 3-2、圖 3-3、圖 3-4、圖 3-5。
表 3-1 模擬產生之試題參數值
Item a b1 b2 b3 b4 Item a b1 b2 b3 b4
1 0.97 -1.77 -0.83 0.24 1.24 31 1.62 -1.48 -0.07 0.44 1.91 2 1.43 -1.02 -0.18 0.64 1.49 32 1.16 -1.54 -0.69 0.22 1.18 3 1.80 -1.14 -0.93 0.23 1.69 33 0.65 -1.22 -0.54 0.01 1.98 4 1.55 -1.99 -0.04 0.62 1.94 34 1.99 -1.27 -0.17 0.38 1.90 5 1.81 -1.51 -0.68 0.27 1.44 35 1.30 -1.40 -0.70 0.84 1.03 6 1.21 -1.58 -0.99 0.99 1.50 36 0.70 -1.94 -0.29 0.29 1.28 7 1.83 -1.23 -0.24 0.76 1.10 37 0.70 -1.93 -0.93 0.28 1.19 8 1.11 -1.51 -0.69 0.48 1.55 38 1.80 -1.36 -0.25 0.33 1.61 9 1.44 -1.48 -0.28 0.95 1.44 39 1.56 -1.12 -0.53 0.48 1.21 10 1.08 -1.22 -0.92 0.36 1.18 40 2.00 -1.57 -0.06 0.23 2.00 11 1.77 -1.41 -0.15 0.08 1.15 41 1.72 -1.29 -0.99 0.96 1.02 12 1.29 -1.87 -0.28 0.95 1.93 42 1.67 -1.93 -0.95 0.31 1.44 13 1.71 -1.89 -0.13 0.69 1.14 43 1.65 -1.98 -0.26 0.78 1.15 14 1.09 -1.34 -0.13 0.62 2.00 44 1.86 -1.49 -0.36 0.90 1.62 15 1.94 -1.00 -0.24 0.89 1.69 45 0.65 -1.13 -0.07 0.25 1.75 16 0.55 -1.65 -0.33 0.01 1.96 46 0.82 -1.20 -0.54 0.15 1.28 17 1.93 -1.82 -0.10 0.30 1.78 47 1.78 -1.20 -0.49 0.34 1.53 18 1.57 -1.93 -0.18 0.97 1.00 48 1.61 -1.80 -0.58 0.73 1.31 19 1.47 -1.69 -0.17 0.10 1.33 49 1.11 -1.29 -0.58 0.03 1.18 20 1.17 -1.67 -0.36 0.60 1.54 50 0.96 -1.78 -0.61 0.54 1.78 21 0.76 -1.62 -0.84 0.47 1.31 51 1.21 -1.21 -0.14 0.56 1.81 22 1.75 -1.05 -0.22 0.72 1.67 52 0.72 -1.83 -0.18 0.67 1.72 23 1.96 -1.28 -0.27 0.86 1.35 53 1.24 -1.79 -0.09 0.58 1.05 24 0.70 -1.22 -0.44 0.19 1.98 54 1.30 -1.54 -0.16 0.69 1.61 25 0.88 -1.38 -0.28 0.46 1.35 55 1.27 -1.93 -0.13 0.77 1.34 26 1.87 -1.35 -0.76 0.90 1.02 56 0.84 -1.40 -0.22 0.90 1.58 27 1.51 -1.24 -0.51 0.02 1.81 57 1.90 -1.81 -0.57 0.97 1.91 28 1.43 -1.85 -0.58 0.76 1.98
29 1.27 -1.40 -0.20 0.80 1.31
平均1.35 -1.50 -0.41 0.52 1.50
30 0.51 -1.10 -0.24 0.31 1.38
標準差0.43 0.29 0.28 0.30 0.31
-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0
theta
0 10 20 30 40 50
人數
圖 3-2 基準群受試者 500 人∼N(0,1)的能力分佈圖
-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0
theta
0 25 50 75 100
人數
圖 3-3 目標群受試者 1000 人∼N(0,1)的能力分佈圖
-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0
theta
0 50 100 150 200
人數
圖 3-4 基準群受試者 2000 人∼N(-0.5,1)的能力分佈圖
-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0
theta
0 25 50 75 100
人數
圖 3-5 目標群受試者 1000 人∼N(0.5,1)的能力分佈圖
在產生能力值與試題參數之後,接下來本研究便依據所模擬產生之能力值及 試題參數,依序模擬產生 10 題、20 題及 30 題等不同測驗長度及 10﹪、20﹪及 30﹪等不同定錨題比例之作答資料。
當測驗長度為 10 題,定錨題題數為 1 題時,第 1 題試題設為定錨題,基準 群輸入第 1 題及第 2∼10 題的試題參數,以模擬出基準群受試者的作答反應組 型,目標群則輸入第 1 題及第 31∼39 題的試題參數,以模擬出目標群受試者的 作答反應組型;若當測驗長度為 10 題,定錨題題數為 2 題時,第 1、2 題試題設 為定錨題,基準群輸入第 1、2 題及第 3∼10 題的試題參數,以模擬出基準群受 試者的作答反應組型,目標群則輸入第 1、2 題及第 31∼38 題的試題參數,以模 擬出目標群受試者的作答反應組型,其餘依此類推,並將兩群的作答反應組型放 置在同一個資料檔及分別存放在不同資料檔中,以作為同時估計及分開估計時各 個不同階段分析之用。
第四節 定錨題分配及參數估計
在不同的基準群與目標群的抽樣人數組合與能力分配,以及不同的測驗長度 的情境下,本研究均探討 10﹪、20﹪及 30﹪等不同比例的定錨題的等化效果,
以測驗長度為 10 題的測驗為例,分別會有 1 題、2 題及 3 題的定錨題設計,本研 究分別將表 3-1 中的第 1 題、第 1、2 題及第 1、2、3 題當作比例為 10﹪、20﹪
及 30﹪下的定錨題。
在試題參數與能力值參數估計方面,均採用可以分析多元計分模式的電腦程 式—MULTILOG,相關指令均採用 MULTILOG 在 GRM 模式下的預設值。
在同時估計法時,先將基準群與目標群的作答情形放置在同一個檔案中,接 著利用 MULTILOG 估計所有的試題參數,之後將所有試題參數引入 MULTILOG 同時估計兩群體的能力值參數的程式中,以求得能力參數估計值。在分開估計法 時,將基準群與目標群的作答情形分別放置在不同檔案中,利用 MULTILOG 分 開估計兩群體的試題參數,再將兩組試題參數估計值分別引入 MULTILOG 估計 能力值參數的程式中,最後藉由兩份測驗中的定錨題,利用 EQUATE 將目標群 的試題參數估計值與能力參數估計值都轉換至基準群的量尺上。
第五節 評鑑等化效果之效標
當參數估計值與參數真值已在同一量尺上時,我們可透過一個定義的效標,
來比較不同等化方法間,估計值的誤差大小。在之前的研究中(Cohen & Kim, 1998;
Kim & Cohen, 2002),均利用均方根誤差(root mean square differences, 簡稱
)作為效標,故本研究亦依循之前的研究者所採用的 作為估計誤差的 效標。