第四章 研究結果
第三節 實驗三結果
本實驗主要探討使用性別為次群體變項,在不同等化估計方法下,評估等化群體 不變性之成效。本節圖表以TCC表示測驗特徵曲線法,以FIX表示固定試題參數法;以 S1、S2、S3、S4代表題本編號;REMSD表示總群體之均方根平均期望誤差值,RESD_M 表示男生次群體的均方根期望誤差值,RESD_F表示女生次群體的均方根期望誤差值,
RMSD表示均方根誤差值。
一、測驗資料描述
2007年TASA高二國語文測驗資料,題本S1~S4的測驗信度
Cronbach' s
值介於 0.821~0.833之間,表示題本間測驗信度相當一致。表4-4為原始分數描述性統計,包含 總群體與次群體原始分數的平均數與標準差;表4-5等化後分數描述性統計,包含總群 體與次群體等化後分數的平均數與標準差,量尺分數表詳見附錄二。T_M表示總群體 平均數、T_SD表示總群體標準差、M_M表示男生群體平均數、M_SD表示男生群體標 準差、F_M表示女生群體平均數、F_SD表示女生群體標準差。表4-4 實驗三原始分數描述性統計
題本編號 T_M T_SD M_M M_SD F_M F_SD S1 17.981 5.621 17.580 5.499 18.321 5.708 S2 17.662 5.713 16.895 5.867 18.387 5.474 S3 18.964 5.778 18.260 5.979 19.642 5.501 S4 18.876 5.696 18.269 5.772 19.442 5.571
表4-5 實驗三等化後分數描述性統計
S3
RESD) ,表格中的群體誤差值以SDTM為評估指標,S1~S4題本中SDTM評估指標介 於0.089~0.094。
由表4-6中,使用兩種等化估計方法,REMSD與RESD測量的群體誤差值,在S1
TCC FIX SDTM
S1
S2
圖 4-6 實驗三均方根誤差比較(續)
由圖 4-6 中,TCC 等化估計方法與 FIX 等化估計方法在每個原始分數點的 RMSD 值皆低於 SDTM,也就是說,兩種等化估計方法在每個分數點的等化結果皆符合群體 不變性。S1~S4 題本中大部分的原始分數點,FIX 等化估計方法的群體誤差都低於 TCC 等化估計方法,且 FIX 等化估計方法在每個分數點中 RMSD 值的高低差距較 TCC 等化估計方法接近。另外,使用 FIX 等化估計方法時,所有題本的分數點中 RMSD 值 皆低於 0.05,但使用 TCC 等化估計方法時,RMSD 值超過 0.05 的原始分數點,S1 題 本有 2 個,S2 題本中有 2 個,S3 題本中有 6 個,S4 題本中有 5 個。
0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 原始分數點
RMSD
0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 原始分數點
RMSD
TCC FIX SDTM
S4
S3
四、小結
1. 以 REMSD 來看,使用測驗特徵曲線法和固定試題參數法,在 2007 年 TASA 高 二國語科資料,選用的四個題本皆低於 SDTM 評估指標,即等化結果皆符合群體 不變性。
2.以 RESD 來看,男女次群體的群體誤差值,兩種等化估計方法並無一致性現象,
但皆低於 SDTM 評估指標,即男女兩個次群體的等化結果也都符合群體不變性。
3. 以 RMSD 來看,每個分數點的群體誤差值也低於 SDTM 評估指標,且以固定試 題參數法的群體等化效果較好。
4. 由轉換的分數差異來看,使用固定試題參數法男女生轉換結果和總群體轉換結果 較接近。
5. 2007 年 TASA 高二國語文測驗資料,選用的四個題本中男女次群體能力差距相當 接近實驗二的無差距,經三種不同測量群體不變性方法的檢測,固定試題參數法 的等化效果優於測驗特徵曲線法,但兩種等化估計方法的群體誤差相當接近,與 實驗二的結果相似。