不同的樣本數對能力與試題參數等化效果的影響列於表 4-3 至表 4-6,表中 每一個折線圖的橫軸為樣本數,55 代表 B500/T500,15 代表 B1000/T500,11 代 表 B1000/T1000,21 代表 B2000/T1000,縱軸則為平均均方根誤差(mean
RMSE
)。一、能力參數估計誤差
根據表 4-3 的等化估計結果所示,在水平等化時,不同的樣本數情境 下,雖然有隨著樣本數的增加而降低誤差的傾向,但能力參數的平均估計 誤差在不同樣本數下的差異非常小,若估計值只取到小數點以下第二位,
則各樣本數的平均估計誤差完全一致,因此本研究中所操弄的四種樣本數 對能力估計誤差的結果並無太大差異。根據表 4-3 的結果,在測驗為 30 題 多元計分題且欲進行水平等化時,若希望受試者能力參數的平均估計誤差 不超過 0.25,則僅需施測 B500/T500 的人數即可。
二、鑑別度參數估計誤差
根據表 4-4 所示,在水平等化的情況下,同時估計法與分開估計法之 鑑別度參數估計值的均 明顯受施測總人數的影響,其中以樣本數 最大的 B2000/T1000 之 最小,隨著樣本數減少,
RMSE
亦隨 之增加,而以 B500/T500 的 最大。因此在水平等化時,當施測 總人數愈多,其估計所得的 愈小,增加樣本數可提高測驗在鑑別 度參數估計的精準度。) (a RMSE
) (a RMSE
RMSE RMSE
21 _
) (a
) (a
) (a 55
_
三、選項閾值參數估計誤差
表 4-5 與表 4-6 分別列出同時估計法與分開估計法在水平等化下,不 同樣本數在四個選項閾值參數估計值的估計誤差。與 的結果相 同, 均明顯受到施測總人數的影響。四個選項閾值參數估計值在
不同樣本數下,其估計誤差以 最大,而以 最小。
因此在水平等化時,當施測總人數愈多時,其將會 愈小,樣本數 的多寡將影響 。
) (a RMSE
( b
kRMSE
) ( b
kRMSE )
( b
kRMSE
55 _ ) ( b
kRMSE ) _ 21
) ( b
kRMSE
此外,不論是同時估計法或是分開估計法,兩端的選項閾值參數估計
值的估計誤差 與 ,均明顯高於 與 ,
表示第二個與第三個選項閾值參數的估計比第一個與第四個選項閾值參數 的估計來得精準。此研究結果跟 Kim & Cohen(2002)的研究指出「距離 平均能力值較遠的選項閾值估計誤差會較大」的結論是一致的。
) ( b
1RMSE RMSE ( b
4) RMSE ( b
2) RMSE ( b
3)
根據不同的樣本數對能力參數與試題參數等化效果影響的研究結果可知,在 水平等化的情境下,樣本數的增加能有效提高鑑別度及選項閾值的估計精準度,
但對能力估計值則無明顯的影響,此與前人之研究結果相同(Reise & Yu, 1990;
Kim & Cohen, 2002)。
表 4-3 水平等化時,
RMSE (
θ 與B) RMSE (
θ 在不同樣本數下的表現 T)
表 4-4 水平等化時,
RMSE (a )
在不同樣本數下的表現定錨題比例 10﹪ 定錨題比例 20﹪ 定錨題比例 30﹪
10 題
0.05 0.10 0.15 0.20
55 15 11 21
0.05 0.10 0.15 0.20
55 15 11 21
0.05 0.10 0.15 0.20
55 15 11 21
20 題
0.05 0.10 0.15 0.20
55 15 11 21
0.05 0.10 0.15 0.20
55 15 11 21
0.05 0.10 0.15 0.20
55 15 11 21
30 題
0.05 0.10 0.15 0.20
55 15 11 21
0.05 0.10 0.15 0.20
55 15 11 21
0.05 0.10 0.15 0.20
55 15 11 21
註: 表示同時估計法下的RMSE(a)
×
表示分開估計法下的RMSE(a)表 4-5 水平等化時,同時估計法的
RMSE ( b
k)
在不同樣本數下的表現表 4-6 水平等化時,分開估計法的