本研究在不同能力水準差距的部分,以同時估計法與分離估計法分別進行受 試者能力分佈為 N(0,1)分別與能力分佈為 N(0,1)、N(1,1)、N(1.5,1)、N(2,1)的受 試群等化,比較所得之能力值、試題參數估計之誤差,依據前章之研究結果提出 下列幾點結論。
一、能力值的估計
當能力水準差距增加,估計誤差也隨之提高。在各種變項中,以每ㄧ份題本 的試題數對於等化估計的影響最大,因此降低能力值估計的誤差最好的方法是增 加題本題數。
以同時估計法估計時,目標群與基準群能力水準相同時,受定錨試題多寡的 影響不大,但隨著能力水準差距增加,影響便十分顯著。此結果與Klein & Kolen (1985)的建議相同,即當受試者的能力相似時,定錨試題題數的多寡影響不大,
但當受試者的能力有差異時,定錨試題的題數就顯得非常重要。至於定錨試題題 數應不需如其所建議的 20%,而與黃志傑(2004)的研究結果較相似,即三題以上 對誤差改善幅度不大。
以分開估計法估計時,不論是能力水準相等或是有差距,單題定錨的估計誤 差均明顯大於其餘三種比例。就定錨題比例來看,能力值的估計誤差會隨著比例 的增加而降低,但是差異不大。
表5-4 比較兩種估計法在不同能力差距下能力值估計誤差,由表可知水平等 化時以同時估計誤差較低,但是,垂直等化時則多以分開估計誤差較低,即使是 單題定錨亦然,且隨著能力水準的差距增加,兩種估計法的差距亦拉大。
表5-4 不同能力差距下估計法之比較(能力值)
均大於垂直等化,此結果與Kim & Cohen(1998)的研究結果相同,但原因為何仍
距增加而增加。此外,定錨試題的題數則在題本題數較少時或等化兩群能力水準
綜合上面所述歸納以下結論:水平等化時能力值的估計(1)以同時估計法所 得誤差會較小; (2)增加題本題數可有效降低誤差; (3)定錨試題則不需太多,尤其 題本題數在40 題以上,即使單題定錨和 30%定錨設計所得誤差趨於相近。在試 題參數的估計上(1)在二、三份題本的等化時,試題參數的估計建議以分開估計 為佳; (2)不同於能力值的估計,題本題數對於試題參數估計的影響不大,而題本 數反而是關鍵,尤其在四份題本時,兩種估計法對試題參數的估計會造成很大的 誤差。因此,當等化的題本在四份以上時,估計試題參數須特別留意此情形。
垂直等化時能力值的估計(1)以分開估計法所得誤差會較小; (2)增加題本題 數可有效降低誤差; (3)不同於水平等化,定錨試題僅有一題時誤差會明顯較大,
建議定錨題比例10%即可,在 10%以上改善幅度不大。在試題參數的估計上則 有不同的結果,建議以同時估計法可得較佳的等化效果。
第二節 限制與建議
茲就本研究未盡完備之處,提出一些研究建議,供後續研究者參考。
ㄧ、本研究採用 TIMSS 題庫中的試題參數進行模擬,在選取各情境定錨試題時 雖已盡可能使其鑑別度參數的平均值相近,然而受限於既有的參數,無法同時兼 顧難度參數的部分,是否因此而造成試題參數的估計誤差未隨著定錨試題比例的 增加而降低?需進一步探討。
二、本研究的受測者群體能力分佈僅考慮常態分佈,然而,還有其他類型如正偏 態分佈、負偏態分佈、雙峰、水平等分佈情形,其等化效果等待後續研究者的研 究。
三、本研究模擬人數僅設定每個受試群為 1000 人,然而其他受試群人數的設計 對於等化的效果等待後續研究者的研究。
四、本研究採用僅採用定錨測驗等化設計,可考量其他設計,如BIB 設計。