• 沒有找到結果。

第一節 結論

綜合研究的結果與分析,可歸納成以下幾點結論:

一、試題曝光率平均值(Mean)

無論受試者為常態分佈或偏態分佈,各選題方法在試題曝光率平均值上,均 以 ASHC2 的表現最佳,SHC 次之。

二、最大試題曝光率(Rmax)

無論受試者為常態分佈或偏態分佈,各選題方法在最大試題曝光率上,整體 而言以 SHC 法與 SH 法表現最佳。當受試者為常態分佈,r 為 0.2 時,則以 ASHC2 表現最佳。隨著 r 值的放寬(由 0.1 放寬為 0.2),ASHC2 法在最大試題曝光率的效 能也跟著增加。

三、未使用試題數(Unused)

無論受試者為常態分佈或偏態分佈,各選題方法在未使用試題數上,整體而 言以 ASHC2 法與 SHC 法的未使用試題數最少,ASHC2 法在所有的組別其未使 用試題數皆為 0,意即題庫使用率達 100%。

四、過渡曝光題數

無論受試者為常態分佈或偏態分佈,各選題方法在過渡曝光題數上,整體而 言以 SHC 法的過渡曝光題數最少。隨著 r 值的放寬(由 0.1 放寬為 0.2),ASHC2 法與 ASHC1 法在過渡曝光題數的效能也跟著增加。

五、能力估計

無論受試者為常態分佈或偏態分佈,各選題方法在能力估計精準度上,整體 而言以 MI 法的 RMSE 最小,SHC 法的 RMSE 最大,ASHC1 法與 ASHC2 法的 RMSE 皆比 SHC 法小。

六、測驗重疊率

無論受試者為常態分佈或偏態分佈,各選題方法在測驗重疊率上,整體而言 以 SHC 法的測驗重疊率最小,MI 法的測驗重疊率最大。除了在 r 為 0.1,題庫長 度為 360 題時,SH 法在測驗重疊率表現比 ASHC1 法與 ASHC2 法好,其餘情形 ASHC2 法在測驗重疊率表現皆僅次於 SHC 法。

綜合上述,沒有任一選題方法能在所有指標上呈現最佳效能,ASHC1 法與 ASHC2 法在能力估計精準度上優於 SHC 法,達到改進 SHC 法能力估計精準度的 研究目的。曝光率控管上,在試題曝光率平均值、未使用試題數指標,整體上以 ASHC2 法效能最佳;在最大試題曝光率、過渡曝光題數指標上,整體上以 SHC 法效能最佳。隨著 r 值的放寬(由 0.1 放寬為 0.2),ASHC2 法在最大試題曝光率、

過渡曝光題數指標的效能明顯提高,尤其在受試者為常態分佈時,ASHC2 法的表 現不遜於 SHC 法。在測驗重疊率指標,整體上以 SHC 法最佳,ASHC2 法次之。

第二節 建議

依研究結論,提出以下兩點建議:

一、本研究的受試母群體為常態分佈與偏態分佈,可以針對不同分佈的受試者 (如:雙峰分佈),繼續進行研究,以了解 ASHC 法的成效與適用性。

二、ASHC

的施測須依賴事先迭代產生曝光參數,未來將進行線上控制之研究,以省

去繁瑣的迭代過程。

參考文獻

一、 中文部份

王寶墉 (1995)。現代測驗理論。台北市:心理出版社。

朱怡君(2005)。a-分層電腦適性測驗之曝光率控管,國立中正大學心理研究所碩 士論文,未出版,嘉義縣。

余民寧(1992)。試題反應的介紹-測驗理論的發展趨勢(二)。研習資訊,9(1),5-9。

錢永財 (2006)。以 a-鄰近法為選題策略之電腦化適性測驗模擬研究。國立臺中教 育大學教育測驗統計研究所碩士論文,未出版,臺中市。

二、英文部份

Baker, F. B., & Kim, S. H.(2004). Item Response Theory : Parameter Estimation

Techniques. Basel, N. Y. : Marcel Dekker, Inc.

Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee’s

ability. In F. M. Lord & M. R. Novick, Statistical theories of mental test scores

(chapters 17-20). Reading, MA: Addison-Wesley.

Chang, H., Qian, J., & Ying, Z. (2001). a-stratified multistage computerized adaptive

testing with b-blocking. Applied Psychological Measurement, 25, 333-341.

Chang, H. & Ying, Z. (1996). A global information approach to computerized adaptive

testing. Applied Psychological Measurement, 20, 3, 231-229.

Chang, H. & Ying, Z. (1999). a-stratified multistage computerized adaptive testing.

Applied Psychological Measurement, 23, 211-222.

Chang, S. W., Ansley, T. N., & Twu, B. Y. (2002). Performance of item exposure

control methods in computerized adaptive testing:Further Explorations.

Psychological Testing, 49(2), 235-263.

Chang, S. W. & Ansley, T. (2003). A comparative study of item exposure control

methods in computerized adaptive testing. Journal of Educational

Measurement,40, 1, 71-103.

Chen, S. Y., & Ankenmann, R. D. (2004). Effects of practical constraints on item

selection rules at the early stages of computerized adaptive testing. Journal of Educational Measurement, 41, 149-174.

Chen, S. Y. (2000) A comparison of Item Selection Rules at the Early Stages of

Computerized Adaptive Testing. Applied Psychological Measurement, 24(3),

241-255.

Kingsbury, G. G., & Zara, A. R. (1989). Procedures for selecting items for

computerized adaptive tests. Applied Measurement in Education, 2, 359-375.

Leung, C. K ., Chang , H. H., & Hau, K. T. (2000). Content Balancing in Stratified

Comuterized Adaptive Testing Designs. Paper for presented at the AERA Annual

Meeting 2000,New Orleans.

Leung, C. K ., Chang , H. H., & Hau, K. T. (2003). Comparing Three Itme Selection

Approaches for Computerized Adaptive Testing with Content Balancing

Requirement. The Journal of Technology, Learning, and Assessment, volumn

2,Number, December 2003.

Lord, F. M. (1977). Practical applications of item characteristic curve theory. Jaurnal

of Educational Measurement, 14, 117-138.

Lord, F. M. (1980). Applications of item response theory to practical testing problems.

Hillsdale, NJ: Lawrence Eribaum Associates.

Ree, M. J. (1981). The effects of item calibrations, sample size, and item pool size on

adaptive testing. Applied Psychological Measurement, 5, 11-19.

Stocking, M. L. (1994). Three practical issues for modern adaptive testing item pools.

Educational Testing Service, Princeton, N. J. (ERIC Document Reproduction.

Stocking, M. L. & Swanson, L. (1998). Optimal design of item pools for computerized

adaptive testing. Applied Psychological Measurement, 22, 271-279.

Stocking, M. L., & Lewis, C. (1998). Controlling item exposure conditional on ability

in computerized adaptive testing. Journal of Educational and Behavioral Statistics, 23, 57-75.

Sympson, J. B., & Hetter, R. D. (1985). Controlling item-exposure rates in

computerized adaptive testing. Proceeding of the 27th annual meeting of the

Military Testing Association (pp. 973-977). San Diego, CA: Navy Personnel Research and Development Center.

Wang, T., & Vispoel, W. P. (1998). Properties of ability estimation methods in computerized

adaptive testing. Journal of Educational Measurement, 35(2), 109-135.

相關文件