第一節 結論
綜合研究的結果與分析,可歸納成以下幾點結論:
一、試題曝光率平均值(Mean)
無論受試者為常態分佈或偏態分佈,各選題方法在試題曝光率平均值上,均 以 ASHC2 的表現最佳,SHC 次之。
二、最大試題曝光率(Rmax)
無論受試者為常態分佈或偏態分佈,各選題方法在最大試題曝光率上,整體 而言以 SHC 法與 SH 法表現最佳。當受試者為常態分佈,r 為 0.2 時,則以 ASHC2 表現最佳。隨著 r 值的放寬(由 0.1 放寬為 0.2),ASHC2 法在最大試題曝光率的效 能也跟著增加。
三、未使用試題數(Unused)
無論受試者為常態分佈或偏態分佈,各選題方法在未使用試題數上,整體而 言以 ASHC2 法與 SHC 法的未使用試題數最少,ASHC2 法在所有的組別其未使 用試題數皆為 0,意即題庫使用率達 100%。
四、過渡曝光題數
無論受試者為常態分佈或偏態分佈,各選題方法在過渡曝光題數上,整體而 言以 SHC 法的過渡曝光題數最少。隨著 r 值的放寬(由 0.1 放寬為 0.2),ASHC2 法與 ASHC1 法在過渡曝光題數的效能也跟著增加。
五、能力估計
無論受試者為常態分佈或偏態分佈,各選題方法在能力估計精準度上,整體 而言以 MI 法的 RMSE 最小,SHC 法的 RMSE 最大,ASHC1 法與 ASHC2 法的 RMSE 皆比 SHC 法小。
六、測驗重疊率
無論受試者為常態分佈或偏態分佈,各選題方法在測驗重疊率上,整體而言 以 SHC 法的測驗重疊率最小,MI 法的測驗重疊率最大。除了在 r 為 0.1,題庫長 度為 360 題時,SH 法在測驗重疊率表現比 ASHC1 法與 ASHC2 法好,其餘情形 ASHC2 法在測驗重疊率表現皆僅次於 SHC 法。
綜合上述,沒有任一選題方法能在所有指標上呈現最佳效能,ASHC1 法與 ASHC2 法在能力估計精準度上優於 SHC 法,達到改進 SHC 法能力估計精準度的 研究目的。曝光率控管上,在試題曝光率平均值、未使用試題數指標,整體上以 ASHC2 法效能最佳;在最大試題曝光率、過渡曝光題數指標上,整體上以 SHC 法效能最佳。隨著 r 值的放寬(由 0.1 放寬為 0.2),ASHC2 法在最大試題曝光率、
過渡曝光題數指標的效能明顯提高,尤其在受試者為常態分佈時,ASHC2 法的表 現不遜於 SHC 法。在測驗重疊率指標,整體上以 SHC 法最佳,ASHC2 法次之。
第二節 建議
依研究結論,提出以下兩點建議:
一、本研究的受試母群體為常態分佈與偏態分佈,可以針對不同分佈的受試者 (如:雙峰分佈),繼續進行研究,以了解 ASHC 法的成效與適用性。
二、ASHC
法的施測須依賴事先迭代產生曝光參數,未來將進行線上控制之研究,以省
去繁瑣的迭代過程。
參考文獻
一、 中文部份
王寶墉 (1995)。現代測驗理論。台北市:心理出版社。
朱怡君(2005)。a-分層電腦適性測驗之曝光率控管,國立中正大學心理研究所碩 士論文,未出版,嘉義縣。
余民寧(1992)。試題反應的介紹-測驗理論的發展趨勢(二)。研習資訊,9(1),5-9。
錢永財 (2006)。以 a-鄰近法為選題策略之電腦化適性測驗模擬研究。國立臺中教 育大學教育測驗統計研究所碩士論文,未出版,臺中市。
二、英文部份
Baker, F. B., & Kim, S. H.(2004). Item Response Theory : Parameter Estimation
Techniques. Basel, N. Y. : Marcel Dekker, Inc.
Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee’s
ability. In F. M. Lord & M. R. Novick, Statistical theories of mental test scores
(chapters 17-20). Reading, MA: Addison-Wesley.Chang, H., Qian, J., & Ying, Z. (2001). a-stratified multistage computerized adaptive
testing with b-blocking. Applied Psychological Measurement, 25, 333-341.
Chang, H. & Ying, Z. (1996). A global information approach to computerized adaptive
testing. Applied Psychological Measurement, 20, 3, 231-229.
Chang, H. & Ying, Z. (1999). a-stratified multistage computerized adaptive testing.
Applied Psychological Measurement, 23, 211-222.
Chang, S. W., Ansley, T. N., & Twu, B. Y. (2002). Performance of item exposure
control methods in computerized adaptive testing:Further Explorations.
Psychological Testing, 49(2), 235-263.
Chang, S. W. & Ansley, T. (2003). A comparative study of item exposure control
methods in computerized adaptive testing. Journal of Educational
Measurement,40, 1, 71-103.
Chen, S. Y., & Ankenmann, R. D. (2004). Effects of practical constraints on item
selection rules at the early stages of computerized adaptive testing. Journal of Educational Measurement, 41, 149-174.
Chen, S. Y. (2000) A comparison of Item Selection Rules at the Early Stages of
Computerized Adaptive Testing. Applied Psychological Measurement, 24(3),
241-255.Kingsbury, G. G., & Zara, A. R. (1989). Procedures for selecting items for
computerized adaptive tests. Applied Measurement in Education, 2, 359-375.
Leung, C. K ., Chang , H. H., & Hau, K. T. (2000). Content Balancing in Stratified
Comuterized Adaptive Testing Designs. Paper for presented at the AERA Annual
Meeting 2000,New Orleans.
Leung, C. K ., Chang , H. H., & Hau, K. T. (2003). Comparing Three Itme Selection
Approaches for Computerized Adaptive Testing with Content Balancing
Requirement. The Journal of Technology, Learning, and Assessment, volumn
2,Number, December 2003.Lord, F. M. (1977). Practical applications of item characteristic curve theory. Jaurnal
of Educational Measurement, 14, 117-138.
Lord, F. M. (1980). Applications of item response theory to practical testing problems.
Hillsdale, NJ: Lawrence Eribaum Associates.
Ree, M. J. (1981). The effects of item calibrations, sample size, and item pool size on
adaptive testing. Applied Psychological Measurement, 5, 11-19.
Stocking, M. L. (1994). Three practical issues for modern adaptive testing item pools.
Educational Testing Service, Princeton, N. J. (ERIC Document Reproduction.
Stocking, M. L. & Swanson, L. (1998). Optimal design of item pools for computerized
adaptive testing. Applied Psychological Measurement, 22, 271-279.
Stocking, M. L., & Lewis, C. (1998). Controlling item exposure conditional on ability
in computerized adaptive testing. Journal of Educational and Behavioral Statistics, 23, 57-75.
Sympson, J. B., & Hetter, R. D. (1985). Controlling item-exposure rates in