應用試題反應理論三參數對數模式估計排球影片的認知測驗
國立體育學院運動技術學系
教授
姚漢禱
國立體育學院運動科學研究所
研究生
張俊峰
摘要
本研究的目的是應用試題反應理論三參數對數模式（3-Parameter Logistic Model，簡稱 3-PLM）估 計排球影片的認知測驗，受試者為兩百四十六名國中二年級學生，利用 ASCAL 3.20、BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計測驗，以模式和資料適合度統計（model-data fit statistics）指標比較 估計測驗的結果，根據本研究的結果，得到結論是：利用XCALIBRE 程式校準小樣本和較短的測驗，具 有良好的模式和資料適合度統計指標。
關鍵詞：試題反應理論，估計，排球，影片測驗，認知測驗，三參數對數模式，適合度統計。
APPLICATIONS OF THE 3-PLM OF ITEM RESPONSE THEORY TO
ESTIMATE THE COGNITIVE FILM TEST IN VOLLEYBALL.
Han-Dau Yau,
Department of Sports Training Science, National College of Physical Education and Sports.
Chun-Feng Chang,
Graduate Institute of Sports Science, National College of Physical Education and Sports.
ABSTRACT
The purpose of this study was to estimate the volleyball cognitive film test for using the 3-PLM （3-Parameter Logistic Model） of item response theory. The subjects were 246 2nd grade students in the junior high school. The estimations were using ASCAL 3.20, BILOG 3.07and XCALIBRE 1.10 computer program. They compared the indices of model-data fit statistics at testing data. Based on the results of this study, the conclusion was that the model-data fit statistics had good calibration to using XCALIBRE program on smaller sample sizes and shorter tests.
壹、緒論
國內在民國九十年開始舉行國中基本學力測驗，真正的將試題反應理論應用在實際的測驗上，理論 上這是可行的，而且國外也很多成功的例子。Embretson 和 Reise (2000)指出：「試題反應理論的一些優 點，可能研究者畢竟對人格測驗的興趣較少，例如：教育測驗服務社（Educational Testing Service） 和美國大學測驗中心（American College Testing）的電腦適性測驗都偏愛大型的測驗計畫，超過基本的 人格測驗研究者。」
大型的測驗最初仍然須要基本的測驗研究，國內將來是否也將測驗品質提高到『電腦適性測驗』的 層次？體育運動是否列入考試的項目？如果是肯定的，那麼吾人應該及早從事相關的基礎研究（影片測 驗、體育運動認知測驗）。基於上述的理由，本研究首先嘗試應用試題反應理論的方法估計排球影片的認 知測驗，以提高測驗的品質，獲得更多的測驗訊息。所以，本研究的目的是應用試題反應理論三參數對數 模式（3-Parameter Logistic Model，簡稱 3-PLM）估計排球影片的認知測驗。
測驗採用的影片共二十題，取材自 1999 及 2000 年世界女排邀請賽決賽影片經剪輯而成，答案選項 有五個：A 式快攻選（A），B 式快攻選（B），C 式快攻選（C），D 式快攻選（D），Open B 快攻選（E），要 求學生就認知影片所看到的是哪一種快攻作判定。施測地點為國中電腦教室，配備為 Pentium II 等級多 媒體電腦，教師主機配備有廣播系統，施測時教師由教師主機透過廣播系統撥放試題影片供學生判別，每 題撥放三次，學生可以在未看清楚題目時要求重播一次。
三、資料處理
利用 ASCAL 3.20、BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計測驗，以模式和資料適合度 統計（model-data fit statistics）指標比較估計測驗的結果。
表三 X C A L I B R E 程 式 估 計 試 題 參 數 最 後 結 果 摘 要 表 試題 鑑別度 難度 猜測度 殘差 P 值 點二系列相關 積差相關 1 0.66 -0.63 0.2 1 0.72 0.22 0.43 2 1 2.08 0.16 1.07 0.21 0.5 0.49 3 0.86 1.96 0.2 0.26 0.31 0.36 0.35 4 0.99 2.31 0.2 0.61 0.26 0.33 0.22 5 0.93 1.84 0.2 0.28 0.32 0.41 0.35 6 1 1.52 0.19 0.43 0.32 0.51 0.52 7 0.85 2 0.2 0.32 0.32 0.37 0.31 8 0.84 1.58 0.2 0.29 0.37 0.39 0.39 9 0.94 2.37 0.18 0.47 0.23 0.38 0.31 10 0.93 2.11 0.2 0.37 0.3 0.38 0.3 11 0.85 1.88 0.19 0.3 0.3 0.4 0.4 12 0.78 1.18 0.2 0.41 0.42 0.4 0.45 13 0.98 1.65 0.19 0.3 0.32 0.47 0.44 14 0.93 1.79 0.19 0.18 0.31 0.46 0.41 15 0.83 1.15 0.2 0.27 0.41 0.42 0.49 16 1.02 1.98 0.18 0.67 0.25 0.5 0.43 17 0.93 1.8 0.19 0.4 0.29 0.46 0.44 18 0.93 1.79 0.19 0.25 0.3 0.48 0.43 19 0.96 2.05 0.18 0.53 0.26 0.43 0.38 20 0.96 2.57 0.18 0.64 0.2 0.35 0.3
伍、討論
三個程式估計測驗結果不同的原因在於：試題校準的方法有差異，且模式和資料適合度統計指標也 不盡相同。首先是ASCAL 程式，它是利用最大可能率法（Maximum Likelihood）和貝氏（Bayesian）模 式程序估計試題參數，鑑別度及難度的初始值使用常態分配曲線近似法，猜測度依據選項數目而定，能力 使用標準常態事前分配的貝氏模式推估。θ的初始分配，割分為 20 個小區塊，每一個區塊的平均數皆由 區塊內所有受試者所決定，接著用貝氏法的最大近似等式來估計試題參數。而估計試題的適合度是用皮爾 遜卡方適合度統計，卡方的自由度在本實驗中為 20-3=17（20：最大分組，3：試題參數個數）。XCALIBRE 程式是透過四個階段的程序來估計試題參數，『最初估計階段』是由古典試題統計轉換 為初步估計，其次是『EM 階段』進一步精緻的估計試題參數，使用 EM 迭代法是邊際最大可能率估計的 程序之一，第三是『選擇連結階段』，將試題參數量尺轉換到事先界定的試題（一個固定的參數值），最後 是『殘差階段』，計算標準殘差提供準確性的評價，或檢查估計的試題參數是否適合試題反應理論模式， 如果標準殘差超過2.0，表示試題不適合試題反應理論模式。 歸納前述的程式，ASCAL 利用最大可能率法，缺點是：「無法估計在滿分和最低分情況，異常的反 應類型也找不到最大可能率。」因而用貝氏模式程序來解決，但須要增加測驗的長度，以達到估計能力的 分配為常態的。BILOG 採用邊際最大可能率估計，而邊際最大可能率估計應用在三參數模式時，能力由 積分求得，然後估計試題參數，再以試題參數估計能力；因為能力和試題參數的先驗分配，必須排除不當 的參數估計、不能聚斂和不能計算等問題，而且也需要較多的受試者，能力才近似常態分配。XCALIBRE 則是分階段來估計試題參數，先是由樣本的古典試題統計轉換為初步估計。三者比較之下發現，ASCAL 和BILOG 都依賴「能力近似常態分配」，只有XCALIBRE 就樣本的特質進行試題校準，所以，XCALIBRE 在小樣本和較短的測驗中具有良好的模式和資料適合度統計指標。
陸、結論
本研究的目的是應用試題反應理論三參數對數模式估計排球影片的認知測驗，受試者為兩百四十六 名國中二年級學生，實施二十題排球影片的認知測驗，利用ASCAL 3.20、BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計，比較模式和資料適合度統計指標，結果發現：ASCAL 估計的測驗有五題不適合， BILOG 估計的測驗有四題不適合， XCALIBRE 估計的測驗則全部適合，因此，得到結論是：利用 XCALIBRE 程式校準小樣本和較短的測驗，具有良好的模式和資料適合度統計指標。
參考文獻
Dempesy, R.E., & Sales, G.C. (1993). Interactive instruction and feedback. Englewood Cliffs, NJ: Educational Technology Publication.
Embretson, S. E., & Reise, S. P.（2000）. Item Response Theory for Psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
Fitts, P. M., & Posner, M. I. (1967). Human performance. Belrnont, CA: Brooks /Cole.
Lord, F. M. & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley.
Sijtsma, K., & Verweij, A. C. (1999). Knowledge of Solution Strategies and IRT Modeling of Items for Transitive Reasoning. Psychological Measurement, 23:1, 55-68.
