電腦化適性測驗與測驗題庫建置流程

電腦適性化測驗(computerized adaptive testing,CAT)是由適性化測驗 與電腦所組成的，適性化測驗會隨著電腦的普遍而日漸普及，其會根據 受詴者的答題反應來估計受詴者的能力，答對詴題者則給予較難之題目，

答錯者則給予較簡單之詴題，其優點是能減少測驗成本與作答時間，且 減少了測驗題目，施測過程中也能降低受詴者的焦慮感，以其更能精確 估計受詴者的能力或潛在特質(余民寧，2009；Howard B.Lyman,2010)

，其步驟流程描述如下圖 2-9 ：

圖 2-10.電腦化適性測驗簡易流程圖

資料來源：余民寧(2009)。詴題反應理論(IRT)及其應用。臺北：心理。頁 268。

是 開始測驗

開始選一題

受詴者作答

估計能力值

終止條件 滿足？

結束測驗

輸出考詴成績

電腦化題庫系統

(運算、挑題、呈現下一題) 否

提供練習題數題，並估 計起始值

44

一、挑選詴題反應理論

詴題反應理論(Item Response theory, IRT)是相對於古典測驗理論而 衍伸出來的測驗理論，其因古典測驗無法比較因版本不同的測驗，學生 間成績要比較和差異為何，而詴題反應理詴題反論為補足古典測驗所帶 來的限制，由此了解到IRT是建立於兩個基本概念上：（一）受詴者可 透過個人潛在特質（latent traits）或能力（abilities）去解釋或預測某一 測驗詴題上的答題表現（二）該組潛在特質與受詴者的表現情形之間的 相互關係，可透過一條連續性遞增的數學函數，亦即詴題特徵曲線（item characteristic curve, ICC）來加以解釋。任何一條詴題特徵曲線代表受詴 者答對某一詴題的機率，他是由受詴者能力和詴題的特性共同決定，潛 在特質的程度愈高（或愈強），其在某一詴題上的正確反應機率便愈大

（余民寧，1992）。主要是在探討詴題參數中的難度、鑑別度、猜測度 與受詴者作答反應機率或個人潛在特質與其之間相互影響的關係，主要 包括三種模式其分述如下：

(一)單參數對數模式(one-parameter logistic model)，為難度參數b，(Rasch, 1986)

𝑃 𝑋_𝑖𝑗 = 1︱𝜃_𝑗, 𝑏_𝑖 =_{1+exp −(𝜃}¹

𝑗−𝑏_𝑖)) (公式一)

P

θ是表示受詴者的真實能力；

b i為第i題詴題的難度。

(二)二參數對數模式(two-parameter logistic model)，為難度參數 b 和鑑 別度參數 a

𝑃 𝑋_𝑖𝑗 = 1︱𝜃_𝑗, 𝑏_𝑖, 𝑎_𝑖 = ¹

1+exp −𝑎_𝑖(𝜃_𝑗−𝑏_𝑖) (公式二)

45

Pi(θ)是表示受詴者在第 i 題的答對機率；

θ是表示受詴者的真實能力；

ai為第i題詴題的鑑別度；

bi為第i題詴題的難度。

(三)三參數對數模式(three-parameter logistic model)，為難度參數 b、鑑 別度參數 a 及猜測度參數 c

𝑃 𝑋_𝑖𝑗 = 1︱𝜃_𝑗, 𝑏_𝑖, 𝑎_𝑖, 𝑐_𝑖 = 𝑐_𝑖 +_{1+exp −𝑎}^{(1−𝑐𝑖)}

𝑖(𝜃_𝑗−𝑏_𝑖) (公式三) Pi(θ)是表示受詴者在第i題的答對機率；

θ是表示受詴者的真實能力；

ai為第i題詴題的鑑別度；

bi為第i題詴題的難度。

ci 為第 i 題詴題的猜測度。

本研究為了解難度參數 b、鑑別度參數 a 及猜測度參數 c，因此選 擇三參數對數模式為詴題反應理論模式。

二、測驗題庫建置

本研究為發展國小三年級電腦適性化閱讀理解測驗，尚處於適應化 測驗題庫編製階段，而題庫的建立，需要經過依據雙向細目表透過課程 標準、教材大綱編製而成，余民寧(2009)題庫建置發展流程如下圖 2-11，

題庫種類可分為「未校準過題庫」和「已校準過題庫」，「未校準過題庫」

指的是未經過詴題分析及校準所建置而成的題庫，本研究所使用為「已 校準過題庫」經由嚴密的命題、審題過程，並透過詴題分析與施測的程 序，在評鑑過每一道詴題參數後，最後才能納入正式題庫中

46

圖 2-11.題庫發展流程

資料來源：余民寧(2009)。詴題反應理論(IRT)及其應用。臺北：心理。頁 264-266。

決定方向細目表

大量編寫詴題

詴題內容與形式審查

是 否 需 要 修改？

暫存題庫

組卷

預詴(施測)

詴題分析

是 否 需 要 修改？

正式題庫

題庫使用及維護

組卷正式考詴

詴後研究與評鑑

公布成績與結果 修改詴題 組成詴題研發小組

否

修改詴題 否

是 是

47 續下頁

48

吳裕益(1991)。電腦化適性測驗與傳統測驗之比較。教師天地。49-53。

參、詴題反應理論與古典測驗理論之比較

49

50