第二章 文獻探討
第一節 電腦化適性測驗
在施行電腦化適性測驗(computerized adaptive testing, CAT)時所考量決 定的基本要素,不同學者在見解上略有不同(Hulin, Drasgow & Parsons, 1983;Weiss & Kingsbury, 1984;余民寧,1992),其中 Hulin 等眾人於 1983 年的研究指出 CAT 應具有決定起始點、估計能力與試題選取、與結束測量的標 準三個要素;而Weiss 及 Kingsbury 在 1984 年提出:試題反應模式、題庫、測 驗起點、能力估計、試題選取方法與測驗終止條件六個要素,而每一要素均有幾 個可能的選擇,可配合目的的不同而選取最適當的組合。茲扼要介紹六項基本要 素與如何在CAT 施測的完整流程。
壹、試題反應模式
試題反應理論(item response theory, IRT)為改進古典測驗理論的缺失而 來,乃根據強勢假設(strong assumption),具有嚴謹的數理基礎,依據受試者接 受一測驗的結果表現,透過數學模式的運算,評估受試者能力和測驗反應間之關 係,即以機率的概念來解釋受試者能力和題目反應間之關係(Lord, 1980)。本研 究採用在二元計分的測驗中,最常見的模式為三參數對數模式(three-parameter logistic model, 3PLM),其定義如公式(2.1.1):
)) (
exp(
1 ) 1 1 ( )
(
j j j
j
j c c d a b
P = + − + − ⋅ −
θ θ (2.1.1) Pj(θ):受試者在第j 題的答對機率。
θ :受試者的真實能力。
aj:為試題j 的鑑別度。
bj:為試題j 的難度。
cj:為試題j 的猜測度。
d:常數,本研究設定為1.702。
試題訊息函數(information function)常被做為選擇題目的依據,一般會選取 題庫中具有較大訊息量的試題當做下一施測題目,其定義如公式(2.1.2)
(Birnbaum, 1968; Lord, 1980)。ㄧ般來說,試題訊息量越大,能力估計的標準 誤越小、能力估計越精準(王寶墉,1995)。
測驗訊息函數(test information function)定義為各試題訊息量之總和,其定 義如公式(2.1.3)。增加測驗訊息的方法有二種,一為在測驗長度不變下,增加每
測驗長度的 6 至 8 倍,也就是說題庫大小至少為施測長度的 12 倍(Stocking, 1994)。
以本研究所採用三參數對數模式來說,一個好的題庫其鑑別度應大於 0.8,
難度應該跟受試者母群的能力分佈相近,猜測度則應小於0.25(王寶墉,1995)。
Ree(1981)針對以最大訊息法為選題法的研究,在沒有曝光率控管下,題庫長度 大於200 題對能力估計的精準度並不會明顯增加。但他也指出此現象不能推論到 所有的情境,必須視題庫的試題品質和試題參數的分配而定。
參、測驗的起點
在測驗起始時,因尚未知曉學生的能力,假設學生能力為中等程度,可以將 學生的初始能力值設為0。此外,亦可將中等難度的題目排序,從中選取試題來 施測,缺點是中等難度題目其保密性會較差。在大型測驗中可以根據受試者的年 齡或年級資料來決定測驗起始點。
在以隨機選取試題當做測驗起始點時,若題數超過25 題,則受試者的能力 估計值會接近其真實能力值(Lord, 1977)。
肆、能力估計
能力估計的精確性乃CAT的重要課題,近年來有學者不斷提出各種能力估計 的方法,本文將在下一節做一詳細介紹。
伍、試題選取方法
試題的選取方法最常使用最大訊息法(maximum fisher information),其實 施步驟如下:
步驟一:假設受試者目前能力估計值為θˆ,依據θˆ計算尚未施測試題的訊息 量,計算公式參考 (2.1.2)。
步驟二:選取試題訊息量最大的試題,當做下一施測題目。
最大訊息法可以使受試者接受測驗的試題訊息總和達到最大,由於試題訊息 總和與能力估計的標準誤平方成倒數關係,因此這種選題法可使受試者能力估計 的標準誤減至最小,以產生最準確的能力估計值。
陸、測驗終止條件
CAT 的一項特徵是受試者接受測驗的長度是因人而異,測驗可以一直進行至 研究者設定終止條件為止。測驗終止條件的方式分為「固定長度」與「固定能力 估計精準度」兩種,「固定長度」意謂當測驗的題數達到預設的長度時,即停止 測驗;「固定能力估計精準度」意謂當測驗的能力估計誤差小到一個程度,即停 止測驗。
柒、施測流程
上述介紹何謂 CAT 及 CAT 的基本要素:試題反應理論、測驗題庫、測驗起 點、能力估計、試題選取方法與測驗終止條件,在此將這些要素整合成一完整 CAT 施測流程,圖 2-1-1 為 CAT 流程。
設定初始值
設定選題方法
作答反應
能力估計
否
誤差與題庫效能評估 終止條件
是