• 沒有找到結果。

電腦化適性測驗

第二章 文獻探討

第一節 電腦化適性測驗

在施行電腦化適性測驗(computerized adaptive testing, CAT)時所考量決 定的基本要素,不同學者在見解上略有不同(Hulin, Drasgow & Parsons, 1983;Weiss & Kingsbury, 1984;余民寧,1992),其中 Hulin 等眾人於 1983 年的研究指出 CAT 應具有決定起始點、估計能力與試題選取、與結束測量的標 準三個要素;而Weiss 及 Kingsbury 在 1984 年提出:試題反應模式、題庫、測 驗起點、能力估計、試題選取方法與測驗終止條件六個要素,而每一要素均有幾 個可能的選擇,可配合目的的不同而選取最適當的組合。茲扼要介紹六項基本要 素與如何在CAT 施測的完整流程。

壹、試題反應模式

試題反應理論(item response theory, IRT)為改進古典測驗理論的缺失而 來,乃根據強勢假設(strong assumption),具有嚴謹的數理基礎,依據受試者接 受一測驗的結果表現,透過數學模式的運算,評估受試者能力和測驗反應間之關 係,即以機率的概念來解釋受試者能力和題目反應間之關係(Lord, 1980)。本研 究採用在二元計分的測驗中,最常見的模式為三參數對數模式(three-parameter logistic model, 3PLM),其定義如公式(2.1.1):

)) (

exp(

1 ) 1 1 ( )

(

j j j

j

j c c d a b

P = + − + − ⋅ −

θ θ (2.1.1) Pj(θ):受試者在第j 題的答對機率。

θ :受試者的真實能力。

aj:為試題j 的鑑別度。

bj:為試題j 的難度。

cj:為試題j 的猜測度。

d:常數,本研究設定為1.702。

試題訊息函數(information function)常被做為選擇題目的依據,一般會選取 題庫中具有較大訊息量的試題當做下一施測題目,其定義如公式(2.1.2)

(Birnbaum, 1968; Lord, 1980)。ㄧ般來說,試題訊息量越大,能力估計的標準 誤越小、能力估計越精準(王寶墉,1995)。

測驗訊息函數(test information function)定義為各試題訊息量之總和,其定 義如公式(2.1.3)。增加測驗訊息的方法有二種,一為在測驗長度不變下,增加每

測驗長度的 6 至 8 倍,也就是說題庫大小至少為施測長度的 12 倍(Stocking, 1994)。

以本研究所採用三參數對數模式來說,一個好的題庫其鑑別度應大於 0.8,

難度應該跟受試者母群的能力分佈相近,猜測度則應小於0.25(王寶墉,1995)。

Ree(1981)針對以最大訊息法為選題法的研究,在沒有曝光率控管下,題庫長度 大於200 題對能力估計的精準度並不會明顯增加。但他也指出此現象不能推論到 所有的情境,必須視題庫的試題品質和試題參數的分配而定。

參、測驗的起點

在測驗起始時,因尚未知曉學生的能力,假設學生能力為中等程度,可以將 學生的初始能力值設為0。此外,亦可將中等難度的題目排序,從中選取試題來 施測,缺點是中等難度題目其保密性會較差。在大型測驗中可以根據受試者的年 齡或年級資料來決定測驗起始點。

在以隨機選取試題當做測驗起始點時,若題數超過25 題,則受試者的能力 估計值會接近其真實能力值(Lord, 1977)。

肆、能力估計

能力估計的精確性乃CAT的重要課題,近年來有學者不斷提出各種能力估計 的方法,本文將在下一節做一詳細介紹。

伍、試題選取方法

試題的選取方法最常使用最大訊息法(maximum fisher information),其實 施步驟如下:

步驟一:假設受試者目前能力估計值為θˆ,依據θˆ計算尚未施測試題的訊息 量,計算公式參考 (2.1.2)。

步驟二:選取試題訊息量最大的試題,當做下一施測題目。

最大訊息法可以使受試者接受測驗的試題訊息總和達到最大,由於試題訊息 總和與能力估計的標準誤平方成倒數關係,因此這種選題法可使受試者能力估計 的標準誤減至最小,以產生最準確的能力估計值。

陸、測驗終止條件

CAT 的一項特徵是受試者接受測驗的長度是因人而異,測驗可以一直進行至 研究者設定終止條件為止。測驗終止條件的方式分為「固定長度」與「固定能力 估計精準度」兩種,「固定長度」意謂當測驗的題數達到預設的長度時,即停止 測驗;「固定能力估計精準度」意謂當測驗的能力估計誤差小到一個程度,即停 止測驗。

柒、施測流程

上述介紹何謂 CAT 及 CAT 的基本要素:試題反應理論、測驗題庫、測驗起 點、能力估計、試題選取方法與測驗終止條件,在此將這些要素整合成一完整 CAT 施測流程,圖 2-1-1 為 CAT 流程。

設定初始值

設定選題方法

作答反應

能力估計

誤差與題庫效能評估 終止條件

圖 2-1-1

CAT 流程圖

相關文件