第二章 文獻探討
第二節 曝光率控管之相關研究
Sympson & Hetter(1985)提出 SH 曝光率控管法,以下先說明基本的數學關係:
P ( A ) = P ( S ) ⋅ P ( A | S )
(2.2.1) (exposure parameter,EP
)。r
:可接受試題最大曝光率。步驟三:根據受試者施測完
j
題的結果估計受試者能力值,重覆步驟二直到 施測完L
題。步驟四:重覆步驟二與步驟三,直到所有受試者都施測完畢,根據
P (S )
來調 整每一試題的EP
。若
P ( S ) > r
,則) (S P
EP = r
; 若P ( S ) ≤ r
,則EP = 1
。步驟五:找出
L
道EP
最大的試題,將EP
值設為 1。(此步驟係因若施測題庫 長度太短,將會有選不到施測試題的可能)步驟六:將新產生的
EP
,重覆步驟二至步驟五,一直到EP
穩定且P ( A )
小 於r 。
迭代產生的
EP
就可運用在實際的 CAT 施測上。SH 曝光率控管法雖然可以有 效控制曝光率,然而 SH 曝光率控管法施測前須先迭代產生曝光參數,耗費相當 多的時間與運算資源。若欲施測的母群體與迭代產生曝光參數的母群體不同,研 究發現對曝光率的控管將不如預期 (朱怡君,2005)。CAT 選題時,一般採用最大 訊息法,因此會造成高鑑別度題目過渡被選取,而低鑑別度題目不易被選取,題 庫的使用率較不高(Chang & Ying, 1999)。而且 SH 曝光率控管法在極端能力區間 下的試題曝光率幾達 100%(Chang & Ansley, 2003)。二、SH_online 曝光率控管法
朱怡君(2005)提出 SH_online 曝光率控管法,曝光參數以線上取得來取代 SH 曝光率控管法須事先迭代產生,用來控管下一位考生的試題施測機率,以達到曝 光率線上控管。曝光參數迭代與施測同步進行,其實施步驟如下:
假設
L
為測驗長度;EP
為曝光參數;r
為可接受試題最大曝光率。步驟一:設定每一試題的
EP
初始值為 1。步驟二:假設受試者目前施測到第
j
題,依據受試者目前能力估計值,利用步驟二:針對
M
個能力區間,各給定S名均等分佈受試者,各區間分別使用 SH曝光率控管法迭代產生各區間所對應的EP
值。最後會形成一個N
M× 的
EP
矩陣。將此M×N的
EP
矩陣運用在實際的 CAT 施測上。選擇試題時,當受試者能 力估計值θˆ落在區間m(m = 1 , 2 , 3 ... M
),就使用區間m的EP
來控管試題的曝光率。SHC 曝光率控管法不論受試母群體分佈為何,皆能將每個能力區間的試題曝 光率做良好的控管,然而其最大的缺點在於能力估計的損耗過大(Chang, Ansley,
& Twu, 2002)。
貳、隨機法
隨機法的基本原理是藉由隨機選取施測試題,以避免高訊息量的試題被過渡 選取,McBride & Martin(1983)發表 MM 演算法。MM 演算法是在施測前期使用 隨機選取策略來避免題目的過渡曝光,其實施方法為:
對每個受試者,依能力初始值從題庫中選出 5 個訊息量最大的題目,從這 5 題中隨機選取出一題施測並重新估計能力值;依新估計的能力值從題庫中選出 4 個訊息量最大的題目,再從這 4 題中隨機選取出一題施測並重新估計能力值。重 複相同模式,選取施測的前 4 題,第 5 題後則回歸最大訊息法來選取施測題目。
根據研究,MM 演算法在不同題庫中的比較,試題最大曝光率皆介於 0.64~0.74,遠高於可接受試題最大曝光率 (Chang & Ansley, 2003)。
參、a 分層法
試題訊息量與鑑別度(a)平方成正比(
公式(2.1.2))
,若以最大訊息法選取試題,則高
a 值
試題容易被選取,會造成試題的過渡曝光。a 分層法的基本原理是將題 目依照試題a 值
大小分層,並依序從各分層中選取試題施測,藉此能夠達到減少 高a 值
試題的曝光,並增加低a 值
試題使用率。由於施測前期能力估計尚未精確,所以先選取低
a 值
試題;隨著施測的進行,能力估計漸趨精確,再選取高a 值
試 題。在此介紹 A_STR (a_stratified)與 BA_STR (a_stratified with blocking)兩種方法。一、A_STR
Chang & Ying(1999)提出 A_STR,其實施步驟如下:
假設
L
為測驗長度;a 為試題鑑別度。步驟一:將題庫依照 a 值由小至大分成
K
層,第 1 層包含最小的 a 值,第K
層包含最大的 a 值。步驟二:依序從第 1 層開始施測,每一層選取
K
L
個試題來施測,一直施測到 第K
層。二、BA_STR
研究發現在實務施測時,被選取試題的鑑別度(a)與難度(b)具有正相關,例 如:GRE(graduate record examination)數學測驗中,a、b 值間的相關達 0.44;對 低能力受試者而言,其所選題目的 a 值皆較低,會造成能力估計精準度的損耗。
因此 Chang, Qian, & Ying(2001)提出 a_stratified with blocking(BA_STR),希望將 A_STR 各分層中的 b 值分佈保持一致性,來打破 a、b 值間的相關性。其實施步 驟如下:
假設
L
為測驗長度;a 為試題鑑別度;b 為試題難度。步驟一:將題庫依照 b 值由小至大分成
T
個區塊,第 1 個區塊包含最小的 b值,第