不同常態轉換核平滑化無參數試題反應理論模式之蒙地卡羅模擬比較

不同常態轉換核平滑化無參數試題反應理論模式

之蒙地卡羅模擬比較

劉湘川 何志成 林文質

亞洲大學生物資訊系 亞洲大學資訊工程系 亞洲大學資訊工程系

[email protected] [email protected] [email protected]

關鍵詞：高低鑑別指數、相關鑑別指數、 分位數常態轉換，機率值常態轉換。

摘要

Ramsay(1991)首先提出「高低鑑別指 數加權常態分位數轉」之核平滑化無參數 試題反應理論模式，劉湘川(2000)以較靈 敏之相關鑑別指數替代 Ramsay 之高低鑑 別指數，提出改進之「相關鑑別指數加權 分位數常態轉換」之核平滑化無參數試題 反應理論模式。劉湘川(2007)進而以「機 率值常態轉換」替代 Ramsay 之「分位數 常態轉換」，提出「相關鑑別指數加權機 率值常態轉換」之核平滑化無參數試題反 應理論模式。本文以蒙地卡羅模擬比較， 獲得結果為「相關鑑別指數加權機率值常 態轉換」之模式有最佳表現，其次為「相 關鑑別指數加權分位數常態轉換」之模式。

第一節 試題反應理論參數模式

現代測驗理論的重心是試題反應理論 (item response theory;IRT)，它的特點是以 機率的概念來解釋受試者能力和試題反應 間之關係，也就是依據受試者的實際試題 反應結果，經由理論的轉換運算，估計受 試者的能力，此數學模式稱之為試題特徵 函數，以圖形表示則稱為試題特徵曲線 (item characteristic curve； ICC)。

試題反應理論在表達受試者能力和測驗反 應間之關係上，因函數中所採用的參數個 數不同，可區分為不同的模式，常用的模

式可分為參數模式和無參數模式，而參數 型模式大致可分為單參數、雙參數及三參 數等三種，各模式之試題特徵函數如下所 示： 單參數模式

( )

( ) ) s i ( 1 s i i s b e P eθ θ = ₋ + b θ − （1） 雙參數模式

( )

ai(θ −s bi) ( ) 1 i s i i s a b e P e θ θ = ₋ + （2） 三參數模式

( )

ai(θ −s bi) ( ) (1 ) 1 i s i i s i i a b e P c c e θ θ = + − ₋ + （3） 其中 P_i

( )

θ_s ：能力值為θ_s之第 位受試 者，其答對第 題的機率函數 s i exp：自然指數 s θ ：第 位受試者之能力值 s ：第 題的鑑別參數 ：第 題的難度參數 ：第 題的猜測參數 參數型試題反應理論主要以分析測驗中每 一試題的難易度、鑑別度、猜測度等重要

第二節 Ramsay「高低鑑別指數」

及核平滑化法

Rams 轉換 25％高低試題鑑別指數：D25，即以高低分 組通過率之差作為加權總分排序時的加權 i 參數，再以這些參數為基礎，配合測驗目 標進行組卷、施測，並將測驗結果的原始 分數轉換為可代表學生真實能力的量尺分 數，以估計學生之能力。 ay（1991） 引進logit函數 函數，原始總分排序前25％為高分組；原 始總分排序後25％為低分組，分別以P75 (i, j)、P25(i, j) 表示第i 試題第j 選項之高分 組通過率及第i 試題第j 選項之低分組通 過率，D25 =P75 (i,j)-P25 (i,j) 表示第i 試題 第j 選項25％高低試題鑑別指數。則加權 函數W(i, j) 如下式：

( )

( )

( )

( )

( )

( )

( )

75 25 og , , , ln ln 1 , 1 , it p i j p i j p i j p i j p i j 75 25 75 25 , log , l W i j = it p i j⎡_⎣ ⎤_⎦− ⎡ ⎤ i a _{⎣ ⎦} ⎡ ⎤ ⎡ ⎤ = _{⎢ ⎥}− _{⎢ ⎥} − − ⎣ ⎦ ⎣ ⎦ （4） 洛吉數函數（logit function）： i b i i c i

設logit定義於開區間(0,1) 之函數，若

( )

( )

logit x ln x , x 0,1 1 x = ∀ ∈ （ − 5） 則稱為洛吉數函數。 號集中說明。 測驗總分（ s = 1, 2,…, N ），

)

為全體受試者測驗總分 之數列。 ：表示第s 位受試者選答第 i ，若 =1表示答 對，為0則表示答錯，則 為方便以下介紹，將符 N ：表示受試者總人數。 n ：表示試題總題數。 xs ：表示第s 位受試者之 則

(

x₁,x₂,x₃,...,x_N

( )

s u i 題填答情形之指示值 u is

( )

( ) ( )

( )

(

u i u i1 , 2 ,...,uN i

)

為受試者指示值之 數列(i = 1,2,…,m)。 故所得之加權總分 T 統計量定義如下式： m i= 其中 表受試者 之 指 權總分值， 1 , 1, 2,..., s s i i T =

∑

W u s= N （6） s T s 鑑別 數加 表受試者 實際選答試題 選項 s i j之指示值。 將 s值由小而大重新排序，可估得 s之秩（rank） T 受試者 ： ，再以下列機 率積 quantile s r 分轉換方式，可得標準常態分配的 對應分位數（ ）： s， N s 1,2,..., q = 。

(

)

, 1 2 2 ⎟ ⎠ qs exp 2 1 + = ≤ = ⎟ ⎞ ⎜⎜ ⎝ ⎛ −

∫

∞ − N r r R p dt t _s s π （7） 因選答機率p為機率估計值，故 Ramsay(1991)採 Nadaray＆Watson 之 NW 核平滑化估計模式，如下

( )

( ) 1 N 1 s s s i N s q k y p q θ θ θ = − ⎛ ⎞ ⎜ ⎟ = − ⎛ ⎞

∑

i s h k h = ⎝ ⎠ ⎜ ⎟ ⎝ ⎠

∑

（8） 其中 表受試者：s s =1,2,...,N，i表試 ， ( )s ij y n i=1,2,..., 題： 表加權排序後， 表第 序位受試者加權總分經機 參數(bandwidth parameter)亦稱平滑參 數(smoothing parameter)，Ramsay(1991) 第rs序位受試者實際選答試題i之指示 值，q 率積分轉換之分位數。上式中 表帶寬 s rs h s i y

採 0.2 1 . 1 − = N h ，其中N 為受試者人數， 此外 Ramsay 選高斯函數（Gaussian fun 有之核 數

( )

ction）為專 函 ∞ < < −∞ ⎥ ⎤ ⎢ ⎡ − = u u u k exp , ⎦ ⎣ 2 2 （9） 綜合（6）（7）（8）三式，即得核 平滑化無參數試題選項特徵曲線機率 模式，如下

( )

(

)

( )

(

)

2 2 5 1 2 2 5 1 exp N 2.42 ˆ exp 2.42 s s i s i N s s N q y p N q θ θ θ = = ⎡ ⎤ − ⎢₋ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ = ⎡ ⎤ − ⎢₋ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

∑

（10） 其中 表受試者： ， 表 試題： ，

∑

s s=1,2,...,N i 1, 2,..., i= m y_i( )s 表加權排序後第 序位受試者實際選答試題 之指示 序位 試 率

第三節 點二相關鑑別指數

劉湘川（民 90） 「點二系列相關鑑 進 隨機未作答虛擬選項，進行合併估計，因 而能 假設受試者有 s r i 值，qs表第 受 者加權總分經機 積分轉換之分位數。 s r 別指數」，在能力參數之估計上，特別引 兼顧隨機未作答不完全資料之情況。 「點二系列相關鑑別指數；r 」之定義如_i 下： N 人（ ），試題 有 m 題（ N s=1,2,..., 1, 2,..., i= m）。 表 與

(

1 2

)

, ,..., N i i i u u u i r

(

x₁,x₂,...,x_N

)

之積差 相關係數，稱為「點二系列相關試題鑑別 指數」，即

(

)

(

)

提 1 i N s s i i s x i x u x u u NS S − −

∑

其中 表受試者 之測驗總分， r = = （11） s x s s i u 表受試 者 是否實際選答試題 選項s i j 之 值。 指示數

∑

= s s N 1 = N x x 1 　 ，　

(

)

2 2 = 1

∑

− N x x S 1 = s s x N 1 1 N s i i s u u N = =

∑

　 ，　 2

(

)

1 i s u i s S u N = =

∑

− 2 1 N i u 因 1− ≤ ≤ 取計分加權值 r_i 1 1 r 2 i i W = + ， 0≤W_i ≤ 1

加權總分 T 統計量定義如下式： m N （12） 其中 表受試者 之相關加權總分值， 得答對之機率 1 , 1, 2,..., s s i i i T W u s = =

∑

= s T s s i u 表受試者 實際選答試題之指示值。

第四節 核平滑化無參數

之常態轉換改進估計

7 之 相關鑑別指數常態化，使得新的相關係數 能介於 0 到 1 之間 s

IRT 模式

劉湘川（200 ）提「核平滑化無參數 IRT 模式之常態轉換改進估計」,將原本 1 1 , 2 i i i i i n l l r r β w β β = + ⇒ = = （13） 新的相關係數乘上答題指示 ，求得 總分，經過類似 Fisher 轉換之方法轉換後 得到初步能力估計值

∑

再以 值 ( ) 1 0 , 0 1 1 ln 2 1 n s s i i s i s s s Z w u Z Z Z θ = = ≤ ⇒ = −

∑

≤ （ ） 接著以所得之估計值代入核平滑化公式求 0 （15） 將每位受試者每題之答對機率平均 Fisher 轉換後得最後之能力估計值， ( )0 ( )0

( )

( ) k. , s s i i s s u P θ θ ⎡ _{⎤ ⇒} ⎣ ⎦ 並經由 ( )

( )

( ) ( )

( )

( ) ( ) ( )

( )

( ) ( )

( )

( ) 0 0 0 0 1 s i s P P n θ =

∑

θ 1 0 0 0 0 1 1 ln 2 ₁ n i s s s P P θ θ θ = ⇒ = − （16）

第五節 實證研究

一、利用電腦隨機選取模擬參數值 生平均數為 2 標準差為 0.5 之標準 常態分配隨機亂數 a，做為試題之鑑 別度。 產生標準常態分配介於 2 到-2 之隨機 亂數 b，做為試題之難度。 之隨機亂 產 產生均勻分配介於 0 到 0.25 數 c，做為猜測參數。 產生標準常態分配 N（0,1）之隨機亂 數θ_s，設定為受試者的能力值。 二、利用步驟一設定之參數，使用三參數 率函數 模式模擬答題者之答題情形： 第 s 位受試者答對第 i 題之機 為 14

( )

(1 ) ( ) i s i a b e P c c θ θ = + − ₍− ₎ （17） 1 i s i i s i i a b e θ − + 三、利用均勻分配 U（0,1）隨機產生亂數 r，此時若 r 落於區段[0,P_i

( )

θ_s ]則代表 落於區段 受試者答對此題，答題指示值為 1， 若 r [P_i

( )

θ_s ， 則代表受試 者答錯此題，答題指示值為 0。 四、利用步驟三所得之答題指示值矩陣， 當做原始分數，計算其總分並排序 後，依公式分別求取「高低鑑別指數 核平滑化無參數估計值」、「點二相關 鑑別指數核平滑化無參數估計值」及 原 先模擬之真實能力值求取 值， 以比較何者有較佳之估計值。 五、本研究針分別就「擴張高低鑑別指數 核平滑化無參數估計值」、「點二相關 鑑別指數核平滑化無參數估計值」及 「核平滑化無參數常態轉換改進估計 值 三種不同模式下，對各種人數 、 、 人 題之三種組合樣本進行能力值之估計 分析。每組情形都模擬 次。下表 表6.1高低鑑別指數、相關鑑別指數及改進 高低鑑 相關鑑 估計 1] 「核平滑化無參數常態轉換改進估計 值」，最後將三者之能力估計值與 MSD

」

(400 800 1200 )與題數均為 25 10 為每一組皆模擬實驗 10 次之平均值 的結果分析，以下即針對模擬資料所 得結果進行分析說明： 之常態轉換估計能力值MSE平均值比較 別指數 別指數 常態轉 換改進 400人25 題 0.1566 0.137676 0.122439 800 人 25 0.1632 0.14573 題 4 0.09154 1200 25 人 0.158894 0.149437 0.076651 題 上表5-1之模 得 以 估算受試者能力值時，採用「點二相關鑑 別指 」、「 低 進估 種 較 值與受試者真實能力值二者間之均方差小 於「點二相關鑑別指數」模式，而「點二 相關鑑別指數」模式估得之能力值與受試 者真實能力值二者間之均方差又較「擴張 高低鑑別指數」模式為小，亦即三者之加 權模式所得之估計精準度為「常態轉換改 進估計」最佳，「點二相關鑑別指數」其 次，而「擴張高低鑑別指數」則最差。表 6-1所得結果以折線圖表示如下(圖6-1)： 擬資料所 結果可 看出，在 數 擴張高 鑑別指數」及「常 態轉換改 計」三 模式做比 時，得 到「常態轉換改進估計」模式估得之能力 模 平 均 樣 式 取

0 0.02 0.08 0.14 人25 題 0人 25題 人25 題 0.04 0.06 0.1 0.12 0.16 0.18 400 80 ₁₂₀0 高低鑑別指 數 相關鑑別指 數 常態轉換改 進估計 圖 6.1 擴張高低鑑別指數與點二相關鑑 別指數估計能力值 MSE 比較

第六節 結論

「擴張高低鑑別指數」、「點二相關 鑑別指數」「核平滑化無參數 IRT 模式之 常態轉換改進估計」、,均為試題反應理 法則，但「擴張高低鑑別指數」僅取前後 25％的資料來做為求得加權值之依據，喪 失了中間 ％受試者的作答訊息，故在做 為能力估計值的預測上，無法反應所有受 故有更好的估算效果，在以上的模擬測試

參考文獻

[1] 劉湘川（2000）。點二系列相關試題鑑 別指數之值譜分析及其在 IRT 之應用 測驗。統計年刋第 輯， 頁。 台中市，國立台中師範學院。 [2] 劉湘川（2001）。 平滑化試題選項特 徵曲線與選項關連結構整合擴充模 。統計年刋第 9 輯，1-18 頁。台中 市：國立台中師範學院。 [3] 劉湘川（2002）。高階相關比累進加權 核平滑化試題選項分析綜合模式。統計 10 197-218 頁。台中市， 國立台中師範學院。 [4] 劉湘川 （2003 平 題選項 分析模式之條件最大概似數值估計。統 17-40 頁。台中市， 國立台中師範學院。 [5] 劉湘川 ） 臺中縣霧峰鄉，亞洲大學資訊工程研究 (未出版) [6] Ramsay, J. O. (1991). Kernel smoothing approaches to

nonparametric item characteristic curve 論中為達成更佳的區辨力而被提出的加權 50 試者真實的答題情形，而「點二相關鑑別 指數」，針對此一缺失加以改善，將所有 受試者的答題組型均列入考慮，所以能夠 較精確的估算出受試者的真實能力值，另 「核平滑化無參數 IRT 模式之常態轉換改 進估計」在相關係數的基礎上加以改善， 中已獲得實證。 8 1-20 核 式 年刋第 輯， ）。核 滑化試 計年刋第 11 輯， （2007 。試題反應理論講義。 所，資訊教育組。