• 沒有找到結果。

本研究嘗試採用新的方法—估計值標準化,來完成等化的步驟,並參考 Cohen

& Kim(1998)以及 Kim & Cohen(2002)的研究,將採用 作為效標,計 算不同情境下參數估計值與真值之間的誤差,進而比較不同情境下的估計誤差差 異,並探討「估計值標準化」方法的可行性。

RMSE

本章共分為三節,第一節說明本研究中估計值標準化的等化步驟。第二節比 較在水平等化的各種情境下,利用估計值標準化的等化步驟時,其等化效果之優 劣。最後一節則比較在垂直等化的各種情境下,利用估計值標準化的等化步驟 時,其等化效果之優劣。

第一節 「估計值標準化」的等化步驟

在 Kim & Cohen(2002)的研究中,不論是同時估計法或分開估計法所獲得 的參數估計值,最後均需將試題與能力參數估計值等化到真值的量尺上,但在許 多真實情境中,試題參數的真值並可不得,故無法完成等化步驟。為解決這個問 題,本研究中將在 GRM 模式下,藉由將能力參數估計值與真值各自標準化,再 將試題參數估計值與試題參數真值做轉換的步驟—「估計值標準化」,作為新的 等化步驟,並在接下來的章節中探究「估計值標準化」的等化步驟在各個情境中 之誤差大小,以及各個操弄變項對估計誤差之影響,以做為未來進行 GRM 模式 下等化程序之參考。

以下先以同時估計法來說明本研究的「估計值標準化」程序。首先將基準群 與目標群視為同一個群體,並計算求得兩群體混合後的能力參數估計值的平均數

µ

ˆ

θ 與標準差σ

ˆ

θ,之後進行將能力參數估計值標準化的程序如下:

B A

− =

=

θ

σ µ θ θ

θ

θ

ˆ

ˆ ˆ ˆ

ˆ

* (公式 4-1)

上式的第一個等號便是將參數標準化的程序,亦即「減去平均數,除以標準 差」,如果將此程序視為成為等化時的量尺轉換程序,則可得到等化過程中的轉 換係數,其中斜率

σ

ˆ

θ

= 1

A

、截距

θ

σθ

µ

ˆ

= ˆ

B

。由於受試者能力與試題參數需進行相同 的轉換,因此利用上述求得的轉換係數,對試題參數估計值進行相同的轉換,轉 換方式如下:

B b A

b ˆ

*jk

= × ˆ

jk

(公式 4-2)

A a a ˆ

ˆ

*

=

(公式 4-3)

其中, 、 分別代表標準化前及標準化後的能力參數估計值;

b

b

則表 示標準化前、後第

θ

ˆ

θ

ˆ

*

ˆ

jk

ˆ

*jk

j

題第

k

個選項的閾值參數估計值,且

k = 1 , L , 4

,同理, 、

a

則表示標準化前、後的試題鑑別度參數估計值。

ˆ

*

在計算誤差時,能力參數真值亦是透過完全相同的方式進行標準化,並透過 公式 4-2 與公式 4-3 將試題參數真值進行轉換,最後則以標準化後的能力參數真

值與估計值計算能力參數的 ,再以轉換後的試題參數真值與估計值來計算 試題參數的 。

RMSE RMSE

在分開估計法中,除了必須先透過 EQUATE 計算兩群體之間的量尺轉換係 數,藉以將目標群的能力參數估計值轉換到基準群的量尺上,讓兩群體視為同一 個群體之外,其餘皆與上述同時估計法採取相同的步驟。

第二節 「估計值標準化」方法下水平等化之 估計結果

在水平等化的情境下(兩群體的能力均服從平均數為 0、標準差為 1 的常態 分佈),且受試者平均能力值與測驗平均難度相當時,以「估計值標準化」的方 式來進行最後的等化步驟,並探討在四種樣本數、三種測驗長度、三種定錨題比 例與兩種等化方法下,其能力與試題參數估計誤差,在經過 100 次的模擬分析後,

其平均估計誤差列於表 4-1 與表 4-2。

為了清楚呈現研究結果,在表 4-1 與 4-2 中運用了代碼,各個代碼的含意如 下:表的第一欄由三組數字所組成,用以代表一種研究的情境,第一組數字表示 樣本數,55 代表 B500/T500,15 代表 B1000/T500,11 代表 B1000/T1000,21 代 表 B2000/T1000;第二組數字表示測驗長度;第三組數字表示定錨題比例。表 4-1 第一列的 C_a 代表同時估計法的鑑別度參數;C_b1∼C_b 4 代表同時估計法的第 一個到第四個選項閾值參數;CB 代表同時估計法下的基準群的能力參數;CT 代 表同時估計法下的目標群的能力參數。表 4-2 第一列的 S_a 代表分開估計法的鑑 別度參數;S_b1∼S_b 4 代表分開估計法的第一個到第四個選項閾值參數;SB 代 表分開估計法下的基準群的能力參數;ST 代表分開估計法下的目標群的能力參 數。

表 4-1 水平等化時,同時估計法在各個情境下各參數

RMSE

的平均數與標準差

std mea 0.054 0.403 0.063 0.404 0.061 0.390 0.088 0.286 0.040 0.287 0.038 0.286 0.031 0.242 0.038 0.239 0.032 0.241 0.056 0.404 0.049 0.404 0.057 0.391 0.035 0.286 0.034 0.285 0.040 0.285 0.028 0.240 0.025 0.241 0.036 0.240 0.035 0.404 0.039 0.403 0.036 0.390 0.026 0.285 0.031 0.285 0.027 0.285 0.020 0.242 0.024 0.241 0.020 0.240 0.034 0.402 0.036 0.401 0.038 0.390 0.024 0.284 0.024 0.284 0.023 0.283 0.017 0.240 0.017 0.239 0.017 0.240 b4

mean std mean std mean std mean std mean n std mean std 55-10-10% 0.172 0.026 0.238 0.051 0.127 0.027 0.126 0.022 0.248 0.016 0.425 0.015 55-10-20% 0.172 0.025 0.260 0.067 0.133 0.033 0.125 0.025 0.256 0.015 0.427 0.015 55-10-30% 0.167 0.030 0.267 0.069 0.143 0.033 0.125 0.027 0.247 0.015 0.430 0.014 55-20-10% 0.134 0.014 0.193 0.036 0.112 0.017 0.115 0.083 0.197 0.012 0.286 0.010 55-20-20% 0.131 0.016 0.191 0.039 0.110 0.021 0.108 0.018 0.188 0.012 0.293 0.012 55-20-30% 0.127 0.017 0.186 0.039 0.103 0.021 0.105 0.021 0.176 0.010 0.280 0.010 55-30-10% 0.120 0.013 0.179 0.027 0.107 0.015 0.107 0.013 0.181 0.010 0.248 0.009 55-30-20% 0.118 0.012 0.184 0.035 0.111 0.018 0.109 0.016 0.187 0.009 0.244 0.010 55-30-30% 0.121 0.014 0.180 0.030 0.109 0.015 0.105 0.015 0.184 0.008 0.240 0.008 15-10-10% 0.160 0.022 0.221 0.040 0.119 0.026 0.107 0.018 0.227 0.012 0.422 0.015 15-10-20% 0.157 0.021 0.231 0.052 0.127 0.029 0.111 0.021 0.229 0.010 0.427 0.015 15-10-30% 0.158 0.024 0.248 0.065 0.126 0.034 0.114 0.026 0.238 0.011 0.425 0.016 15-20-10% 0.119 0.014 0.172 0.038 0.101 0.022 0.098 0.018 0.177 0.008 0.290 0.010 15-20-20% 0.123 0.016 0.172 0.035 0.098 0.019 0.096 0.015 0.174 0.008 0.295 0.011 15-20-30% 0.121 0.017 0.168 0.040 0.092 0.022 0.091 0.015 0.167 0.008 0.282 0.011 15-30-10% 0.107 0.013 0.160 0.024 0.092 0.013 0.096 0.014 0.166 0.006 0.248 0.008 15-30-20% 0.105 0.012 0.159 0.025 0.094 0.012 0.094 0.011 0.159 0.006 0.247 0.008 15-30-30% 0.107 0.011 0.159 0.029 0.093 0.015 0.092 0.014 0.165 0.007 0.239 0.008 11-10-10% 0.155 0.021 0.206 0.030 0.103 0.024 0.095 0.017 0.206 0.011 0.423 0.010 11-10-20% 0.152 0.212 0.213 0.037 0.109 0.023 0.096 0.019 0.212 0.011 0.427 0.012 11-10-30% 0.145 0.022 0.213 0.041 0.108 0.025 0.093 0.018 0.199 0.011 0.423 0.011 11-20-10% 0.105 0.013 0.144 0.023 0.077 0.012 0.077 0.012 0.141 0.007 0.286 0.008 11-20-20% 0.105 0.012 0.147 0.025 0.079 0.012 0.080 0.012 0.149 0.006 0.291 0.007 11-20-30% 0.104 0.013 0.143 0.026 0.078 0.015 0.076 0.012 0.138 0.008 0.281 0.008 11-30-10% 0.093 0.010 0.133 0.019 0.077 0.009 0.079 0.009 0.135 0.006 0.247 0.006 11-30-20% 0.089 0.010 0.132 0.018 0.077 0.011 0.077 0.010 0.136 0.006 0.244 0.006 11-30-30% 0.091 0.010 0.132 0.021 0.077 0.010 0.076 0.010 0.135 0.007 0.239 0.006 21-10-10% 0.148 0.018 0.193 0.034 0.099 0.020 0.089 0.016 0.198 0.008 0.422 0.009 21-10-20% 0.147 0.020 0.202 0.040 0.103 0.021 0.085 0.016 0.200 0.008 0.424 0.012 21-10-30% 0.142 0.020 0.204 0.047 0.101 0.024 0.092 0.018 0.194 0.007 0.423 0.010 21-20-10% 0.099 0.011 0.129 0.016 0.067 0.011 0.069 0.010 0.130 0.006 0.287 0.007 21-20-20% 0.099 0.012 0.131 0.020 0.070 0.012 0.068 0.010 0.135 0.006 0.292 0.006 21-20-30% 0.097 0.013 0.126 0.023 0.066 0.013 0.067 0.011 0.124 0.005 0.279 0.007 21-30-10% 0.082 0.009 0.117 0.016 0.066 0.009 0.069 0.009 0.116 0.004 0.247 0.006 21-30-20% 0.083 0.008 0.119 0.018 0.067 0.009 0.066 0.008 0.119 0.004 0.244 0.007 21-30-30% 0.081 0.009 0.111 0.017 0.066 0.009 0.066 0.009 0.116 0.005 0.237 0.006

相關文件