研究架構

本研究架構如下圖所示：

圖3-1-1 研究架構流程圖

第二節 基於廣義隱藏式馬可夫模型之IRT混合

...

...

(

1, 2, 3,..., _w,..., _W

)

且 ^t

( )

^{w 1 exp 1}t

(

w t

)

P

θ

a b

= θ

+ ⎡⎣− ⋅ − ⎤⎦。

參、混合模式的最大概似估計（MLE）

一、Newton-Raphson 參數估計法之介紹 令δt =

( a b

t^, t

)

^′ 測參數、受試能力參數，可分離各自進行 Newton-Raphson 法估計於下：

( ) ( )

( ) ( )

以上之一次微分及二次微分式代入 Newton-Raphson 法估計式，故得以下之 估計式：

( )¹

(

( ) ( )

)

^{( )}

( )

^{( )} 利用 Newton-Raphson 法估計式，得

^a

δ _{= ⎢ ⎥′}^{⎡ ⎤}

b

^′

是

y

^ˆ_wt1、

y

^ˆ_wt1有所不同，變為如下：

Bilmes, J. A., 1998、MacDonald, I. L., & Zucchini, W., 1997）

一、波氏估計法，簡述如下：

1、定義逆算變數：β_t^w

( ) i

^;

i

=^{1, 2, 3 ,}

t

=

T T

^,

(

−^{1 ,}

) ( T

−^{2 ,}

)

K^{,1 ,}

w

=1, 2, 3,...,

W

。

( ) ( ) ( )

型為λ = Π⁽

[ ] [ ]

t T ^,

D

t T^{, )}π = Π^{( ,}

[ ] D

t T ^{, )}π

適用於「轉移機率矩陣與符號機率矩陣均變動」之情況，即 GHMM 模

估計初始值，通常選擇型測驗為四或五選一，可令猜測機率估計初始 值為

c

_t =0.2，平均答對機率估計初始值為

P

_t =0.5。

因

y

_wt3 為受試者 w 作答第 t 題時，是否採取未答策略 3 之可 觀 察 指 示 變 數 ， _{3 3 3}

1

1 ^W

t

wt w

W y

π π

=

= =

∑

^{， 並 令π1t =π1 =0.9× −}

(

^{1 π3}

)

^、

( )

2^t 2 0.1 1 3

π =π = × −π 為對應參數估計之起始值。

2、進行 GHMM 估計法（劉湘川，民 93）

利用上述設定之初始估計值可有效地估得

(

^{π π π1t , 2t, 3t}

) (

^{= π π π1 , 2, 3}

)

、

c

_t、

P

t =

P

t

( )

θ ，

t

=1, 2, 3,...,

T

。

（二）第二階段：MLE-EM 估計

EM 算則是一個迭代程序，每次迭代分成 E 步驟（expectation step）

與 M 步驟（maximization step），用以計算在目前參數估計值下對數概似 函數之期望值。

1、參數起始估計值之設定

（1）試題難度參數起始估計值

b

_t^{( )0} （

t

=1, 2, 3,...,

T

）之設定

由第一階段 GHMM 估計估得之

P

t =

P

t

( )

θ ，實質上為第 t 題 不含猜對之平均答對率，亦即古典測驗理論第 t 題之試題難度，

仿 Fisher 之 Z 轉換，可轉換成現代測驗理論第 t 題之試題難度 起始估計值 _t^{( )0} log ^{1 t}

t

b p

p

= − 。

（2）試題鑑別度參數起始估計值

a

_t^{( )0} （

t

=1, 2, 3,...,

T

）之設定

考慮以古典測驗理論第 t 題之試題相關鑑別度，轉換成現代 測驗理論第 t 題之試題鑑別度起始估計值如下：因

x

_wt 為受試 者 w 作答第 t 題時，是否答對第 t 題之可觀察指示函數，且受 試者 w 對第 t 題採取認知作答之轉移策略之機率為 π₁^t−1 ，其

29

後答對第 t 題為

p

_t ，可得受試者 w 以認知作答 T 題全部答

起始估計值如下：

( )¹

(

( ) ( )

)

^{( )}

( )

^{( )}

( )

( )

第四章 模擬研究

第一節 研究工具與模擬資料程序

壹、利用 MATLAB 撰寫程式，產生模擬資料及做參數的估算

選擇 MATLAB 的原因為 MATLAB 採用直議指令的方式，故使用起來較為 容易，且其涵蓋範圍甚廣，當然也可以採用其他的軟體，如 C 語言等，只要能 呈現出具有可信度的結果即可。

以下均以固定轉移機率 GHMM 之 IRT 混合模式為探討的主軸，且進行兩 階段的估計。

分別就試題數 20 題、 30 題、 40 題三種情形，人數 250 人、 500 人、 1000 人三種情形，共有九種組合方式加以了解。將每組情形都模擬 100 次，亦即共 有 900 種之樣本。

步驟一：先模擬產生母體資料（真值）（

t

=1, 2, 3,...,

T

、

w

=1, 2, 3,...,

W

） 模擬產生的母體資料包括初始狀態機率向量 π

% 、狀態轉移機率矩 陣 Π 、選答符號機率矩陣

D

_t 、試題鑑別度參數

a

_t 、試題難度參數

b

t 、試題猜測參數

c

_t 、受試者能力參數 θ 。 _w 其中 _t

π π π

⎡ ⎤′

⎢ ⎥′ Π = ⎢ ⎥

′

⎢ ⎥⎣ ⎦

%

%

%

以符合固定轉移機率 GHMM 的要求，且設定 π 不₂

大 0.25 、π 不大於 0.05 以符合一般學生的作答情況。 ₃

並決定與設定

a

_t 、

b

_t 、

c

_t 、 θ 參數的範圍，經由參考相關文_w 獻之參數性質（如表 3-3-1）定出其模擬參數之範圍，因其中 Drasgow

（1989）、 Baker（1990）、 Stone（1992）模擬之模式為二元計分洛吉 數雙參數模式；且 Mislevy ＆ Stocking（1989）、 Skaggs ＆ Stevenson

（1989）模擬之模式為二元計分洛吉數三參數模式（以上資料參見呂雅

琇，民 92）；且余民寧（民 81）在二元計分洛吉數單參數模式中指出 試題難度參數常用的範圍為 -2~2 、在二元計分洛吉數二參數模式中指

出試題鑑別度參數常用的範圍為 0~2 ，故以上所提到的參數範圍不盡 相同；而本文所提的模式為混合模式，本研究所決定的參數範圍（除了 能力參數的範圍）是依據上面所述的參數範圍取大部份之交集，而因為 能力參數的分布及範圍（理論上值均介於±∞之間）和難度參數相類似，

於是能力參數仿照難度參數的參數範圍，於是本研究所決定的參數範圍 分別為

a

_t：0.5~1.5 、

b

_t：-2~2 、

c

_t：0~0.25 、 θ ：-2~2 ，且令其_w 分配服從常態分配，並將該參數之最大值加最小值除以二作為總體平均 數、將該參數之全距除以四作為總體標準差，故可得 0.5<

a

_t<1.5 且

~N(1,0.25 )2

a

t 、-2<

b

_t<2 且

b

_t~N(0,1 )² 、0<

c

_t<0.25 且

c

_t ~N(0.125,0.0625 )² 、 θ 為-2<w θ <2 且_w θ_w~N(0,1 )² 。

表 3-3-1 文獻資料之參數範圍（資料來源：高階相關積之核平滑化無參數試題 選項分析模式之研究，呂雅琇，民 92，國立台中師範學院教育測驗 統計研究所碩士論文，頁 32。）

作者（年代） 鑑別度

a

_t 難易度

b

_t 猜測度

c

_t 能力參數θ_w Drasgow（1989） 0.4~1.4 -1.5~2.5 0 -3~3 Mislevy ＆ Stocking（1989） 0~1.5 -2~2 0~0.4 -3.5~3.5 Skaggs ＆ Stevenson（1989） 0.4~1.2 -2~2 0.1~0.3 -3~3 Baker（1990） 0.35~2 -1.8~1.2 0 -2.4~2.4 Stone（1992） 0.716~3 -2.18~2.43 0 -4~4

而 又 可 由 產 生 的

a

_t 、

b

_t 、 θ 得 答 對 的 機 率 矩 陣_w

( )

^{1 exp 1}

( )

t w

t w t

P

θ

a b

= θ

+ ⎡⎣− ⋅ − ⎤⎦ ， 且 可 得 每 個 人 的 選 答 符 號 機 率 矩 陣 35

( )

模型之準確度分析方法很多，本研究利用均方誤差（mean square error；

簡稱 MSE）準則判斷估計之誤差，若 MSE 愈小者則是較佳之估計量，

第二節 模擬結果之精準度分析

根據第三章的第三節研究工具與模擬電腦資料介紹的步驟逐一施行後，進行 估算參數分析，在不同的題數與人數上求出均方誤差做比較分析，本研究主要分 別就試題數 20 題、 30 題、 40 題三種情形，人數 250 人、 500 人、 1000 人三種情形，共有九種組合方式加以了解。且每組情形都模擬 100 次，亦即共 有 900 種之樣本。以下每一種組合皆為模擬實驗 100 次之分析的平均結果，以 下列出題數與人數不同組合下各參數估算之估計值與真值的均方差

^MSE ( )

^{θ θ 之, ˆ}

表、題數與人數不同組合下各參數估算之估計值與真值的 Pearson 相關係數

( )

^{, ˆ}

R

θ θ 之表、在不同人數類別之下的均方差分布圖和 Pearson 相關係數分布圖、

在不同題數類別之下的均方差分布圖和 Pearson 相關係數分布圖，且值均取四捨 五入至小數點後六位。

一、初始狀態機率向量之估計分析

表4-1-1 初始狀態機率向量估算之題數與人數不同組合的均方差 題數

人數 20 30 40

250 0.004456 0.004104 0.001257 500 0.002316 0.001216 0.001632 1000 0.003693 0.000607 0.000263

表4-1-2 初始狀態機率向量估算之題數與人數不同組合的 Pearson 相關係數 題數

人數 20 30 40

250 0.993249 0.993422 0.996159 500 0.998373 0.991027 0.992188 1000 0.994013 0.999449 0.999805

37

0.986 0.988 0.99 0.992 0.994 0.996 0.998 1 1.002

20 30 40

人數 250

人數 1000

題數類別 相

關 係 數

人數 500

由以上表 4-1-1 和表 4-1-2 的估算數據可得以下的分布圖：

（一）就固定人數不同題數而言

圖4-1-1 初始狀態機率向量估算之固定人數不同題數的均方差比較圖

圖4-1-2 初始狀態機率向量估算之固定人數不同題數的 Pearson 相關係數比較圖 由以上的圖4-1-1可看出在固定人數的情況下，題數對估算初始狀態機率向量 的影響並沒有絕對的關係，且由圖4-1-2可看出不同題數的估計值與真值的 Pearson 相關係數，兩者並無明顯的趨勢。

（二）就固定題數不同人數而言

0 0.001 0.002 0.003 0.004 0.005

20 30 40

人數 250 人數 500 人數 1000 均

方 差

題數類別

圖4-1-3 初始狀態機率向量估算之固定題數不同人數的均方差比較圖

250 500 1000

題數 20

( )

^,ˆ

MSE a a

0.059080 0.077716 0.045162

( )

^,ˆ

MSE b b

0.162360 0.074570 0.069608 均方差

( )

^,ˆ

MSE c c

0.006530 0.006462 0.003943

( )

^{, ˆ}

R a a

0.870194 0.994763 0.813054

( )

^{, ˆ}

R b b

0.950194 0.978259 0.990237 20

Pearson 相關係數

( )

^,ˆ

R c c

0.207695 0.140145 0.224307 由上表4-1-3題數為 20 題下人數不同之估算估算數據可看出以下的結果：

1、鑑別度參數：無法看出受試者增加對於鑑別度參數估計之影響。

2、難度參數：當題數固定為 20 題時，可看出受試者人數增加對於估算的精準度 有幫助，且在人數為 250 人和 500 人之間均差值的變化幅度較 大，只是其整體的均差值有較其他試題參數估計稍大，而其整體的 Pearson 相關係數有較其他試題參數估計偏高。

3、猜測度參數：在題數固定為 20 題時，可看出受試人數增加，其均差值隨之 變小，且在人數為 500 人和 1000 人之間均差值的變化幅度較 大，且其整體的均差值為試題參數估計中較小的，但其整體的 Pearson 相關係數有較其他試題參數估計偏低。

（二）就固定題數為 30 題下人數不同而言

表 4-1-4 題數為 30 題下人數不同之估算試題參數精準度 人數

題數 250 500 1000

( )

^,ˆ

MSE a a

0.070276 0.053925 0.035932

( )

^,ˆ

MSE b b

0.080219 0.059002 0.015988 30 均方差

( )

^,ˆ

MSE c c

0.005819 0.008459 0.006894

( )

^{, ˆ}

R a a

0.698394 0.751470 0.870547

( )

^{, ˆ}

R b b

0.948301 0.970202 0.994361 Pearson

相關係數

( )

^,ˆ

R c c

0.230918 0.166773 0.458922 由上表4-1-4題數為 30 題下人數不同之估算估算數據可看出以下的結果：

1、鑑別度參數：當題數固定為 30 題時，可看出受試者人數增加對於估算的精 準度有幫助，且其均差值的變化幅度都很大。

2、難度參數：當題數固定為 30 題時，可看出受試者人數增加對於估算的精準 度有幫助，且其均差值的變化幅度都很大，而其整體的 Pearson 相 關係數有較其他試題參數估計偏高。

3、猜測度參數：無法看出受試者增加對於猜測度參數估計之影響，而其均差值 為試題參數估計中較小的，但其整體的 Pearson 相關係數有較 其他試題參數估計偏低。

（三）就固定題數為 40 題下人數不同而言

表 4-1-5 題數為 40 題下人數不同之估算試題參數精準度 人數

題數 250 500 1000

( )

^,ˆ

MSE a a

0.053916 0.037854 0.036707

( )

^,ˆ

MSE b b

0.139490 0.103510 0.017790 均方差

( )

^,ˆ

MSE c c

0.006000 0.004711 0.008920

( )

^{, ˆ}

R a a

0.608539 0.750035 0.916374

( )

^{, ˆ}

R b b

0.932927 0.972065 0.992617 40

Pearson 相關係數

( )

^,ˆ

R c c

0.244574 0.291136 0.126440 由上表4-1-5題數為 40 題下人數不同之估算估算數據可看出以下的結果：

1、鑑別度參數：當題數固定為 40 題時，可看出受試者人數增加對於估算的精 41

準度有幫助，且在人數為 250 人和 500 人之間均差值的變化 幅度較大。

2、難度參數：當題數固定為 40 題時，可看出受試者人數增加對於估算的精準 度有幫助，且在人數為 500 人和 1000 人之間均差值的變化幅度 較大，而其整體的 Pearson 相關係數有較其他試題參數估計偏高。

3、猜測度參數：無法看出受試者增加對於猜測度參數估計之影響，而其均差值 為試題參數估計中較小的，但其整體的 Pearson 相關係數有較 其他試題參數估計偏低。

三、能力參數之估計分析

表4-1-6 受試者能力參數估算之題數與人數不同組合的均方差 題數

人數 20 30 40

250 0.354024 0.324849 0.201564 500 0.250447 0.242872 0.201368 1000 0.213924 0.200571 0.184618

表4-1-7 受試者能力參數估算之題數與人數不同組合的 Pearson 相關係數 題數

人數 20 30 40

250 0.833180 0.842651 0.894310 500 0.860165 0.861020 0.903495 1000 0.862512 0.917503 0.920167 由以上表 4-1-6 和表 4-1-7 的估算數據可得以下的分布圖：

（一）就固定人數不同題數而言

圖4-1-5 能力參數估算之固定人數不同題數的均方差比較圖 整體的均方差值有較偏大，且由圖4-1-6可看出整體而言題數越多 Pearson 相關係 數越高，即估算能力參數值與其真值相關度越高。

圖4-1-7 能力參數估算之固定題數不同人數的均方差比較圖

圖4-1-8 能力參數估算之固定題數不同人數的 Pearson 相關係數比較圖 由以上的圖4-1-7可看出在固定題數的情況下，整體而言人數越多估算能力參 數的均方差越小，且以在固定題數為 40 題之情況下的均方差為較小，只是其整 體的均方差值有較偏大，且由圖4-1-8可看出整體而言人數越多 Pearson 相關係數 越高，即估算能力參數值與其真值相關度越高。

250 500 1000

題數 20

250 500 1000

題數 20

250 0.016199 0.013864 0.012923 500 0.013404 0.010715 0.009801 1000 0.010393 0.007786 0.007595

表4-1-9 答對的機率矩陣估算之題數與人數不同組合的 Pearson 相關係數

表4-1-9 答對的機率矩陣估算之題數與人數不同組合的 Pearson 相關係數

在文檔中 廣義隱藏式馬可夫模型應用於不完全資料之二元計分IRT混合模式 (頁 22-0)