模擬結果之精準度分析…

根據第三章的第三節研究工具與模擬電腦資料介紹的步驟逐一施行後，進行 估算參數分析，在不同的題數與人數上求出均方誤差做比較分析，本研究主要分 別就試題數 20 題、 30 題、 40 題三種情形，人數 250 人、 500 人、 1000 人三種情形，共有九種組合方式加以了解。且每組情形都模擬 100 次，亦即共 有 900 種之樣本。以下每一種組合皆為模擬實驗 100 次之分析的平均結果，以 下列出題數與人數不同組合下各參數估算之估計值與真值的均方差

^MSE ( )

^{θ θ 之, ˆ}

表、題數與人數不同組合下各參數估算之估計值與真值的 Pearson 相關係數

( )

^{, ˆ}

R

θ θ 之表、在不同人數類別之下的均方差分布圖和 Pearson 相關係數分布圖、

在不同題數類別之下的均方差分布圖和 Pearson 相關係數分布圖，且值均取四捨 五入至小數點後六位。

一、初始狀態機率向量之估計分析

表4-1-1 初始狀態機率向量估算之題數與人數不同組合的均方差 題數

人數 20 30 40

250 0.004456 0.004104 0.001257 500 0.002316 0.001216 0.001632 1000 0.003693 0.000607 0.000263

表4-1-2 初始狀態機率向量估算之題數與人數不同組合的 Pearson 相關係數 題數

人數 20 30 40

250 0.993249 0.993422 0.996159 500 0.998373 0.991027 0.992188 1000 0.994013 0.999449 0.999805

37

0.986 0.988 0.99 0.992 0.994 0.996 0.998 1 1.002

20 30 40

人數 250

人數 1000

題數類別 相

關 係 數

人數 500

由以上表 4-1-1 和表 4-1-2 的估算數據可得以下的分布圖：

（一）就固定人數不同題數而言

圖4-1-1 初始狀態機率向量估算之固定人數不同題數的均方差比較圖

圖4-1-2 初始狀態機率向量估算之固定人數不同題數的 Pearson 相關係數比較圖 由以上的圖4-1-1可看出在固定人數的情況下，題數對估算初始狀態機率向量 的影響並沒有絕對的關係，且由圖4-1-2可看出不同題數的估計值與真值的 Pearson 相關係數，兩者並無明顯的趨勢。

（二）就固定題數不同人數而言

0 0.001 0.002 0.003 0.004 0.005

20 30 40

人數 250 人數 500 人數 1000 均

方 差

題數類別

圖4-1-3 初始狀態機率向量估算之固定題數不同人數的均方差比較圖

250 500 1000

題數 20

( )

^,ˆ

MSE a a

0.059080 0.077716 0.045162

( )

^,ˆ

MSE b b

0.162360 0.074570 0.069608 均方差

( )

^,ˆ

MSE c c

0.006530 0.006462 0.003943

( )

^{, ˆ}

R a a

0.870194 0.994763 0.813054

( )

^{, ˆ}

R b b

0.950194 0.978259 0.990237 20

Pearson 相關係數

( )

^,ˆ

R c c

0.207695 0.140145 0.224307 由上表4-1-3題數為 20 題下人數不同之估算估算數據可看出以下的結果：

1、鑑別度參數：無法看出受試者增加對於鑑別度參數估計之影響。

2、難度參數：當題數固定為 20 題時，可看出受試者人數增加對於估算的精準度 有幫助，且在人數為 250 人和 500 人之間均差值的變化幅度較 大，只是其整體的均差值有較其他試題參數估計稍大，而其整體的 Pearson 相關係數有較其他試題參數估計偏高。

3、猜測度參數：在題數固定為 20 題時，可看出受試人數增加，其均差值隨之 變小，且在人數為 500 人和 1000 人之間均差值的變化幅度較 大，且其整體的均差值為試題參數估計中較小的，但其整體的 Pearson 相關係數有較其他試題參數估計偏低。

（二）就固定題數為 30 題下人數不同而言

表 4-1-4 題數為 30 題下人數不同之估算試題參數精準度 人數

題數 250 500 1000

( )

^,ˆ

MSE a a

0.070276 0.053925 0.035932

( )

^,ˆ

MSE b b

0.080219 0.059002 0.015988 30 均方差

( )

^,ˆ

MSE c c

0.005819 0.008459 0.006894

( )

^{, ˆ}

R a a

0.698394 0.751470 0.870547

( )

^{, ˆ}

R b b

0.948301 0.970202 0.994361 Pearson

相關係數

( )

^,ˆ

R c c

0.230918 0.166773 0.458922 由上表4-1-4題數為 30 題下人數不同之估算估算數據可看出以下的結果：

1、鑑別度參數：當題數固定為 30 題時，可看出受試者人數增加對於估算的精 準度有幫助，且其均差值的變化幅度都很大。

2、難度參數：當題數固定為 30 題時，可看出受試者人數增加對於估算的精準 度有幫助，且其均差值的變化幅度都很大，而其整體的 Pearson 相 關係數有較其他試題參數估計偏高。

3、猜測度參數：無法看出受試者增加對於猜測度參數估計之影響，而其均差值 為試題參數估計中較小的，但其整體的 Pearson 相關係數有較 其他試題參數估計偏低。

（三）就固定題數為 40 題下人數不同而言

表 4-1-5 題數為 40 題下人數不同之估算試題參數精準度 人數

題數 250 500 1000

( )

^,ˆ

MSE a a

0.053916 0.037854 0.036707

( )

^,ˆ

MSE b b

0.139490 0.103510 0.017790 均方差

( )

^,ˆ

MSE c c

0.006000 0.004711 0.008920

( )

^{, ˆ}

R a a

0.608539 0.750035 0.916374

( )

^{, ˆ}

R b b

0.932927 0.972065 0.992617 40

Pearson 相關係數

( )

^,ˆ

R c c

0.244574 0.291136 0.126440 由上表4-1-5題數為 40 題下人數不同之估算估算數據可看出以下的結果：

1、鑑別度參數：當題數固定為 40 題時，可看出受試者人數增加對於估算的精 41

準度有幫助，且在人數為 250 人和 500 人之間均差值的變化 幅度較大。

2、難度參數：當題數固定為 40 題時，可看出受試者人數增加對於估算的精準 度有幫助，且在人數為 500 人和 1000 人之間均差值的變化幅度 較大，而其整體的 Pearson 相關係數有較其他試題參數估計偏高。

3、猜測度參數：無法看出受試者增加對於猜測度參數估計之影響，而其均差值 為試題參數估計中較小的，但其整體的 Pearson 相關係數有較 其他試題參數估計偏低。

三、能力參數之估計分析

表4-1-6 受試者能力參數估算之題數與人數不同組合的均方差 題數

人數 20 30 40

250 0.354024 0.324849 0.201564 500 0.250447 0.242872 0.201368 1000 0.213924 0.200571 0.184618

表4-1-7 受試者能力參數估算之題數與人數不同組合的 Pearson 相關係數 題數

人數 20 30 40

250 0.833180 0.842651 0.894310 500 0.860165 0.861020 0.903495 1000 0.862512 0.917503 0.920167 由以上表 4-1-6 和表 4-1-7 的估算數據可得以下的分布圖：

（一）就固定人數不同題數而言

圖4-1-5 能力參數估算之固定人數不同題數的均方差比較圖 整體的均方差值有較偏大，且由圖4-1-6可看出整體而言題數越多 Pearson 相關係 數越高，即估算能力參數值與其真值相關度越高。

圖4-1-7 能力參數估算之固定題數不同人數的均方差比較圖

圖4-1-8 能力參數估算之固定題數不同人數的 Pearson 相關係數比較圖 由以上的圖4-1-7可看出在固定題數的情況下，整體而言人數越多估算能力參 數的均方差越小，且以在固定題數為 40 題之情況下的均方差為較小，只是其整 體的均方差值有較偏大，且由圖4-1-8可看出整體而言人數越多 Pearson 相關係數 越高，即估算能力參數值與其真值相關度越高。

250 500 1000

題數 20

250 500 1000

題數 20

250 0.016199 0.013864 0.012923 500 0.013404 0.010715 0.009801 1000 0.010393 0.007786 0.007595

表4-1-9 答對的機率矩陣估算之題數與人數不同組合的 Pearson 相關係數 題數

人數 20 30 40

250 0.883757 0.887282 0.911031 500 0.906903 0.919871 0.940126 1000 0.910316 0.940220 0.942325 由以上表 4-1-8 和表 4-1-9 的估算數據可得以下的分布圖：

由以上的圖4-1-9可看出在固定人數的情況下，整體而言題數越多估算答對的 機率矩陣之均方差越小，且以在固定人數為 1000 人之情況下的均方差為較小，

且由圖4-1-10可看出整體而言題數越多 Pearson 相關係數越高，即估算答對的機 率矩陣值與其真值相關度越高。

且由圖4-1-12可看出整體而言人數越多 Pearson 相關係數越高，即估算答對的機 率矩陣值與其真值相關度越高。

250 500 1000

題數 20

250 500 1000

題數 20

指示變數，則有

3

1 wtj 1

j

y

=

∑

= ^，但

^y

^{wt1 與}

^y

^wt2為不可觀察指示變數，

y

_wt3 為 可觀察指示變數，所以

y

^ˆ =[

y

^ˆ_wt1;

y

^ˆ_wt2]）的估計分析

表4-1-10 作答策略之指示變數估算之題數與人數不同組合的均方差 題數

人數 20 30 40

250 0.097363 0.099925 0.073485 500 0.028353 0.072172 0.100308 1000 0.092129 0.028822 0.046154

表4-1-11 作答策略之指示變數估算之題數與人數不同組合的 Pearson 相關係數 題數

人數 20 30 40

250 0.755293 0.749089 0.819695 500 0.936198 0.693360 0.748436 1000 0.770437 0.933500 0.890352 由以上表 4-1-10 和表 4-1-11 的估算數據可得以下的分布圖：

（一）就固定人數不同題數而言

圖4-1-13 作答策略之指示變數估算之固定人數不同題數的均方差比較圖

47

0 0.02 0.04 0.06 0.08 0.1 0.12

20 30 40

人數 250 人數 500 人數 1000

題數類別 均

方

差

圖4-1-14 作答策略之指示變數估算之固定人數不同題數的 Pearson 相關係數比較圖

250 500 1000

題數 20

250 500 1000

題數 20

在文檔中 廣義隱藏式馬可夫模型應用於不完全資料之二元計分IRT混合模式 (頁 43-55)