第四章 研究結果
第一節 模擬研究之探討
本文針對「非時間序列廣義隱藏式馬可夫模型」應用在一般任意選題 作答之非時間序列紙筆測驗分析,進行參數估計之蒙地卡羅模擬研究,並 後者提出實例說明,進而發展電腦應用程式藉以進行參數估計蒙地卡羅模 擬研究。該「非時間序列 GHMM」,每一時間點對應於一特定試題,不同之 時間點對應於不同之試題,且其每一時間點符號機率矩陣對應於特定試題 在不同之作答策略狀態之下選答特定選項之機率矩陣,簡言之,每一時間 點之單一符號機率值即為一試題選項之作答機率值,以具「認知作答」、「猜 測作答」及「遺漏未答」等三種作答策略狀態及有「選項 1」、「選項 2」、
「選項 3」、「選項 4」、「空白」等五種可觀測符號之 GHMM 模型之參數重估
「符號機率變動法」為例,遞迴估計之初始值之訂定:
π
=[ π π π
1, 2, 3]
,其中π3
= 空白之符號總數/(總人數*總試題數)
、π1= − (1
π3) *0.9
、π2= − (1
π3) *0.1
,At
π π π
⎡ ⎤⎢ ⎥
= ⎢ ⎥
⎢ ⎥⎣ ⎦
,其餘有關符號機率矩陣
B
t部分,其中每個選項最高出現的機率不大於 0.8,且五種符號可能出現的機率和等於一;將以上三種參數的初 始值代入廣義隱藏式馬可夫模型再進行廣義隱藏式馬可夫模型之遞迴估 計,即可估出與我們模擬出來的三種參數的真值誤差甚小可被接受的參數
參數重估,然後最後取其 50 次的絕對誤差值的平均值,得以減少離群值 的影響,並每種人數與題數的組合產生 5 種不同的學生作答情形,即有不 同的參數值,加以進行估計之。
一、 人數不同:
主要針對在相同題數下,人數對於變數 A、B、pi 誤差的影響。
1.A 變數之誤差情形
變數A在固定題數為30題時之誤差情形
0 0.02 0.04 0.06 0.08 0.1
1 2 3 4 5
實驗次數 絕
對 誤 差
N=200人 N=500人 N=1000人
圖 4-1 變數 A 在固定題數為 30 題時之誤差情形
變數A在固定題數為50題時之誤差情形
0 0.02 0.04 0.06 0.08
1 2 3 4 5
實驗次數 絕
對 誤 差
N=200人 N=500人 N=1000人
圖 4-2 變數 A 在固定題數為 50 題時之誤差情形
由圖 4-1,圖 4-2 可知,在人數為 200 人時,誤差曲線呈現不規則跳 動,當人數為 500 人時,曲線的波動漸趨穩定,當人數到達 1000 人時,
可明顯發現整個誤差曲線相當穩定,並且可控制在合理的範圍內。因此,
人數的增加對於變數 A 誤差的減少,有顯著的影響,若之後相關之研究若 要降低 A 誤差,可以用增加人數來達成目的。
2.B 變數之誤差情形
參數B在固定試題數為30下之誤差情形
0 0.02 0.04 0.06 0.08
1 2 3 4 5
實驗次數 絕
對 誤 差
N=200人 N=500人 N=1000人
圖 4-3 變數 B 在固定題數為 30 題時之誤差情形
參數B在固定試題為50題之誤差情形
0 0.02 0.04 0.06 0.08
1 2 3 4 5
實驗次數 絕
對 誤 差
N=200人 N=500人 N=1000人
由圖 4-3,圖 4-4 可知,對於 B 變數而言,由於變數 B 本身為一變動 之變數,人數的增加對於誤差情形只有稍微的改善,並無相當明顯之改 進。然而,當人數為 1000 人時,誤差也較 200 人、500 人來的穩定。因此,
人數的增加,對於誤差的減少雖無顯著的成效,但是對於誤差的穩定水 平,還是有所增進。
3.pi 變數之誤差情形
pi變數在固定題數為30題之誤差情形
0 0.02 0.04 0.06 0.08
1 2 3 4 5
實驗次數 絕
對 誤 差
N=200人 N=500人 N=1000人
圖 4-5 變數 pi 在固定題數為 30 題時之誤差情形
pi變數在固定題數為50題之誤差情形
0 0.02 0.04 0.06 0.08
1 2 3 4 5
實驗次數 絕
對 誤 差
N=200人 N=500人 N=1000人
圖 4-6 變數 pi 在固定題數為 50 題時之誤差情形
由圖 4-5,圖 4-6 可知,在人數為 200 人時,誤差曲線呈現不規則跳 動,當人數為 500 人時,曲線的波動漸趨穩定,當人數到達 1000 人時,
可明顯發現整個誤差曲線相當穩定,並且可控制在合理的範圍內。因此,
人數的增加對於變數 pi 誤差的減少,有顯著的影響,若之後相關之研究 若要降低 pi 誤差,可以用增加人數來達成目的。
二、 試題數的不同
主要針對在相同人數下,試題數對於變數 A、B、pi 誤差的影響。
1.A 變數之誤差情形
變數A在固定人數為200之誤差情形
0 0.02 0.04 0.06 0.08 0.1
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-7 變數 A 在固定人數為 200 人之誤差情形
變數A在固定人數為500人之誤差情形
0 0.02 0.04 0.06
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-8 變數 A 在固定人數為 500 人之誤差情形
變數A在固定人數為1000人之誤差情形
0 0.01 0.02 0.03 0.04 0.05
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T-50題
圖 4-9 變數 A 在固定人數為 1000 人之誤差情形
由圖 4-7、圖 4-8、圖 4-9 可知,在試題數為 30 題時,絕對誤差曲線 呈現不規則跳動,雖然偶而有較 50 題小的情況發生。但是總體而言,試 題數的增加對於 A 變數誤差的影響,有減少且較平穩的趨勢,尤其是當人 數固定為 1000 人時,絕對誤差以到達相當穩定的情況。因此,試題的增 加對於變數 A 誤差的減少,有所影響,若之後相關之研究若要在固定人數 下降低 A 誤差,可以用增加試題數來達成目的。
2.變數 B 之誤差情形
變 數 B在 固 定 人 數 為 200人 之 誤 差 情 形
0 0.02 0.04 0.06 0.08
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-10 變數 B 在固定人數為 200 人之誤差情形
變數B在固定人數為500人之誤差情形
0.04 0.05 0.06 0.07
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-11 變數 B 在固定人數為 500 人之誤差情形
變數B在固定人數為1000人之誤差情形
0.045 0.05 0.055 0.06
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-12 變數 B 在固定人數為 1000 人之誤差情形
由圖 4-10、圖 4-11、圖 4-12 可知,對於 B 變數而言,由於變數 B 本 身為一變動之變數,試題數的增加對於誤差情形只有稍微的改善,並無相 當明顯之成效,在相當多的情形中,試題數為 50 題與試題數為 30 題有著 相通的誤差。然而,試題數的增加對於誤差的減少雖無顯著的成效,但是 對於誤差的穩定,還是有所增進。
3.變數 pi 之誤差情形
變數pi在固定人數為200人之誤差情形
0 0.02 0.04 0.06 0.08
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-13 變數 pi 在固定人數為 200 人之誤差情形
變數pi在固定人數為500人之誤差情形
0 0.02 0.04 0.06
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-14 變數 pi 在固定人數為 500 人之誤差情形
變數pi在固定人數為1000人時之誤差情形
0 0.01 0.02 0.03 0.04
1 2 3 4 5
實驗次數 絕
對 誤 差
T=30題 T=50題
圖 4-15 變數 pi 在固定人數為 1000 人之誤差情形
由圖 4-13、圖 4-14、圖 4-15 可知,在人數固定為 200 人且試題數為 30 題時,pi 之絕對誤差曲線呈現不規則跳動,有時也有較 50 題小的情況 發生,造成如此結果的主要是因人數少而使得樣本不夠充分地具有代表 性,而使得誤差難以穩定下來。但是隨著人數的增加為 500 抑或 1000 人
其是當人數固定為 1000 人時,絕對誤差以到達相當穩定的情況。因此,
試題的增加對於變數 pi 誤差的減少,乃有所影響,若之後相關研究若要 在固定人數下降低 pi 誤差,可以用增加試題數來達成目的。
三、 總體參數估計的誤差比較 表 4-1 總體參數估計的誤差之比較表
人數=200 題數=30
人數=200 題數=50
人數=500 題數=30
人數=500 題數=50
人 數
=1000 題數=30
人 數
=1000 題數=50 Error_pi 0.054182 0.055106 0.049277 0.026540 0.022547 0.022122 Error_A 0.036601 0.022817 0.036367 0.049333 0.031287 0.019252 第 一
試
Error_B 0.056069 0.052858 0.059154 0.060831 0.054124 0.055545 Error_pi 0.074017 0.051939 0.049333 0.026540 0.032541 0.018652 Error_A 0.081300 0.045009 0.036532 0.039333 0.022543 0.022365 第 二
試
Error_B 0.053464 0.052111 0.056419 0.060831 0.050026 0.050214 Error_pi 0.065229 0.071568 0.050002 0.036666 0.022248 0.020452 Error_A 0.046577 0.054260 0.041198 0.025330 0.019653 0.033124 第 三
試
Error_B 0.054293 0.059892 0.052248 0.052221 0.052579 0.050114 Error_pi 0.045549 0.065548 0.048997 0.023333 0.023569 0.019542 Error_A 0.064770 0.055621 0.037411 0.013156 0.027458 0.022349 第 四
試
Error_B 0.055171 0.057983 0.052115 0.053943 0.051288 0.051237 Error_pi 0.045376 0.055575 0.044129 0.034433 0.030014 0.022488 Error_A 0.089296 0.065413 0.039856 0.023946 0.044786 0.022326 第 五
試
Error_B 0.061893 0.051178 0.056459 0.054934 0.050125 0.052248
圖 4-16 針對觀察 pi 之絕對誤差情形
圖 4-17
針對觀察 A 之絕對誤差情形圖 4-18 針對觀察 B 之絕對誤差情形
0.04
0.05 0.06 0.07
1 2 3 4 5
次序
N=200,T=30 N=200,T=50 N=500,T=30 N=200,T=50 N=1000,T=30 N=1000,T=50 絕
對 誤 差 值
0 0.02 0.04 0.06 0.08 0.1
1 2 3 4 5
次序
N=200,T=30 N=200,T=50 N=500,T=30 N=500,T=50 N=1000,T=30 N=1000,T=50 絕
對 誤 差 值
0 0.02 0.04 0.06 0.08
1 2 3 4 5
次序
N=200,T=30 N=200,T=50 N=500,T=30 N=500,T=50 N=1000,T=30 N=1000,T=50 絕
對
誤
差
值
由圖 4-16、圖 4-17、圖 4-18 可知,針對觀察 pi 之絕對誤差情形下,
其誤差以人數為 1000 人且題數為 50 題為最佳;在針對觀察 A 之絕對誤差 情形下,其誤差則可考慮採用人數為 500 人且題數為 50 題、人數為 1000 人且題數為 30 題、人數為 1000 人且題數為 50 題這三種組合為佳;在針 對觀察 B 之絕對誤差情形下,其誤差以人數為 1000 人為佳,即人數為 1000 人且題數為 30 題、人數為 1000 人且題數為 50 題這兩種組合為佳。