第四章 結果
第四節 不同分組方法對於分組 GEE 估計結果的影響
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
散佈圖,觀察兩種方法估計結果的關聯性,結果如下圖:
圖 4-3 中藍色線為迴歸直線,紅色線為y = x之對角線,從圖中可看出各區間 下兩種方法的估計值有明顯的正相關,且相關係數皆在 0.93 以上,另外,圖上的 點越靠近紅色線代表兩種方法的估計值越接近,當𝜃𝜃越大,估計的點大多落在對 角線(紅色線)下方,表示此時 SCORIGHT 的估計值較 GEE 小,而當𝜃𝜃越小,估 計的點則大多落在對角線(紅色線)上方,表示此時 SCORIGHT 的估計值較 GEE 大。綜合以上所述,使用兩種方法估計,受試者間的相對關係(排名)是非常接近 的,而 SCORIGHT 的估計值與 GEE 相比,有往𝜃𝜃 = 0的位置集中的趨勢。另外 值得注意的是,在第三章中提到進行 GEE 估計時為了處理極端和不收斂的估計 值,事先設定了𝜃𝜃�上下界,因此會出現許多估計值剛好落在 2.5 和-2.5 的情形。。
第四節 不同分組方法對於分組 GEE 估計結果的影響
在前一節中針對了 9 個定點的𝜃𝜃值進行作答結果的模擬,但在實際的考試中,
受試者的能力分布會是接近連續的,因此本節探討了在考生能力值𝜃𝜃呈常態分配 圖 4- 3、不同能力值下使用 GEE 和 SCORIGHT 估計值之散布圖
25
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
下,使用分組 GEE 與多階段分組 GEE 來改善工作相關矩陣的估計,其對於估計 能力值𝜃𝜃的影響,並以下述情境進行電腦模擬:
考試共有 60 道題目,以 5 題為一題組,題組結構設定為 AR1,題目間相關係數 為 0.3,從標準常態分配產生 10700 個亂數當作考生之真實能力參數,但因為電 腦模擬的限制,必須將絕對值大於 2 的值刪除,並控制受試者在 10000 人,方便 比較多次實驗的結果。
在分組 GEE 方面,首先以假設題目間互相獨立的工作相關矩陣(即使用對角 矩陣),和不分組,使用全體作答結果作為工作相關矩陣的估計結果作為對照組;
在分組 GEE 方面,則比較了將受試者分為 5 組(每組 2000 人)、10 組(每組 1000 人)、20 組(每組 500 人)及 40 組(每組 250 人)對於估計效果的影響,其中又依分 組方式分為兩種情形:
1.以真實值分組:
將受試者的真實能力參數𝜃𝜃,依大小排序後分組估計工作相關矩陣,再進行 GEE 的估計,舉例來說,若將受試者分為 5 組,則會以組內 2000 人的作答結果 之相關係數矩陣,作為 GEE 的工作相關矩陣。
2.以估計值分組:
由於在實際情況中,我們無法得到受試者的真實能力參數,因此必須以𝜃𝜃�取 代𝜃𝜃作為分組依據,作法為將全體受試者進行一次不分組的 GEE 估計後得到估計 的能力值𝜃𝜃�,在將估計的能力值依大小排序後分組估計工作相關矩陣。
26
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
上述之模擬及估計流程將重複 20 次,並將 20 次的結果取平均,以檢驗估計 結果的穩定性,並將結果以折線圖及長條圖呈現,結果如下:
圖 4- 5、不同分組 GEE 方法,估計結果的平均 MSE 比較
圖 4-4 以 1000 位受試者為一個區間,呈現各個方法在不同能力區間下的估 計結果,在水平軸上的值為該區間下受試者能力值之中位數,從圖中可看出不同 的分組方法,有相同的估計趨勢,即改變分組方法會造成整體的 MSE 下降或上 升。圖 4-5 顯示在以真實能力參數𝜃𝜃分組的情況下,將受試者分為越多組,其 MSE 也會隨之下降,這反映了在分組階段,如果能將受試者分的越好,即將能力值接 圖 4- 4、不同分組 GEE 方法在各能力區間下,估計結果的 MSE
0.2784
0.2678
0.2669 0.2669 0.2668 0.2665 0.2676 0.2671 0.2669 0.2684
0.2600 0.2620 0.2640 0.2660 0.2680 0.2700 0.2720 0.2740 0.2760 0.2780 0.2800
MSE
27
‧
-1.48 -0.99 -0.65 -0.38 -0.14 0.11 0.36 0.64 0.97 1.46
不分組 500_1st 500_2nd 500_3rd
1000_1st 1000_2nd 1000_3rd
圖 4- 7、多階段分組 GEE 方法在各能力區間下,各階段估計結果的 MSE
不分組 500_1st 500_2nd 500_3rd 1000_1st 1000_2nd 1000_3rd
MSE
圖 4- 7、不同的多階段分組 GEE 方法,各階段估計結果的平均 MSE 比較 圖 4- 6、多階段分組 GEE 方法在各能力區間下,各階段估計結果的 MSE
28
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-6 以 1000 位受試者為一個區間,呈現各個方法在不同能力區間下的估 計結果,在水平軸上的值為該區間下受試者能力值之中位數,從圖中可看出每次 迭代對於各能力區間的 MSE 有一致的影響。圖 4-7 中符號前面的數字代表估計 相關矩陣時所用的人數,後面的數字代表迭代階段數,例如 500_2nd 代表依據 𝜃𝜃�(1),以鄰近 500 人的作答結果估計工作相關矩陣,進行第 2 次迭代的結果;
1000_3rd 則代表依據𝜃𝜃�(2),以鄰近 1000 人的作答結果估計工作相關矩陣,進行 第 3 次迭代的結果。由圖 4-7 中可看出,使用鄰近 500 人與鄰近 1000 人兩種分 組人數,在進行第 2 次迭代時,其 MSE 皆較第一次有明顯的降低,但進行第 3 次迭代的 MSE 卻沒有再繼續降低,反而有些微的增加,顯示多階段分組 GEE 的 估計效果的並不會隨著迭代次數增加而持續改善。