第四章 結果與討論
第一節 模擬資料個體能力值估計之效益
本節針對個體能力估計值於 BIB、Complete 方法的設計下,探討不同參數估 計方法之結果,參數估計方法分為:可能值方法(PV)、加入輔助訊息之期望後驗 估計法(EAP_AV)、期望後驗估計法(EAP)三種,本節將其估計誤差之 RMSE 以圖 表表示。
壹、BIB 等化連結設計結果比較 一、兩背景變項間整體比較
BIB 等化連結設計之估計結果,如圖 4-1,詳細結果如附錄一。由圖 4-1 可知,三種參數估計方法在設定有差異之背景變項 B 中,RMSE 值由小至大依 序為 EAP_AV(0.0598)、EAP(0.0648)、PV(0.0762),而在設定無差異之背景變
項 A 中 , RMSE 值 由 小 至 大 依 序 為 EAP_AV(0.0598) 、 EAP(0.0693) 、 PV(0.0761),因此可發現在個體能力值之帄均數估算中,有納入背景變項為輔 助訊息之 EAP_AV 方法優於未納入背景變項為輔助訊息之 EAP 方法,而 PV 方法之 RMSE 值最高,代表較不適合用以估計個體能力帄均值。
而探討納入背景變項之能力值有無差異對參數估計方法之影響,可發現 EAP 方法其在設定能力有差異時,與設定無差異之變項估計結果有較大的差 異,而 EAP_AV 和 PV 方法則有相近的結果。
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08
RMSE
EAP EAP_AV PV
B背景變項(設定有差異) A背景變項(設定無差異)
圖 4-1 個體能力值之帄均數於 BIB 等化連結設計之 RMSE 二、兩背景變項內次群體比較
(一)背景變項 B(設定能力值有差異)之次群體比較
背景變項 B(設定能力值有差異)之次群體比較,如圖 4-2,詳細結果如附 錄一。由圖 4-2 可知,三種參數估計方法帄均數在 B1變項(設定為低能力)的 RMSE 由小至大依序為 EAP_AV(0.0640)、EAP(0.0795)、PV(0.0806),而在 B2 變 項 ( 設 定 為 高 能 力 ) 的 RMSE 由 小 至 大 依 序 為 EAP_AV(0.0556) 、 EAP(0.0590)、PV(0.0716),因此背景變項 B(設定能力值有差異)間,B1變項
(設定為低能力)次群體之個體能力值於各參數估計方法能力帄均值之 RMSE 皆高於 B2變項(設定為高能力)次群體之個體能力帄均值,可推知各參數估計
方法推估在 B2變項(設定為高能力)之個體,較 B1變項(設定為低能力)之
EAP EAP_AV PV
估計方法
RMSE 由小至大依序為 EAP_AV(0.0596)、EAP(0.0646)、PV(0.0759),因此在 假定在背景變項 A(設定能力值無差異)中,兩變項(A1、A2)間使用相同參數
EAP EAP_AV PV
估計方法
A1 A2
圖 4-3 個體能力於背景變項 A(設定能力值無差異)之與 BIB 設計之 RMSE
貳、Complete 設計結果比較 一、兩背景變項間整體比較
Complete 連結設計之估計結果,如圖 4-4,詳細結果如附錄一。由圖 4-4 可知,三種參數估計方法在設定有差異之背景變項 B 中,RMSE 值由小至大依 序為 EAP_AV(0.0289)、EAP(0.0387)、PV(0.0408),而在設定無差異之背景變 項 A 中,RMSE 值由小至大依序為 EAP_AV(0.0290)、EAP(0.0387)、PV(0.0407),
因此可發現在個體能力值之帄均數估算中,有納入背景變項為輔助訊息之 E AP_AV 方法優於未納入背景變項為輔助訊息之 EAP 方法,而 PV 方法之 RMSE 值最高,代表較不適合用以估計個體能力帄均值。
而探討納入背景變項之能力值有無差異對參數估計方法之影響,可發現在 Complete 設計中三種參數估計方法在設定有差異、無差異之背景變項並無明顯 影響。
0.00 0.01 0.02 0.03 0.04 0.05
RMSE
EAP EAP_AV PV
B背景變項(設定有差異) A背景變項(設定無差異)
圖 4-4 個體能力值之帄均數於 Complete 連結設計之 RMSE 二、兩背景變項內次群體比較
(一)背景變項 B(設定能力值有差異)之次群體比較
在背景變項 B(設定能力值有差異)次群體內之估計結果,如圖 4-5,詳細 結果如附錄一。由圖 4-5 可知,三種參數估計方法帄均數在 B1(設定低能力)
變項,RMSE 由小至大依序為 EAP_AV(0.0308)、EAP(0.0386)、PV(0.0424),
而在 B2(設定高能力)變項 RMSE 由小至大依序為 EAP_AV(0.0270)、
EAP(0.0387)、PV(0.0391),因此除未納背景變項之 EAP 方法 B1、B2兩變項差 異不大外,有納入背景變項之 EAP_AV、PV 方法皆能明顯區分兩次群體中個
體能力值,且仍和 BIB 設計方法一致,皆為 B2(設定高能力)變項優於在 B1
(設定低能力)變項。
0 0.01 0.02 0.03 0.04 0.05
RMSE
EAP EAP_AV PV
估計方法
B1 B2
圖 4-5 個體能力於背景變項 B(設定能力值有差異)之與 Complete 設計之 RMSE
(二)背景變項 A(設定能力值無差異)之次群體比較
在背景變項 A(設定能力值無差異)之次群體之估計結果,如圖 4-6,詳 細結果如附錄一。由圖 4-6 可知,三種參數估計方法帄均數在 A1變項時,RMSE
由小至大依序為 EAP_AV(0.0290)、EAP(0.0356)、PV(0.0407),而在 A2變項時,
RMSE 由小至大依序為 EAP_AV(0.0289)、PV(0.0407)、EAP(0.0417),因此從 上述數據可知,PV 方法之 RMSE 在 A1、A2變項皆高於 EAP_AV 方法,代表 其估計個體帄均能力值時較不適合,而在假定沒有差異的學校變項中,兩變項 間使用有納入背景變項之 EAP_AV 和 PV 參數估計方法時 RMSE 幾乎無差 異,但未納入背景變項之 EAP 方法卻有所差異(兩變項差 0.0061),再與設定有 差異之 A 變項一同探討,發現 Complete 設計中 EAP 方法在背景變項有差異時 估計出兩次群體間個體能力無差異,但在背景變項無差異時估計出兩次群體間 個體能力有差異,可推知未納入背景變項之 EAP 方法其估計結果較不穩定。
0 0.01 0.02 0.03 0.04 0.05
RMSE
EAP EAP_AV PV
估計方法
A1 A2
圖 4-6 個體能力於背景變項 A(設定能力值無差異)之與 Complete 設計之 RMSE 參、小結
茲從圖 4-1 至圖 4-6 可歸納出以下結果:
一、 在 Complete 和 BIB 等化連結設計中,結合輔助訊息之 EAP_AV 方法皆優 於 EAP 方法,而 EAP 方法亦皆優於可能值(PV)方法,故 PV 方法較不適
合用以推估個體能力值。
二、Complete 等化連結設計在不同參數估計法進行個體能力值估計皆優於 BIB 等化連結設計。
三、背景變項有、無差異對於參數估計影響之整體探討方面,僅在 BIB 等化連 結設計中 EAP 估計法上有所差異,其餘在其它變項上並無影響。
四、在設定有差異之 B 變項中,B2(高能力)次群體之個體能力值的估計效益會 優於 B1(低能力)次群體之個體能力值。
五、在設定無差異之 A 變項中,結合輔助訊息之 EAP_AV 與 PV 方法對於能力 值估計之 RMSE 在 BIB 設計和 Complete 設計中幾乎無差異。
六、在兩變項次群體中比較,EAP 方法在 Complete 設計情境中設定有差異之 B變項呈現兩次群體中個體能力無差異,反之於設定無差異之 A 變項中 卻呈現有差異,故 EAP 方法其估計結果較不穩定。
七、相關研究之比較
綜合本節之數據可知,納入輔助訊息之 EAP_AV 方法優於 EAP 方法,但 PV 方法在個體能力值之估計時與傳統點估計方法相比,PV 方法誤差值較 大,故較不適合用以個體能力值之估算,其結果與王敏嫻(2011)研究結果一 致。