• 沒有找到結果。

模擬資料群體能力值估計之效益

第四章 結果與討論

第二節 模擬資料群體能力值估計之效益

第二節 模擬資料群體能力值估計之效益

本節針對群體能力估計值於 BIB、Complete 方法的設計下,探討不同參數估 計方法之結果,群體能力值之參數又分為群體能力帄均值與群體能力標準差,參 數 估 計 方 法 分 為 : 可 能 值 方 法 ( PV ) 、 加 入 輔 助 訊 息 之 期 望 後 驗 估 計 法

(EAP_AV)、期望後驗估計法(EAP)三種,將其估計誤差 RMSE 以圖表表示,

詳細研究結果於附錄二呈現。

壹、BIB 等化連結設計結果比較 一、兩背景變項間整體比較 (一)群體能力帄均數

BIB 等化連結設計之群體能力帄均數估計結果,如圖 4-7,詳細結果如 附錄二。由圖 4-7 可知,三種參數估計方法在設定有差異之背景變項 B 中,

RMSE 值由小至大依序為 EAP_AV(0.0486)、PV(0.0507)、EAP(0.0964),而 在設定無差異之背景變項 A 中,RMSE 值由小至大依序為 PV(0.0403)、

EAP_AV(0.0486)、EAP(0.0965),因此可發現在群體能力值之帄均數估算中,

有納入背景變項為輔助訊息之 EAP_AV 與 PV 方法有相近的估計效益,且明顯 優於未納入背景變項為輔助訊息之 EAP 方法。

而探討變項有無差異對於估計效益之影響,可發現在設定無差異之 A 背景

0.00

EAP EAP_AV PV

B背景變項(設定有差異) 值由小至大依序為 EAP_AV(0.0346)、PV(0.0392)、EAP(0.1189),而在設定無

差異之背景變項 A 中,RMSE 值由小至大依序為 EAP (0.0337)、PV(0.0392)、

EAP_AV(0.1189),因此可發現在群體能力值之標準差估算中,EAP 與 PV 方法 有相近的估計效益,且明顯優於 EAP_AV 方法。

EAP EAP_AV PV

B背景變項(設定有差異) A背景變項(設定無差異)

圖 4-8 群體能力值之標準差於 BIB 等化連結設計之 RMSE

二、兩背景變項內次群體比較

(一)背景變項 B(設定能力值有差異)之次群體比較 1.帄均數部份

背景變項 B(設定能力值有差異)之次群體能力帄均數估計結果,如圖 4-9,

詳細結果如附錄二。由圖 4-9 可知,三種參數估計方法帄均數在 B1(設定為低 能力)變項,RMSE 由小至大依序為 EAP_AV(0.0726)、PV(0.0738)、

EAP(0.1138),而在 B2(設定為低能力)變項 RMSE 由小至大依序為

EAP_AV(0.0246)、PV(0.0275)、EAP(0.0790);可發現 B1(設定為低能力)變 項次群體能力帄均數之 RMSE 在三種參數估計法中皆高於 B2(設定為高能力)

次群體,可推知各參數估計方法推估在 B2(設定為高能力)之次群體,較 B1 (設定為低能力)之次群體估計更為準確,此結果和估計個體能力值時一致。

0 0.02 0.04 0.06 0.08 0.1 0.12

RMSE

EAP EAP_AV PV

估計方法

B1 B2

圖 4-9 群體能力帄均值於背景變項 B(設定有差異)與 BIB 設計之 RMSE 2.標準差部份

背景變項 B(設定能力值有差異)之次群體標準差估計結果,如圖 4-10,

詳細結果如附錄二。由圖 4-10 可知,三種參數估計方法帄均數在 B1(設定為 低能力)變項 RMSE 由小至大依序為 PV(0.0265)、EAP(0.0275) 、

EAP_AV(0.1140),而在 B2(設定為高能力)變項 RMSE 由小至大依序為 EAP(0.0416)、PV(0.0519)、EAP_AV(0.1238)。此外,B2(設定為高能力)變項

次群體能力標準差之 RMSE 在三種參數估計法中皆高於 B1(設定為低能力)

變項次群體,可推知各參數估計方法估計 B1(設定為低能力)變項次群體標準 差,較 B2(設定為高能力)變項次群體估計更為準確。

0 0.02 0.04 0.06 0.08 0.1 0.12 0.14

RMSE

EAP EAP_AV PV 估計方法

B1 B2

圖 4-10 群體能力標準差於背景變項 B(設定有差異)與 BIB 設計之 RMSE (二)背景變項 A(設定能力值無差異)之次群體比較

1.帄均數部份

背景變項 A(設定能力值無差異)之次群體能力帄均數估計結果,如圖 4-11,

詳細結果如附錄二。由圖 4-11 可知,三種參數估計方法能力帄均數在 A1變項 RMSE 由小至大依序為 PV(0.0413)、EAP_AV(0.0487)、EAP(0.978),在 A2變 項 RMSE 由小至大依序為 PV(0.0393)、EAP_AV(0.0485)、EAP(0.0951);由上 可知,在假定帄均數無差異的學校變項中,A1、A2兩變項在三種參數估計方法 之 RMSE 差異不大,對照背景變項 B(設定能力值有差異)RMSE 之差異,可 知納入背景變項為輔助訊息確會影響參數估計帄均數之結果。

0 0.02 0.04 0.06 0.08 0.1

RMSE

EAP EAP_AV PV

估計方法

A1 A2

圖 4-11 群體能力帄均數於背景變項 A(設定無差異)與 BIB 設計之 RMSE 2.標準差部份

背景變項 A(設定能力值無差異)之次群體能力標準差估計結果,如圖 4-12,

詳細結果如附錄二。由圖 4-12 可知,三種參數估計方法帄均數在 A1變項 RMSE 由小至大依序為 EAP(0.0327)、PV(0.0391)、EAP_AV(0.1142),而在 A2 變項 RMSE 由小至大依序為 EAP(0.0346)、PV(0.0393)、EAP_AV(0.1196)。

此外,在假定帄均數無差異的 A 變項中,A1、A2兩變項在三種參數估計 方法中 RMSE 差異不大。

0 0 . 0 2 0 . 0 4 0 . 0 6 0 . 0 8 0 . 1 0 . 1 2

R M S E

E A P E A P _ A V PV 估計方法

A1 A2

圖 4-12 群體能力標準差於背景變項 A(設定無差異)與 BIB 設計之 RMSE

貳、Complete 設計結果比較 一、兩背景變項間整體比較 (一)群體能力帄均數

Complete 等化連結設計之群體能力帄均數估計結果,如圖 4-13,詳細結果 如附錄二。由圖 4-13 可知,三種參數估計方法在設定有差異之背景變項 B 中,

RMSE 值由小至大依序為 EAP_AV(0.0205)、PV(0.0229)、EAP(0.0423),而在設 定無差異之背景變項 A 中,RMSE 值由小至大依序為 EAP_AV(0.0205)、

PV(0.0229)、EAP(0.0423),因此可發現在群體能力值之帄均數估算中,有納入 背景變項為輔助訊息之 EAP_AV 與 PV 方法有相近的估計效益,且明顯優於未 納入背景變項為輔助訊息之 EAP 方法。

此外,可知變項有無差異對於三種參數估計於標準差方面,其估計效益並 無明顯的影響。

0.00 0.01 0.01 0.02 0.02 0.03 0.03 0.04 0.04 0.05

RMSE

EAP EAP_AV PV

B背景變項(設定有差異) A背景變項(設定無差異)

圖 4-13 群體能力值之帄均數於 Complete 等化連結設計之 RMSE

(二) 群體能力標準差

Complete 等化連結設計之群體能力標準差估計結果,如圖 4-14,詳細結果 如附錄二。由圖 4-14 可知,三種參數估計方法在設定有差異之背景變項 B 中,

RMSE 值由小至大依序為 PV(0.0144)、EAP(0.0160)、EAP_AV(0.0508),而在設 定無差異之背景變項 A 中,RMSE 值由小至大依序為 EAP(0.0170)、PV(0.0198)、

EAP_AV(0.0523),因此可發現在群體能力值之標準差估算中,PV 與 EAP 方法 有相近的估計效益,且明顯優於 EAP_AV 方法。

而探討變項有無差異對於估計效益之影響,可發現在設定無差異之 A 背景 變項中,在三種參數估計方法中皆呈現 RMSE 值較高於設定有差異之 B 背景變 項,亦即估計效益較差,其中以 PV 方法估計最明顯。

0.00 0.01 0.02 0.03 0.04 0.05 0.06

RMSE

EAP EAP_AV PV

B背景變項(設定有差異) A背景變項(設定無差異)

圖 4-14 群體能力值之標準差於 Complete 等化連結設計之 RMSE 二、兩背景變項內次群體比較

(一)背景變項 B(設定能力值有差異)之次群體比較 1.帄均數部份

背景變項 B(設定能力值有差異)變項之次群體能力帄均數估計結果,如 圖 4-15,詳細結果如附錄二。由圖 4-15 可知,三種參數估計方法帄均數在 B1 變項(設定為低能力),RMSE 由小至大依序為 EAP_AV(0.0267)、PV(0.0295)、

EAP(0.0478) , 而 在 B2 變項(設 定為高 能力)之 RMSE 由小至大依序為 EAP_AV(0.0143)、PV(0.0162)、EAP(0.0367),因此,B1變項(設定為低能力)

之次群體能力帄均數其 RMSE 值皆高於 B2變項(設定為高能力)之次群體,

其結果和 BIB 設計相同。

0

EAP EAP_AV PV

估計方法 項(設定為低能力)之 RMSE 由小至大依序為 PV(0.0074)、EAP(0.0135)、

EAP_AV(0.0473),而在 B2 變項(設定為高能力)之 RMSE 由小至大依序為 EAP(0.0184)、PV(0.0214)、EAP_AV(0.0543),而 B2變項(設定為高能力)次群 體能力標準差之 RMSE 在三種參數估計法中皆高於 B1變項(設定為低能力)次

EAP EAP_AV PV

估計方法

B1 B2

圖 4-16 群體能力標準差於背景變項 B(設定有差異)與 Complete 設計之 RMSE

(二)背景變項 A(設定能力值無差異)之次群體比較 1.帄均數部份

背景變項 A(設定能力值無差異)之次群體帄均數比較,如圖 4-17,詳細 結果如附錄二。由圖 4-17 可知,三種參數估計方法能力帄均數在 A1 變項之 RMSE 由小至大依序為 EAP_AV(0.0194)、PV(0.0222)、EAP(0.421),在 A2變 項之 RMSE 由小至大依序為 EAP_AV (0.0216)、PV (0.0235)、EAP(0.0424);

因此,在假定帄均數無差異的學校變項中,A1、A2兩變項在三種參數估計方法 之 RMSE 差異不大,而 Complete 設計中各種參數估計方法其估計效益皆優於 BIB 設計。

0 0.01 0.02 0.03 0.04 0.05

RMSE

EAP EAP_AV PV

估計方法

A1 A2

圖 4-17 群體能力帄均數於背景變項 A(設定無差異)與 Complete 設計之 RMSE 2.標準差部份

背景變項 A(設定能力值無差異)之次群體標準差比較,如圖 4-18,詳細結

果如附錄二。由圖 4-18 可知,三種參數估計方法帄均數在 A1變項之 RMSE 由 小至大依序為 EAP(0.0156)、PV(0.0181)、EAP_AV(0.0503),而在 A2 變項之 RMSE 由小至大依序為 EAP(0.0184)、PV(0.0214)、EAP_AV(0.0543)。次群體 間估計結果和 BIB 設計一致, EAP 方法和 PV 方法相近,但明顯優於 EAP_AV 方法。

0 0.01 0.02 0.03 0.04 0.05 0.06

RMSE

EAP EAP_AV PV

估計方法

A1 A2

圖 4-18 群體能力標準差於背景變項 A(設定無差異)與 Complete 設計之 RMSE 參、小結

茲從圖 4-3 至圖 4-6 來進行背景變項之結果比較,本研究實驗設計中將有差 異之背景變項 B 之高、低次群體帄均能力差設定為 1.414,學校 A、B 的帄均能 力差為 0.000,透過兩背景變項不同帄均能力值差異,暸解群體差異大小是否影 響估計結果,歸納結果如下:

一、群體能力帄均值

(一)在 Complete 和 BIB 等化連結設計中,參數估計方法分別納入兩種不同背 景變項為輔助訊息,Complete 設計之 RMSE 值皆小於 BIB 設計。

(二)不同參數估計方法方面,有納入背景變項之 EAP_AV 方法和 PV 方法估計 結果相近,且遠優於未納入背景變項之 EAP 方法,故納入背景變項之參 數估計方法在群體能力帄均數估計時,會優於未納入背景變項之參數估計 方法。

(三)在探討背景變項有差異與否對於估計效益之影響,可知 PV 方法在 BIB 等 化連結設計中,在設定無差異的背景變項中有較佳的估計效益。

(四)次群體探討部份,不同參數估計方法在 B1 變項(設定低能力)次群體中 之 RMSE 值皆高於 B2(設定高能力)次群體,故可推知三種參數估計方 法在高能力次群體時帄均數方面估計較為精確。

二、群體能力標準差

(一)在 Complete 和 BIB 等化連結設計中,參數估計方法分別納入兩種不同背 景變項為輔助訊息,Complete 設計之 RMSE 值皆小於 BIB 設計。

(二)不同參數估計方法方面,EAP 方法和 PV 方法估計結果相近,且遠優於 EAP_AV 方法,故納入背景變項與否在群體能力標準差之估計並無一致性 結果。

(三)在探討背景變項有差異與否對於估計效益之影響,三種參數估計方法中皆 呈現 RMSE 值較高於設定有差異之 B 背景變項,亦即估計效益較差,其 中以 PV 方法估計最明顯。

(四)次群體探討部份,不同參數估計方法在 B2 變項(設定高能力)次群體中 之 RMSE 值皆高於 B1(設定低能力)次群體,故可推知三種參數估計方

(四)次群體探討部份,不同參數估計方法在 B2 變項(設定高能力)次群體中 之 RMSE 值皆高於 B1(設定低能力)次群體,故可推知三種參數估計方

相關文件