第四章 研究結果與討論
第二節 有輔助變數設計之估計結果
本節為有輔助變數設計下個體能力、群體及次群體能力參數估計效果的探 討,並就不同施測題數、不同輔助變數與能力值間的相關、不同能力值間的相關 及不同估計方法等四種面向進行分析比較。
壹、個體能力估計結果比較
一、不同施測題數間之比較 (一) 二向度
如圖 4-19 所示,在輔助變數與能力值間的相關和能力值間的相關兩個條件固 定下的情況,EAP、EAP_AV、MLE、WLE、PV_noAV、PV 六種估計方法在二 個向度的 RMSE 都隨題數增加而明顯降低,在 20 題時六種估計方法的 RMSE 差 異最小,顯示題數增加有助於各種估計方法降低 RMSE。
圖 4-19 有輔助變數下個體能力在不同題數的比較(二向度)
(二) 四向度
如圖 4-20 所示,結果與二向度相同,從 2 題增加到 20 題時,MLE 和 WLE 降了約 0.6,EAP、EAP_AV、PV_noAV 和 PV 降了約 0.4,顯示題數增加有助於 各種估計方法降低 RMSE。
圖 4-20 有輔助變數下個體能力在不同題數的比較(四向度)
二、不同能力值間的相關 (一) 二向度
如圖 4-21 所示,其他條件固定下,MLE 和 WLE 在各種能力相關程度的 RMSE 差距僅在 0.01 以下,而 EAP、EAP_AV、PV_noAV 和 PV 四種估計方法在相關 為 0.3 和 0.5 時的差距在 0.01 左右,直到相關提高到 0.9 時的 RMSE 比 0.3 時降 了 0.07 左右。顯示能力值間的相關高低對於個體能力值的估計在 MLE 和 WLE 這兩種方法差異不大,而另四種方法需要在高相關 0.9 時才有較明顯的改善。
(二) 四向度
如圖 4-22 所示,結果與二向度相同,EAP、EAP_AV、PV_noAV、PV 四種 估計方法的 RMSE 在能力值間的相關為 0.9 時有較明顯的降低,而 MLE、WLE 無論相關為何差異不大。
圖 4-21 有輔助變數下個體能力在不同能力值間的相關比較(二向度)
三、不同輔助變數與能力值間相關之比較 (一) 二向度
如圖 4-23 所示,在相同題數以及相同能力值間的相關下,輔助變數與能力值 間相關為[ 0.3,0.7 ]的 RMSE 些微大於相關為[ 0.3,-0.3 ]。
圖 4-22 有輔助變數下個體能力在不同能力值間的相關比較(四向度)
圖 4-23 有輔助變數下個體能力在不同輔助變數與能力值間相關比較(二向度)
(二) 四向度
如圖 4-24 所示,在相同題數以及相同能力值間的相關下,輔助變數與能力值 間相關為[ 0.3,0.7 ]的 RMSE 些微大於相關為[ 0.3,-0.3 ],最大差距約 0.02,但有納 輔助變數的估計方法 EAP_AV 和 PV 的差異大致在 0.01 以下。
圖 4-24 有輔助變數下個體能力在不同輔助變數與能力值間相關比較(四向度)
四、不同估計方法間之比較 (一) 二向度
如圖 4-25 所示,在輔助變數與能力值間相關為[ 0.3,-0.3 ]、能力值間的相關 為 0.3 時,不論試題題數為 2 題、5 題、10 題或 20 題,EAP_AV 略優於 EAP,
兩者略優於 PV 及 PV_noAV,而四種估計方法明顯優於 WLE 和 MLE,在其他的 情形下亦有相同結果。EAP_AV 優於 EAP,PV 優於 PV_noAV,從中可見納入輔 助變數的估計方法優於沒有納入輔助變數的估計方法,在輔助變數與能力值間相 關為[ 0.3,0.7 ]時,其之間的差距更明顯。
(二) 四向度
如圖 4-26 所示,結果與二向度相同,EAP_AV 略優於 EAP,兩者略優於 PV 及 PV_noAV,四種估計方法明顯優於 WLE 和 MLE,從中可見納入輔助變數的 估計方法優於沒有納入輔助變數的估計方法,在其他設定下亦有相同結果。
圖 4-25 有輔助變數下個體能力在不同估計方法的比較(二向度)
圖 4-26 有輔助變數下個體能力在不同估計方法的比較(四向度)
四、綜合討論
在有輔助變數設計下,個體能力值估計在不同施測題數之比較下,六種估計 方法都隨題數增加而估計愈精準,從 2 題增加到 20 題時,RMSE 最大能降低 0.6。
就不同能力值間的相關來看,能力值間的相關高低對於 MLE、WLE 影響不大,
而 EAP、EAP_AV、PV_noAV、PV 四種估計方法的 RMSE 在能力值間的相關為 0.9 時才有較明顯的降低。
就不同輔助變數與能力值間相關來看,輔助變數與能力值間相關為[ 0.3,0.7 ] 的 RMSE 略大於相關為[ 0.3,-0.3 ],可能原因為相關在[ 0.3,0.7 ]時,個體的能力值 分佈大於試題參數分佈,嚴重情形大於相關為[ 0.3,-0.3 ]的情況。從不同估計方法 間的比較來看,EAP、EAP_AV、PV_noAV、PV 四種估計方法較佳,其中有納 入輔助變數的估計方法優於沒有納入輔助變數的估計方法,在輔助變數與能力值 間相關為[ 0.3,0.7 ]時,其之間的差距較[ 0.3,-0.3 ]明顯。在題數少的時候,更能顯 現出有納輔助變數的估計方法在估計上的優異。
研究結果顯示:在個體能力估計上,EAP_AV 是最佳的估計方法,而輔助變 數與能力值間的相關設定,若能符合試題參數分佈,會得到較好的估計效果。
貳、群體能力參數估計結果比較
一、不同施測題數間之比較 (一) 二向度
群體能力平均數如圖 4-27 所示,在輔助變數與能力值間的相關為[ 0.3,-0.3 ] 的情況下,除了 MLE 和 WLE 在試題題數 2 題時的 RMSE 低於 5 題,其他情況 六種估計方法隨題數增加僅有些微降低。從 2 題增加到 20 題時,EAP、EAP_AV、
PV_noAV 和 PV 四種估計方法的 RMSE 降低約 0.01、MLE 和 WLE 差異幅度小於 0.01,可見題數增加對於群體平均數的估計成效影響不大。
在輔助變數與能力值間的相關為[ 0.3,0.7 ]的情況下,MLE 沒有隨題數增加而 有一致的結果,WLE 隨題數增加降低,EAP、EAP_AV、PV_noAV、PV 四種估 計方法則隨題數增加微降,從 2 題增加到 20 題時,RMSE 降低 0.01 上下,可見 題數增加對於群體平均數的估計成效影響不大。
圖 4-27 有輔助變數下群體能力平均數在不同題數的比較(二向度)
群體能力標準差如圖 4-28 所示,除了 MLE 在試題題數為 2 題時的 RMSE 低 於 5 題,其他五種估計方法 EAP、EAP_AV、PV_noAV、PV、WLE 的 RMSE 都 隨題數增加而降低。在圖上方,題數從 2 題增加到 20 題時,EAP 和 EAP_AV 降 低 0.3 左右,MLE 和 WLE 降低 0.2 左右,PV_noAV 和 PV 則降低 0.02 左右。
圖 4-28 有輔助變數下群體能力標準差在不同題數的比較(二向度)
(二) 四向度
群體能力平均數如圖 4-29 所示,結果與二向度相同,在輔助變數與能力值間 的相關為[ 0.3,-0.3 ]的情況下,六種估計方法的 RMSE 隨題數增加微降。
在輔助變數與能力值間的相關為[ 0.3,0.7 ]的情況下,MLE 沒有隨題數增加而 有一致的結果,WLE 隨題數增加降低,EAP、EAP_AV、PV_noAV、PV 四種估 計方法則隨題數增加微降。
圖 4-29 有輔助變數下群體能力平均數在不同題數的比較(四向度)
群體能力標準差如圖 4-30 所示,除了 MLE 在試題題數為 2 題時的 RMSE 低 於 5 題,其他五種估計方法 EAP、EAP_AV、PV_noAV、PV、WLE 的 RMSE 都 隨題數增加而明顯降低。
圖 4-30 有輔助變數下群體能力標準差在不同題數的比較(四向度)
二、不同能力值間的相關 (一) 二向度
群體能力平均數如圖 4-31 所示,在輔助變數與能力值間的相關為[ 0.3,-0.3 ]、
試題題數為 2 題時,各種估計方法似乎隨能力值間相關的提高有些微增加,但差 距大致在 0.001 以下。在其他題數的情況下則六種估計方法結果差不多,能力值 間的相關高低對於群體能力平均數的估計影響不大。在輔助變數與能力值間的相 關為[ 0.3,0.7 ]時有相同結果。
群體能力標準差如圖 4-32 所示,無論題數多寡,MLE 和 WLE 在能力值間的 相關為 0.3、0.5 與 0.9 時的 RMSE 差距僅在 0.01 以下。EAP、EAP_AV 隨著相關 增高降低,在 2 題時高低相關的 RMSE 差了 0.17,在 20 題時差距降為 0.04。
圖 4-31 有輔助變數下群體能力平均數在不同能力值間的相關比較(二向度)
PV_noAV 與 PV 隨著相關增高增加,在 2 題時高相關的 RMSE 比低相關多了 0.1,
在 20 題時差距降為 0.005。
(二) 四向度
群體能力平均數如圖 4-33 所示,在輔助變數與能力值間的相關為[ 0.3,-0.3 ] 時,各種估計方法並沒有隨能力值間相關的提高而降低,差距在 0.001 以下,顯 示能力值間的相關高低對於群體能力平均數的估計影響不大。在輔助變數與能力 值間的相關為[ 0.3,0.7 ]的情況下,試題題數為 2 題時,EAP、EAP_AV、PV_noAV 和 PV 四種估計方法隨向度間的相關提高 RMSE 略增,高低相關相差約 0.02,其 他題數下則差異大致在 0.01 以下。
圖 4-32 有輔助變數下群體能力標準差在不同能力值間的相關比較(二向度)
群體能力標準差如圖 4-34 所示,EAP、EAP_AV 的 RMSE 隨能力值間相關的 提高有降低;在 MLE 與 WLE 則影響不大,相關提高 RMSE 差異不大;PV_noAV 與 PV 則隨相關提高 RMSE 略增。
圖 4-33 有輔助變數下群體能力平均數在不同能力值間的相關比較(四向度)
圖 4-34 有輔助變數下群體能力標準差在不同能力值間的相關比較(四向度)
三、不同輔助變數與能力值間相關之比較 (一) 二向度
群體能力平均數如圖 4-35 所示,EAP、EAP_AV、PV_noAV、PV 四種估計 方法,在相同題數以及相同能力值間的相關情況下,兩種輔助變數與能力值間相 關的設計,所得結果差異不大,但 MLE、WLE 在相關為[ 0.3,0.7 ]的設定下 RMSE 變大許多,在 2 題時多了約 0.13。
圖 4-35 有輔助變數下群體能力平均數在不同輔助變數與能力值間的相關比較
(二向度)
群體能力標準差如圖 4-36 所示,在相同題數以及相同能力值間的相關下,輔 助變數與能力值間相關為[ 0.3,0.7 ]的設計,MLE 和 WLE 的 RMSE 略低於
[ 0.3,-0.3 ]的情況,其他估計方法的差異非常小。
圖 4-36 有輔助變數下群體能力標準差在不同輔助變數與能力值間的相關比較
(二向度)
(二) 四向度
群體能力平均數如圖 4-37 所示,結果與二向度相同。EAP、EAP_AV、PV_noAV 和 PV 四種估計方法,在相同題數以及相同能力值間的相關情況下,兩種輔助變 數與能力值間相關的設計,所得結果差異不大,但 MLE、WLE 在相關為[ 0.3,0.7 ] 的設定下 RMSE 變大許多。
圖 4-37 有輔助變數下群體能力平均數在不同輔助變數與能力值間的相關比較
(四向度)
群體能力標準差如圖 4-38 所示,在相同題數以及相同能力值間的相關下,輔 助變數與能力值間相關為[ 0.3,0.7 ]的設計,MLE 和 WLE 的 RMSE 略低於
[ 0.3,-0.3 ]的情況,其他估計方法的差異非常小。
圖 4-38 有輔助變數下群體能力標準差在不同輔助變數與能力值間的相關比較
(四向度)