第四章 研究結果與討論
第一節 無輔助變數設計之估計結果
本節為無輔助變數設計下個體能力及群體能力參數估計效果的探討,就不同 施測題數、不同能力值間的相關以及不同估計方法等三種面向進行分析與比較。
壹、個體能力估計結果比較
一、不同施測題數間之比較 (一) 二向度
如圖 4-1 所示,上方表示能力值間的相關為 0.3、人數 4000 人、試題題數分 別為 2 題、5 題、10 題與 20 題時的結果,顯示 EAP、MLE、WLE、PV_noAV 四種估計方法在二個向度的 RMSE 都隨題數增加而減少,從 2 題增加到 20 題時,
MLE 和 WLE 降了約 0.6,EAP 和 PV_noAV 降了約 0.4。當能力值間的相關為 0.5 與 0.9 時亦有相同的結果,可知題數增加有助於降低 RMSE。
(二) 四向度
如圖 4-2 所示,上方表示能力值間的相關為 0.3、人數 4000 人、試題題數分 別為 2 題、5 題、10 題與 20 題時,顯示 EAP、MLE、WLE、PV_noAV 四種估計 方法在四個向度的 RMSE 都隨題數增加而減少,從 2 題增加到 20 題時,MLE 和 WLE 降了約 0.6,EAP 和 PV_noAV 降了約 0.4。當能力值間的相關為 0.5 與 0.9 時亦有相同的結果,可知題數增加有助於降低 RMSE。
圖 4-1 無輔助變數下個體能力在不同題數的比較(二向度)
圖 4-2 無輔助變數下個體能力在不同題數的比較(四向度)
二、不同能力值間的相關 (一) 二向度
如圖 4-3 所示,無論題數多寡,MLE 和 WLE 在能力值間的相關為 0.3、0.5 與 0.9 時的 RMSE 差距僅在 0.01 以下,而 EAP 和 PV_noAV 兩種估計方法在相關 為 0.3 和 0.5 時的差距在 0.01 左右,直到相關提高到 0.9 時的 RMSE 比 0.3 時降 了 0.07 左右。顯示能力值間的相關高低對於個體能力值的估計在 MLE 和 WLE 這兩種方法差異不大,而 EAP 和 PV_noAV 兩種方法需要在高相關 0.9 時才有較 明顯的改善。
(二) 四向度
如圖 4-4 所示,四向度的結果與二向度相同,而 EAP 和 PV_noAV 兩種估計 方法在相關提高到 0.9 時的 RMSE 比 0.3 時降了 0.1 左右。
圖 4-3 無輔助變數下個體能力在不同能力值間的相關比較(二向度)
圖 4-4 無輔助變數下個體能力在不同能力值間的相關比較(四向度)
三、不同估計方法間之比較 (一) 二向度
如圖 4-5 所示,在能力值間的相關為 0.5 時,不論試題題數為 2 題、5 題、10 題或 20 題,EAP 優於 PV_noAV,接著為 WLE,最後是 MLE。在能力值間的相 關為 0.3 與 0.9 時結果相同。
(二) 四向度
如圖 4-6 所示,能力值間的相關為 0.5 時,不論試題題數為 2 題 5 題、10 題 或 20 題,EAP 優於 PV_noAV,接著為 WLE,最後是 MLE。在能力值間的相關 為 0.5 與 0.9 時結果相同。
圖 4-5 無輔助變數下個體能力在不同估計方法的比較(二向度)
圖 4-6 無輔助變數下個體能力在不同估計方法的比較(四向度)
四、綜合討論
在無輔助變數設計下,個體能力值估計在不同施測題數之比較下,EAP、
MLE、WLE、PV_noAV 四種估計方法都隨題數增加而估計愈精準,每向度的題 數達到 20 題時,RMSE 最大能降低 0.6。
就不同能力值間的相關來看,在 MLE 和 WLE 這兩種估計方法差異不大,而 EAP 和 PV_noAV 兩種方法需要在高相關 0.9 時才有較明顯的差異,能力值間的 相關高低對於個體能力值的估計沒有很大的影響。
從不同估計方法間的比較來看,EAP 最佳,其次為 PV_noAV,接著為 WLE,
最後是 MLE,MLE 和 WLE 在題數很少的時候估計誤差顯得相當大,但四種估計 方法間的差異在題數增加為 20 題時趨於緩和。此研究結果顯示:當估計個體能 力時,EAP 仍是最佳的方法,如果將五個可能值平均代表受試者能力,將得到較 大的估計誤差。
貳、群體能力參數估計結果比較
一、不同施測題數間之比較 (一) 二向度
群體能力平均數如圖 4-7 所示,四種估計方法的 RMSE 隨題數增加僅有些微 降低,從 2 題增加到 20 題時,EAP 和 PV_noAV 降低約 0.01、MLE 和 WLE 差異 幅度小於 0.01,可見題數增加對於群體平均數的估計成效影響不大。
群體能力標準差如圖 4-8 所示,除了 MLE 在試題題數為 2 題時的 RMSE 低 於 5 題,其他三種估計方法 EAP、WLE、PV_noAV 的 RMSE 都隨題數增加而明 顯降低,在相關為 0.3、題數從 2 題增加到 20 題時,EAP 降低 0.3 左右,MLE 和 WLE 降低 0.2 左右,PV_noAV 則降低 0.02 左右。
圖 4-7 無輔助變數下群體能力平均數在不同題數的比較(二向度)
(二) 四向度
群體能力平均數如圖 4-9 所示,四種估計方法的 RMSE 隨題數增加僅有些微 降低,從 2 題增加到 20 題時,EAP 和 PV_noAV 降低約 0.01、MLE 和 WLE 差異 幅度小於 0.01,可見題數增加對於群體平均數的估計成效影響不大。
圖 4-8 無輔助變數下群體能力標準差在不同題數的比較(二向度)
群體能力標準差如圖 4-10 所示,除了 MLE 在試題題數為 2 題時的 RMSE 低 於 5 題,在相關為 0.3、題數從 2 題增加到 20 題時,EAP 降低 0.3 左右,MLE 和 WLE 降低 0.2 左右,PV_noAV 則降低 0.03 左右。
圖 4-9 無輔助變數下群體能力平均數在不同題數的比較(四向度)
圖 4-10 無輔助變數下群體能力標準差在不同題數的比較(四向度)
二、不同能力值間的相關 (一) 二向度
群體能力平均數如圖 4-11 所示,試題題數為 2 題時,EAP、PV_noAV 兩種 估計方法似乎隨能力值間相關的提高有約 0.005 的增加,差異很小。在其他題數 的情況下四種估計方法並沒有隨能力值間相關的提高而降低,差距最多僅 0.002,
顯示能力值間的相關高低對於群體能力平均數的估計影響不大。
群體能力標準差如圖 4-12 所示,無論題數多寡,MLE 和 WLE 在能力值間的 相關為 0.3、0.5 與 0.9 時的 RMSE 差距僅在 0.01 以下。EAP 隨著相關增高降低,
在 2 題時高低相關的 RMSE 差了 0.17,在 20 題時差距降為 0.04。PV_noAV 隨著 相關增高增加,在 2 題時高相關的 RMSE 比低相關多了 0.1,在 20 題時多了 0.002。
圖 4-11 無輔助變數下群體能力平均數在不同能力值間的相關比較(二向度)
圖 4-12 無輔助變數下群體能力標準差在不同能力值間的相關比較(二向度)
(二) 四向度
群體能力平均數如圖 4-13 所示,四種估計方法並沒有隨能力值間相關的提高 而降低,差距在 0.003 以下,顯示能力值間的相關高低對於群體能力平均數的估 計影響不大。
群體能力標準差如圖 4-14 所示,結果類似二向度,顯示能力值間的相關高低 在 MLE 和 WLE 這兩種估計方法差異不大,而 EAP 隨著相關增高 RMSE 降低,
PV_noAV 隨著相關增高 RMSE 增加,但兩者都會因題數增加減緩趨勢。
圖 4-13 無輔助變數下群體能力平均數在不同能力值間的相關比較(四向度)
圖 4-14 無輔助變數下群體能力標準差在不同能力值間的相關比較(四向度)
三、不同估計方法間之比較 (一) 二向度
群體能力平均數如圖 4-15 所示,當能力值間的相關為 0.5,除了試題題數為 2 題時, EAP、PV_noAV 兩種估計方法的 RMSE 比 MLE、WLE 多了 0.005,在 其他題數的情況下,四種估計方法的 RMSE 差距在 0.003 左右,顯示四種估計方 法在群體能力平均數上差異不大。而在能力值間的相關為 0.3 與 0.9 時得到相同 結果。
群體能力標準差如圖 4-16 所示,當能力值間的相關為 0.5 時,除了試題題數 為 2 題時,EAP 的 RMSE 比 MLE 與 WLE 多約 0.07,在其他情況下,四種估計 方法在群體能力標準差的優劣依序為 PV_noAV、EAP、WLE、MLE,而 PV_noAV 明顯優於其他三種估計方法。
圖 4-15 無輔助變數下群體能力平均數在不同估計方法的比較(二向度)
圖 4-16 無輔助變數下群體能力標準差在不同估計方法的比較(二向度)
(二) 四向度
群體能力平均數如圖 4-17 所示,當能力值間的相關為 0.5,除了試題題數為 2 題時,EAP、PV_noAV 兩種估計方法的 RMSE 比 MLE、WLE 多了 0.005 左右,
在其他題數的情況下,四種估計方法的 RMSE 差距在 0.003 左右,結果差異不大。
在能力值間的相關為 0.3 與 0.9 時得到相同結果。
群體能力標準差如圖 4-18 所示,在能力值間的相關為 0.5 時,,四種估計方 法在群體能力標準差的優劣依序為 PV_noAV、EAP、WLE、MLE,而 PV_noAV 明顯優於其他三種估計方法。在相關為 0.3 與 0.9 時亦是 PV_noAV 有最好的估計 結果。
圖 4-17 無輔助變數下群體能力平均數在不同估計方法的比較(四向度)
圖 4-18 無輔助變數下群體能力標準差在不同估計方法的比較(四向度)
四、綜合討論
在無輔助變數設計下,群體能力平均數估計在不同施測題數之比較下,
EAP、MLE、WLE、PV_noAV 四種估計方法的 RMSE 隨題數增加僅有些微降低,
顯示題數增加對於群體平均數的估計成效影響不大。就不同能力值間的相關來 看,能力值間相關的提高對於估計沒有很大的影響,RMSE 的差距最多僅 0.002。
從不同估計方法間的比較來看,四種估計方法在群體能力平均數的 RMSE 差異不 大,值得注意的是,對於推估個體能力較佳的 EAP 方法,在推估群體參數時,
並未顯著優於其他方法。
就群體能力標準差而言,除了 MLE 在試題題數為 2 題時的 RMSE 低於 5 題,
其他三種估計方法的 RMSE 都隨題數增加而明顯降低,顯示隨著受試題數的增 加,估計愈精準。就不同能力值間的相關來看,MLE 和 WLE 的 RMSE 沒有隨相 關提高而明顯降低,差距都在 0.01 以下。EAP 隨著相關增高 RMSE 降低,PV_noAV 則隨著相關增高 RMSE 增加,但兩者都會因題數增加而減緩趨勢。從不同估計方 法間的比較來看,四種估計方法在群體能力標準差的優劣依序為 PV_noAV、
EAP、WLE、MLE,而 PV_noAV 明顯優於其他三種估計方法,故在推估群體參 數,如標準差時,即使未納入輔助變數,使用可能值方法仍然可以得到較佳的估 計結果。