第五章 結論與建議
第一節 結論
本研究的主要目的是以階層式的評量架構為基礎,透過模擬實驗的方式,探 討多點計分測驗於HO-IRT模式下的參數估計精準度,並與UIRT和MIRT估計模式 下的參數估計精準度做比較,以及探討迴歸參數、人數和試題數等變項之設定對 多點計分測驗參數估計的影響。
以HO-IRT模式進行參數估計時,因有二種參數設定而有兩種估計方式。迴歸 參數在兩種估計方式下皆有極佳的估計精準度外,總體量尺與領域量尺或試題參 數估計,以HOIRTξθ-「指定能力量尺、試題參數先驗分布之超參數」之估計方 式有較佳的估計精準度。
但若將HO-IRT的模擬資料以HO-IRT模式與其他估計模式進行估計時,結果 顯示,二因子HO-IRT模式之模擬資料以二因子HO-IRT模式進行估計與以一因子 HO-IRT模式進行估計時,無論是總體量尺與領域量尺或試題參數皆能在二因子 HO-IRT估計模式下得到較佳的估計精準度。而UIRT模式下參數的估計精準度較 HO-IRT模式下參數的估計精準度不佳,其中又以總體量尺之參數估計最為明顯;
而HO-IRT與MIRT模式下,以領域量尺之參數的估計精準度最為接近,但整體而 言,仍以HO-IRT估計模式的參數估計精準度為佳。
HO-IRT模式中,總體量尺與領域量尺間的相關以迴歸參數值表示。迴歸參數 在HO-IRT模式下皆有極佳之估計精準度,且其估計精準度會因人數和試題數等變 項之設定值越高而越精準。而總體量尺與領域量尺間藉由迴歸參數成一線性關 係,因此當迴歸參數設定為高迴歸時,總體量尺與領域量尺之估計精準度愈高,
(2010) 分析3PL模式下二元計分測驗在小樣本時之結論相同。
總體量尺與領域量尺之估計精準度除受迴歸參數設定影響外,當受試者接受 較多的試題時,總體量尺與領域量尺之估計精準度亦隨之提高,此一結論亦同於 de la Torre 與 Song (2009)分析二元計分測驗之結論。
受試者人數設定對總體量尺與領域量尺之參數估計精準度的影響微乎極微 且無一致性結果。但試題參數之估計精準度卻因受試者人數設定較多而較精準,
可試題參數之估計精準度卻不因迴歸參數及試題數設定不同而有所不同。此一結 論與de la Torre 與 Hong (2010) 分析3PL模式下二元計分測驗在小樣本時之結論 相同。
綜合以上所述,在使用HO-IRT模式進行測驗分析時,若能事先得知受使者群 體的能力分布及試題難度的分布將有助於提高測驗分析時參數估計的精準度。而 分析階層式的評量架構之多點計分資料時,則建議採用HO-IRT模式,不僅分析方 式符合評量架構建置的構念,更可以藉此獲得更完整解更精確的參數估計值。
關於本研究中操弄變項設定對參數估計精準度的影響,發現迴歸參數之估計 精準度隨著人數及試題數的增加而提高;試題數對總體量尺與領域量尺之估計精 準度的影響大於人數對總體量尺與領域量尺估計精準度的影響;人數對試題參數 之估計精準度的影響大於試題數對試題參數之估計精準度的影響。因此,設計評 量架構時,若總體量尺與領域量尺間的迴歸參數愈高,施測試題數越多,則總體 量尺與領域量尺之估計精準度會愈高;而受試者人數越多,試題參數會得到之估 計精準度會愈高。但建置評量架構時,仍頇考量實際施測時,過多的試題會導致 受試者之疲勞現象。
此外,ㄧ因子HO-IRT擴充為二因子HO-IRT模式中,領域量尺(L3)增加一個 與總體量尺(H2)的對應關係,根據實驗結果顯示,該領域量尺(L3)的估計誤差比
尺間的迴歸參數設定為高相關及中相關,而增加一總體量尺後,會削弱原先總體 量尺(H1)與與之對應的領域量尺(L3)間的相關,而總體量尺與領域量尺間的相關 程度,會直接影響總體量尺與領域量尺之估計精準度。因此,設計評量架構時,
因將此納入考量。