• 沒有找到結果。

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

35

第肆章 研究結果

本文以模擬研究比較 MIE 模型與 RIM 模型,在不同樣本數、DIF 試 題數的情況下,其參數回復性與 DIF 檢測概況,同時,本研究也將 MIE 模型應用在實徵資料分析上。本章將先呈現模擬研究中,兩個模型在試題 參數、分群結果的表現情形,再呈現實徵資料的研究結果。現就模擬研究 中試題參數、分群結果、實徵資料結果茲一一分述如下:

第一節 模擬研究結果

本研究在不同模擬情境下,欲探討 RIM 模型與 MIE 模型等兩個模型 的參數回復性情形,在比較結果之前,研究者均會檢查估計結果是否有標 籤轉移的情形,以讓本研究可將參數做正確的比較。另外,研究者也會確 認每個參數的機率密度函數圖形與 Gibbs 抽樣軌跡圖,以確保參數達到收 斂。整體來說,本研究欲估計的參數均有收斂,收斂情形舉例如圖 2 所示。

b[1,20] sample: 3000

-1.0 0.0 1.0 2.0 0.0

0.5 1.0 1.5 2.0

b[1,20]

iteration

5001 6000 7000 8000

-1.0 0.0 1.0 2.0 3.0

圖 2 機率密度函數圖形與 Gibbs 抽樣軌跡圖

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

36

確保參數收斂之後,本節將說明 RIM 模型與 MIE 模型,在各模擬情 境的研究結果,包含:DIF 偵測正確性、試題參數回復性、分群結果等。

茲一一說明如下:

一、試題參數結果

8 呈現 RIM 模型與 MIE 模型在各個模擬情境的試題參數回復情形,

其中包含判斷試題是否有 DIF 的正確比率、難度值的 RMSE。

從判斷 DIF 的正確率來看,RIM 模型和 MIE 模型在各種條件下幾乎 都能 100%判斷出試題是否有 DIF 情形,惟 MIE 模型在 DIF 試題只有 6 題 時,判斷 DIF 的正確率為 93%,但這個正確率還是很高。整體而言,兩個 模型在判斷 DIF 正確率的表現上,RIM 表現最好,MIE 模型的偵測表現也 具有一定水準的表現,僅在 DIF 試題數偏少時,較無法完美判斷。

從試題難度的 RMSE 來看,在 RIM 模型裡,難度參數的 RMSE 介在 0.11~0.18 之間,顯示試題參數的估計情形十分良好。另外,在相同樣本數 的情形下,隨著 DIF 試題增多,RMSE 有增加的趨勢;在相同 DIF 試題數 的情形下,隨著樣本數增多,RMSE 則有減少的趨勢。

在 MIE 模型裡,難度參數的 RMSE 介在 0.13~0.41 之間,試題參數的 估計在「2000 人、DIF 試題數 20」的情境下表現最好,在「900 人、DIF 試題數 6」的情境下表現最差。另外,在相同樣本數的情形下,隨著 DIF 試題增多,RMSE 有減少的趨勢;在相同 DIF 試題數的情形下,隨著樣本 數增多,RMSE 則有減少的趨勢。整體而言,隨著 DIF 試題數及樣本數上 升,其 RMSE 則相對變小。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

37

表 8 模擬研究試題參數結果

RIM 模型 MIE 模型 900 人 2500 人 900 人 2500 人 判斷 DIF 的正確性(%)

DIF=6 100 100 93 100 DIF=10 100 100 100 100 DIF=20 100 100 100 100 難度值的 RMSE

DIF=6 0.11 0.07 0.41 0.35 DIF=10 0.11 0.07 0.25 0.31 DIF=20 0.18 0.1 0.22 0.13

、分群估計結果

由於 RIM 並無法將受試者進行潛在類別分群,故本研究只呈現 MIE 模型在各個模擬情境的分群估計結果,此結果如表 9、圖 3~圖 6 所示。表 中呈現 MIE 模型四群人的比例。

在 MIE 模型裡,4 群潛在類別的人數比例真實值為:0.45、0.05、0.3、

0.2,若估計結果越接近這個組型,表示分群的精準度越高。由表 9 可知,

在 MIE 模型裡,在相同樣本數時,當 DIF 試題數越多,分群的組型越接近 真實情形;在相同 DIF 試題數的情形下,人數越多,分群的組型越接近真 實情形。整體而言,DIF 試題數、樣本數和 MIE 模型的分群準確性有正向 關聯。

表 9 模擬研究分群結果

900 人 2500 人

真實值 0.45、0.30、0.20、0.05 0.45、0.30、0.20、0.05 DIF=6 0.65、0.28、0.04、0.03 0.58、0.30、0.08、0.04 DIF=10 0.47、0.26、0.20、0.07 0.54、0.23、0.20、0.02 DIF=20 0.43、0.27、0.21、0.08 0.45、0.31、0.20、0.04

相關文件