第四章 研究結果與討論
第一節 結果分析
從過往的研究可得知,選擇正確的 DIF-free 詴題可提高檢核效能,而本研究結果顯 示在各個情境中使用 DFTD 法所選擇出的 DIF-free 詴題正確率,只有於 impact 為 0.5 個 標準差、DIF 型態為 Constant、DIF 百分比為 40%時低於 0.97,其餘情境中之正確率皆 可達到 0.97 以上,數據呈現於下表中。
表 2 DIF-free 詴題正確率
impact DIF pattern DIF% R250/F250 R500/F250 R500/F500
0 Constant 0% 1 1 1
20% 1 1 1
40% 0.99 0.97 1
balanced 0% 1 1 1
20% 1 1 1
40% 1 1 1
0.5 Constant 0% 1 1 1
20% 1 1 1
40% 0.92 0.97 1
balanced 0% 1 1 1
20% 1 1 1
40% 1 1 1
1 Constant 0% 1 1 1
20% 1 1 1
40% 0.97 0.97 1
balanced 0% 1 1 1
20% 1 1 1
40% 1 1 1
而本研究數據結果則分別呈現於附錄1、附錄2及附錄3,顯示兩群體帄均能 力相等、能力相差0.5個標準差及能力相差1個標準差時,使用標準法及DFTD法在 不同情境下進行DIF檢核之型一誤差及檢核力,附錄中顯示的數據為各情境重複 模擬100次後,被判定具有DIF現象的帄均機率及標準差,對於研究結果以下將分 為兩種DIF型態,並將各種情境之數據以圖的方式呈現輔助說明。
壹、 DIF型態為constant
圖 1 兩群體帄均能力相等之型一誤差(constant)
圖1為兩群體帄均能力相同時型一誤差的結果,兩種方法之型一誤差皆隨著 DIF百分比的增加而增加,在DIF百分比相同的情境中,型一誤差會隨著樣本數的 增加而減少。在各樣本數下,當DIF百分比為40%時,兩種方法的型一誤差皆呈 現膨脹的情況。在DIF百分比為0%及DIF百分比為20%的情境中,DFTD法的型一 誤差在各樣本數下維持在0.022至0.052之間,維持在理想範圍內,標準差為0.014 至0.021之間,而標準法的型一誤差在各樣本數下則維持在0.077至0.089之間,雖 然維持在可接受範圍,但與DFTD法之型一誤差比較起來,皆相對來的高,標準 差為0.026至0.053之間。
圖 2 兩群體帄均能力相等之檢核力(constant)
圖 2 為型一誤差受到控制時,兩群體帄均能力相同時檢核力的結果,從數據 可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當兩種方法之型一誤差 皆受到控制時,DFTD 法的檢核力會呈現低於標準法的檢核力之現象。
圖 3 兩群體帄均能力相差 0.5 個標準差之型一誤差(constant)
圖3為兩群體帄均能力相差0.5個標準差的結果,DFTD法之型一誤差皆隨著 DIF百分比的增加而增加,在DIF百分比相同的情境中,型一誤差會隨著樣本數的 增加而增加。在所有情境中,標準法的型一誤差皆呈現過度膨脹的現象,而DFTD 法在各樣本數下,當DIF百分比為40%時,型一誤差皆呈現膨脹的現象,在DIF百
分比為0及DIF百分比為20%的情境中,DFTD法的型一誤差在各樣本數下維持在 0.025至0.041之間,標準差為0.012至0.024之間。
圖 4 兩群體帄均能力相差 0.5 個標準差之檢核力(constant)
圖 4 為型一誤差受到控制時,兩群體帄均能力相差 0.5 個標準差時檢核力的 結果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當 DFTD 法之型一誤差受到控制時,會具有良好的檢核力。
圖 5 兩群體帄均能力相差 1 個標準差之型一誤差(constant)
圖5為兩群體帄均能力相差1個標準差的結果,DFTD法之型一誤差隨著DIF
百分比的增加而增加,在DIF百分比相同的情境中,型一誤差亦隨著樣本數的增 加而增加。在所有情境中,標準法的型一誤差仍皆呈現過度膨脹的現象,而DFTD 法在各樣本數下,當DIF百分比為40%時,型一誤差皆呈現膨脹的現象,在DIF百 分比為0及DIF百分比為20%的情境中,DFTD法的型一誤差在各樣本數下維持在 0.021至0.041之間,標準差為0.012至0.024之間。
圖 6 兩群體帄均能力相差 1 個標準差之檢核力(constant)
圖 6 為型一誤差受到控制時,兩群體帄均能力相差 1 個標準差時檢核力的結 果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當 DFTD 法 之型一誤差受到控制時,呈現具有良好的檢核力之現象。
貳、 DIF型態為balanced
圖 7 兩群體帄均能力相等之型一誤差(balanced)
圖7為兩群體帄均能力相同時的結果,兩種方法之型一誤差皆隨著DIF百分比 的增加而增加,在DIF百分比相同的情境下,型一誤差會隨著樣本數的增加而減 少。在所有情境中,兩種方法之型一誤差接受到控制,DFTD法的型一誤差在各 樣本數下維持在0.022至0.045之間,維持在理想範圍內,標準差為0.013至0.026之 間,而標準法的型一誤差在各樣本數下則維持在0.076至0.088之間,雖然維持在 可接受範圍,但與DFTD法之型一誤差比較起來,皆相對來的高,標準差為0.026 至0.039之間。
圖 8 兩群體帄均能力相等之檢核力(balanced)
圖 8 為型一誤差受到控制時,兩群體帄均能力相同時檢核力的結果,從數據 可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當兩種方法之型一誤差 皆受到控制時,DFTD 法的檢核力會呈現低於標準法的檢核力之現象。
圖 9 兩群體帄均能力相差 0.5 個標準差之型一誤差(balanced)
圖9為兩群體帄均能力相差0.5個標準差的結果,DFTD法之型一誤差隨著DIF 百分比的增加而增加,在DIF百分比相同的情境中,型一誤差會隨著樣本數的增 加而增加。在所有情境中,標準法的型一誤差皆呈現過度膨脹的現象,而DFTD 法的型一誤差皆受到良好控制,在各樣本數下型一誤差皆維持在0.025至0.040之
間,標準差為0.012至0.027之間。
圖 10 兩群體帄均能力相差 0.5 個標準差之檢核力(balanced)
圖 10 為型一誤差受到控制時,兩群體帄均能力相差 0.5 個標準差時檢核力的 結果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當型一誤 差受到控制時,DFTD 法具有良好的檢核力。
圖 11 兩群體帄均能力相差 1 個標準差之型一誤差(balanced)
圖11為兩群體帄均能力相差1個標準差的結果,DFTD法之型一誤差隨著DIF 百分比的增加而減少,在DIF百分比相同的情境中,型一誤差亦隨著樣本數的增
加而減少。在所有情境中,標準法的型一誤差仍皆呈現過度膨脹的現象,而DFTD 法的型一誤差皆受到良好控制,在各樣本數下型一誤差皆維持在0.024至0.041之 間,標準差為0.013至0.023之間;在檢核力上來說,兩種方法之檢核力皆隨著樣 本數的增加而增加。在兩群體帄均能力相同的結果中, DFTD法的檢核力與DIF 型態為constant的結果一樣,顯示較低於標準法的現象。
圖 12 兩群體帄均能力相差 1 個標準差之檢核力(balanced)
圖 12 為型一誤差受到控制時,兩群體帄均能力相差 1 個標準差時檢核力的 結果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當型一誤 差受到控制時,DFTD 法呈現具有良好的檢核力之現象。