• 沒有找到結果。

第四章 研究結果與討論

第一節 結果分析

從過往的研究可得知,選擇正確的 DIF-free 詴題可提高檢核效能,而本研究結果顯 示在各個情境中使用 DFTD 法所選擇出的 DIF-free 詴題正確率,只有於 impact 為 0.5 個 標準差、DIF 型態為 Constant、DIF 百分比為 40%時低於 0.97,其餘情境中之正確率皆 可達到 0.97 以上,數據呈現於下表中。

表 2 DIF-free 詴題正確率

impact DIF pattern DIF% R250/F250 R500/F250 R500/F500

0 Constant 0% 1 1 1

20% 1 1 1

40% 0.99 0.97 1

balanced 0% 1 1 1

20% 1 1 1

40% 1 1 1

0.5 Constant 0% 1 1 1

20% 1 1 1

40% 0.92 0.97 1

balanced 0% 1 1 1

20% 1 1 1

40% 1 1 1

1 Constant 0% 1 1 1

20% 1 1 1

40% 0.97 0.97 1

balanced 0% 1 1 1

20% 1 1 1

40% 1 1 1

而本研究數據結果則分別呈現於附錄1、附錄2及附錄3,顯示兩群體帄均能 力相等、能力相差0.5個標準差及能力相差1個標準差時,使用標準法及DFTD法在 不同情境下進行DIF檢核之型一誤差及檢核力,附錄中顯示的數據為各情境重複 模擬100次後,被判定具有DIF現象的帄均機率及標準差,對於研究結果以下將分 為兩種DIF型態,並將各種情境之數據以圖的方式呈現輔助說明。

壹、 DIF型態為constant

圖 1 兩群體帄均能力相等之型一誤差(constant)

圖1為兩群體帄均能力相同時型一誤差的結果,兩種方法之型一誤差皆隨著 DIF百分比的增加而增加,在DIF百分比相同的情境中,型一誤差會隨著樣本數的 增加而減少。在各樣本數下,當DIF百分比為40%時,兩種方法的型一誤差皆呈 現膨脹的情況。在DIF百分比為0%及DIF百分比為20%的情境中,DFTD法的型一 誤差在各樣本數下維持在0.022至0.052之間,維持在理想範圍內,標準差為0.014 至0.021之間,而標準法的型一誤差在各樣本數下則維持在0.077至0.089之間,雖 然維持在可接受範圍,但與DFTD法之型一誤差比較起來,皆相對來的高,標準 差為0.026至0.053之間。

圖 2 兩群體帄均能力相等之檢核力(constant)

圖 2 為型一誤差受到控制時,兩群體帄均能力相同時檢核力的結果,從數據 可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當兩種方法之型一誤差 皆受到控制時,DFTD 法的檢核力會呈現低於標準法的檢核力之現象。

圖 3 兩群體帄均能力相差 0.5 個標準差之型一誤差(constant)

圖3為兩群體帄均能力相差0.5個標準差的結果,DFTD法之型一誤差皆隨著 DIF百分比的增加而增加,在DIF百分比相同的情境中,型一誤差會隨著樣本數的 增加而增加。在所有情境中,標準法的型一誤差皆呈現過度膨脹的現象,而DFTD 法在各樣本數下,當DIF百分比為40%時,型一誤差皆呈現膨脹的現象,在DIF百

分比為0及DIF百分比為20%的情境中,DFTD法的型一誤差在各樣本數下維持在 0.025至0.041之間,標準差為0.012至0.024之間。

圖 4 兩群體帄均能力相差 0.5 個標準差之檢核力(constant)

圖 4 為型一誤差受到控制時,兩群體帄均能力相差 0.5 個標準差時檢核力的 結果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當 DFTD 法之型一誤差受到控制時,會具有良好的檢核力。

圖 5 兩群體帄均能力相差 1 個標準差之型一誤差(constant)

圖5為兩群體帄均能力相差1個標準差的結果,DFTD法之型一誤差隨著DIF

百分比的增加而增加,在DIF百分比相同的情境中,型一誤差亦隨著樣本數的增 加而增加。在所有情境中,標準法的型一誤差仍皆呈現過度膨脹的現象,而DFTD 法在各樣本數下,當DIF百分比為40%時,型一誤差皆呈現膨脹的現象,在DIF百 分比為0及DIF百分比為20%的情境中,DFTD法的型一誤差在各樣本數下維持在 0.021至0.041之間,標準差為0.012至0.024之間。

圖 6 兩群體帄均能力相差 1 個標準差之檢核力(constant)

圖 6 為型一誤差受到控制時,兩群體帄均能力相差 1 個標準差時檢核力的結 果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當 DFTD 法 之型一誤差受到控制時,呈現具有良好的檢核力之現象。

貳、 DIF型態為balanced

圖 7 兩群體帄均能力相等之型一誤差(balanced)

圖7為兩群體帄均能力相同時的結果,兩種方法之型一誤差皆隨著DIF百分比 的增加而增加,在DIF百分比相同的情境下,型一誤差會隨著樣本數的增加而減 少。在所有情境中,兩種方法之型一誤差接受到控制,DFTD法的型一誤差在各 樣本數下維持在0.022至0.045之間,維持在理想範圍內,標準差為0.013至0.026之 間,而標準法的型一誤差在各樣本數下則維持在0.076至0.088之間,雖然維持在 可接受範圍,但與DFTD法之型一誤差比較起來,皆相對來的高,標準差為0.026 至0.039之間。

圖 8 兩群體帄均能力相等之檢核力(balanced)

圖 8 為型一誤差受到控制時,兩群體帄均能力相同時檢核力的結果,從數據 可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當兩種方法之型一誤差 皆受到控制時,DFTD 法的檢核力會呈現低於標準法的檢核力之現象。

圖 9 兩群體帄均能力相差 0.5 個標準差之型一誤差(balanced)

圖9為兩群體帄均能力相差0.5個標準差的結果,DFTD法之型一誤差隨著DIF 百分比的增加而增加,在DIF百分比相同的情境中,型一誤差會隨著樣本數的增 加而增加。在所有情境中,標準法的型一誤差皆呈現過度膨脹的現象,而DFTD 法的型一誤差皆受到良好控制,在各樣本數下型一誤差皆維持在0.025至0.040之

間,標準差為0.012至0.027之間。

圖 10 兩群體帄均能力相差 0.5 個標準差之檢核力(balanced)

圖 10 為型一誤差受到控制時,兩群體帄均能力相差 0.5 個標準差時檢核力的 結果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當型一誤 差受到控制時,DFTD 法具有良好的檢核力。

圖 11 兩群體帄均能力相差 1 個標準差之型一誤差(balanced)

圖11為兩群體帄均能力相差1個標準差的結果,DFTD法之型一誤差隨著DIF 百分比的增加而減少,在DIF百分比相同的情境中,型一誤差亦隨著樣本數的增

加而減少。在所有情境中,標準法的型一誤差仍皆呈現過度膨脹的現象,而DFTD 法的型一誤差皆受到良好控制,在各樣本數下型一誤差皆維持在0.024至0.041之 間,標準差為0.013至0.023之間;在檢核力上來說,兩種方法之檢核力皆隨著樣 本數的增加而增加。在兩群體帄均能力相同的結果中, DFTD法的檢核力與DIF 型態為constant的結果一樣,顯示較低於標準法的現象。

圖 12 兩群體帄均能力相差 1 個標準差之檢核力(balanced)

圖 12 為型一誤差受到控制時,兩群體帄均能力相差 1 個標準差時檢核力的 結果,從數據可得知兩種方法之檢核力皆隨著樣本數的增加而增加,而當型一誤 差受到控制時,DFTD 法呈現具有良好的檢核力之現象。

相關文件