單一插補對於 DIF 偵測效果的影響

本節將有無使用單一插補法來處理遺失值的差異納入考量，以回應本研究的 第二個研究問題：「有無使用單一插補法是否會影響不同遺失樣態下的 DIF 偵測 效果？」。由於本節的重點是以單一插補法處理遺失資料，故只針對 80 個遺失情 境作討論，無遺失情境便予以省略。以下依 α 值與 power 值分別來呈現各組情境 的 DIF 偵測結果，並在最末節以三因子變異數分析來呈現遺失機制、遺失比率與 有無插補三個變項對於DIF 偵測結果的解釋力。

一. α 值

（一） 各組人數為 500 人

表4-2-1 顯示各組人數為 500 人時，於不同遺失樣態下，以 MH 法與 Lord 法

0   0.1   0.2   0.3   0.4   0.5   0.6   0.7   0.8   0.9   1  

0%   10%   30%  

power值

MCAR   MAR  I   MAR  II   MAR  III   無遺失

變異來源 SS df MS F

遺失機制 (A) .01 3 .00 .13 遺失比率 (B) .01 1 .01 .67

A×B .00 3 .00 .06

誤差 1.31 63 .02

偵測DIF 試題的 α 值，以及有無進行多重插補的結果。結果顯示，除了 MAR I 外，

被忽略的類型。然而，經單一插補法的處理後，其誤判率卻變成最高者，尤其在

10%DIF 無 MH 0.03 0.00 0.97 1.00 0.07 0.03 0.09 0.06

此外，高遺失比率者的插補改善效果也較明顯。另一方面，也可看出在MAR I 情

三. 遺失機制、遺失比率與單一插補的三因子變異數分析

綜合上述討論，本小節將採用三因子變異數分析，以進一步探討遺失樣態、

單一插補與DIF 偵測效果之間的關聯性。其中的交互作用項，只針對完全二因子 進行分析，並透過圖表來展現結果。

表4-2-5 是針對遺失機制、遺失比率與有無插補進行三因子變異數分析的結果，

依變項為無DIF 試題的誤判率，是以 MH 法作為 DIF 偵測方法。遺失機制分作無 遺失、MCAR、MAR I、MAR II 與 MAR III 五種類別，遺失比率分作無遺失、10%

遺失與 30%遺失三種，以及有無針對遺失資料進行單一插補的處理。結果顯示在 遺失機制（𝐹 = 727.66，𝑝 < .001）與有無插補（𝐹 = 284.49，𝑝 < .001）這兩個 變項的主要效果皆有達到顯著性，即不同的遺失機制下與有無進行單一插補的 α 值有顯著差異。有無插補與遺失機制（𝐹 = 738.83，𝑝 < .001）、遺失比率（𝐹 = 5.06，

𝑝 < .05）之間都有交互作用效果存在，表示此二變項與有無插補間的關係有待進 一步探討。

表4-2-5 在 MH 法時，以 α 值為依變項的三因子變異數分析摘要表

變異來源 SS df MS F

遺失機制 (A) 6.23 3 2.08 727.66^***

遺失比率 (B) .00 1 .01 3.15 有無插補 (C) .81 1 .81 284.49^***

A×B .02 3 .01 2.34 A×C 6.33 3 2.11 738.83^***

B×C .01 1 .01 5.06^* 誤差 .45 156 .00

***p < .001, ^*p < .05

由下圖4-2-1可看出，當遺失機制為MAR I時，α值會因為進行單一插補而降低，

其餘遺失情境則是相反的結果。由於MAR I是針對焦點組作答反應隨機抽取遺失值，

其遺失情境有參照組與焦點組題數基準不同等的問題，加上MH法是以測驗總分作 為配對變項，因而導致不正確的能力配對與估計。當資料未經插補時，MH法幾乎 將所有試題的判斷為有DIF，因此α值會異常地高。但若經單一插補處理遺失值，

兩組間題數不同的問題獲得解決，因此α值會回復到一般狀態，也接近其他遺失樣 態下的α值。相反地，其餘遺失情境經單一插補後，其α值會隨著樣本數增加而膨 脹。

圖4-2-1 在MH法時，有無插補與不同遺失機制的α值

由下圖4-2-2 可看出，無論遺失比率高低，經單一插補處理遺失值後，無 DIF 試題的誤判率皆會有所改善。其中，當遺失比率為10%時，α 值經單一插補而降低 的現象較明顯。根據前文所陳述的研究結果，除了MAR I 遺失機制外，多數遺失 情境經單一插補處理後，其 α 值都會因為樣本數增加而膨脹。然而，此圖卻顯示 整體上單一插補對於α 值是有改善作用的。原因主要是來自於 MAR I 遺失機制，

因為其α 值未經插補時會趨近於 1，插補前後的差異便比其他遺失樣態要來得明顯，

甚至能抵消其他遺失情境下α 值的膨脹。

圖4-2-2 在MH法時，有無插補與不同遺失比率的α值

表4-2-6 是針對遺失機制、遺失比率與有無插補進行三因子變異數分析的結果，

依變項為無DIF 試題的誤判率，是以 Lord 法作為 DIF 偵測方法。結果顯示有無插 補變項有主要效果存在（𝐹 = 12.12，𝑝 < .01），也就是單一插補前後的 α 值是有

0   0.1   0.2   0.3   0.4   0.5   0.6   0.7   0.8   0.9   1  

無插補 有插補

α值

MCAR   MAR  I   MAR  II   MAR  III   無遺失

0   0.1   0.2   0.3   0.4   0.5   0.6   0.7   0.8   0.9   1  

無插補 有插補

α值

0%   10%   30%  

顯著差異的。大體上，各種遺失情境經單一插補資料後，α 值會因為樣本數增多而 膨脹。相較於 MH 法，此時的遺失機制沒有達到顯著水準，有無插補與遺失樣態 間也沒有交互作用存在。因為Lord 法是 IRT 取向的 DIF 分析方法，其具有能力估 計的不變性，因此不像MH 法那樣容易受到遺失樣態的影響。

表4-2-6 在 Lord 法時，以 α 值為依變項的三因子變異數分析摘要表

變異來源 SS df MS F

遺失機制 (A) .00 3 .00 .32 遺失比率 (B) .01 1 .01 1.42 有無插補 (C) .05 1 .05 12.12^**

A×B .00 3 .00 .10

A×C .01 3 .00 .60

B×C .01 1 .01 3.18 誤差 .64 156 .00

**p < .01

表4-2-7 在 MH 法時，以 power 值為依變項的三因子變異數分析摘要表

變異來源 SS df MS F

遺失機制 (A) .14 3 .05 1.35 遺失比率 (B) .02 1 .02 .46 有無插補 (C) 1.09 1 1.09 32.59^***

A×B 1.03 3 .34 10.28^***

A×C .09 3 .03 .92

B×C .00 1 .00 .00

誤差 4.09 122 .03

***p < .001

表4-2-7 是針對遺失機制、遺失比率與有無插補進行三因子變異數分析的結果，

依變項為正確判斷DIF 試題的比率，是以 MH 法作為 DIF 偵測方法。結果顯示有 無插補變項有主要效果存在（𝐹 = 32.59，𝑝 < .001），也就是單一插補前後的 α 值 是有顯著差異的。雖然遺失機制與遺失比率各自沒有主要效果，但兩個變項之間 有交互作用存在（𝐹 = 10.28，𝑝 < .001），此時，更需要進一步探討二者的關係以 及對於power 值的影響性。

從圖4-2-3 中可以看出在各個遺失機制下，遺失比率較高時，power 值會降低，

唯獨MAR I 的遺失情境是相反的結果。此外，也顯示出單一插補後 power 值有所 提升。另一方面，雖然不同遺失機制在遺失比率高低之間有明顯的差異，但因為 只擷取低遺失比率與高遺失比率的平均值，所以遺失機制的主要效果沒有達到顯 著性。

圖4-2-3 在MH法時，有無插補及不同遺失樣態的power值

整體而言，MAR II 情境的 power 值最佳，其次則是 MAR III 的遺失情境，顯 示自低能力者或高難度試題隨機抽取遺失值，對於 DIF 偵測效果的影響是有差異 的。再次者為 MCAR，此遺失情境是針對所有作答反應隨機抽取遺失值，其遺失 資料量是MAR II 與 MAR III 的兩倍，因此在同樣的遺失比率下，其遺失資料量較 多，因此power 值較低。

表4-2-8 在 Lord 法時，以 power 值為依變項的三因子變異數分析摘要表

變異來源 SS df MS F

遺失機制 (A) .01 3 .00 .16 遺失比率 (B) .02 1 .02 .97 有無插補 (C) .00 1 .00 .15

A×B .00 3 .00 .08

A×C .00 3 .00 .02

B×C .00 1 .00 .05

誤差 2.34 122 .02

表4-2-8 是針對遺失機制、遺失比率與有無插補進行三因子變異數分析的結果，

依變項為正確判斷DIF 試題的比率，是以 Lord 法作為 DIF 偵測方法。結果顯示各 個變項本身沒有主要效果存在，而變項間的交互作用亦無達到顯著水準。因為Lord 法是IRT 取向的 DIF 分析方法，其具有能力估計的不變性，在此情境中的 power 值已經都很高，因此不像MH 法那樣容易受到遺失樣態與資料插補的影響。

0   0.1   0.2   0.3   0.4   0.5   0.6   0.7   0.8   0.9   1  

0%   10%   30%  

power值

MCAR(有插補)   MAR  I(有插補)   MAR  II(有插補)  

MAR  III(有插補)   MCAR   MAR  I  

MAR  II   MAR  III   無遺失

四. 小結

綜合上述的研究成果，本研究發現單一插補有助於正確判斷 DIF 試題，各個 情境的power 值皆有所提升。其中，又以對 MH 法的改善較明顯。但 power 值跟 α rate 之間存在著抵換關係（trade-off），單一插補雖然提高了整體的power 值，卻也 難避免 α 值的膨脹情形，使許多情境下的 α 值都超出 0.05。然而，未經單一插補 前的MAR I 情境，若以 MH 法進行 DIF 偵測會導致 α 值結果異常，進行插補後可 得到明顯的改善。由於MAR I 是針對焦點組的作答反應隨機抽取遺失值，因此會 使兩組的題數基準不同等。相對於具有能力估計不變性的 Lord 法，MH 法是以測 驗總分作為配對變項的 DIF 偵測方法，因此其能力配對與估算都比較容易受到資 料遺失的影響，才導致異常的 DIF 偵測結果。但是透過單一插補，兩組的題數基 準可以回復成同等，MH 的偵測結果也變得合理且可接受。雖然單一插補後的 α 值較高，但仍勝過於未插補前將所有試題都判斷為有DIF 的情況。