• 沒有找到結果。

遺失樣態、DIF 偵測方法與 DIF 偵測效果的關係

第二章 文獻探討

第四節 遺失樣態、DIF 偵測方法與 DIF 偵測效果的關係

測效果。Robitzsch與Rupp(2009)曾探討遺失值對於DIF偵測效果的影響,其操弄 遺失值處理方法、DIF偵測方法、遺失機制、遺失比率、DIF程度、試題長度、樣 本數與受測者能力分配等八個變項,結果顯示遺失機制、遺失值處理方法與遺失 比率之間的交互作用對於DIF偵測效果的解釋力最高。

據此,本研究將遺失樣態設為操弄變項的主軸,其包含遺失機制與遺失比率 兩個部分。遺失機制包含四種操弄,分別是對所有作答反應隨機抽取遺失值的

MCAR;針對焦點組作答反應隨機抽取遺失值的MAR I;針對低能力者作答反應隨 機抽取遺失值的MAR II;以及針對高難度試題作答反應隨機抽取遺失值的MAR III。

本研究預期在MCAR與MAR兩類遺失機制下,DIF偵測效果會有所差異。各個MAR 遺失情境的DIF偵測效果為本研究重點,因為這類的遺失情境較符合測驗實務所面 臨的情況。遺失比率包含無遺失、10%遺失與30%遺失三種操弄,隨著遺失比率增 高,DIF偵測結果必然更不穩定與精確性降低。此外,遺失機制與遺失比率之間有 無交互作用,也是本研究欲探討的重點之一。

除此之外,遺失值的處理方式也關係到DIF偵測的結果。遺失值是測驗實務中 難以避免的處境,故遺失情境的處理方式便更為重要。一般常見的處理方式為刪 除法、零插補法與各種類型的單一插補方法,然而這些傳統方法並未能確實地反 映遺失資料的本質,Rubin(1987, 1996)曾指出多重插補法是現今處理遺失值最 好的方法之一,也因此開始有使用概似估計方法與多重插補法來處理遺失值的趨 勢。本研究是以MICE軟體來產生五組插補資料集,但僅針對第一次的插補資料進 行DIF分析,所以仍只是在探究單一插補前後對於DIF偵測效果的影響。

再者,進行DIF試題偵測時,有數個變項扮演著重要的角色。首先,DIF偵測 方法可以分作IRT取向與非IRT取向。Potenza與Dorans(1995)以兩個向度來形成 DIF偵測方法的分類架構,其中一個向度為配對變項的類型,另一個向度是取決於 試題分數與配對變項之間的函數關係。本研究以Lord法來代表IRT取向的DIF偵測 方法,它是屬於潛在變項且有特定函數關係(parametric)的方法,主要在檢定參 照組與焦點組的試題參數是否有差異,亦即檢定兩組受測者的試題反應函數(item response function, IRF)的差異性。非IRT取向方面,本研究是以MH法作為代表,

它是屬於觀察分數且無特定函數關係(nonparametric)的DIF偵測方法,與Lord法 之間正好相對應。此外,尚無其他研究在同樣的遺失樣態下以此二方法探究DIF偵 測效果。

此外,純化程序也是一個關鍵的變項。Navas-Ara與Gómez-Benito(2002)曾 探討測驗長度、樣本數與DIF程度等變項與純化程序的關係,其結果顯示在短測驗、

大樣本與重度DIF的條件下,純化程序對於DIF偵測有正向效果。先前的研究也顯 示當DIF程度高與DIF試題比率高時,純化程序提升檢定力(power值)的效果較明 顯 (French & Maller, 2007; Clauser, Mazor, & Hambleton, 1993; Miller &

Oshima,1992)。因此本研究也考量樣本數、DIF試題比率與DIF程度等變項,以另 一個層次探討加入純化程序對DIF偵測效果的影響。

本研究擬探究不同資料遺失樣態下的DIF偵測效果。遺失樣態方面,操弄的變 項為遺失機制與遺失比率,前者包含MCAR與三種MAR類型,後者則是無遺失、

10%遺失與30%遺失三種比率。此外,也會探討經單一插補法處理遺失值後,能否 改善DIF偵測的結果。DIF偵測方法的部分,一方面使用非IRT取向的MH法,另一 方面採用IRT取向的Lord法,且都會進而比較有無加入純化程序的差異,以探討純 化程序對於DIF偵測效果的影響。同時,也試圖瞭解樣本數、DIF程度與DIF試題比 率等變項與純化效果的關係。

依據以上文獻探討的結果,本研究擬定的研究問題如下:

(1) 不同的遺失樣態(遺失機制、遺失比率)是否會影響DIF偵測效果?

(2) 有無使用單一插補法是否會影響不同遺失樣態下之DIF偵測效果?

(3) DIF偵測方法(是否為IRT取向、有無加入純化程序)是否會影響不同遺失 樣態下之DIF偵測效果?