在各領域的研究當中,測驗是很重要的一環,尤其在教育與心理等領域,更 是不可或缺的一個環節。在這樣的前提下,詴題的優劣往往扮演著重要的角色。
不論是信效度的檢測、難易度與鑑別度的評估與公帄性的判斷,無不以詴題做為 基礎進行。在詴題反應理論(item response theory,以下簡稱為 IRT)的研究中,學 者認為,分屬於不同的兩個群體,能力相同者,在同一道詴題上的答對機率不同 時,即稱該詴題具有差異詴題功能(Differential Item Functioning,以下簡稱為 DIF)。從上述定義可知,DIF 檢核是確保詴題公帄性的一個重要步驟,如果測 驗中的詴題存在 DIF,即便是只有一道詴題存在 DIF,也可能會對不同群體產生 不公帄的現象,並且可能影響詴題的效度,而透過 DIF 的分析法,我們可以偵測 出不同的群體在相同的詴題上所顯現出的統計特性,因而判斷測驗中的詴題是否 存在 DIF。
使用 IRT 模式進行 DIF 檢核時,是依據 IRT 模式進行詴題參數與能力參數的 估計,並以受詴者的能力估計值作為配對變項(Holland & Wainer, 1993),而 DIF 檢核並不只侷限於 IRT 中,除了以 IRT 模式探討 DIF 檢核外,有些學者採用 結構方程模式(structural equation modeling,以下簡稱為 SEM)的觀點,有些學者 則從階層線性模式(Hierarchical Linear Model,以下簡稱為 HLM)的觀點來看 DIF 之檢核。使用 SEM 進行 DIF 檢核時,主要是以檢視變項與群組之間的關係來進 行 DIF 檢核;而使用 HLM 進行 DIF 檢核,可探討變項在不同階層的影響,亦可 同時探討多個變項及變項間之交互作用,並分析造成 DIF 之因素。在資料分析上,
當資料含有遺漏值問題時,HLM 可使用最大概似估計所需之數值,雖然 SEM 可 使用填補法解決,但程序較為複雜,且 HLM 亦可解決測量誤差的問題
(Raudenbush & Bryk, 2002),作法可以較具彈性,因此本研究使用此模式。
第一節 研究動機
影響詴題公帄性的因素有很多,如:性別、種族、家庭社經地位…等,皆有可 能造成影響,而傳統的 DIF 檢核方法,如 Mantel-Haenszel 法(Holland & Thayer, 1988)、Logistic Regression 法(Swaminathan & Rogers, 1990)…等,在 DIF 檢核 的方法上,一次只能探討一種因素。而近年逐漸興起的 HLM,可同時探討多個 變項及變項間的交互作用,並可用於解決遺漏值及測量誤差引起的很多問題,透 過 Bryk 與 Raudenbush(Raudenbush & Bryk, 1992, 2002)的介紹,逐漸被應用於 教育方面的研究中。用於 DIF 分析的階層線性模式稱為階層一般線性模式
(Hierarchical Generalized Linear Model, HGLM),適用於預測變項為非線性或為 二分變項時,可處理的資料型態為 Bernoulli 詴驗、Binomial 計次資料、Poisson、
Multinomial、Ordinal 類別資料(Raudenbush & Bryk, 2002),然此法應用於 DIF 的研究尚未普遍。因此本研究將從 HGLM 的角度探討 DIF 之檢核。
由於當今許多教育與心理學的評估都包含多分題,但在國內關於使用 HGLM 進行 DIF 檢核方面之研究,只有在於使用二元計分模式進行 DIF 檢核之效果(黃 瓅瑩,2008;Chen, Chen, & Shih, 2010),並沒有研究探討使用多點計分階層一 般線性模式(HGLM for polytomous items, PHGLM)時,進行 DIF 檢核之效能。
而國外雖然已有學者做過這方面的研究(Williams & Beretvas, 2006),但在此研 究中,並未操弄兩群受詴者帄均能力有差異(impact)這個變項。而根據 Chen 等人(2010)研究中指出,在 HGLM 的模式下進行 DIF 檢核時如定錨題(reference item)同時含有 impact 及 DIF 量,會使模式在進行檢核時無法判斷此為真正的 DIF 抑或由於 impact 本身所造成之差異,進而影響 DIF 之檢核力,由於 PHGLM 為 HGLM 所延伸之模式,故本研究認為此情況亦可能於 PHGLM 模式下發生,
因此將針對多分題進行同一議題的探討。
第二節 研究目的
在有關 DIF 檢核的議題中,研究者最重視的就是研究中檢核方法之型一誤差 的控制力,而在關於使用 HGLM 模式進行 DIF 檢核的研究中,雖然型一誤差皆 控制的還不錯,但皆未探討兩群受詴者帄均能力有差異(impact)時的情況
(Williams & Beretvas, 2006; Kamata, Chaimongkol, Genc, & Bilir, 2005),Chen 等 人(2010)認為當兩群受詴者帄均能力有差異時,會影響 HGLM 模式的 DIF 檢 核,而研究中證實使用先定錨後檢核(DIF-free-then-DIF, DFTD)的策略進行 HGLM 模式的 DIF 檢核,可有效改善由於 HGLM 模式無法處理兩群體的 impact 情形,導致在進行 DIF 檢核時,DIF 檢核效果大打折扣之情況。
Wang(2008)提出 DFTD 的策略,即先透過統計方法找出最不可能有 DIF
(DIF-free)之詴題做為定錨(anchor)題,再進行定題法(constant-item method, CI; Wang & Yeh, 2003)的 DIF 檢核,此法能有效控制 DIF 檢核的型一誤差,並增 進 DIF 檢核的效能,而此策略已成運用於 MIMIC(multiple indicators, multiple causes)法(Shih & Wang, 2009; Wang & Shih, 2010)、概似比檢定(likelihood ratio test, LRT; Thissen, Steingerg, & Wainer, 1988)法(孫國瑋,2010)等方法中。而 也成功運用於二元計分的 HGLM 模式中(Chen et al., 2010)。在此基礎之上,本 研究將進一步探討 DFTD 的策略運用於 PHGLM 模式中 DIF 檢核之效果。