• 沒有找到結果。

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

21

第参章 研究方法

研究者參閱相關文獻後,提出運用在單一層次資料的「混合試題與受 試者模型」,為了解模式的可行性,本文將以模擬研究比較「混合試題與 受試者模型(以下稱 MIE 模型)」與 RIM 模型,在不同模擬情境下估計參 數的表現,同時,並進一步檢視「混合試題與受試者模型」應用於實徵資 料分析之可能情況。本章就理論基礎與模型、模擬因子與估計精準度、研 究工具、實徵資料,茲逐一分述如下:

第一節 理論基礎與模型

茲就理論模式、先驗分配和後驗分配與收斂監控與模式選擇等,分別 說明如下:

一、理論模式

本研究結合 MMixIRTM 和 RIM 模型,將學生能力值和試題參數同時 視為隨機效果之下,以處理單層次形態的資料。在單一層次的資料內,相 似反應組型的學生會被視為同一群;

在 MMixIRTM 模型中,著重在於如何有效分類受試者,因此,概念 上稱為混合受試者模式,然而,將類似概念應用在偵測 DIF 試題時,研究 者可能將試題區分成 DIF、非 DIF 兩類,稱為混合試題模式,其中,非 DIF 的試題將作為定錨題,以作為受試者能力的配對,而全部試題進行檢測後,

有 DIF 的試題,在不同潛在類別中將呈現出不同的難度。

表 3 是以數學公式表達本研究模型,其中,表格中英文字母代表意義 同前述,而下標的ijg表示試題為第i題、第 j 個學生,該生屬於學生潛在 類別g

distribution),如公式(16)所示。此外, []代表狄氏分配(dirichlet g

distribution),其分配如公式(17)所示,其中,

在類別的量尺(Cho, Cohen, & Kim, 2006)。公式(15)難度值的先驗分配 設為常態分配,可改善適配的穩定度,另外難度值的先驗分配選共軛函數,

並避開瑕積分(improper)不為 1 的先驗分配,以利後驗分配的運算。最 後,過去文獻也大多證實上述先驗分配可達到一定的估計穩定度,故本研 究使用以上的先驗分配(Bolt, Cohen, & Wollack, 2001, 2002; Cho, & Cohen, 2010; Cohen, Cho, & Kim, 2005; Johnson, & Albert, 1998; Samuelsen, 2005;

Wollack, Cohen, & Wells, 2003)。

(二)後驗分配

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

25

三、收斂監控與模式選擇

利用貝氏估計法進行參數估計時,有幾項議題需要注意,分別是:收 斂監控、標籤轉移及模式選擇,茲分別說明如下:

(一)收斂監控

Cho 等人(2006)的研究指出,以貝氏估計法估計混合 IRT 模型時,

在小樣本、試題少(例如:360 人、10 題)的情況下不易收斂,建議在 30 題以上的情況下,才有較高的收斂機率。為了確認參數估計達收斂,研究 者會檢查後驗分配的機率密度函數圖形、Gibbs 抽樣軌跡圖,以瞭解參數 估計收斂情形。另外,本研究在估算參數時進行 8000 次疊代,但只取後 面 3000 次結果。

(二)標籤轉移(label switch)

標籤轉移為貝氏估計應用在潛在類別上的一大議題,研究者若給予不 同的參數值,卻得到相同的後驗分配,則稱為模式無法辨識。其中,若參 數的先驗分配提供充足的訊息量,模式能成功辨識的機會越高,相對而言,

標籤轉移則為模式無法辨識的狀況之一。研究者舉一例說明 MMixIRT 模 式下的標籤轉移情況,例如:模式將受試者分為兩群,第一次估計時,是 將第一群人標記為 1,第二群人標計為 2,但在第二次估計時,卻將第一 群人標記為 2,第二群人標記為 1,儘管兩次的估計結果沒有問題,同樣 做正確的分群,但給予受試者的標記不同。

研究者將幾種標籤轉移的現象大致分為幾類:(1)發生在鏈內(within chain):其概念是指在執行 MCMC 時,在同一鏈但不同疊代時發生標籤 轉移。此狀況為給定不同的參數,卻得到相同的概似函數。此結果往往是 因為估計訊息不充分所造成的,目前,研究者可藉由檢查參數的邊際概似 函數以發現,但仍無法完全準確地偵測出來(McLachlan & Peel, 2000)。

(2)發生在鏈間(between chains):其概念是指在執行 MCMC 時,在不 同鏈之間發生標籤轉移。此種轉移現象在模擬研究中,可藉由比較估計值 和真值的情形以判斷是否有標籤轉移的情形。(3)發生在學校階層:是 指在執行 MCMC 時,若鍊間的標籤轉移不是發生在學生階層,而是在學 校階層,其中,標籤移轉發生於學校階層,是因為學生的混合比例由學校

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

26

混合比例(mixture proportion)所控制。而在本研究,研究者擬藉著比較 不同鏈之間的能力平均值,來判斷是否有鏈之間的標籤轉移,但根據以往 混合模式的相關研究結果與經驗,大多沒有發生標籤轉移的現象(Cho &

Cohen, 2010)。

(三)模式選擇指標

在混合模式中,決定合適的的受試者分類群數,可從幾個指標來判斷 比較,其中,Li、Cohen、Kim 和 Cho(2006)比較 AIC、BIC(Bayesian information coefficient )、 DIC ( deviance information coefficient)、 PsBF

(pseudo-Bayes factor)等指標,發現 BIC 在單參數、二參數、三參數的混 合模式的表現均屬良好,而 AIC、DIC 則傾向選擇較複雜的模式。因此,

本研究在處理實徵資料時,將選取 AIC、BIC 做為決定分群數目的指標,

其定義分別如公式(21)、(22)所示,D表示概似函數,m表示參數個數,

n 表示樣本數。

m D

AIC2 2 (20)

n m D

BIC2  log (21)

相關文件