試題反應理論模式

本研究所使用之試題反應理論模式有UIRT、MIRT 及 HO-IRT，以下 依各模式進行介紹。 IRT之相關理論作為其學術研究的主要工具之一(OECD, 2012)。

以IRT進行測驗資料之分析時，單向性(unidimensionality)為主要的基本 假設之一，也就是試題或測驗都是測量同一種共同能力或潛在特質，若包 含多種能力的話，則適用多向度的IRT模型。IRT模式主要可分為單參數對 數 模 式 (one-parameter logistic model, 1PLM) 、 雙 參 數 對 數 模 式 (two-parameter logistic model, 2PLM)、三參數對數模式(three-parameter logistic model, 3PLM)三種模式，其模式簡介如下。

(一) 單參數對數模式

1PLM 包含了受試者的能力與試題的難度參數，由 Rasch(1960)提出，

如公式(2.7)所示：

2PLM 主要是在 1PLM 中加入試題的鑑別度參數，由 Birnbaum(1968) 提出，如公式(2.8)所示：

12

3PLM 主要是在 2PLM 中加入試題的猜測度參數，由 Lord(1980)提出，

如公式(2.9)所示： 用多向度試題反應理論模式(multidimensional item response theory; MIRT) 來進行分析。

多向度試題反應理論是可以測量多個不同能力量尺的模式，依其題目 設計的不同，主要可以分為題間多向度測驗(between-item multidimensional test) 與 題 內 多 向 度 測 驗 (within-item multidimensional test) 兩 種 (Adams, Wilson & Wang, 1997)。題間多向度測驗代表每個試題只測一種能力，每個 試題都是單向度的試題，但是整份測驗中包含二種以上的能力，如圖 2-2 所示，例如一份國小數學期末測驗，可能同時涵蓋幾何能力的試題及統計

13

能力的試題，此為題間多向度測驗的一種。題內多向度測驗則是測驗中有 些試題測量了一種以上的能力，如圖 2-3 所示，前述之速率問題即是題內 多向度測驗之一。

因此，單向度IRT 模式不適合用在這類測驗上，學者們提出了多向度 試題反應理論模式(Adams, Wilson & Wang, 1997; Hattie, 1981; Mckinley &

Reckase, 1983; Reckase & Mckinley, 1991; Sympson, 1978)。MIRT 除了可以 克服單向度IRT 的限制外；還可以利用向度之間的相關性來提高對各向度 能力估計的精準度(Wang, Chen, & Cheng, 2004)

圖2-2 題間多向度測驗

圖2-3 題內多向度測驗

Adams、Wilson 與 Wang (1997)等人所提出來的多向度隨機係數多項 Item 1

Item 25 Item 26

Item 50





Item 1

Item 25 Item 26

Item 50





14

洛 基 模 式(multidimensional random coefficients multinomial logit model, MRCMLM)為 Rasch 模式的衍生模式，其答對機率模型如公式(2.10)。

1 Adams & Wilson, 1998)。

15

三、高層次試題反應理論模式

高層次試題反應理論模式同時包含整體能力分數(overall ability)及領 域分數(domain ability)，本研究以階層架構區分，分別稱為主要量尺分數 與次級量尺分數，若測驗具有階層式的評量架構，使用所有的試題透過 UIRT 來進行主要量尺的能力估計，則忽略了次級量尺間的多向度特性；

若將各個次級量尺分別獨立估計，則忽略了次級量尺能力間的相關，所得 到的估計為次佳解，且由於各個次級量尺所對應的題數較少，會使得能力 估計較不穩定(Ackerman, 1992; de la Torre & Patz, 2005; Wainer et al., 2001) 。

Sheng & Wikle(2008)基於二參數常態肩型(two parameters normal ogive) 模型提出二參數階層式MIRT (2 parameters hierachical MIRT)模式，可同時 估計主要量尺與次級量尺分數，但只適用於單參數或二參數模型。de la Torre & Song(2009)提出 HO-IRT 模型架構(如圖 2-4)，可結合多種 IRT 模式，

de la Torre & Song 即使用 3PLM，增加模式可適用的資料情境，其研究假 設 試 題 參 數 已 知 ， 僅 探 討 能 力 量 尺 的 估 計 結 果 差 異 ，de la Torre &

Hong(2010)再使用結合 3PLM 的 HO-IRT 模型，探討各種條件設定(量尺間 的相關、量尺個數、樣本個數、試題數量)對參數估計的影響，並開放試題 參數納入估計程序。因此，本研究參考de la Torre & Hong(2010)的 HO-IRT 模式做為混合模型的基礎，以及各種條件變項制訂實驗設計，以下介紹 HO-IRT 模型之基本架構。

16

17

數間的相關，而次級量尺d 與d'間的相關則為



 



階層式模式的參數估計過程比單一層模式來得複雜，所需估計之參數 增加及結構複雜程度的提升，使得傳統估計方法，例如：邊際最大概似估 計法(marginalized maximum likelihood estimation)、聯合最大概似估計法 (joint maximum likelihood estimation)等參數估計法不能直接套用。故 Sheng

& Wikle(2008)、de la Torre & Song(2009)及 de la Torre & Hong(2010)皆採用 MCMC 法進行參數估計，以下為 de la Torre & Hong(2010)參數估計的程序，

並調整以本研究設定之參數符號呈現。表2-3 為 HO-IRT 模式各參數的先

18

19 及次級量尺的設計，將其命名為Multilevel DINA (ML-DINA)，其模型架構 如圖3-1 所示。