• 沒有找到結果。

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

26

混合比例(mixture proportion)所控制。而在本研究,研究者擬藉著比較 不同鏈之間的能力平均值,來判斷是否有鏈之間的標籤轉移,但根據以往 混合模式的相關研究結果與經驗,大多沒有發生標籤轉移的現象(Cho &

Cohen, 2010)。

(三)模式選擇指標

在混合模式中,決定合適的的受試者分類群數,可從幾個指標來判斷 比較,其中,Li、Cohen、Kim 和 Cho(2006)比較 AIC、BIC(Bayesian information coefficient )、 DIC ( deviance information coefficient)、 PsBF

(pseudo-Bayes factor)等指標,發現 BIC 在單參數、二參數、三參數的混 合模式的表現均屬良好,而 AIC、DIC 則傾向選擇較複雜的模式。因此,

本研究在處理實徵資料時,將選取 AIC、BIC 做為決定分群數目的指標,

其定義分別如公式(21)、(22)所示,D表示概似函數,m表示參數個數,

n 表示樣本數。

m D

AIC2 2 (20)

n m D

BIC2  log (21)

第二節 模擬因子與估計精準度

關於模擬研究,茲就本研究操弄模擬因子及判別估計精準度的指標,

分別說明如下:

一、模擬因子

本研究經整理與參考過去文獻後(表 1),將模擬因子設定為學生數(2 種)、DIF 試題數(3 種)、模式(2 種),而固定因子則為試題數目和潛在 類別數,其中,每種情況會重複(replicate)10 回合。模擬研究因子設計 如表 4 所示,茲逐一分述如下:

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

27

表 4 模擬研究因子設計

題數 DIF 試題數 DIF 程度 學生數 潛在

類別數 混合比例

MIE 模型 30 6、10、20 難度值差

一個負號 900、2500 4 5%、20%、

30%、45%

(一) 試題數

過去多數混合模式研究並不特別關注在不同試題數之下,模式估計精 準度情形,故本研究將試題數當成固定因子。本研究將試題數固定為 30 題,是因該題數與常見考試的試題數目近似,例如:國中基本能力測驗數 學科 34 題、大學入學考試中心英文聽力測驗 40 題、國外 PSAT/NMSQT

(preliminary SAT / national merit scholarship qualifying test)數學科 38 題,

同時,在 Dai(2013)、DeMar 和 Lau(2011)的研究中,試題數也大多以 30 題為考量。

(二) DIF 試題數

過去混合模式的研究中,DIF 試題數最少為 2 題(如:Frick, Strobl, &

Zeileis, 2013),最多則全部試題均有 DIF(如:Dai, 2013; Rost, 1990),由 此可知,在 DIF 試題數目的設定上尚未有共識,但若採用極端情況(如全 部皆為 DIF 試題),容易影響學生實質能力估算,因此,本研究是設定 DIF 試題數為 6、10、20 題,分別表示少部分試題有 DIF、三分之一試題有 DIF、

三分之二試題有 DIF。

(三) 潛在類別數

由於過去混合模式的模擬研究,多將潛在類別數簡化為 2 群,並未深 入探討有多組潛在類別時的模式估計精準度,故本研究特別設定在多組潛 在類別的情境下,將潛在類別數設為 4 群,以檢視「混合試題與受試者模 型」的估計表現情形。

(四) DIF 程度與試題難度

過去混合模式研究中,DIF 程度是從 0 至 1.3 不等,各值均曾被關注 過(可見表 1),而本研究參考 Rost(1990)的設定方式,各類群間 DIF

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

28

試題的試題難度差一個負號(例如:若某一群的難度為-2、-1.8,另一群的 難度則設為 2、1.8),而非各試題的 DIF 程度相同(例如:試題難度在兩 群人的差異皆固定相差 0.6)。整體而言,本研究對於非 DIF 試題的難度值,

是從-2.5~2.5 之間相等間隔抽出,其試題難度值如表 5~表 7 所示。其中,

表 5~表 7 包含研究者在 MIE 模型的情境下,4 群人的難度值設計。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

29

表 5 試題難度值(DIF 試題數為 6 題)

題號 第 1 群 第 2 群 第 3 群 第 4 群

1 -2.50 -2.50 -2.50 -2.50

2 -2.28 -2.28 -2.28 -2.28

3 -2.07 -2.07 -2.07 -2.07

4 -1.85 -1.85 -1.85 -1.85

5 -1.63 -1.63 -1.63 -1.63

6 -1.41 -1.41 -1.41 -1.41

7 -1.20 -1.20 -1.20 -1.20

8 -0.98 -0.98 -0.98 -0.98

9 -0.76 -0.76 -0.76 -0.76

10 -0.54 -0.54 -0.54 -0.54

11 -0.33 -0.33 -0.33 -0.33

12 -0.11 -0.11 -0.11 -0.11

13 0.11 0.11 0.11 0.11

14 0.33 0.33 0.33 0.33

15 0.54 0.54 0.54 0.54

16 0.76 0.76 0.76 0.76

17 0.98 0.98 0.98 0.98

18 1.20 1.20 1.20 1.20

19 1.41 1.41 1.41 1.41

20 1.63 1.63 1.63 1.63

21 1.85 1.85 1.85 1.85

22 2.07 2.07 2.07 2.07

23 2.28 2.28 2.28 2.28

24 2.80 2.80 2.80 2.80

25 1.5 -1.50 -0.90 0.90

26 0.9 -0.90 -0.30 0.30

27 0.3 -0.30 -1.50 1.50

28 -0.3 0.30 1.50 -1.50

29 -0.9 0.90 0.30 -0.30

30 -1.5 1.50 0.90 -0.90

註:DIF 試題為 25 至 30 題

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

30

表 6 試題難度值(DIF 試題數為 10 題)

題號 第 1 群 第 2 群 第 3 群 第 4 群

1 -2.50 -2.50 -2.50 -2.50

2 -2.24 -2.24 -2.24 -2.24

3 -1.97 -1.97 -1.97 -1.97

4 -1.71 -1.71 -1.71 -1.71

5 -1.45 -1.45 -1.45 -1.45

6 -1.18 -1.18 -1.18 -1.18

7 -0.92 -0.92 -0.92 -0.92

8 -0.66 -0.66 -0.66 -0.66

9 -0.39 -0.39 -0.39 -0.39

10 -0.13 -0.13 -0.13 -0.13

11 0.13 0.13 0.13 0.13

12 0.39 0.39 0.39 0.39

13 0.66 0.66 0.66 0.66

14 0.92 0.92 0.92 0.92

15 1.18 1.18 1.18 1.18

16 1.45 1.45 1.45 1.45

17 1.71 1.71 1.71 1.71

18 1.97 1.97 1.97 1.97

19 2.24 2.24 2.24 2.24

20 2.50 2.50 2.50 2.50

21 -2.00 2.00 -0.22 0.22

22 -1.56 1.56 -0.67 0.67

23 -1.11 1.11 -2.00 2.00

24 -0.67 0.67 -1.56 1.56

25 -0.22 0.22 -1.11 1.11

26 0.22 -0.22 2.00 -2.00

27 0.67 -0.67 1.56 -1.56

28 1.11 -1.11 0.22 -0.22

29 1.56 -1.56 0.67 -0.67

30 2.00 -2.00 1.11 -1.11

註:DIF 試題為 21 至 30 題

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

31

表 7 試題難度值(DIF 試題數為 20 題)

題號 第 1 群 第 2 群 第 3 群 第 4 群

1 -2.00 -2.00 -2.00 -2.00

2 -1.56 -1.56 -1.56 -1.56

3 -1.11 -1.11 -1.11 -1.11

4 -0.67 -0.67 -0.67 -0.67

5 -0.22 -0.22 -0.22 -0.22

6 0.22 0.22 0.22 0.22

7 0.67 0.67 0.67 0.67

8 1.11 1.11 1.11 1.11

9 1.56 1.56 1.56 1.56

10 2.00 2.00 2.00 2.00

11 -2.00 2.00 0.50 -0.50

12 -1.79 1.79 0.72 -0.72

13 -1.58 1.58 0.94 -0.94

14 -1.37 1.37 1.17 -1.17

15 -1.16 1.16 1.39 -1.39

16 -0.95 0.95 1.61 -1.61

17 -0.74 0.74 1.83 -1.83

18 -0.53 0.53 2.06 -2.06

19 -0.32 0.32 2.28 -2.28

20 -0.11 0.11 2.50 -2.50

21 0.11 -0.11 -2.50 2.50

22 0.32 -0.32 -2.28 2.28

23 0.53 -0.53 -2.06 2.06

24 0.74 -0.74 -1.83 1.83

25 0.95 -0.95 -1.61 1.61

26 1.16 -1.16 -1.39 1.39

27 1.37 -1.37 -1.17 1.17

28 1.58 -1.58 -0.94 0.94

29 1.79 -1.79 -0.72 0.72

30 2.00 -2.00 -0.50 0.50

註:DIF 試題為 11 至 30 題

本研究評估難度值精準度的指標為 RMSE(root mean square error),

如公式(24)。ˆr代表在重複 1, 2, 3, …R 次之下,估計而得的試題參數向

本研究使用軟體為 WinBUGS(Spielgelhalter, Thomas, Best & Lunn, 2002),BUGS 為「Bayesian inference Using Gibbs Sampling」的縮寫。此 軟體為以貝氏估計法搭配蒙地卡羅馬可夫鏈(Markov Chain Monte Carlo, MCMC)與 Gibbs 抽樣(Gibbs sampling),為知名的貝氏估計法軟體之一,

其需由使用者自行撰寫語法,相較於一般套裝軟體,WinBUGS 可依使用 者的語法而產生許多變化,延伸性與彈性較強,因此,較適合用於新模式 的發展。

相關文件