• 沒有找到結果。

第四章 研究結果與討論

第三節 區域差異試題功能之分析結果

由 SPSS、SIBTEST、EZDIF 三種統計軟體挑出之區域 DIF 試題及其 P 值整 理如下列四個表格。

表 4-15 SPSS-MH 法挑出之區域 DIF 試題及其 P 值

年 度 區 域 題 號 χ2 P-value

95(二)

中-東 南-東

17 26

6.85 11.25

0.009 0.001

96(一)

北-中 中-南

32 32

14.30 11.96

0.000 0.001 96(二) 南-東 14 7.22 0.007

97(一)

北-南 北-南 南-東

26 32 31

8.54 7.02 6.76

0.003 0.008 0.009 97(二) 中-南 21 7.77 0.005

表 4-16 Crossing SIBTEST 挑出之區域 DIF 試題及其 P 值

表 4-18 EZDIF-LR 法挑出之區域 DIF 試題及其 P 值 SPSS-MH 法與 EZDIF -MH 法挑出的 DIF 試題一致性比較高,Crossing SIBTEST 與這兩者有部分重疊,而 EZDIF-LR 法與其他三者之差異頗大故予以排除,後續 章節僅就一些 DIF 情形較嚴重,ETS 分類系統歸為 B 類之試題做進一步探討。

表 4-19 三種統計軟體挑出之區域 DIF 試題

95(一) 95(二)

SPSS Crossing EZDIF -MH SIBTEST -MH LR

SPSS Crossing EZDIF -MH SIBTEST -MH LR

北-中 北-中 2.5.26

北-南 北-南 20.26

北-東 6 北-東 16

中-南 7 中-南 17 15

中-東 30 中-東 17 ★17

南-東 南-東 26 25 ★26

96(一) 96(二)

SPSS Crossing EZDIF -MH SIBTEST -MH LR

SPSS Crossing EZDIF -MH SIBTEST -MH LR 北-中 32 32 32 10.14 北-中

北-南 北-南 3

北-東 北-東 31

中-南 32 10.32 32 1.14 中-南 26

中-東 3 17.30 中-東 6

南-東 南-東 14

97(一) 97(二)

SPSS Crossing EZDIF -MH SIBTEST -MH LR

SPSS Crossing EZDIF -MH SIBTEST -MH LR

北-中 5 北-中 20

北-南 26.32 26.32 24 北-南

北-東 16 北-東 26

中-南 14.24 中-南 21 21

中-東 ★1 2 中-東

南-東 31 南-東 23

註:表中打星號(★)那三題為 ETS 分類系統中歸為 B 類之 DIF 試題,亦即本 研究欲進一步做質性分析之試題。

由表 4-19 延伸進一步分析,將 LR 法的偵測結果予以排除後,SPSS-MH 法、

Crossing SIBTEST 與 EZDIF-MH 法偵測 DIF 試題的一致性高達 92.5%,如下表 4-20 所示。

表 4-20 三種統計軟體偵測區域 DIF 試題之一致性

年 度 共有 DIF 試題題數

皆無 DIF 試題題數

總題數 一致性

95(一) 0 題 32 題 33 題

33

32=96.97%

95(二) 0 題 30 題 33 題

33

30=90.91%

96(一) 1 題 30 題 33 題

33

31=93.94%

96(二) 0 題 31 題 33 題

33

31=93.94%

97(一) 0 題 30 題 34 題

34

30=88.24%

97(二) 0 題 31 題 34 題

34

31=91.18%

整 體 1 題 184 題 200 題

200

185 =92.5%

註:一致性係指「三種統計軟體挑出之(共有 DIF 試題題數+皆無 DIF 試題題數)

÷ 總題數」。

因區域 DIF 試題題數較少,故將表 4-19 中之疑似 DIF 試題排除 LR 法的偵測 結果之後,取其他三種統計法中有兩種以上共同偵測出之試題,將在第四章第四 節中做進一步分析與討論,並對 ETS 分類系統中歸為 B 類之 DIF 試題做質性分 析。

接著,針對 Crossing SIBTEST 法單獨挑出的七題區域 DIF 試題做進一步的檢 視,看看是否為 non-uniform DIF 試題。

圖 4-4 為中區及東區考生於 Item 95-1-30 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 11 分與 14 分時有交叉,此題可能為 non-uniform DIF 試題;整體而言,東區考生的累積答對率大多高於中區考生。

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 5 10 15 20 25 30 35

中區 東區

圖 4-4 Item 95-1-30 答對人數累積百分比曲線圖

圖 4-5 為南區及東區考生於 Item 95-2-25 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 14 分與 28 分時有交叉,此題可能為 non-uniform DIF 試題;整體而言,南區考生的累積答對率大多高於東區考生。

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 5 10 15 20 25 30 35

南區 東區

圖 4-5 Item 95-2-25 答對人數累積百分比曲線圖

圖 4-6 為中區及東區考生於 Item 96-1-3 答對人數累積百分比曲線圖,此題在 本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試 題,從圖中可看出兩條曲線在 15 分時有交叉,29 分以上累積答對率漸趨於一致,

此題有 non-uniform DIF 的情形,但整體而言,中區與東區考生的累積答對率差 異程度並不大。

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 5 10 15 20 25 30 35

中區 東區

圖 4-6 Item 96-1-3 答對人數累積百分比曲線圖

圖 4-7 為中區及南區考生於 Item 96-1-10 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出此題兩條曲線幾乎重疊,各分數兩區考生之累積答對率相 當,因此應非區域 DIF 試題。

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 5 10 15 20 25 30 35

中區 南區

圖 4-7 Item 96-1-10 答對人數累積百分比曲線圖

圖 4-8 為中區及東區考生於 Item 96-2-6 答對人數累積百分比曲線圖,此題在 本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試 題,從圖中可看出兩條曲線在 17 分、23 分與 27 分時有多處交叉,但 non-uniform 現象並不明顯,30 分以上累積答對率漸趨於一致,此題雖有 non-uniform DIF 的 情形,但整體而言,中區與東區考生於此題的答題表現累積答對率差異程度並不 太大。

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 5 10 15 20 25 30 35

中區 東區

圖 4-8 Item 96-2-6 答對人數累積百分比曲線圖

圖 4-9 為北區及中區考生於 Item 97-2-20 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 16 分與 23 分時有交叉,30 分以上累積答對率漸 趨於一致,此題可能為 non-uniform DIF 試題,但整體而言,北區與中區考生的 累積答對率差異程度並不大。

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 5 10 15 20 25 30 35

北區 中區

圖 4-9 Item 97-2-20 答對人數累積百分比曲線圖

圖 4-10 為北區及東區考生於 Item 97-2-26 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 10 分與 30 分時有交叉,此題可能為 non-uniform DIF 試題,整體而言,北區考生的累積答對率大多高於東區考生。

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 5 10 15 20 25 30 35

北區 東區

圖 4-10 Item 97-2-26 答對人數累積百分比曲線圖

整體觀之,上述 Crossing SIBTEST 法單獨挑出的七題區域 DIF 試題中,有六 題具有 non-uniform DIF 的情形,但多半兩條曲線十分接近,差異程度並不大,

僅能判斷其有可能為 non-uniform DIF 試題。