第四章 研究結果與討論
第三節 區域差異試題功能之分析結果
由 SPSS、SIBTEST、EZDIF 三種統計軟體挑出之區域 DIF 試題及其 P 值整 理如下列四個表格。
表 4-15 SPSS-MH 法挑出之區域 DIF 試題及其 P 值
年 度 區 域 題 號 χ2 P-value
95(二)
中-東 南-東
17 26
6.85 11.25
0.009 0.001
96(一)
北-中 中-南
32 32
14.30 11.96
0.000 0.001 96(二) 南-東 14 7.22 0.007
97(一)
北-南 北-南 南-東
26 32 31
8.54 7.02 6.76
0.003 0.008 0.009 97(二) 中-南 21 7.77 0.005
表 4-16 Crossing SIBTEST 挑出之區域 DIF 試題及其 P 值
表 4-18 EZDIF-LR 法挑出之區域 DIF 試題及其 P 值 SPSS-MH 法與 EZDIF -MH 法挑出的 DIF 試題一致性比較高,Crossing SIBTEST 與這兩者有部分重疊,而 EZDIF-LR 法與其他三者之差異頗大故予以排除,後續 章節僅就一些 DIF 情形較嚴重,ETS 分類系統歸為 B 類之試題做進一步探討。
表 4-19 三種統計軟體挑出之區域 DIF 試題
95(一) 95(二)
SPSS Crossing EZDIF -MH SIBTEST -MH LR
SPSS Crossing EZDIF -MH SIBTEST -MH LR
北-中 北-中 2.5.26
北-南 北-南 20.26
北-東 6 北-東 16
中-南 7 中-南 17 15
中-東 30 中-東 17 ★17
南-東 南-東 26 25 ★26
96(一) 96(二)
SPSS Crossing EZDIF -MH SIBTEST -MH LR
SPSS Crossing EZDIF -MH SIBTEST -MH LR 北-中 32 32 32 10.14 北-中
北-南 北-南 3
北-東 北-東 31
中-南 32 10.32 32 1.14 中-南 26
中-東 3 17.30 中-東 6
南-東 南-東 14
97(一) 97(二)
SPSS Crossing EZDIF -MH SIBTEST -MH LR
SPSS Crossing EZDIF -MH SIBTEST -MH LR
北-中 5 北-中 20
北-南 26.32 26.32 24 北-南
北-東 16 北-東 26
中-南 14.24 中-南 21 21
中-東 ★1 2 中-東
南-東 31 南-東 23
註:表中打星號(★)那三題為 ETS 分類系統中歸為 B 類之 DIF 試題,亦即本 研究欲進一步做質性分析之試題。
由表 4-19 延伸進一步分析,將 LR 法的偵測結果予以排除後,SPSS-MH 法、
Crossing SIBTEST 與 EZDIF-MH 法偵測 DIF 試題的一致性高達 92.5%,如下表 4-20 所示。
表 4-20 三種統計軟體偵測區域 DIF 試題之一致性
年 度 共有 DIF 試題題數
皆無 DIF 試題題數
總題數 一致性
95(一) 0 題 32 題 33 題
33
32=96.97%
95(二) 0 題 30 題 33 題
33
30=90.91%
96(一) 1 題 30 題 33 題
33
31=93.94%
96(二) 0 題 31 題 33 題
33
31=93.94%
97(一) 0 題 30 題 34 題
34
30=88.24%
97(二) 0 題 31 題 34 題
34
31=91.18%
整 體 1 題 184 題 200 題
200
185 =92.5%
註:一致性係指「三種統計軟體挑出之(共有 DIF 試題題數+皆無 DIF 試題題數)
÷ 總題數」。
因區域 DIF 試題題數較少,故將表 4-19 中之疑似 DIF 試題排除 LR 法的偵測 結果之後,取其他三種統計法中有兩種以上共同偵測出之試題,將在第四章第四 節中做進一步分析與討論,並對 ETS 分類系統中歸為 B 類之 DIF 試題做質性分 析。
接著,針對 Crossing SIBTEST 法單獨挑出的七題區域 DIF 試題做進一步的檢 視,看看是否為 non-uniform DIF 試題。
圖 4-4 為中區及東區考生於 Item 95-1-30 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 11 分與 14 分時有交叉,此題可能為 non-uniform DIF 試題;整體而言,東區考生的累積答對率大多高於中區考生。
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 5 10 15 20 25 30 35
中區 東區
圖 4-4 Item 95-1-30 答對人數累積百分比曲線圖
圖 4-5 為南區及東區考生於 Item 95-2-25 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 14 分與 28 分時有交叉,此題可能為 non-uniform DIF 試題;整體而言,南區考生的累積答對率大多高於東區考生。
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 5 10 15 20 25 30 35
南區 東區
圖 4-5 Item 95-2-25 答對人數累積百分比曲線圖
圖 4-6 為中區及東區考生於 Item 96-1-3 答對人數累積百分比曲線圖,此題在 本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試 題,從圖中可看出兩條曲線在 15 分時有交叉,29 分以上累積答對率漸趨於一致,
此題有 non-uniform DIF 的情形,但整體而言,中區與東區考生的累積答對率差 異程度並不大。
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 5 10 15 20 25 30 35
中區 東區
圖 4-6 Item 96-1-3 答對人數累積百分比曲線圖
圖 4-7 為中區及南區考生於 Item 96-1-10 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出此題兩條曲線幾乎重疊,各分數兩區考生之累積答對率相 當,因此應非區域 DIF 試題。
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 5 10 15 20 25 30 35
中區 南區
圖 4-7 Item 96-1-10 答對人數累積百分比曲線圖
圖 4-8 為中區及東區考生於 Item 96-2-6 答對人數累積百分比曲線圖,此題在 本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試 題,從圖中可看出兩條曲線在 17 分、23 分與 27 分時有多處交叉,但 non-uniform 現象並不明顯,30 分以上累積答對率漸趨於一致,此題雖有 non-uniform DIF 的 情形,但整體而言,中區與東區考生於此題的答題表現累積答對率差異程度並不 太大。
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 5 10 15 20 25 30 35
中區 東區
圖 4-8 Item 96-2-6 答對人數累積百分比曲線圖
圖 4-9 為北區及中區考生於 Item 97-2-20 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 16 分與 23 分時有交叉,30 分以上累積答對率漸 趨於一致,此題可能為 non-uniform DIF 試題,但整體而言,北區與中區考生的 累積答對率差異程度並不大。
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 5 10 15 20 25 30 35
北區 中區
圖 4-9 Item 97-2-20 答對人數累積百分比曲線圖
圖 4-10 為北區及東區考生於 Item 97-2-26 答對人數累積百分比曲線圖,此題 在本研究中僅 Crossing SIBTEST 偵測出有 DIF 情形,因此並沒有列為區域 DIF 試題,從圖中可看出兩條曲線在 10 分與 30 分時有交叉,此題可能為 non-uniform DIF 試題,整體而言,北區考生的累積答對率大多高於東區考生。
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 5 10 15 20 25 30 35
北區 東區
圖 4-10 Item 97-2-26 答對人數累積百分比曲線圖
整體觀之,上述 Crossing SIBTEST 法單獨挑出的七題區域 DIF 試題中,有六 題具有 non-uniform DIF 的情形,但多半兩條曲線十分接近,差異程度並不大,
僅能判斷其有可能為 non-uniform DIF 試題。