第四章 結果與討論
第四節 95 至 97 年基測自然科區域 DIF 情形
本節主要就「國中基測推動委員會」提供的95至97年度共六次各5000筆資料 加以整理分組,並運用不同DIF試題偵測方法來分析了解國中基測自然科試題區 域DIF情形,以及分析區域DIF試題在五大課題及十三個知識主題所佔的分配百分 比,因為本研究中運用了三種軟體程式:SIBTEST、SPSS及EZDIF(根據顯著性 考驗結果,設α值=.01為顯著水準,α值之標準以下亦同),共有五種的DIF偵測方 法:Crossing SIBTEST、SPSS MH、EZDIF MH、EZDIF ETS、EZDIF LR,本研 究將呈現出其中兩種DIF情形的試題歸類為「可疑DIF」。將三種軟體程式共有五 種DIF偵測方法所呈現出有區域DIF現象的結果整理於附錄二。
統計結果中發現 EZDIF LR 的DIF偵測結果和其他四種DIF偵測方法的結果 吻合度不大;而在區域DIF偵測中也發現到 EZDIF ETS 在小樣本區域中會有多 題單獨出現B類的DIF試題,DIF偵測方法的一致性將於第六節討論。為了不干擾 本研究中DIF試題之嚴重程度分類結果,因此不將EZDIF LR和EZDIF ETS列入在
「嚴重DIF」的考量中,本研究將前三種方法(亦即Crossing SIBTEST、SPSS MH 及EZDIF MH)皆偵測出有DIF情形之試題歸類為「嚴重DIF」。
本研究中所有DIF試題的有利組別以EZDIF MH相關數值的標準來判斷,其中 Alpha>1.00、D-DIF<0.00表示對參照組有利(本研究為大區域或男生);Alpha
<1.00、D-DIF>0.00表示對焦點組有利(本研究為小區域或女生),將嚴重區域 DIF試題的Alpha及MH D-DIF數值整理於附錄三。
將區域DIF偵測結果(詳如附錄二)中的可疑及嚴重DIF試題整理如表4-12,
由表4-12中可看出各年度的可疑區域DIF試題並不多,共30題(37次),占全部總 題數(348題)的8.62%,其中嚴重區域DIF試題只有7題(8次),占全部總題數(348 題)的2.01%,也顯示出國中基測自然科試題並無發生明顯的區域群體間的差異 現象。
表4-12 95至97年度國中基測自然科可疑及嚴重區域DIF試題
註:EZDIF ETS表格中的DIF試題於分類系統中皆為B類程度之DIF試題。
以EZDIF MH中的數值標準來判斷有利區域,□代表有利的區域。
因本研究中運用了五種DIF偵測方法,因此將前三種方法(
Crossing SIBTEST
、 SPSS MH、EZDIF MH)皆偵測到DIF的試題列為「嚴重DIF」,其中如果伴隨EZDIF ETS分類之B類或是EZDIF LR其中一種,列為DIF「嚴重度較高」試題;而五種 方法皆偵測出有DIF情形或是伴隨著EZDIF ETS分類之C類試題,列為DIF「嚴重 度最高」題目;僅有前三種方法測出DIF的試題則列為DIF「嚴重度中等」題目。將區域嚴重DIF程度依照上述方法分類,列表於表4-13中,可看出嚴重度最高的 試題僅有96-1-48一題,嚴重度較高及嚴重度中等的試題皆有三題。嚴重度較高及 最高的區域DIF試題共有四題,此四題題目之質性分析將於第七節列入討論。
表4-13 95至97年度國中基測自然科嚴重區域DIF試題程度分類
嚴重度中等 嚴重度較高 嚴重度最高
95(一) 3(北南、北中)
95(二) 無 無 無
96(一) 30(中東) 48(南東)
96(二) 58(北中)
97(一) 28(北南)、45(北中) 37(中東)
97(二) 無 無 無
註:□代表有利的區域。
將嚴重區域DIF試題依據十三個知識主題分類如表4-14所示,可發現嚴重區域 DIF集中於「地球的環境」、「改變與平衡」、「交互作用」這三類,皆各兩題,但 因嚴重區域DIF題目不多,並無法歸納出明顯趨勢。
本研究中以EZDIF MH中的標準來判斷有利區域,Alpha>1.00、D-DIF<0.00 表示對參照組有利(本研究為大區域);Alpha<1.00、D-DIF>0.00表示對焦點 組有利(本研究為小區域),但如果以TESTER 2.0分析出的通過率比較,發現有 些題目有non-uniform DIF的現象,即參照組及焦點組的高分組和低分組通過率各 有不一致的情形,不一定有利於參照組或焦點組,在表4-14中以灰色網底表示可 能有non-uniform DIF的現象。
表4-14 嚴重區域DIF試題十三個知識主題分類表 non-uniform DIF的現象。有利區域以EZDIF MH中的Alpha及D-DIF值判斷。
本研究中將前三種DIF偵測方法皆偵測出區域DIF的試題列為嚴重區域DIF 試題,試題的各項統計數值整理如表4-15。由表4-15中可看出95年及97年的第二 次都沒有嚴重區域DIF試題,而95年第一次涉及區域皆有北區(有利),96年第 一次涉及區域皆有東區(有利),97年第一次涉及區域為北區(不利)及中區(有 利),整體而言並沒有發生特別有利於某一個區域的現象。
表4-15 95至97年度國中基測自然科嚴重區域DIF試題各項數值
Crossing SIBTEST
SPSS MH EZDIF MH
EZDIF LRGroup Trait×Group 試題
Beta-cro p-value χ
2p-value χ
2p-value
EZDIF ETS
Z p-value Z p-value 0.08 0.000 18.29 0.000 20.37 0.000
95 (一) 3
0.06 0.006 12.96 0.000 13.12 0.000
30 0.15 0.000 8.51 0.004 8.14 0.004 B 96
(一)
48 -0.13 0.004 8.49 0.004 9.00 0.003 B 2.81 0.005 -1.97 0.049 96
(二) 58 0.06 0.007 12.36 0.000 10.28 0.001 -3.41 0.001 2.78 0.006
28 0.05 0.007 7.45 0.006 7.49 0.006
37 -0.12 0.004 6.70 0.010 7.26 0.007 B 97
(一)
45 -0.05 0.001 6.98 0.008 7.19 0.007
將嚴重區域DIF試題依知識主題分類統計題數,由於有些知識主題分類試題 總數原本就比較多,因此出現DIF試題的機會相對也會較多,因此將各分類DIF 試題數除以該分類試題總數以了解區域DIF出現的比例,將結果列於表4-16。由 表中可看出95至97年度自然科嚴重區域DIF在十三個知識主題中以「地球的環境」
佔的比率最高。
表4-16 嚴重區域DIF試題於知識主題分類之分佈比例
95(一) 95(二) 96(一) 96(二) 97(一) 97(二) 百分比
(DIF題數)
0.00 0.00 0.00 33.33 50.00 0.00 8.70
地球的環境
( 0 ) ( 0 ) ( 0 ) ( 1 ) ( 1 ) ( 0 ) ( 2 ) 0.00 0.00 0.00 0.00 33.33 0.00 3.85
物質的組成
與特性 ( 0 ) ( 0 ) ( 0 ) ( 0 ) ( 1 ) ( 0 ) ( 1 ) 3.70 0.00 4.00 0.00 0.00 0.00 1.43
改變與平衡
( 1 ) ( 0 ) ( 1 ) ( 0 ) ( 0 ) ( 0 ) ( 2 ) 0.00 0.00 8.33 0.00 6.25 0.00 2.60
交互作用
( 0 ) ( 0 ) ( 1 ) ( 0 ) ( 1 ) ( 0 ) ( 2 ) 註:僅將有嚴重區域DIF題目的知識主題列出。
因十三個知識主題分屬五大課題,因此將嚴重區域DIF試題依照自然科五大 課題分類統計數量,如表4-17。由表中可發現嚴重區域DIF題目集中出現於「自 然界的組成與特性」及「自然界的作用」兩類。
表4-17 嚴重區域DIF題目於五大課題分類結果
95(一) 95(二) 96(一) 96(二) 97(一) 97(二)
自然界的
組成與特性 0 0 0 1 2 0
自然界的作用 1 0 2 0 1 0
演化與延續 0 0 0 0 0 0
生活與環境 0 0 0 0 0 0
永續發展 0 0 0 0 0 0