• 沒有找到結果。

第三章 研究方法

第五節 資料處理與分析

一、 試題分類

將試題根據「95至97年國民中學學生基本學力測驗全國試務工作暨試題研 究報告」中所提供的命題依據,依照九年一貫自然領域十三個知識主題進行分 類,結果如表3-4:

表3-4 95至97年度自然科試題於十三個知識主題分類表

42.45 25.29.51 18.20.26.

50.56

09.10 07.08.26.

44 20題

二、 分區及分組

本研究分析之95年到97年度考生答題資料係向「國民中學學生基本學力測驗 工作推動委員會」申請,根據該委員會的資料釋出規定,各科各次測驗提供隨機 抽取之考生答題反應資料。本研究將95至97年國中基測四個地區考生配對組成─

北區與中區、北區與南區、北區與東區(含離島)、中區與南區、中區與東區(含 離島)、南區與東區(含離島)等 6 組,以自然科總分作為配對變項,依照各段 分數之各區人數按比例分層隨機抽取作答資料,使用DIF偵測軟體程式以.01作為 顯著差異水準進行區域DIF 試題檢測;而性別方面,則將考生答題資料分成男生 及女生兩個組別,並依照上述步驟進行性別DIF試題檢測。

三、 統計軟體程式介紹

本研究採用的電腦軟體程式有四種:SIBTEST、EZDIF、SPSS、Tester for windows 2.0,茲分述如下:

(1) SIBTEST

SIBTEST是Shealy 和 Stout(1993a, 1993b)以答對率概念所發展出用以偵測 DIF之方法,檢定兩群體在相同能力值之下答對率是否達顯著差異。SIBTEST是 一個以IRT多向度觀念為基礎的無參數DIF偵測程序,並結合古典真分數理論,藉 由試題反應函數(item response function;IRF)的單調曲線特徵,將受試者的潛在 能力以一對一的方式轉換為可觀察的分數,並以焦點組與參照組於有效部分測驗

(valid subtest)的得分作為配組的依據,進而分析比較可疑試題的DIF值大小。

Li 和 Stout(1996)將SIBTEST加以修正,找出兩組ICC曲線之交點,在此能力 值交點以上及以下分別計算能力值之差異,使其能用以偵測non-uniform DIF,而 此法稱為 Crossing SIBTEST。本研究所使用之軟體程式係由美國 Illinois 大學教 授 W. F. Stout 所發展出的相關DIF統計分析程式SIBTEST 1.7版,可進行

SIBTEST方法的DIF檢定,包括:SIBTEST, POLY-SIBTEST及Crossing SIBTEST,

本研究使用了其中的Crossing SIBTEST來偵測DIF。

(2) EZDIF

由美國 Vanderbilt 大學教授 N.G.Waller(1998)發展的EZDIF統計分析軟體 程式,可同時運用two-stage Mantel-Haenszel 法及 Logistic Regression 等計算程 序分析一致性及非一致性的DIF試題。具有如下特點:1.可處理任何大小的資料 量。2.包含多方面的誤差檢核程序。3.同時強調DIF 的效果量及統計顯著水準。

4.使用者可自訂DIF 配組變項的分層標準。5.可讀取試題編號。6.以兩階段方式 分析DIF(在分析階段一出現DIF 的試題將在分析階段二從配組變項中剔除)。

EZDIF 對DIF 的分析結果包括以下六種指標:(1)ETS 對DIF 效果量的編碼

(A-可忽略,B-中等,C-嚴重);(2)共同性的odds ratio α;(3)Mantel-Haenszel 檢定的2值;(4)2顯著水準;(5)MH D-DIF 值;(6)MH D-DIF 的標 準誤。其中,α > 1.0、MH D-DIF < 0.0,表示該題對參照組有利;而α < 1.0、MH D-DIF > 0.0,表示該題對焦點組有利(Waller, 1998)。本研究以女生及小區域 為焦點組,男生及大區域為參照組。

(3) SPSS

SPSS是社會統計軟體程式(Statistical Package for the Social Sciences, SPSS), 是Nie, Hull, Jenkins, Steinbrener和Bent為資料處理而發展,由美國SPSS, Inc發行,

本研究利用SPSS來進行真分數的計算處理及利用MH法偵測DIF試題。

(4) Tester for windows 2.0

由國立政治大學教授余民寧(2006)所發展的題目測驗分析軟體程式,執行 古典測驗理論下的試題分析、測驗分析和學生問題表分析等各種方法,分析內容 包括:難度、通過率、鑑別度、高低分組各選項率。本研究以Tester for windows 2.0 進行傳統題目及測驗分析,求得試題各項相關統計數以及選擇題之選項分析。