第五章 結論與建議
第二節 建議
國中基本學力測驗是九年國民義務教育之後,學生面臨未來升學選擇的「第 一關考驗」,因此基測試題是否具有確實考出學生能力的公平性成為社會大眾重 視的問題,在相關新聞報導中,可知道國中基測推動委員會對於產生DIF現象的 試題開始重視(陳舜協,2008;陳至中,2008;曾國華,2008;薛荷玉,2008)。
本節將依據研究者此次研究之經驗與心得,提供一些建議以供國內大型測驗機構
(出題者)、往後有志於DIF分析的研究者以及自然科教學教師參考。
壹、 給予國內大型測驗機構(出題者)建議
一、 測驗後應針對試題做作答反應統計及題目內容分析
進行測驗後,除了將分數作相關的敘述性統計外,更應進一步針對試題 內容進行分析,包括試題本身是否符合測量目標,也就是試題與欲測之能力 指標是否相符,該能力指標是否可藉由紙筆測驗測得,以確認測驗工具的有
效性。而選項分析中,從好的誘答選項中可發現到學生學習中的迷思概念,
藉由學生錯誤的試題,了解其在哪些能力指標內容,需要再學習而施予補救 教學,亦可作為建議教師改進教學的依據,以及課程至教材內容的編排。
二、 測驗後應針對試題進行不同群體的DIF分析及偏誤試題的審視
心測中心主任宋曜廷說,每年出完基測題目後,都會請專家審題,儘量 排除有性別、原住民、城鄉差距的題目,但一些題目連專家都看不出有問題
(陳舜協,2008;曾國華,2008;薛荷玉,2008),因此更要進一步在考試 後運用DIF偵測方法,檢視有DIF現象之試題,作為日後改進題庫題目之參 考。藉由不同群體的DIF分析可以了解哪些試題對於哪些群體產生差異試題 功能,再進一步做質的內容分析,以了解是試題偏誤或其他學習或教學所產 生之結果。若是試題偏誤,日後需要注意此類型題目的題幹及選項敘述,避 免再度造成偏誤現象;若是其他學習或教學所產生之結果,則可以適當方式 提醒在實際教學者加強解說此類型題目之正確觀念,避免再度出現DIF現象。
三、 測驗內容及範圍應平均分配
出題的內容不要太過偏重某些內容,因為自然科涉及的內容有物理、化 學、生物、地球科學……等學習範圍,建議出題的內容不要太過偏重某些內 容,尤其是性別方面,女生在生物和化學方面較佔優勢,男生則是在物理和 地球科學方面表現較好,如果太過偏重某些內容,導致有利某一群體的現象,
將造成對考生不公平的結果。同樣的,其他科目也是各包括不同內容(如:
社會科包含了地理、歷史及公民……等學習範圍),因此也要同時兼顧各種 科目內容,才不會發生特別有利或不利於某個群體的現象。
四、 避免測驗試題中出現特定文字
由於不同群體考生有先天不同的個性及時空背景使然,感興趣的議題亦 大不相同,因此建議命題者盡量少以運動類型、
軍事、汽車、電腦、政治議題
或特定區域的物品作為試題材料,以避免試題對不同群體之考生有失公平之虞。在國中基測自然科組題原則第七條中提及「試題情境中,所涉及人物性 別、種族、職業、地區等,力求中立平衡」,因為試題中的「特定文字」易 造成不同群體間存有DIF現象,因此於試題題幹中應避免「特定文字」。所 謂「特定文字」指文字內容所涉及的特定地點、區域、物品、場所、活動或 生活經驗,可能因為不同群體考生而有不同認知、不同熟悉度,進而影響考 生答題結果而導致DIF現象。如果試題中必須使用特定文字,有幾個注意事 項(王嘉寧,2007;盧雪梅,2006):
(一) 避免對任何群體(如:種族、性別、族群、身心失能、老年人、宗 教、地區、政黨……等等)出現刻板印象或歧視的詞語、符號或插 圖,除非試題的目的在要求考生辨認出刻板印象或歧視的內容。
(二) 以物品作為試題內容時,應取用生活較為普及可見的物品作為出題 內容,如非得採用受試者不熟悉的物品作為試題內容時,應加以說 明解釋該物品之用途。
(三) 注意測驗材料使用的語言、內容或情境是否是某一(些)群體鮮少 接觸和難以了解的。出題時應避免提到特定活動、生活經驗、場所、
地點或區域特色。
(四) 避免不當稱呼和用語,舉國內用語為例,如外籍新娘、大陸妹、瞎 子、聾人、生番。
(五) 除非是測驗細目表的內涵,否則避免公眾敏感或有爭議性的議題和 材料,例如安樂死、墮胎、性、宗教教義、政治議題……等。
貳、 給予未來DIF 研究者之建議
一、 題目質性分析可請專家學者或實際擔任自然科教學者針對題目進行更進 一步的分析。
由統計來看,只要人數夠多,非常容易達到統計上的顯著水準,因此應 對試題內容進行更一步的分析,以清楚造成DIF現象之原因及嚴重程度,本研
究針對嚴重區域及性別DIF試題內容進行初步的質性分析,對於試題內容找出 其可能影響DIF的試題特徵,期能對於DIF之研究提供不只是數據上的證據,
而是未來出題者能確實降低試題之DIF情形。然本研究中的推論只考量到性別 及區域間的差異,也許還有其他原因造成試題DIF的現象(如:補習因素、學 習風氣、學校、教育資源、原住民…),或是因為群體間不同的錯誤類型或 迷思概念,因此未來可以實際請不同錯誤選項類型的學生進行訪談以了解原 因,並對上述推論加以驗證,以審慎了解DIF發生之緣由,亦可設計調查問卷 詢問各科教學現場老師以了解並統整不同群體間發生DIF現象及原因。
二、 DIF研究可針對實徵資料或設計模擬不同情況,加入其他DIF偵測方法,
經由多種DIF方法交叉驗證能使DIF偵測結果更為精確。
本研究採用了五種DIF偵測方法,並採用交集方式試圖更精確找出DIF試 題,但仍有其他方法可進行DIF偵測,有興趣研究者可針對蒐集到的原始作答 資料及研究目的,選取其他適合的DIF偵測方法,近年來興起用於DIF分析的 方法:階層一般線性模式(hierarchical generalized linear model,簡稱HGLM),
可以加入不同群體變項,如班級、學校、及個人與組別的交互作用變項等,
可偵測DIF試題並以不同變項分析造成DIF的因素(黃瓅瑩,2007),似乎可 針對DIF試題發生原因做更進一步的統計分析與探究,值得未來研究者再進一 步去探討。
三、 DIF分析可推及至國中基測其他科目或其他大型測驗題庫題目檢視。
本研究僅針對國中基本學力測驗自然科進行試題特徵探討,未來DIF分析 可推及至國中基測其他科目或其他大型測驗題庫題目檢視,經嚴謹編製過程 的國中基本學力測驗仍存在一些區域或性別DIF題目,其他如:高普考、技職 考試、各式入學測驗等重要測驗,DIF 情況又會是如何呢?這是未來研究者 可以再進一步探討的問題,並值得相關單位及測驗發展者在編製測驗時,重 新認知此問題的重要性。從研究中也發現偵測出的DIF試題會因分組群體不同
而有不一樣的結果,有些時候可能不是性別或區域變項間存在DIF,可能是不 同縣市、學校、城鄉、社經地位、家庭背景、種族…等分類變項中存在DIF 現 象,因此未來研究者可針對這部份再進行探討,並分析其試題特徵,以使試 題對於各個不同受試族群更加公平。
四、 可針對測驗內容進行DBF分析
未來亦可針對測驗內各個題組或是不同科目、類別及知識主題之試題集 合進行差異題組功能(differential bundle function,簡稱DBF)偵測,分 析出群體間DBF題組,以此更能了解不同群體在測驗表現上的差異特性。另外 也可針對本研究中所發現的結果設計模擬資料,加以探討LR法和其他DIF偵測 方法結果大不相同的原因;而EZDIF軟體程式分析的ETS分類結果,在區域DIF 題目中統計上未達顯著卻被歸類為B類的情形(大部分是涉及東區的小樣本)
亦可加以分析了解原因。
參、 給予實際擔任自然教學教師之建議 一、 應重視實驗及多元化教學
自然課程應以多元化教學讓學生實際體驗進而理解概念成為長期記憶,而 老師於課堂上教學時也應多以學生生活經驗帶入,讓學生更能從中深刻了解,
上課時應重視實驗、動手操作並鼓勵學生討論、歸納、分析推論並整理資料。
因國中學生面臨升學,老師要提早幫學生複習,不免也面臨趕課壓力(蔡維斌、
徐如宜、曾增勳,2009),很多時候老師僅止於課堂上匆匆的講解,學生缺乏 融會貫通及「主動」獲得知識的能力,也因而造成學生有些觀念無法理解而亂 答,在DIF試題分析中,有些通過率明顯較低的題目(如:月相變化、天文學、
解離觀念、風向),老師應於教學中注意學生迷思概念,不要讓考試來引導教 學。
二、 讓學生多閱讀科學性的資訊並鼓勵學生參加科學性的活動
尤其是都市化程度較落後的自然科教師應讓學生多閱讀科學性的資訊,多
鼓勵學生參加科學性的活動,藉由閱讀及參加活動能讓學生對科學產生更多的 興趣並引發學習動機。對於國中基測區域成就產生差異,前暨南大學校長李家 同表示,偏遠地區學生較缺乏考試練習,接觸度、學校的管控程度皆較城市差,
他認為基測試題絕對有利於都市學生,主因是「考得太活潑」,鄉下孩子資訊
他認為基測試題絕對有利於都市學生,主因是「考得太活潑」,鄉下孩子資訊