二年國教國中階段自然科學領域素養導向評量試題之開發與初探

(1)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 295 教育科學研究期刊第六十三卷第四期 2018 年，63（4），295-337 doi:10.6209/JORIES.201812_63(4).0010

十二年國教國中階段自然科學領域素養導向

評量試題之開發與初探

林蓓伶

潘昌志

國立臺灣師範大學科學教育中心地球科學系暨研究所國立臺灣師範大學心理與教育測驗研究發展中心

蘇少祖

陳柏熹

* 國立臺灣師範大學教育心理與輔導學系心理與教育測驗研究發展中心國立臺灣師範大學教育心理與輔導學系學習科學跨國頂尖研究中心

摘要

為承接十二年國教自然科學領域課程綱要素養導向精神，此研究目的為研發與初探具信、效度之自然科學領域素養導向評量試題。本研究歷程包含三大部分：一、梳理與歸納文獻中科學素養之意涵；二、細緻化編碼自然科學領域課程綱要中國民中學階段核心素養具體內涵，以自然科學領域課程綱要國民中學階段核心素養具體內涵為架構，建立科學素養導向題型命題參考架構；三、以自然科學領域課程綱要國民中學階段核心素養具體內涵編碼表及命題參考架構，研發自然科學素養導向題型，並根據科學素養導向試題命題參考架構，針對鑑別度欠佳之試題，進行後設分析，進而達到試題修正之功效。由結果分析得知，依此科學素養導向試題命題參考架構所命之試題，除能明確對應自然科學領域課程綱要中之國民中學階段核心素養具體內涵與學習重點，大致有良好之品質。對於品質待改進之試題，科學素養導向命題參考架構亦能提供明確之修改方向，協助命題者進一步檢視與修正。本研究所提出之科學素養導向命題參考架構，可供未來作為命題時梳理課程綱要內涵與學習重點之清晰分類架構，並確保試題所欲評量之能力與內容呼應課程綱要素養精神。同時，亦能作為後續試題修改分析之明確參考方向，用以整體系統性開發、修正並歸類各式評量工具，以期作為未來相關領域學者及教師發展評量工具與進行教學設計之參考。關鍵詞：十二年國民基本教育、科學素養、科學素養導向試題通訊作者：蘇少祖，E-mail: [email protected] 收稿日期：2018/01/31；修正日期：2018/06/28、2018/10/01；接受日期：2018/11/06。

(2)

296 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹

壹、前言

國民教育為國家之責任、國民之義務，實施十二年國民基本教育（以下簡稱十二年國教）為一重要的世紀工程（教育部，2014）。相應修訂發展的十二年國教課程綱要，則融入了核心素養作為課程發展的目標，以期落實十二年國教精神（教育部，2014）。而評量作為承接教學的最後一哩路，除了診斷學生學習成效，讓教師能進一步幫助其學習外，同時亦能協助教師，審視整個教與學的過程，進行更全面與明確之教學策略檢討及調整（國立臺灣師範大學心理與教育測驗研究發展中心，2015，2016）。因此，本研究目的為發展十二年國教課程綱要相應的命題參考架構及評量工具。雖然十二年國教課程綱要各領域之課程綱要草案皆針對核心素養提出具體內涵的描述，然而，運用在評量工具的設計上需考量各領域本身的知識與內涵等不同特性，若能有更進一步地針對領域課程綱要之研究分析，將有助於發展素養導向評量工具。本研究將發展一系列自然科學學習領域之素養導向試題的標準流程。研究歷程如下：一、梳理與歸納過去文獻中科學素養（scientific literacy）之意涵。二、針對自然科學領域課程綱要中國民中學階段核心素養具體內涵研讀與細緻化編碼，結合文獻中科學素養之意涵，並以自然科學領域課程綱要國民中學階段核心素養具體內涵為主要架構，建立一統合之素養導向題型命題之參考架構。三、利用前項工作所發展之自然科學國民中學階段核心素養具體內涵編碼表及命題參考架構，進行自然科學素養導向題型之研發與測試。同時檢視科學素養命題參考架構，是否能檢視與後設分析鑑別度欠佳之試題，透過命題設計時所參照之面向及階段／步驟（學習內容與表現），與所運用之試題呈現方式間的配合是否合適，再次利用科學素養命題參考架構之分類與對應，確立一明確之修正方向。值此新課綱即將上路之際，大部分的中、小學教師對於素養導向的評量仍不甚熟悉，甚至對於素養試題之實踐型態多有擔憂與困惑，並期待能有較具創新性的評量試題或評量方式。然而，這樣的期待已造成大眾對素養導向評量的迷思，認為一定要使用多元評量或建構反應題才能測量出各領域素養，並認為選擇題無法測出素養。本研究主要目的在凸顯素養導向評量的重點並不是題型，而是評量工具的情境與問題內容是否能讓學生展現出所欲測量的素養。本研究以目前教師較為熟悉的選擇題為例，希望讓教學現場及相關測驗機構能瞭解，只要選擇題設計得宜，亦能評量出新課綱中所列舉的核心素養（當然不一定是全部的核心素養），進一步發展成為素養導向的評量工具。透過以素養導向的命題架構發展與呈現教師較為熟悉的選擇試題，能在推廣素養導向課程綱要初始之際，提供一能快速接合目前教學現場實踐之參考，以供更多中、小學教師及相關學術研發社群，

(3)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 297 以此為基礎，拓展更多元的素養評量實踐與操作之藍本。非選擇題之研發亦為本研究團隊專注之重點，已於 2018 年投入進行半開放及開放式非選擇題型之研發，因尚未列入第一次預試範圍，因此本研究先行專注探討選擇題型之研發成果。十二年國教自然科學領域課程綱要之素養導向教育目標，歸納眾多國內、外科教研究之成果編寫而成。若能在教學現場中推動與實踐科學素養精神，實為臺灣科學教育之重要里程碑。由於學者對於「科學素養」之操作型定義仍有不同觀點，故培育科學素養，實為一包含廣泛的教育目標。因十二年國教自然科學領域課程綱要之內涵既深且廣，若能提供分類更為細緻的理解框架去解讀領域課程綱要，可提供更全面且具操作性的教學策略設計參考，以協助教育現場發揚十二年國教自然科學素養導向精神。

貳、研究目的與問題

本研究藉由發展科學素養命題參考架構，以評量的角度切入，透過利用科學素養命題參考架構進行命題之流程，梳理如何在教學現場中實踐十二年國教之素養精神。如何使用選擇題的方式體現科學素養評量，相較於採用多元評量的方式評量科學素養，因為選擇題測驗的形式較為單一，或許是更具有挑戰性的課題。在此新舊課綱轉換之際，先透過教學現場較為熟悉之選擇題型的研發，展示選擇題型所能評量到的新課綱中核心科學素養的部分面向，可對於新課綱之推廣，提供具實務性的協助。如何在有限的測驗形式上，盤點出選擇題型能夠評量到的科學素養面向，以及相應之科學素養選擇試題，是本研究所關注並亟欲驗證的重點。故本研究的問題為：以傳統測驗理論及試題反應理論，檢視依本研究研發之命題策略及流程，以及運用素養導向國中階段自然科學領域命題參考架構進行命題，其研發之選擇題型試題的難度、鑑別度及模型適配度是否合適？並以科學素養命題參考架構針對難度及鑑別度欠佳之試題進行後設分析，以提供未來修題與命題之參考。

參、文獻探討

美國的《2061 計畫全美科學素養》（Project 2061. Science for All Americans）一書中指出，過去對科學素養的定義並不清楚，乃建議科學教育學者應明確界定，以利科學素養目標的達成（靳知勤，2002；American Association for the Advancement of Science [AAAS], 1989; National Research Council, 1996）。公民科學素養的培養雖已成為極受重視的科學教育研究主題及努力方向，但對於科學素養的定義及量測方式，各家學者間並無一定論。故本節將梳理各方科學素養之意涵，以利後續發展建立一統合之科學素養導向題型命題之參考架構。

(4)

一、國內、外相關文獻中科學素養之意涵

「科學素養」一詞最早於 1950 年代末由 Hurd（1958）提出，定義為：「對科學及科學相關的應用有所瞭解」。對於科學名詞及概念的理解，自此被許多學者視為是科學素養之基礎面向，並以此之能力為基礎，進而才能運用科學及其相關能力於生活之中（任宗浩，2007；教育部，2016；教育部、國立臺灣師範大學，2006；AAAS, 1989; Jones, Wheeler, & Centurino, 2015; Organisation for Economic Co-operation and Development [OECD], 2012）。「2061 計畫」為美國於 1985 年提出之重要教育改革計畫（Deboer, 2000），其為針對科學教育的主要建議之一，即是幫助學生瞭解科學的關鍵概念與原則（AAAS, 1989）。而對於教科書中的科學事實與知識的理解，亦被視為是國民最基礎的科學學習目標（李文旗、張俊彥，2005；教育部，2016；教育部、國立臺灣師範大學，2006；Bauer, 2009; Bybee, 1997; Miller, 1983）。而對於科學概念與詞彙的掌握，實為一能明確評量科學素養程度之指標，如 Shamos（1995）所提出的三個層次科學素養意涵：文化性科學素養（cultural scientific literacy）、功能性科學素養（functional scientific literacy）、真實性科學素養（true scientific literacy），即是依照個人對於運用科學相關概念詞彙，能否達到基本理解、進行對話表達，以及更進一步認識科學專業社群工作與本質進行不同層次的分類。於此同時，除了科學概念知識之外，對於圖表的呈現與掌握的相關程序性知識，亦被視為是重要的科學素養之一（Bucchi & Saracino, 2016）。故科學概念名詞及概念之理解，實為建立科學素養之基礎。

擁有對於科學知識與概念的理解為基礎之後，針對科學事件或議題，進行科學探究與推理思考，亦被視為是另一重要的科學素養面向能力（任宗浩，2007；李文旗、張俊彥，2005；靳知勤，2002，2007；Bauer, 2009; Eivers & Kennedy, 2006; Jones et al., 2015; Kolstø, 2001; Lin, Tseng, Liu, & Chang, 2012; OECD, 2012; Peters et al., 2008; Rundgren, Rundgren, Tseng, Lin, & Chang, 2010）。如 Bybee（1997）所界定的科學素養面向中，較進階的「概念與過程科學素養」（conceptual and procedural scientific literacy）與「多面向科學素養」（multidimensional scientific literacy），即是強調學習者需對於科學探究的過程發展，以及操作有所認識與掌握。而九年一貫課程綱要中提出的「帶得走的能力」，以及為科學素養中探究與問題解決能力的展現，希冀培養學生具備運用科技與資訊的基本知能，用以解決生活、工作、學習乃至於休閒娛樂的種種需求和問題。訓練學生擁有應用科學知識於生活中的探究能力，為培養科學素養不可或缺的重點之一（Fang et al., 2016）。除此之外，對於科學的態度與本質之理解，被視為是另一重要的科學素養面向，同時亦被認為是最高層次之科學素養表現（Bybee, 1997; Kolstø, 2001; Shamos, 1995）。在此面向之下，學者認為，擁有較高層次科學素養的公民，需能具有能關注並理解科學知識的整個生產過程、理解科學社群是如何運作等各項科學本質相關之能力（陳柏熹、黃馨瑩、陳郁欣、葉泰廷、蘇少祖，2015；Yang et al., 2018），進而體會科學的有限性及不確定性，明白科學唯一具有雙

(5)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 299

面刃之方法，亦有可能帶來負面的影響，當論及科學與社會的關係時，需更為小心警覺，並能提出更深入的批判與想法（Allum, 2010; Eshach, Hwang, Wu, & Hsu, 2013; Yang, Chang, Chen, & Chen, 2016）。學生對於科學本質及哲學如何能有更進一步的瞭解與態度，將是培養科學素養的重要環節。由以上文獻梳理，對於科學素養所關注之面向，大致而言可分為：「對於科學名詞及概念的理解」、「應用科學知識於生活中的能力」及「對於科學本質及哲學的瞭解與態度」三大面向。由此可瞭解，對於科學素養的意涵，現今所注重的不再只是高不可攀的學科性知識，更著重能運用在日常生活中解決問題的科學統合與運用能力（陳柏熹等，2015；Fang et al., 2016; Hsin, Chien, Hsu, Lin, & Yore, 2016）。更如 Shamos（1995）所言，要求民眾擁有與科學家相同的專業科學素養是不實際的，科學素養應設定為民眾是否擁有利用科學能力解決日常生活問題之能力，故應由民眾生活之角度出發，定義科學素養之意涵，並以此作為科學教育目標。而如何梳理過往科學素養文獻與研究，並與十二年國教自然科學領域課程綱要進一步對話與融合，以發展具實徵性的操作方式，以助益於教學現場，將是推行即將上路的科學教育改革的重點之一。

二、國內、外文獻與十二年國教自然科學領域課程綱要中之科學素養意涵媒合

《十二年國民基本教育課程綱要總綱》中，揭示核心素養係強調培養以人為本的「終身學習者」，包括「自主行動」、「溝通互動」及「社會參與」三大面向，以及「身心素質與自我精進」、「系統思考與解決問題」、「規劃執行與創新應變」、「符號運用與溝通表達」、「科技資訊與媒體素養」、「藝術涵養與美感素養」、「道德實踐與公民意識」、「人際關係與團隊合作」及「多元文化與國際理解」九大項目，以期達到：「自發」、「互動」與「共好」三大目標。而此三大目標之達成，需具備許多不同的能力，而素養即是這些不同能力的總合（教育部，2016）。自然科學學習領域課程綱要中同時揭示（教育部，2016），國民中學階段核心素養的內涵依其重視程度所包含之廣度，可分為三大面向，於自然科學領域課程綱要中合稱為「學習重點」：（一）提供學生探究學習、問題解決的機會並養成相關知能的「探究能力（思考智能與問題解決）」；（二）協助學生瞭解科學知識產生方式和養成應用科學思考與探究習慣的「科學的態度與本質」；（三）引導學生學習科學知識的「核心概念（基本科學知識與概念）」。第一面向：「探究能力」及第二面向：「科學的態度與本質」為課程綱要內文所明定之「學習表現」，而第三面向：「核心概念」則為課程綱要界定之各學習階段合適之「學習內容」（與說明）（如圖 1 所示）。

(6)

300 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹圖1. 十二年國教自然科學領域課程綱要中科學素養之意涵與視覺化─以面向（廣度）為區分。引自十二年國民基本教育課程綱要（國民中小學暨普通型高級中等學校）─自然科學領域（草案）（p. 6），教育部，2016。臺北市：作者。為確立科學素養定義並將其用於評量架構上，故將詳述前段文獻探討中，國內、外學者對於科學素養之三大面向「對於科學名詞及概念的理解」、「應用科學知識於生活中的能力」、「對於科學本質及哲學的瞭解與態度」如何與自然科學領域課程綱要之科學素養意涵媒合。「對於科學名詞及概念的理解」可對應至自然科學領域課程綱要中之「核心概念（基本科學知識與概念）」面向，並以此學習內容於課程綱要當中的描述，以 Bloom、Engelhart、Furst、 Hill與 Krathwohl（1956）的認知理論為基礎，依照學習難度再進一步將學習內容，分為「知曉」、「理解」及「應用」三層次（如圖 2 所示）。「應用科學知識於生活中的能力」則可對應至自然科學領域課程綱要中學習表現之「探究能力（思考智能與問題解決）」面向。因科學探究為一動態之歷程，包含眾多步驟與階段，評量時需先將其界定為不同之步驟與階段以設計合適之評量工具。故參考國內眾多科學教育學者，針對探究與問題解決相關之實徵研究，依探究與實作之過程，將自然科學領域課程綱要中相對應的學習表現劃分為「審視資訊並界定問題」、「規劃實驗／探究計畫」、「執行實驗／探究計畫」、「分析與陳述數據」、「解釋數據並說明推理過程」、「分享與評鑑實驗／探究結論」六大步驟（林宜平、吳亭亭、黎雅如、周桂田、鄭尊仁，2010；Hsu, Chang, Fang, & Wu, 2014; Wu, Weng, & She, 2016; Yang, Lin, She, & Huang, 2015）（如圖 2 所示）。

「對於科學本質及哲學的瞭解與態度」則完全與領域課程綱要中學習表現之「科學的態度與本質」面向不謀而合，故參考過去學者針對科學的態度與本質之培養與分類的實徵研究結果，並依素養教學中，期待學生參與與投入科學議題之程度，將「科學的態度與本質」相核心概念探究能力科學的態度與本質

(7)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 301 核心概念（ knowledge/concept ） K1 知曉（ remember ） K2 理解（ understand ） K3 應用（ apply ）探究能力（

inquiry and problem solving

）

科學的態度與本質

（

nature of science and attitude toward science

） N A1 覺察（ awareness ） N A2 動機與興趣（

motivation and interest

）

N

A3

審視與評價

（

re-examine and evaluate

） N A4 參與科學議題（ engage ） N A5 建立科學自我效能感（ science self-ef ficacy ） I1 審視資訊並界定問題（

exploring information and

identif y q uestions ） I2 規劃實驗／探究計畫（

designing and planning

experiments/investigations

）

I3

執行實驗／探究計畫

（

carrying out investigations/

experiments

）

I4

分析與陳述數據

（

analyzing and representing

data

）

I5

解釋數據並說明推理過程

（

explaining results and describing

the reasoning process

）

I6

分享與評鑑實驗／探究結論

（

sharing and evaluating results

）

圖

2.

文獻中科學素養之意涵與視覺化──以面向與層次／過程（深度／步驟）為區分。

(8)

關之學習表現，大致歸類為「覺察」、「動機與興趣」、「審視與評價」、「參與科學議題」及「建立科學自我效能感」等五大階段（如圖 2 所示）（施琮仁，2015；Allum, 2010; Kolstø, 2001; Lin, Hong, & Huang, 2012; Pidgeon & Fischhoff, 2011; Shih & Lin, 2017; Stewart, McConnell, & Dickerson, 2017; Sturgis & Allum, 2004）。

其中，上述「核心概念（基本科學知識與概念）」可依其學習所需之認知能力，對應三大層次依程度分類。而自然科學領域課程綱要中所明定之國中階段不同學習表現，皆分別對應「探究能力（思考智能與問題解決）」之六大步驟，與「科學的態度與本質」之五大階段（參見附錄一）。

三、科學素養評量方式

因承接各家學者對於科學素養面向之不同關懷，在科學素養評量工具的設計上各有不同之關照面向（靳知勤，2002 ; Brossard & Shanahan, 2006）。為確立本研究科學素養命題參考架構之基礎，本節將梳理相關文獻。 Miller（1983）的研究強調，科學素養評量需著眼於現今社會脈絡中之需要，著重評測情境及生活化之能力。Miller 所設計的評量工具，著重於目前社會當下常見之科學概念及議題的認知理解，如 DNA 等。然其也點出了其評量工具之侷限，在當下社會環境所重視的科學概念與議題，會隨著時間的演進而有所改變，故除了基礎概念之測量外，評量試題除需與時俱進修改，更需涵蓋更多不同面向的科學素養評量試題（Miller, 1998）。

而 Durant、Evans 與 Thomas（1989）發表於 Nature 期刊中“The Public Understanding of Science”一文亦指出，除了科學知識之外，發展「科學探究過程之理解能力」評量試題，亦為科學素養評量重要之面向。Laugksch 與 Spargo（1996）以此為基礎，並借鑑美國科學促進會（AAAS, 1989）所出版《2061 計畫全美科學素養》一書中，對於科學素養之意涵與條目，開發試題，其中包含：「科學知識」（content）、「科學本質」（nature of science）及「科學／技與社會」（science-technology-society）三大面向，國內學者靳知勤（2002）亦將其翻譯成中文版，並進行效化。以上學者之研究，清楚指出科學素養評量試題需考量並涵蓋多元面向，然，在其開發之科學素養量表中，不同面向之科學素養試題皆採分量表方式設計，缺乏將各面向科學素養連結並融合之情境式試題設計，故未來發展能將科學知識、探究能力，以及科學的態度與本質相融合之情境式試題，將為臺灣十二年國教素養導向教學與改革推展的重要任務之一。

學生能力國際評量計畫（Programme for International Student Assessment, PISA）為目前國際間重要科學素養導向評量的先趨計畫。依據 OECD（2013）科學素養試題命題框架揭示，科學素養試題應包含：解釋科學現象、設計科學探究、解讀科學數據、舉證與論證、程序性與認識論知識等五大類型試題（臺灣 2015 PISA 國家研究中心，2016；OECD, 2012）。PISA 命題框架提供了具體將科學探究，過程化及脈絡化拆解之具體階段，並與我國十二年國教自然

(9)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 303 科學領域課程綱要意涵多有呼應，實為未來科學素養導向命題設計之主要借鑑參考對象。然 PISA科學試題之發展，主要為扣合 OECD 所制定之教育目標，故必須將其理念針對臺灣總結性與形成性評量之教室現況、國情文化及升學考試試務工作現況，進一步探索並釐清不同之科學素養內涵，在不同評量方式上的各種可能性及適切性。而十二年國教自然科學領域課程綱要之意涵與學習重點，立意良好，但為針對整體教學目標書寫，故如何從評量角度切入，將自然科學領域課程綱要之學習重點結合過去科學素養文獻，建立一創新之科學素養命題參考架構、流程與試題，將為本研究之主要目的。臺灣國中教育會考目前以選擇題型為主，故本研究企圖先著重於：「盡可能探索『選擇題型』在評量科學素養上的可能性與變化」。盼能達拋磚引玉之效，針對較難以選擇題型評量之科學素養（如合作學習等），提供一些命題策略上的參考，以期未來能有更多專家加入，針對不同科學素養，持續開發合適之非選擇題、學習歷程紀錄等更為多元的總結及形成性評量工具，以期更為完整且全面地，達考教合一之目標。

肆、研究方法

一、設定科學素養導向評量之命題設計策略

設定素養導向評量目標時，可思考兩大命題策略，一為「從各領域在三面九項的核心素養具體內涵敘述」作為命題設計策略，用以評量學生核心素養在生活中三大面向具體實踐及應用（外顯行為），並進一步推測其各領域素養的養成（潛在特質）；另一是「由各科領域課程綱要中的學習表現及學習內容」出發，評量學生在各領域的素養直接展現（外顯行為），並進一步推測其各領域素養的養成（潛在特質）（陳柏熹、宋曜廷，2017）。針對「從各領域在三面九項的核心素養具體內涵敘述，作為命題設計策略」而言，由十二年國教自然科學領域課程綱要中之附錄三「總綱核心素養與自然科學領域課程綱要各教育階段學習表現關聯表」中，可發現同一學習表現會分別對應至不同之核心素養具體內涵（教育部，2016）。換句話說，領域課程綱要中揭示，同一項學習表現中所述之能力，可運用於不同情境之中，進而達到不同核心素養具體內涵描述的學習目標。故在設計評量工具時，需同時考量欲評量之學習表現能力，在特定國民中學階段核心素養具體內涵敘述之情境中如何展現，以確立命題方向與脈絡。故為更進一步確立未來命題時，每一子題所評量之學習表現，分別呼應何項國民中學階段核心素養具體內涵敘述，進一步將自然科學領域國民中學階段核心素養具體內涵，進行細緻編碼為各子項目。以利後續研發之自然科學素養導向試題，能與國民中學階段核心素養內涵與學習重點媒合對應。例如：將自-J-A1 之敘述「能應用科學知識（a11）、方法（a12）與態度（a13）於日常生活當中」分別針對敘述中不同的概念（知識、方法及態度）分項編碼。自然科學領域國民中

(10)

304 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹學階段核心素養之內容描述，經由兩位自然科學研究員初步編碼分為子項目，進行編碼表之內容編碼方式討論及確認，經由諮詢會議，諮詢課程綱要委員意見並加以修正，以確認編碼表之效度。

為瞭解使用上述編碼方式進行編碼的一致性，本研究以相同試題檢測兩位自然科學研究員的編碼相似性，使用 Cohen Kappa 係數（Cohen’s Kappa Coefficient）方式評估。兩位自然科學研究員使用此編碼表，進行 2014 年國中會考自然科學試題共 54 題編碼預試。兩人編碼結果依照文本分析法（text analysis）信度檢驗準則：分析編碼員（間）信度（intercoder/inter-rater reliability），檢視 Cohen Kappa 係數以作為此自然科學領域國民中學階段核心素養具體內涵編碼表之信度檢驗依準（Cohen, 1960; Landis & Koch, 1977），κ 值為 0.72 具高度的吻合度（substantial）。編碼一致性分析結果指出，此自然科學領域國民中學階段核心素養具體內涵編碼表，可供未來教師或研究者閱讀自然科學領域課程綱要時，依此編碼原則，對於領域課程綱要內文做出一致性的判斷，並可供未來檢視各試題之參考。而針對「由各科領域課程綱要中的學習表現及學習內容，作為命題設計策略」而言，命題者可由自然科學領域中之學習重點出發，依據學生不同學習階段，選用合適的學習內容與表現，設定試題（組）的選文、題幹及選項設計。因自然科學領域課程綱要中之附錄，已揭示各「學習表現」與三面九項之「核心素養具體內涵」之對應，故未來當命題者以「學習表現」為主要評量目標命題時，可以「自然科學領域國民中學階段核心素養具體內涵編碼表」，進一步檢視其試題欲評量之「學習表現」，是否亦適切對應至領域課程綱要中三面九項之核心素養內涵描述。

二、科學素養導向試題命題參考架構之確立

本研究之目的為發展一能與過去相關科學素養文獻對話，並兼合自然科學領域課程綱要中之「學習重點」及「核心素養具體內涵」兩大方向命題設計策略之科學素養命題架構，故以下詳述科學素養導向命題參考架構之發展流程。就自然科學領域的學科特性而言，命題時需同時以此兩命題設計策略交互檢查。因自然科學領域課程於領域課程綱要中之呈現，為螺旋式課程安排，故若以核心素養具體內涵為命題設計策略命題後，需以「學習表現與學習內容」策略檢視，確認此題所欲評量之概念與能力沒有超出自然科學領域課程綱要中所明定之學習階段範圍。同時，自然科學領域之學習內容與表現為跨生物、物理、化學、地球科學內容撰寫，所涵蓋之概念及現象極為多元，故當以「學習內容與學習表現」為命題設計策略命題後，需以「核心素養具體內涵之描述」加以檢視，以確認此題欲評量之學習內容與學習表現，不僅合於領域課程綱要中各學習階段之範疇，亦能明確確立此題評量出之能力與知識，是合於能讓學生應用於現在或未來生活中之核心素養，而不僅是「專家認為之素養」，以達到呼應十二

(11)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 305 年國教素養導向之目標。故為兼具兩大方向的命題設計策略，科學素養導向試題命題參考架構如圖 3 所示，此三維圖中的維度範圍，皆為科學素養意涵中所定義之能力，而每一子題所評量之科學素養皆需以能用於生活情境中應用為主要考量目標。每一子題命題，會以評量一個學習表現為目標，並以不同認知程度之學習內容為題幹或選文主題，考量試題之評量目標是否為合於生活中所能應用之科學素養（能至少對應自然科學領域國民中學階段核心素養具體內涵編碼表中一個子項目）。然對於程序性知識之試題（繪製判讀圖表、理解實驗流程等），因自然科學領域課程綱要內，掌握程序性知識已視為是學習表現的呈現，故本研究未再於學習內容中明定課程內的程序性知識類型與項目，此類相關題型，會僅對應到一至兩個學習表現與科學素養核心內涵描述。例如，試題之內容為「利用一張科學圖表，詢問學生從此圖表中無法做出何項科學推論結果」，此題型則同時評量學生是能利用其圖表掌握之程序性知識，並同時需能覺察因科學之有限性，僅能回答科學性假設之問題，判讀圖表與推理解釋，故此題雖無法對應至領域課程綱要中之特定學習內容描述，但可同時評量學生「探究能力─分析與陳述數據」與「科學的態度與本質─覺察」兩項於學習表現所要求之能力。此命題參考架構亦經數次專家諮詢會議，諮詢課程綱要總（副）召集人與委員（大學教授與國高中自然科學教師）之意見討論與修正完成。

三、科學素養導向試題特色與開發流程

科學素養導向題型的研發方向說明如後：（一）「學習表現」為素養題型主要評量標的；（二）「學習內容」為「主題」，並作為試題範圍與難度之限縮，重視概念於螺旋式課程中之承先啟後；（三）「科學的態度與本質」於紙筆評量中實踐之可能性；（四）貼近「真實情境」，「生活化」應用之題型。無論是由自然科學領域課程綱要中的「學習表現及學習內容」出發或是由「自然科學領域核心素養具體內涵敘述」出發，作為命題策略設計策略方向，素養導向命題皆首重「學習表現」，故都必須先依照評量目的，鎖定命題參考架構中「探究能力（思考智能與問題解決）」與「科學的態度與本質」兩大主軸。在命題主軸確立後，挑選合適之「學習內容」作為命題主題情境書寫選文或題幹，再依照各主題情境所呈現之科學事件，進一步將其依照「探究能力（思考智能與問題解決）」或「科學的態度與本質」之層次與步驟拆解，並設計為不同之複合子題或獨立單一試題。藉由先鎖定欲評量的學習表現，再挑選真實生活中的各式情境（包含日常生活情境或是學術探究情境）以及學習內容後，設計出層次上、步驟上或階段上不同的評量工具，科學素養導向試題發展視覺化流程如圖 4 所示。

(12)

306 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹圖 3. 素養導向國中階段自然科學領域命題參考架構，可視為三個雙向細目表之結合真實情境─能將所學應用於生活中之科學素養 N A1 覺察 N A2 動機與興趣 N A3 審視與評價 N A4 參與科學議題 N A5 建立科學自我效能感 I1 審視資訊並界定問題 I2 規劃實驗／探究計畫 I3 執行實驗／探究計畫 I4 分析與陳述數據 I5 解釋數據並說明推理過程 I6 分享與評鑑實驗／探究結論 K1 知曉 K2 理解 K3 應用 K1 K2 K3

NA1 NA2 NA3 NA4 NA5

I1 I2 I3 I4 I5 I6 核心概念 _{（基本科學} 知識與概念）科學的態度與本質探究能力（思考智能與問題解決）

(13)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 307 圖4. 科學素養導向試題發展流程另對於「生活化」與「情境化」之試題融入與設計，本研究提出兩點不同方向之思考。其一是針對生活中常見之物品及現象，探討其背後之科學／技原理，幫助學生進一步連結科學知識與日常生活，進而提高學習科學之態度與意願。故於題組 3（如表 1、表 4 及表 5）與題組 4（如表 1）即以生活中常見之科技設備及熱門的商品入題，評量學生利用其課堂所學，連結並應用於日常生活之能力。其二是對於生活與情境化的定義，更加關注科學的態度與本質之面向（Hsin et al., 2016; Yang et al., 2016），隨著科學／技發展，愈來愈多的爭議性，甚至是未定之社會性科學議題在生活中發生，如著名社會學家 Beck（1992/2012）即提出「風險社會」（risk society）概念，指出在當今現代社會的科學／技發展之影響層面，讓不分國界、以另一科學素養導向評量命題設計策略檢視試題以是否適切對應「自然科學領域核心素養具體內涵敘述」檢視試題以是否適切對應自然科學領域課程綱要中的「學習表現及學習內容」檢視試題發展試題依照選文獲題幹情境所呈現之科學事件，進一步將其依照自然科學領域命題參考架構（圖3）中「探究能力（思考智能與問題解決）」或「科學的態度與本質」之層次與步驟（I1～I6或NA1～ NA5）進行拆解，設計出層次上、步驟上或階段上不同之題組子題或單一試題挑選合適試題題材確立「科學素養導向評量」標的鎖定自然科學領域命題參考架構（圖3）中，「探究能力（思考智能與問題解決）」或「科學的態度與本質」兩大主題，挑選合適對應之學習表現，以設計評量此學習表現之試題為目標擬訂科學素養導向評量命題設計策略由自然科學領域課程綱要中的「學習表現及學習內容」出發由「自然科學領域核心素養具體內涵敘述」出發挑選領域課程綱要中合適「學習內容」作為命題主題書寫選文或題幹，以真實生活中的各式情境（包含日常生活情境或是學術探究情境）與學習內容為載體，進行下一階段之試題發展

(14)

308 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹表 1 科學素養導向試題特徵題組題號試題內涵（評量能力）呈現方式 1-1 科學閱讀理解並掌握選文資訊文字＋地質年代簡表 1-2 透過選文並與所學科學知識連結文字＋地質年代簡表 1-3 結合選文，結合所學科學知識，應用於進行科學議題論證文字 1-4 結合選文與過去所學，認識科學知識的不確定性文字 1 1-5 結合選文與過去所學，認識科學社群對於科學知識演變之影響文字 2-1 透過實驗紀錄圖表，判別此實驗目的為何？單圖表 2-2 透過實驗紀錄圖表，判別此實驗自變項與依變項之關係單圖表 2 2-3 利用科學程序性知識，解讀實驗紀錄圖表單圖表 3-1 回答此生活中常見之科學／技應用設備，背後之科學原理為何單圖表（情境圖，傳統提問） 3 3-2 回答此生活中常見之科學／技應用設備，透過實驗組及對照組之比較結果，其運用的科學原理解決的問題為何單圖表（情境圖，問題解決提問） 4-1 將課堂所學之知識，與選文中的實驗設計進行連結並推論結果單圖表（實驗紀錄圖表） 4-2 由選文提供之實驗步驟與目的，推理實驗設計該如何安排單圖表（實驗紀錄圖表） 4-3 由選文提供之實驗設計與資訊，推理並進行實驗結果之預測文字 4 4-4 由選文提供之實驗設計與結果，思考自／依變項的關係與影響，並提出實驗修正之方法多圖（情境圖）種族的人民，皆主（被）動承擔同樣的風險。培養學生如何能夠針對更多發生在生活中或是學術典範上正在轉變的科學議題，進行推理思索並參與論述的能力，實為培養現代公民不可或缺之素養（Hsin et al., 2016; Yang et al., 2016）。例如，題組 1 以目前仍正發展中的科學議題入題，透過試題設計，引導學生對資訊梳理與歸納，進而提出具有實徵證據的論述，盼能透過公眾理解科學（public understanding of science）的過程，更進一步達到公眾參與科學（public engage of science）之目標（Allum, 2010; Bauer, 2009）。研發貼合生活之情境式題組，將為素養命題之重要方向之一（陳冠利、劉湘瑤、陳柏熹、黃書涵，2015）。

(15)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 309 對於十二年國教自然科學領域課程綱要強調之「科學的態度與本質」面向，命題將藉由選文、題幹的搭配研發，例如，題組 1 選文中探討一件與現有科學知識相衝突或是新發表之科學事件，讓學生閱讀選文中的資訊，並設計題幹與選目來引導學生推論，如察覺科學知識是由科學家觀察、推論、驗證以解釋其所觀察到的現象，其中可能包含了主觀性，且隨著證據獲得的改變，科學知識也將隨之變動。將以此為目標探索「科學的態度與本質」評量於紙筆評量中實踐之可能性。簡言之，科學素養導向試題命題將依據命題參考架構將各種真實情境中之科學事件，拆解成不同探究的層次與步驟，而每一子題皆以至少對應到一學習內容（核心概念）與一學習表現（「探究能力」與「科學的態度與本質」）為目標，依照不同試題設計，亦有可能同時對應至兩項學習表現（「探究能力」與「科學的態度與本質」）。

四、研究對象

本研究採分層叢集抽樣（stratified cluster sampling），層間採不等比例抽樣抽取學校，首先依照臺灣北、中、南、東部地區及去年各校之會考成績分層後，進行叢集抽樣，在此以三階段的方式抽樣，第一階段以「學校」為單位，在各層中隨機抽取樣本學校，第二階段以「班級」為單位，在抽選中的樣本學校中隨機抽取樣本班級，第三階段以「學生」為單位，在抽選中的樣本班級中隨機抽選受測樣本。本研究共抽樣八所學校，每所學校隨機抽選四個班級，再從每個班級中隨機抽選 10 位（5 位男生、5 位女生）學生受測，共施測 320 位，以確保挑選出具有全國學生科學成就能力代表性之樣本。

五、研究用預試題本組成、科學素養導向試題特徵說明

本研究預試題本由兩個部分組成，一部分為本研究所發展的科學素養導向之試題，另一部分為歷年國中教育會考的自然科考題，在本研究中預期科學素養導向試題與國中教育會考試題相較下，不僅能測量自然科的領域知識，同時能額外測量到科學素養，因此，本研究將此兩類試題組成題本。本研究為初探性研究，為未來素養導向試題研發之資料蒐集，故此預試成果，僅為研究實驗性質參考。本次預試題本共 30 題，其中包含 12 題選擇題型、2 題是非題型，共四大題組的科學素養導向試題，在歷年國中教育會考自然科考題中包含 16 題，學生共施測 30 題。在歷年國中教育會考試題的部分，採現行國中教育會考的難易適中為挑題的準則。故在科學素養導向的四大題組中，每一題組皆經由高中物理、化學、生物、地科教師、學科專長與科教專長教授建立之專家團隊，召開四次修審題會議，確保試題內容於學理上正確，並適合於評量國中階段之學生。為檢視科學素養題型之呈現與提問方式，是否具有合適之鑑別度，故需控制因學習內容難度過高之因素影響，因此，本研究所設計的素養導向題組，在難度上採易與中偏易為設計目標。藉由修審題過程的討論，可分析難度較容易之試題是否仍必須運

(16)

310 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹用學生所學科學相關知識及選文中的資訊答題，以確保學生無法僅以常識作答。並設計多種試題呈現方式與提問方式，例如，呈現方式可有文字、圖表、情境圖與實驗紀錄圖表等，而提問方式則對應學習表現，以問題解決為出發點設計題幹。研究用科學素養導向試題範例如表 2 至表 5 及附錄二所示，因自然科學領域課程綱要中學習重點及科學素養意涵為整體教學過程之目標，故為確保各子題僅評量一個概念或能力，故無法完整對應整個科學素養意涵，故以底線及斜字方式，於表 2 至表 5 及附錄二內標明，各子題能對應到學習重點之部分。針對科學素養評量選擇題之命題思考說明，以「題組 1 子題 1 為例，其對應的核心素養為「能將所習得的科學知識，連結到自己觀察到的自然現象（a201）及實驗數據（a202），學習自我或團體探索證據（a203）、回應多元觀點（a204），並能對問題、方法、資訊或數據的可信性抱持合理的懷疑態度（a205）或進行檢核（a206），進而解釋因果關係（a207）或提出問題可能的解決方案」。本題中雖未讓學生直接透過文字或口頭發表，呈現其「解釋因果關係（a207）或提出問題可能的解決方案」，但實際當學生作答此題時，透過做決策選出最佳選項時，學生的認知歷程必須經過搜索證據，瞭解「人類世」的意涵，理解本文的觀點，對各選項進行檢核，試著在心中解釋各選項所提事件與「人類世」的因果關係，找到最可能用來估算或詮釋「人類世」的最佳時間點（即方案）。本題雖未要求學生以文字或口頭發表，解釋因果關係，但學生在選擇答案進行決策時，確是需要運用其探究思維與認知能力經歷此過程。表 2 科學素養導向試題特徵─以題組 1 為例：選文題組1-選文許多科學研究指出，人類活動對於地球環境已經造成巨大且全面性的影響，部分科學家認為我們已脫離全新世，進入了以「人類」命名的嶄新地質年代：「人類世」（Anthropocene），如表一所示，科學家嘗試在地質年代表中畫分出「人類世」開始的時間。那麼「人類世」是從何時開始呢？目前科學家在西格陵蘭島的沉積物中，發現人類活動產生的「科技化石」（Technofossils），科技化石泛指受人類新興科技影響形成的化石。除此之外，還包括化石燃料燃燒產生的黑碳微粒、核子試爆所產生的放射線物質，以及大氣中二氧化碳與甲烷濃度急遽上升的證據，這些紀錄形成一個明顯的地質指標，指出人類活動對地質與地球環境已帶來巨大改變，使得現今的地層和以往的地質年代特徵都已大不同。「人類世」是否正式列入地質年代表，仍是爭論中的議題。表一地質年代簡表古今新生代地質年代中新世上新世更新世全新世「人類世」

(17)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 311 表 3 科學素養導向試題特徵─以題組 1 為例：子題 3 題號 1-3 題幹如果你不支持「地球已脫離『全新世』而進入『人類世』」的說法，下列何者所提出的證據或說法，比較符合並能支持你的觀點？選項 (A) 小地：「科學家在較古老的地層當中找不到『科技化石』。」 (B) 小球：「在臺灣的地層中，找出與西格陵蘭島沉積物中相似的黑碳微粒。」 (C) 小科：「科學家已證明西格陵蘭島取出的沉積物中所發現的放射性物質，完全是人為造成。」 (D) 小學：「大氣中甲烷與二氧化碳濃度急遽上升的現象，在過往地質年代間也曾出現，所以無法確認是人類活動造成的。」參考答案 D K3 應用 I6 分享與評鑑實驗／探究結論參考架構對應 NA1 覺察核心素養自-J-A2能將所習得的科學知識，連結到自己觀察到的自然現象（a201）及實驗數據（a202），學習自我或團體探索證據（a203）、回應多元觀點（a204），並能對問題、方法、資訊或數據的可信性抱持合理的懷疑態度（a205）或進行檢核（a206），進而解釋因果關係（a207）或提出問題可能的解決方案（a208）學習表現 ah-IV-1 對於有關科學發現的報導甚至權威的解釋（如報章雜誌的報導或書本上的解釋）能抱持懷疑的態度，評估其推論的證據是否充分且可信賴 pc-IV-1 能理解同學的探究過程和結果（或經簡化過的科學報告），提出合理而且具有根據的疑問或意見。並能對問題、探究方法、證據及發現，彼此間的符應情形，進行檢核並提出可能的改善方案學習內容 Na-IV-6 人類社會的發展必須建立在保護地球自然環境之上註：表中核心素養、學習表現、學習內容之各項編碼，除 a 開頭之編碼為本研究自行研發之編碼方式，其餘編碼皆依據十二年國教國中階段自然科學領域課程綱要草案內容。

六、分析方法

（一）科學素養導向試題品質分析

為檢視依照命題參考架構所命題之各子題品質是否良好，以古典測驗理論分析（CTT）及試題反應理論分析（IRT）進行檢視。答對率分析數據為 320 位學生於該子題之總答對率，用以檢視試題難度是否適中。試題答對率以 0.5 作為檢視難度是否適中之門檻，因此，次試題目標難度為中偏易或易，故各子題之答對率以 0.6 以上為目標。

(18)

312 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹表 4 科學素養導向試題特徵─以題組 3 為例：選文題組3-選文如下圖所示，空氣門的原理，是利用高速氣流製造空氣牆，以達到防止室外灰塵、蚊蟲、油煙並有節省冷氣的效果。空氣門不像自動門需要開開關關，有利於人潮通行或大型貨物搬運，所以在賣場、車站等大型開放空間常常看到。鑑別度分析數據，為評斷高科學成就學生是否在該子題答對率較高，而低科學成就之學生答對此題較低，依此判斷該子題是否具有能良好鑑別高與低科學成就學生之能力。故分析方式為，該學生於此子題之分數，扣除該子題分數後之整份試卷總分（為避免共線性），進行相關分析之結果，試題鑑別度以 0.3 為檢視試題是否適合鑑別出高與低科學成就學生為標準。本研究亦採用試題反應理論分析，採用 Rasch model（如公式(1)）進行分析，使用的軟體為 ConQuest，Rasch 除分析試題的難易度外，亦檢測試題與模式的適配度，依此判斷該子題是否需再修審，同時可計算測驗訊息量與測驗特徵曲線，用以檢測各題在不同的潛在特質下能提供的訊息量，當訊息量愈高時，估計的誤差則會愈小。

Rasch model（Rasch, 1960）：

( ) ( ) 1 j i j i b ij b e P e θ θ − − = + (1)

(19)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 313 表 5 科學素養導向試題特徵─以題組 3 為例：子題 2 題號 3-2 題幹「空氣門」的使用，相較於只用自動門的環境，更能節省冷氣的主要原因為下列何者？選項 (A) 阻隔室內外空氣對流，防止室內冷氣外洩。 (B) 幫助冷氣氣流往上流動，幫助室內外空氣對流。 (C) 將室內悶熱的空氣吹出室外，以保持室內涼爽。 (D) 讓室外涼爽的空氣吹入室內，所以室內冷氣溫度可以不用調太低溫。參考答案 A K3 應用參考架構對應 I5 解釋數據並說明推理過程核心素養自-J-A1能應用科學知識（a11）、方法（a12）與態度（a13）於日常生活當中學習表現 pa-IV-2 能運用科學原理、思考智能、數學等方法，從（所得的）資訊或數據，形成解釋、發現新知、獲知因果關係、解決問題或是發現新的問題。並能將自己的探究結果和同學的結果或其他相關的資訊比較對照，相互檢核，確認結果學習內容 Bb-IV-6 熱的傳播方式包含傳導、對流與輻射。熱輻射是某種型式的電磁波註：表中核心素養、學習表現、學習內容之各項編碼，除 a 開頭之編碼為本研究自行研發之編碼方式，其餘編碼皆依據十二年國教國中階段自然科學領域課程綱要草案內容。上列公式中，θj為考生 j 的能力，bi是試題 i 的難度，而Pij是受測者答對某個題目的機率。在此模式中，受測者在某個題目上的答對機率是決定於受測者能力與試題難易度。透過分析受測者在各個題目上的答題反應，來估計受測者的能力以及題目的難易度，藉以瞭解題目與受試者的特性。在試題與模式適配度的檢驗中，主要判斷依據為 infit（information-weighted mean-square fit statistic）與 oufit（outlier sensitive mean-square fit statistics）兩個適配指標，適配指標皆計算測量均方值（Mean square, MNSQ），MNSQ 表示所有受測者在該試題上的實際觀察值與模式期望值之間差異的標準化殘差變異平均數，其數值愈接近 1，表示該題適配度愈好。Linacre 與 Wright（1994）認為 MNSQ 在 0.6～1.4 之間表示該題具備合理的適配；de Ayala（2009）認為 infit 與 outfit 理想的範圍為 0～1.5 之間，在本研究中，擬以 Linacre 與 Wright 所提出較嚴格的標準進行檢驗題目適配度。

與此同時，將再以科學素養命題參考架構，檢視與後設分析鑑別度欠佳之試題，思考當初命題設計時所參照之面向及階段／步驟與試題呈現方式，該如何進行調整。

(20)

（二）單向度與二向度適配度分析

在本研究題本中，包含兩種類型的題目，一種為本研究所設計的科學素養導向試題，一種為歷年國中教育會考自然科考古題，為瞭解科學素養導向試題是否可測量科學素養，本研究採用單向度與二向度的試題反應理論進行分析，測量的向度假設說明如下： 1.單向度：科學素養導向試題與歷年會考考古題僅測量自然科學領域知識的單一向度。 2.二向度：科學素養導向試題測量自然科學領域知識及科學素養（題內多向度），歷年會考僅測量到自然科學領域知識。本研究採用 ConQuest 進行分析，比較兩種模式與資料間的適配程度，進一步檢視單向度與二向度是否達顯著差異。

伍、預試初探結果與討論

一、科學素養導向試題品質分析

本研究預試如表 6 所示，包含古典測驗理論及試題反應理論分析結果。在古典測驗理論分析下，提供答對率（P）及鑑別度（點二系列相關，rpb），答對率介於 0～1 之間，數值愈高表示題目愈簡單，鑑別度介於-1～1 之間，數值愈高表示題目鑑別度愈高，愈能鑑別高低能力的學生。在試題反應理論分析下，提供 Rasch 難度值、outfit 值、infit 值，Rasch 難度值通常介於-4～4 之間，數值愈高表示該題難度愈高，學生較不容易答對，需具備較高的能力才有機會答對此題，反之，Rasch 難度值愈低，表示愈容易，學生愈容易答對；outfit 值及 infit 值，用以檢定題目與模式的適配度，本研究採用 Linacre 與 Wright（1994）的標準，當數值在 0.6 ～1.4 之間表示該題具備合理的適配。以下依據各子題之答對率與鑑別度結果討論，針對品質良好試題與待改進試題之特徵進行說明，並說明如何以科學素養命題參考架構進行後設分析，修正待改進之試題。「題組 1」為閱讀式探究題組（如表 2），選文中呈現一目前正發展中的科學事件：「人類世」。學生需運用其地球科學課堂所學之知識概念，用以詮釋新的情境，以此理解並分辨科學知識的確定性和持久會因研究時空背景不同而有所變化，以期達到於評量中學習之目的（國家教育研究院，2018）。第 1-1 題（如附錄二附表 1）以地質年代劃分並命名之相關知識，作為題幹之探究議題，以科學素養命題參考架構之「探究能力─解釋數據並說明推理過程」出發，評量學生是否能理解不同的地質事件與地質特徵，如何影響地質年代之劃分與命名。進而判斷哪一時期的地層特徵，可用以劃分新的地質年代。此題題目形式較過往傳統考題不同，學生需運用選文中新獲得之資訊（發展中科學議題），結合其課堂所學之概念答題。此題答對率為 .78，鑑別度為 0.43，Rasch 難度為-1.50，數據顯示，未來閱讀式探究之題型命題，在適當的選文及題幹設

(21)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 315

表 6

科學素養導向試題預試結果

古典測驗理論分析（CTT）試題反應理論分析（IRT）題組題號

答對率（P）鑑別度（點二系列相關，rpb） Rasch難度值 outfit infit 1-1 .78 0.43 -1.50 -0.82 0.92 1-2 .83 0.38 -1.84 -0.91 0.95 1-3 .62 0.42 -0.60 -0.95 0.96 1-4 .92 0.19 -2.86 -1.16 1.04 1 1-5 .89 0.06 -2.38 -1.25 1.08 2-1 .83 0.45 -1.87 -0.83 0.93 2-2 .76 0.42 -1.38 -0.88 0.95 2 2-3 .89 0.30 -2.46 -0.87 0.97 3-1 .86 0.24 -2.17 -1.04 1.03 3 3-2 .71 0.33 -1.09 -0.95 1.00 4-1 .57 0.37 -0.34 -0.99 1.00 4-2 .48 0.06 -0.06 -1.16 1.12 4-3 .73 0.22 -1.22 -1.00 1.01 4 4-4 .26 0.01 -1.21 -1.46 1.17 平均值 .72 0.28 -1.32 − − 計引導下，試題難度仍可控制在偏易的程度，確保在應用多元的科學情境素材命題的情況下，能有效評量學生解釋數據與推理的能力，亦不會因試題過難，造成學生答題意願低落。第 1-2 題（如附錄二附表 2）以科學素養命題參考架構之「科學的態度與本質─NA1 覺察」出發，欲評量學生是否能運用課堂中所學關於化石之知識概念，結合選文資訊，運用於判斷當地球的地質年代發生改變，何者為具有該地質年代特徵代表性之化石。此題答對率為 .83，鑑別度為 0.38，Rasch 難度為-1.84，表示此題所需要的覺察能力，對學生而言是簡單的，相較於第 1-1 題所需要的探究能力答對率更高。第 1-3 題（如表 3）則引入科學論證之提問方式，以科學素養命題參考架構之「探究能力 ─分享與評鑑結論」與「科學的態度與本質─覺察」為主要評量標的。學生需運用選文中所呈現之科學證據，推理當立場改變，如何提出證據，進行正反論證之能力。此題答對率為 .62，鑑別度為 0.42，Rasch 難度為-0.60。以此可得，推理論證對於學生雖為較高層次之能力，但透過良好的選文、題幹及選項設計，仍可有效評量學生論證之能力。

(22)

316 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹第 1-4 題與 1-5 題（如附錄二附表 3、附表 4），因考量所選用之學習內容題材雖為十二年國教自然科學領域課程綱要之科學本質內容，但未包含於目前九年一貫課程當中，而科學態度與本質之能力本就被學者視為是較高層次的科學素養能力（Bybee, 1997; Shamos, 1995），故經修審題專家建議，將其由叢集是非題型改為單一是非題型，期望能提供一較為友善之提問方式，評量學生對於此學習內容之理解程度。分析結果顯示第 1-4 題答對率為 .92，鑑別度為 0.19，Rasch 難度為-2.86；第 1-5 題答對率為 .89，鑑別度為 0.06，Rasch 難度為-2.38，此兩題鑑別度未達標準，可能是因題目答對率偏高的原因，影響鑑別度，但進一步檢視，適配度指標 infit 值分別為 1.04 及 1.08，符合 Linacre 與 Wright（1994）之標準，適配結果可接受。

綜觀題組 1 結果，利用科學素養命題參考架構，所命之試題呈現與評量能力雖為較新穎之嘗試，但在良好的試題設計下，仍能確保試題品質。對學生而言，科學態度與本質相關之能力與知識，並不是過於艱澀或遙不可及之學習目標，故未來可持續朝此目標發展合適之評量工具。題組 2 由選文陳述簡化的實驗步驟，並搭配實驗紀錄圖，評量學生科學程序性知識與圖表資訊的判讀能力。依表 6 所示，該題組試題答對率落在 .76～ .89 之間，皆屬於容易的題目，與研究目標相符，而鑑別度維持在 0.30～0.45 之間，皆具有不錯的鑑別度，為一兼具信、效度之試題題組。題組 3（如表 4 與表 5）則特別關注，由「問題解決能力」出發，與傳統較為關注「科學知識」的角度出發，此兩種不同命題策略所發展之試題差異。故以命題參考架構之「探究能力─審視與界定問題」（3-1 題）與「探究能力─分享與評鑑結論」（3-2 題，如表 5），為主要試題設計目標。利用相同學習內容的兩個子題，依同樣選文與情境圖，依傳統與科學素養導向（問題解決）兩種不同提問方式設計為 3-1 與 3-2 兩子題。學生需運用選文資訊及其物理概念解題。數據結果顯示，第 3-1 題為傳統式提問的子題，題幹的問法為直接詢問答題者：「空氣門為應用何項科學原理製作而成？」，其答對率為 .86，鑑別度為 0.24，Rasch 難度為-2.17，可推斷題目所用之學習內容知識對於學生為「易」之等級，以此判斷學生與第 16 題之表現不受學習內容偏難之影響。而第 3-2 題（如表 5）則是依照科學素養導向命題參考架構中：「探究能力─解釋數據並說明推理過程」之問題解決提問方式，題幹的問法為詢問答題者：「此空氣門相較於僅使用自動門能達到節省冷氣之效用，其運用的科學原理解決的問題為何？」。透過讓學生藉由選文及題幹資訊進行判斷：在實驗設計下「並用空氣門與自動門」（實驗組）相較於「僅使用自動門」（對照組）較節省冷氣（實驗結果），請學生應用課堂習得的物理知識，進行實驗結果解釋。由表 6 可得，相較於第 3-1 題，第 3-2 題之答對率提升為中偏易的 .71，且鑑別度亦提高至 0.33，Rasch 難度提升至-1.09，故可推論，即便在同樣的學習內容下，利用科學素養命題參

(23)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 317 考架構中問題解決提問方式，雖提升試題難度，但仍落於中偏易等級，且試題之鑑別度較高。故以「問題解決」之提問模式設計試題，能提供在紙筆測驗中進一步評量學生解釋及推理能力，實為一未來發展試題時，值得繼續發展之科學素養試題特色。題組 4 亦為閱讀式探究之題型，結合情境圖與實驗紀錄圖表，評量學生是否具有科學素養命題參考架構中「解釋數據並說明推理過程」與「分享與評鑑結論」之能力。第 4-1 題答對率為 .57，鑑別度為 0.37，Rasch 難度為-0.34。此題所選考之科學概念，承接學生於國小階段所習得之相關知識，並在國中學習階段延伸學習此科學概念之進階知識，而於高中階段承接此學習成果，更進一步學習。因此，於國中階段的學習扮演於螺旋式課程中承先啟後的角色，未來科學素養導向國中階段之命題選材，皆以此為目標，以期達到十二年國教之延續性精神。第 4-2 題答對率為 .48，鑑別度為 0.06，Rasch 難度為 0.06，相較於其他題目是屬於偏難的題目，此題鑑別度雖不高，但在適配度指標 infit 之值為 1.12，符合 Linacre 與 Wright（1994）之標準，適配結果可接受。此題主要試題設計目標，為科學素養命題參考架構之「探究能力 ─解釋數據並說明推理過程」中之實驗預測能力。由於評量目標屬高層次能力，又配合認知負荷較大的情境圖，對於不熟悉實驗操作之學生而言，要答對此題並不容易。第 4-3 題是依照科學素養導向命題參考架構中「分享與評鑑結論」中評量學生初步實驗修正之能力，此題答對率為 .73，鑑別度為 0.22，Rasch 難度為-1.22，屬於偏易的題目，雖鑑別度未達要求，但由結果可知，實驗修正之能力雖較為進階，但透過合適的題幹引導，對於學生而言仍落於中偏易之等級，故仍可作為未來科學素養導向命題之題材。第 4-4 題答對率為 .26，鑑別度為 0.01，Rasch 難度為 1.21，此題為全部試題中答對率最低的題目，屬於難題，可能因難度過高，導致鑑別度偏低，但在適配度指標 infit 之值為 1.17，符合 Linacre 與 Wright（1994）之標準，適配結果可接受。此題以科學素養命題參考架構之「探究能力─分享與評鑑結論」為試題設計方向，評量學生進行進階實驗修正之能力，同第 4-2 題，此為高層次探究能力又搭配認知負荷較高的情境圖，導致即便高科學成就之學生亦無法通過。故將依科學素養命題參考架構之框架與試題呈現方式的配合，持續修正題目呈現方式，以符合學生國中階段之認知能力。整體而言，此次預試整體平均答對率為 .72，平均 Rasch 難度為-1.32，雖有特定子題難度過高或過低，但整體而言符合試題設計時難度中偏易之等級。平均鑑別度雖僅達 0.28，由表 1 可知，主要是因特定子題（如第 4-2 與 4-4 題）試題呈現方式為認知負荷較大之單一與多張情境圖，且欲評量之能力落於科學素養命題參考架構中較高層次之能力，對於學生的認知推理程度挑戰較高，導致試題太難，只適合用來鑑別少數程度較高的學生，因此鑑別度不高。

整體題目與 Rasch 模式適配的 outfit 值介於 0.82～1.46 之間，infit 值介於 0.92～1.17 之間，顯示整體皆為適配，在 outfit 值上超出 Linacre 與 Wright（1994）之標準，而 infit 值符合 Linacre 與 Wright 之標準。進一步檢視題組 4 中各子題的模式特徵曲線與資料的適配程度，結果如圖

(24)

318 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹 5所示，發現第 4-2 題與第 4-4 題在資料與模式特徵曲線適配程度的確沒有第 4-1 題與第 4-3 題適配，此結果與這兩題的難度偏高，導致鑑別度低的情形一致。

二、單向度與二向度適配度分析

（一）模式估計校準方面

在 ConQuest 估計中，為了達到設定的收斂標準，單向度模式經過 18 次迭代進行估計，共估計了 31 個參數，偏差值（final deviance）為 9138.08；而二向度模式經過了 19 次的迭代估計，共估計了 33 個參數，偏差值為 9093.44，整體而言，在二向度模式的估計迭代次數雖多了一次，但偏差值卻少了 44.64，看起來以二向度的模式較為適配。

（二）模式與資料適配度比較的卡方檢定

為了檢測單向度與二向度模式是否達顯著差異，首先先進行虛無假設，虛無假設為單向度模式與二向度模式的適配程度一樣好，即沒有顯著差異，因此，對立假設為二向度模式的適配程度較單向度模式佳。檢定統計量卡方值為 44.64，即兩個模式偏差值之差異，該值大於自由度為 2（兩個向度估計參數之差）且顯著水準 α＝ .05 時之卡方值 5.99147，檢定結果為拒絕虛無假設，因此，本研究的二向度模式與資料之適配程度優於單向度模式，意即二向度模式來解釋試題的確較單向度模式更加適合。上述分析結果，說明了本研究所發展之科學素養導向試題與過去歷年會考考古題來比較，依據測量模型的比較結果而言，以二向度的模式來詮釋科學素養導向試題的確比單向度的模式來詮釋科學素養導向試題來得更佳適配，因此本研究所研發之科學領域素養導向試題不僅可測量自然科學領域的知識與理解等基本素養，同時也能測量生活實踐層面的科學素養。本研究目的之一為驗證：「新發展的單一選擇題式的科學素養導向試題，是否可評量學生的科學素養」。依據結果顯示，在單向度與二向度適配度分析結果中，顯示了本研究所發展之科學素養導向試題與過去會考中部分知識性的試題相較，以二向度的模式來詮釋科學素養導向試題會比單向度的模式來詮釋科學素養導向試題有較佳的適配度。因此，本研究所發展之科學素養導向試題不僅可測量自然科學領域知識，同時也能測量科學素養。

陸、研究限制與未來展望

此節針對預試初探過程與結果，分別對試題開發流程及品質欠佳試題修改兩方面實施檢討與反思，盼能為未來相關研究提供經驗與參考。

(25)

林蓓伶、潘昌志、蘇少祖、陳柏熹國中科學素養試題研發 319 第 4-2 題第 4-4 題第 4-1 題第 4-3 題圖 5. 題組 4資料與模式的試題特徵曲線適配圖資料的試題特徵曲線模式的試題特徵曲線

Characteristic Curve(s) By Score

Item 14(14) 加權均方適合度值： 1.17 答案機率試題難度值： 1.21 能力值

Item 12(12)

Item 12(12) 答案機率加權均方適合度值： 1.12 試題難度值： 0.06 能力值 1 _0.9 _0.8 _0.7 _0.6 _0.5 _0.4 _0.3 _0.2 _0.1 _0.0

Item 1

1(1

1)

Item 13(13) 加權均方適合度值： 1.01 答案機率答案機率能力值試題難度值： -0.34 能力值 -1 0 -2 1 2 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 -1 0 -2 1 2 -1 0 1 2 試題難度值： -1.22 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 -1 0 1 2 -2 -2 1 _0.9 _0.8 _0.7 _0.6 _0.5 _0.4 _0.3 _0.2 _0.1 _0.0 加權均方適合度值： 1.00

(26)

320 國中科學素養試題研發林蓓伶、潘昌志、蘇少祖、陳柏熹經過多次專家諮詢會議，發現課程綱要中幾項素養具體內涵及學習內容，如合作學習、體驗科學之美及較為高階之表達與探究等科學素養範疇，其屬性較難以總結性紙筆測驗評量之，且以選擇題呈現會有牽強對應之慮。故形成性評量工具之開發有其必要性，未來應發展相關之評量標準（performance level description, PLD），設計課室評量發展相關評量工具，盼能協助教師於課室中參考，以具體實踐十二年國教素養導向教學理念（宋曜廷、周業太、曾芬蘭，2014；國立臺灣師範大學心理與教育測驗研究發展中心，2016）。同時，依本研究科學素養命題參考架構之分類，現有關於知識概念的知曉、理解與應用的評量工具已相當豐富，因此，未來將專注於發展「科學的態度與本質」及「探究能力」兩面向之評量工具，以日常生活中相關之科學議題入題，研發更多元之情境式題組（陳冠利等，2015；Yang et al., 2016），是思考素養非選擇試題命題之重要關鍵。為更多元地評量「探究能力」及「科學的態度與本質」不同面向之高層次認知能力，非選擇題型為本研究團隊未來之發展主軸。以科學素養命題參考架構為基礎，發展非選擇題型評分規準與指引相關研究（目前研發中範例如表 7）。利用科學素養命題參考架構命題，透過試題設計，藉由學生推理與表達之過程，評量其學習重點中的「探究推理」、「科學論證」等相關的學習表現，以多元評量學生不同面向之科學素養（Hsin et al., 2016; Kuo, Wu, Jen, & Hsu, 2015）。與此同時，素養題型非選擇題型之評分方式將朝向整體式評分方向研發，進行評分規準及指引之發展，以期為新型態的素養非選擇題型提供更具信度與效度之評鑑方式。預計於未來後續研究發表中進行探討與分享。再者，研究結果顯示，預試題組中與「探究能力─解釋數據並說明推理過程、分享與評鑑結論」等較高層次之試題難度都偏高，鑑別力較低。此一結果與 PISA 2015 臺灣學生國際排名結果相符（臺灣 2015 PISA 國家研究中心，2016）：臺灣學生在舉證與論證等高層次的探究能力上之表現較為落後。後續研究將針對高層次探究能力之試題，以科學素養命題參考架構進一步拆解，利用各子題設計，循序漸進搭建認知鷹架，一方面幫助學生能逐步學習並展現高層次探究能力，另一方面也能透過各子題之學生表現，進一步瞭解學生在探究能力培養上的難點與迷思，提供現場教師參考，調整課程設計。而難度過易之試題，透過預試結果，已掌握目前學生對此學習內容與試題呈現方式之情況，故將修改試題內容，提升難度及鑑別度。如以題組 1 第 1-4 與 1-5 題為例，將進一步修改並合成為叢集是非題，於未來預試中重測。本次預試初探題組，難度設定以易與中偏易為目標。主要是為控制因學習內容太難的影響，以期能明確判斷此「科學素養題型命題方式」，對於目前臺灣學生而言是否能掌握？由研究結果顯示，整份試題的難度偏易，說明學生對於科學素養導向命題及試題呈現方式的掌握度尚佳。故未來將針對較為複雜或困難之學習內容設計試題，提高試題難度及鑑別度，並進一步針對國中會考等試務工作考量與學生應試反應探討（如整份試卷字數是否需更為精簡，減低學生答題認知負荷，並同時符合會考整份試卷字數），以更多元理解及探索，臺灣學生在面對科學素養題型時的不同迷思與學習困難。