108課綱第四學習階段國語文閱讀素養線上評量之建構

(1)

謝佩蓉國中閱讀素養線上評量 193 教育科學研究期刊第六十三卷第四期 2018 年，63（4），193-228 doi:10.6209/JORIES.201812_63(4).0007

108 課綱第四學習階段國語文閱讀素養

線上評量之建構

謝佩蓉

* 國家教育研究院測驗及評量研究中心

摘要

儘管聽、說、讀、寫都是 108 學年度預定實施之國語文新課綱的重要元素，然由基本理念可窺知，閱讀能力是新課綱非常重要的關鍵。為發展符合新課綱第四學習階段閱讀素養所需線上評量，本研究目的為建立新課綱第四學習階段國語文素養導向評量發展模式並檢視其成效，從評量架構的建立、文本的挑選或撰寫原則、命題原則等三個方面探討，並分析素養導向試題心理計量特性以支持素養導向評量發展模式的有效性。援用三角檢證法，經由三場評量架構專家會議、20 場命題工作坊，本研究取得三向度評量架構與 16 項評量指標，建構五項文本的挑選或撰寫原則，10 項素養導向試題之命題原則，以及 23 篇文本之 201 題閱讀素養導向試題之效度證據。試題置於 i-Assessment 研究團隊所開發的線上平台進行預試。經三梯次預試，對象來自全臺灣 58 校 1,685 位國中七、八、九年級學生。以試題難度、鑑別度、Rasch 模式之適配度呈現試題心理計量特性，分析軟體為 R，Package 為 CTT 和 TAM。17 篇文本（73.91%）試題之平均鑑別度指數達 .30 以上。選擇題平均通過率介於 .45～ .74 之間，難度分布廣；半數建構題為高層次評鑑與省思題，其鑑別度指數平均 .37、平均通過率 .24，屬高鑑別度、高難度試題，符合期待。試題具備良好心理計量特性，併同歷程中專家肯定的效度證據，共同支持素養導向評量發展模式的有效性。最後透過範例試題，提供教學現場作為命題實務參考。關鍵詞：中等教育、素養導向評量、線上測驗、閱讀理解通訊作者：謝佩蓉，E-mail: [email protected] 收稿日期：2018/01/31；修正日期：2018/06/08、2018/08/06；接受日期：2018/10/02。

(2)

194 國中閱讀素養線上評量謝佩蓉

壹、緒論

一、前言

《十二年國民基本教育課程綱要》（以下簡稱新課綱）國語文課程綱要將一至十二年級分為五個學習階段：一、二年級稱為第一學習階段；三、四年級稱為第二學習階段；五、六年級稱為第三學習階段；七至九年級稱為第四學習階段；十至十二年級稱為第五學習階段，其基本理念為（教育部，2018a）：經由國語文教育幫助學生習得現代公民所需之聆聽、口語表達、標音符號與應用、識字與寫字、閱讀、寫作的能力，藉由各類文本的閱讀欣賞與創作，激發創意，開拓生活視野，培養反省、思辨與批判的能力，健全人我關係，體會生命意義，理解並尊重多元文化，關懷當代環境，開展國際視野。儘管聽、說、讀、寫都是新課綱的重要元素，然由基本理念可窺知，閱讀能力是新課綱非常重要的關鍵，透過閱讀啟動人生，探索生命意義，習得尊重關懷，達成生活與專業的學習。閱讀理解在各個領域的學習扮演關鍵的角色，因而歷史課和數學課也紛紛推動並研究閱讀策略對於學習表現的影響（唐淑華、蔡孟寧、林烘煜，2015；蘇慧珍、楊凱琳、陳佳陽， 2017）。尤其在資訊化時代與數位載具的流行，資訊量已超越傳統的年代，訊息類文本（informational text）無所不在，像是生活中要查閱某項產品的評價、某個名詞的意涵、某項菜色的材料、瞭解某項事件的進展、參與某個社群的討論、查看手機訊息等，人們常透過數位平台蒐集與探究訊息，並進行訊息的研判與推論，決定採用或應用哪些訊息來回應自身的需求。這個過程，更顯出閱讀理解的重要性。新課綱將自 108 學年度，依照不同教育階段（國民小學、國民中學及高級中等學校一年級起）逐年實施（教育部，2018a），即使新課綱尚未實施，107 學年度學科能力測驗國文科試題（大學入學考試中心，2018），亦已充分展現有別以往的命題取向，多樣化的閱讀理解試題，自各領域取材，文本（text）形式涵蓋連續性與非連續性文本，希冀啟動學生的思辨而非記憶，達成真實、有意義的學習與評量。面對新課綱即將實施，國內一項調查結果指出，約 51.14%～60.04%的教師認為校內教師已具備課綱所需跨域、跨科整合知識的教學能力；約 51.86%～66.02%的教師清楚知道因應新課綱訴求的學習素養，該有什麼樣相對應的教學目標（陳雅慧、王韻齡，2018）。教學素來為教師職場最重要的核心任務，自評準備度尚且如此；該項調查雖未針對教師評量方面的準備度提問，合理推論不會比教學準備度高。透過研究實務分享，讓現場教師對於新課綱評量設

(3)

謝佩蓉國中閱讀素養線上評量 195

計有進一步的認識，實為重要課題。

因應網路化時代，國際大型評量（large-scale assessment）也紛紛走向電腦化施測，國際學生能力評量計畫（Programme for International Student Assessment, PISA）2015 年的重大改革便是測驗全面電腦化（佘曉清、林煥祥，2017），促進國際閱讀素養研究（Progress of International Reading Literacy Study, PIRLS）則自 2016 年開始施測數位閱讀（Mullis, Martin, Foy, & Hooper, 2017）。考量國小一年級學生所學的知識內容太少、閱讀能力評量成本太高，而第四學習階段之國中學生已能閱讀成人世界的讀物，優先著手開發國中學生適用的線上閱讀素養導向評量及其相關命題原則，除了能將經驗作為其他領域轉化課綱為素養評量的參考，也能提供現場教師作為素養評量的命題指引。

二、研究目的與研究問題

新課綱目的在於培養學生的素養能力，如何研發素養導向試題以評量學生習得的素養，為一重要課題。本研究目的為建立新課綱第四學習階段國語文素養導向評量發展模式並檢視其成效。研究問題如下：

（一）課綱內涵轉化為素養導向評量時，適切的研發程序為何？

首先，逐條解析新課綱學習表現中的認知歷程，形塑評量架構初稿，接著邀請專家評論。舉辦命題工作坊研發素養試題，從中建構文本挑選或撰寫原則及命題原則，並同步檢視評量架構。三角檢證討論的關鍵核心為評量架構、文本的挑選或撰寫原則及命題原則三方面的連結，俾利未來協助教學現場開發素養評量工具。

（二）本研究所研發的素養導向試題心理計量特性為何？

透過預試，蒐集實證證據表述素養導向試題具備良好的心理計量特性，併同專家效度，共同支持素養導向評量發展模式的有效性。

貳、文獻探討

一、閱讀素養內涵

（一）國內外闡述的素養意涵

鑑於本研究目的在於針對新課綱建立素養導向評量發展模式並檢視成效，素養的定義與特性以教育部（2014）頒布的新課綱總綱內所描述之意涵為主要依歸：

(4)

「核心素養」是指一個人為適應現在生活及面對未來挑戰，所應具備的知識、能力與態度。「核心素養」強調學習不宜以學科知識及技能為限，而應關注學習與生活的結合，透過實踐力行而彰顯學習者的全人發展。

無獨有偶，經濟合作暨發展組織（Organisation for Economic Co-operation and Development [OECD], 2014）透過三集群、15 項核心素養（core competencies）詮釋不同工作場域所需展現的不同重要能力，包括調度相關素養群（delivery-related）、人際素養群（interpersonal）及策略素養群（strategic），並將核心素養分為五級，各由 15 項核心素養的不同表現所組成，例如，第一級素養適合從事的典型職業像是助理、秘書、作業員，而需具備第五級素養的職業則是主任、諮商人員等。相似的「素養」概念也出現在 PISA 2018 評量的國際素養（global competence），具備國際素養的人們「能夠檢視地方性、全球性及跨文化的議題，理解與欣賞人們不同的觀點與世界觀，和他人互動良好，朝著永續且整體的幸福而努力」（OECD, 2018b），意即期許 15 歲學生能彈性思考、培養人際關係及規劃未來。綜觀國內外對於「素養」一詞的界定可知，單純將知識與能力表現視為學習標竿，已不符合潮流所需，能應用習得的知識與能力在世界地球村生活，才是國際社會與新課綱所期待培養的新世代人才。

（二）國語文新課綱閱讀素養內涵

新課綱以學習內容和學習表現來闡述國語文閱讀素養內涵。第四學習階段涵蓋國中七至九年級，然國語文課綱中並未切分「每一年級」應學習之表現與內容，而是以「階段性」方式設計。故建構新課綱閱讀素養評量時，比照國中教育會考檢定國中畢業生學力的規劃理念（國立臺灣師範大學心理與教育測驗研究發展中心，2014），以「國中畢業應具備的閱讀素養」為試題難度發展依歸。

1. 第四學習階段學習表現

依照 Chall（1983, 1996）的理論，識字已非國中學生的閱讀發展重點，故建構閱讀素養評量時，關注新課綱中列示的「閱讀」學習表現，而非「識字」。茲將國語文新課綱所列示的第四學習階段學習表現摘錄如表 1 所示。

2. 第四學習階段學習內容

由表 2 可知，國語文第四學習階段學習內容分為文字篇章、文本表述及文化內涵三大部分。文字篇章包括字詞、句段及篇章三項目，依照 Chall（1983, 1996）的理論，建構新課綱閱讀素養評量時，將以篇章為主軸。此外，由文本表述和文化內涵的學習內容可發現，國中學生被期待能閱讀多種文體與多種議題的文本。

(5)

謝佩蓉國中閱讀素養線上評量 197 表 1 新課綱所列示的第四學習階段學習表現項目學習表現閱讀 5-IV-1 比較不同標點符號的表達效果，流暢朗讀各類文本，並表現情感的起伏變化 5-IV-2 理解各類文本的句子、段落與主要概念，指出寫作的目的與觀點 5-IV-3 理解各類文本內容、形式和寫作特色 5-IV-4 應用閱讀策略增進學習效能，整合跨領域知識轉化為解決問題的能力 5-IV-5 大量閱讀多元文本，理解重大議題內涵及其與個人生活、社會結構的關聯性 5-IV-6 能運用圖書館（室）、科技工具，蒐集資訊、組織材料，擴充閱讀視野註：引自十二年國民基本教育課程綱要國民中小學暨普通型高級中等學校：語文領域─國語文（p. 11），教育部，2018b。臺北市：作者。表 2 新課綱所列示的第四學習階段學習內容主類別次項目學習內容字詞 Ab-IV-1 4,000個常用字的字形、字音和字義 Ab-IV-2 3,500個常用字的使用 Ab-IV-3 基本的造字原則：象形、指事、會意、形聲 Ab-IV-4 6,500個常用語詞的認念 Ab-IV-5 5,000個常用語詞的使用 Ab-IV-6 常用文言文的詞義及語詞結構 Ab-IV-7 常用文言文的字詞、虛字、古今義變 Ab-IV-8 各體書法與名家碑帖的認識與欣賞句段 Ac-IV-1 標點符號在文本中的不同效果 Ac-IV-2 敘事、有無、判斷、表態等句型 Ac-IV-3 文句表達的邏輯與意義文字篇章篇章 Ad-IV-1 篇章的主旨、結構、寓意與分析 Ad-IV-2 新詩、現代散文、現代小說、劇本 Ad-IV-3 韻文：如古體詩、樂府詩、近體詩、詞、曲等 Ad-IV-4 非韻文：如古文、古典小說、語錄體、寓言等（續）

(6)

198 國中閱讀素養線上評量謝佩蓉表 2 新課綱所列示的第四學習階段學習內容（續）主類別次項目學習內容記敘文 Ba-IV-1 順敘、倒敘、插敘與補敘法 Ba-IV-2 各種描寫的作用及呈現的效果抒情文 Bb-IV-1 自我及人際交流的感受 Bb-IV-2 對社會群體與家國民族情感的體會 Bb-IV-3 對物或自然以及生命的感悟 Bb-IV-4 直接抒情 Bb-IV-5 藉由敘述事件與描寫景物間接抒情說明文 Bc-IV-1 具邏輯、客觀、理性的說明，如科學知識、產品、環境、制度等說明 Bc-IV-2 描述、列舉、因果、問題解決、比較、分類、定義等寫作手法 Bc-IV-3 數據、圖表、圖片、工具列等輔助說明議論文 Bd-IV-1 以事實、理論為論據，達到說服、建構、批判等目的 Bd-IV-2 論證方式如比較、比喻等文本表述應用文 Be-IV-1 在生活應用方面，以自傳、簡報、新聞稿等格式與寫作方法為主 Be-IV-2 在人際溝通方面，以書信、便條、對聯等之慣用語彙與書寫格式為主 Be-IV-3 在學習應用方面，以簡報、讀書報告、演講稿、劇本等格式與寫作方法為主物質文化 Ca-IV-1 各類文本中的飲食、服飾、建築形式、交通工具、名勝古蹟及休閒娛樂等文化內涵 Ca-IV-2 各類文本中表現科技文明演進、生存環境發展的文化內涵社群文化 Cb-IV-1 各類文本中的親屬關係、道德倫理、儀式風俗、典章制度等文化內涵 Cb-IV-2 各類文本中所反映的個人與家庭、鄉里、國族及其他社群的關係文化內涵精神文化 Cc-IV-1 各類文本中的藝術、信仰、思想等文化內涵註：引自十二年國民基本教育課程綱要國民中小學暨普通型高級中等學校：語文領域─國語文（pp. 14-19），教育部，2018b。臺北市：作者。記敘文本、抒情文本及應用文本從第一學習階段就開始，說明文本就第二學習階段開始學習，議論文本則自第三階段才開始加入（教育部，2018b）。鑑於真實世界文本多元，同一篇文章中可能融合記敘文本與說明文本的元素，也可能以應用文形式議論時事；再加上電腦化測驗的文本形式更加彈性，可能先以影片講一個故事，再加入多方留言評論，欲依照課綱將文本切分為五種類型，有實際執行困難。故本研究僅將文本類型區分為記敘文（事件與描

(7)

寫）與論說文（議論與說明）兩種類型，兩種都可以兼抒情，都會有感受與想法。

參酌 PISA（OECD, 2012）敘事體比例為 20%，佛羅里達州（Florida State）九年級閱讀評量架構中，敘事體所占比例為 30%（Florida Department of Education, 2010），而新課綱著重真實性之五種文本表述並重（蔡曉楓，2017），本研究擬訂記敘文占 33%，論說文占 67%，以回應新課綱精神及真實情境（scenario）中訊息類文本與生活息息相關之現象。閱讀素養導向試題來自合適之閱讀素養文本。挑選或撰寫閱讀素養文本時，乃根據新課綱學習內容三大主軸：文字篇章、文本表述及文化內涵交集而成（如圖 1 所示），透過多元文本（各種真實情境主題）與多元形式（文字、圖片、影片）發展試題，評量學生對知識、情意的掌握及批判性思考。圖1. 學習內容轉化為素養文本與試題概念

（三）第四學習階段閱讀材料特性

Chall（1983）從發展歷程觀點提出人類閱讀能力的成長變化。從出生至成年，閱讀能力的發展可分為六個階段，新課綱的第四學習階段橫跨 Chall 所界定閱讀發展的 3B 與第四階段。第三階段為閱讀新知期（reading for learning the new），9～13 歲應能透過閱讀學習新的知識、取得新訊息、接收新想法並獲得新經驗。背景知識、詞彙及認知能力仍然受限，第三階段的閱讀材料與目的最好明確且只有單一觀點。此階段可再分為 3A 和 3B 兩個次階段，3A 為 9～ 11歲，3B 為 12～14 歲。奠基於第三階段學得的基本知識，進入第四階段多元觀點期（multiple viewpoints），14～17歲，閱讀的歷程為由下而上且由下而上雙軌並進，閱讀內容與形式多樣化，閱讀素養導向試題文化內涵文本表述文字篇章閱讀素養文本

(8)

200 國中閱讀素養線上評量謝佩蓉且能結合先備知識對於各項議題提出多元觀點（Chall, 1996）。然而，什麼樣的材料適合作為第四階段的閱讀素養評量素材？過去文獻大多僅提出一般性的選文通則。例如，新課綱在學習內容的文本表述部分列出了五種文體的特性，然其陳述較抽象，難以單憑文本表述選擇文章。陳美芳（2014）提出記敘文、說明文及議論文的文本特性檢核表，供讀者檢核文章結構的嚴謹性，可作為篩選文章的基礎性要素。Chall（1996）認為，自 3A 次階段開始，閱讀的材料不適合僅以自我目的為中心，開始閱讀較嚴肅、長度較長的成人讀物。到了 3B 次階段，所讀的材料已很接近成人讀物的水平。Arias（2007）指出，學生閱讀水平、學生的興趣、學生的閱讀需求、學生的背景知識、文章內容和學生的關聯度、文章內容的真實性，都是選文時所應考量的重點。即便文章符合一般性的選文通則，卻仍不一定適合作為評量材料，尚需參採評量目的（如形成性評量、總結性評量）、評量形式（如紙本或線上）、評量情境（如作答時間、作答疲乏度）等因素。據此，本研究選定閱讀素養評量文章時，除了納入上述閱讀材料特性與選文考量，尚需經由研究方法轉化出第四學習階段閱讀素養評量的文本挑選或撰寫原則。

二、閱讀素養評量

（一）閱讀理解歷程模式作為文本分析理論基礎

一篇文章作為評量材料時，常被稱為文本，由字、詞、句、段、節或章、圖、表等所組成。閱讀的認知歷程複雜且多樣，Kintsch（1988）提出建構統整模式（construction-integration model）理論涵蓋性較大、足以解釋閱讀的多個面向，用於詮釋讀者如何透過字句瞭解文章的潛在意涵，以及文字結構如何將潛在意涵組織成為連貫性的文本，並和讀者本身特性共同達成高層次的理解。該理論將文本理解後的結果視為心理表徵（mental representation）的改變，將「命題」（proposition）（自邏輯法則中轉化這個名詞）視為一種基模，定義為理解文章的心理單位，因此，讀者對於文本意涵的表徵便可透過命題結構來加以呈現（Schwanenflugel & Knapp, 2016）。文本的微觀結構（microstructure）為命題組成的網絡，將文字符號轉化為概念性意義，例如，字形辨識、識字解碼等；巨觀結構（macrostructure）則整體性地組織這些概念性意義成為更高層次的上位概念，通常需要推論文本沒有說出的隱含訊息。微觀結構和巨觀結構兩者共同形塑篇章格局（textbase）。然而，讀者對於文章的理解不只是由下而上的建構階段而已，讀者也會投入本身的先備知識和文本進行整合，兩者共同形成情境模式（situation model）（Kintsch, 2013）。建構統整模式的閱讀理解便是建構和整合的雙重歷程（dual process），評量時需能展現理解歷程與不同層次的理解，包括表層至深層、表面特徵至篇章格局、至情境模式。本研究以此模式作為文本分析的理論基礎，找出巨觀結構中的關鍵訊息，意義段的大意和全文主旨，

(9)

謝佩蓉國中閱讀素養線上評量 201 並於情境模式中，加進外部知識進行文本內容的應用與評論和寫作形式的分析。

（二）閱讀認知歷程結合文本分析結果完成命題前置工作

完成文本分析後，欲將文本分析結果轉化為具體可操作的素養導向試題，需要解構學生面對文本和素養導向試題時的認知歷程。國際上閱讀的大型評量亦利用一系列的認知歷程檢視學生在閱讀後形成的局部和整體理解，以及反思能力，而匯集各項認知歷程便成為整體性的評量架構。國際各項閱讀評量以 PIRLS 和 PISA 最受重視。PIRLS 的評量對象為小學四年級學生，和本研究對象認知程度差距不小；PISA 的評量對象為參與國家或經濟體的 15 歲學生，恰為新課綱第四學習階段的結束年齡，其內涵可應用於國中學生之中文閱讀素養評量，檢視臺灣國中學生被期待養成的閱讀素養水平。 PISA定義的閱讀素養為「為了達成個人目標、增長個人知識與潛力，並成為社會的一份子，所需具備理解、使用、省思及回應文本的素養」，目的是藉由多樣化的文本與情境，評量學生對於閱讀歷程（reading process）的精熟程度（OECD, 2017）。為了讓文本的涵蓋夠廣，以四個層面進行考量，分別是：文本來源為單一文本或多個文本；文本的版面配置與導覽選單；文本形式（format）為連續（continuous）、非連續（non-continuous）或混合（mixed）；文本類型（type）為描述（description）、敘事（narration）、說明（exposition）、論說（argumentation）、指引（instruction）及文書（transaction）（OECD, 2018a）。為因應當代社會的發展與回應理論用詞的調整，PISA 2018 除了採用電腦施測，也將新增的閱讀流暢性（read fluently）和其他七項閱讀理解認知歷程的評量分開計分。閱讀理解認知歷程用詞也略有調整，分別是：存取與檢索單一文本中的訊息（access and retrieve information within a text）、搜尋與選擇相關資料（search and select relevant text）、詮釋字面意涵（represent literal meaning）、統整與產生推論（integrate and generate inferences）、反思文本內容與形式（reflect on content and form）、評估文本品質與可信度（assess quality and credibility），以及覺察與處理衝突（detect and handle conflict）。其中，第一、二項認知歷程屬於找出訊息（locate information）向度，題項比例占 25%；第三、四項認知歷程屬於理解（understand）向度，題項比例占 45%；第五項至七項認知歷程屬於理解評鑑與省思（evaluate and reflect）向度，題項比例占 30%（OECD, 2016）。第一項至第四項較接近建構統整模式中的巨觀模式，第五項至第七項則較接近情境模式。由此，文本分析結果和解題認知歷程緊密結合，素養導向試題的命題前置工作已完成。

（三）素養導向試題要素

完成命題前置工作後，撰寫素養導向試題需要掌握的根本要素為何？僅以學科內涵為標的之評量，已難以達成新課綱的精神，故新課綱研發機構提出素養導向評量的兩項要素，作為設計素養導向試題的依據（任宗浩，2018）。換言之，本研究發展之國語文素養導向試題，

(10)

202 國中閱讀素養線上評量謝佩蓉必須符合兩項要素的其中一項：其一為「在合理的脈絡下問合理的問題」且內涵為「新課綱國文學習表現與學習內容兩相結合」，或其二「在合理的脈絡下問合理的問題」且內涵為「跨科核心素養」。任一要素為素養題之必要條件（necessary condition）而非充分條件（sufficient condition），不符合任一項要素就不被視為是素養導向試題，然而，符合要素未必是素養導向試題。綜上所述，無論是建構統整模式或 PISA 閱讀評量，皆關照閱讀歷程中表層的字面意涵，推論文章意義，並連結讀者本身的背景知識加以賞析或評論，這些正是素養導向工具的評量施力點。為打造符合國語文新課綱內涵的線上閱讀評量，本研究務須整合新課綱閱讀學習表現和閱讀理解認知歷程，並透過研究方法轉化出合宜的評量架構、文本挑選或撰寫原則，最終建構符合素養導向試題要素之命題原則。

參、研究方法

本研究援用三角檢證法（triangulation），透過「多重資料來源使研究者對研究現象事實的瞭解更為周全」（Bogdan & Biklen, 1998/2001），建構評量架構、文本挑選或撰寫原則、命題原則及素養導向試題。由不同身分別的觀點（外部專家學者、內部命題專員、評量領域研究者）校正評量架構、文本挑選或撰寫原則、命題原則；另一方面，研究者統合預試所得量性數據和閱讀素養評量領域專家學者意見，校正閱讀素養導向試題。

一、研發程序

（一）解析新課綱學習表現中的認知歷程，形塑評量架構初稿

首先，由研究者帶領四位命題專員研讀新課綱，遇疑義則請課綱委員釋疑。接著，大量閱讀各式試題，包括 PISA 公告的閱讀素養樣本試題（臺灣 PISA 國家研究中心，2000）和縣市學力檢測國中段試題（國家教育研究院，2017b），從中辨析素養導向試題可能的命題樣式，和試題所評量的認知歷程。鑑於新課綱列示的單項學習表現涵蓋認知歷程範圍很廣，譬如「5-IV-2 理解各類文本的句子、段落與主要概念，指出寫作的目的與觀點」便涉及閱讀認知歷程中擷取字面訊息、詮釋字詞意涵、整合文意訊息、推論全文主旨等成分，難以據之直接命題，故由研究團隊整合新課綱閱讀學習表現和閱讀理解認知歷程，轉化為評量指標，形成評量架構初稿。

（二）評量架構專家會議：評論評量架構

根據新課綱和相關文獻擬訂評量架構初稿後，邀請相關領域之專家學者，經由會議討論後，針對評量架構初稿給予修正意見，做成會議紀錄，取得專家效度證據。與會專家對於評量架構撰寫方向給予肯定，僅針對細部提出建議。

(11)

（三）命題工作坊：研發素養試題、建構文本挑選或撰寫原則及命題原則，並檢視

評量架構

本研究舉行 20 場命題工作坊發展與修審試題。四位專任的命題專員選定並改寫文本，著手文本分析後，確認該文本適合發展閱讀素養試題，方開始進行試題撰寫，將試題題號標註在文本分析之中，檢視命題有沒有偏頗。嗣後，命題專員將文本、文本分析及試題初稿提交工作坊，和外聘講座共同修審，取得效度證據。每場命題工作坊敦聘一位講座，共 9 人輪流擔綱（其中僅有一位和評量架構專家會議人員重疊），均為閱讀素養評量領域專家。每篇文本均歷經二至三位講座調整文本及其試題的合適性，研究團隊不告知講座該題曾經給誰看過，以維持修審客觀性。此外，修審過程亦同步建構與調整文本挑選或撰寫原則及命題原則。文本類型、形式（含後製版面、繪圖、配音等）由研究者和命題專員掌握其樣貌。原則上每一篇文本都會找出訊息、理解及評鑑與省思三個向度的試題，以便透過一篇文本即能瞭解學生的各個理解面向，檢核學生有沒有讀到文本中的核心概念。於試題研發過程，評量領域研究者、命題專員及講座也會針對評量架構的可行性及其和新課綱連動性一再反覆討論。

（四）試題預試與試題檢討會議：評析試題品質

修審完成的試題，共安排三梯次試題預試。預試結束後，完成建構題評分，再分析試題特性，取得信度與鑑別度證據，試題特性不良者，設法調整。最後，經由試題檢討會議，邀集閱讀評量領域教授針對試題的質性與量性證據綜合評閱試題優劣作為效度證據，決定是否保留為題庫試題。

二、文本與圖片使用權

三、施測平台

取得國立臺灣師範大學 i-Assessment 研究團隊的同意後，將試題存放於該團隊所開發的線上施測平台 Online Assessment for Science Literacy（OASL），該平台可呈現多媒體情境試題，讓學生透過網際網路從學校的電腦教室登入作答，作答反應同步存入該平台的後臺，施測結束後由研究團隊完成計分。

四、預試對象

(12)

試人員，指導學生登入 OASL 作答，並由該節次任課教師擔任襄試人員，帶領學生並維持秩序。預試母群體為臺灣地區國中七、八、九年級學生，排除離島與特殊教育學校後，採「按規模大小成比例的機率抽樣」技術（probability proportionate to size sampling, PPS）抽出學校，再於校內隨機決定受測年級與該年級的其中一班。每位學生於電腦教室受測一題本，作答時間 40 分鐘。總計預試對象來自全臺 58 校共 1,685 人，預試校數、年級數及人數分布詳見表 3。表 3 預試校數、年級數及人數分布預試梯次與年級學校數受測班級人數到考人數第一梯次預試 16 484 473 七年級 8 221 217 八年級 8 263 256 第二梯次預試 22 657 628 七年級 8 271 262 八年級 8 220 216 九年級 6 166 150 第三梯次預試 20 604 584 七年級 6 171 167 八年級 7 220 214 九年級 7 213 203

五、資料分析方法

利用預試作答所得反應，分析試題的心理計量特性，使用的分析軟體為 R，Package 為 CTT 和 TAM，分述如下：

（一）難度

試題難度為建構測驗過程的重要訊息。二元計分試題（dichotomous items）難度定義為母群體中正確答對該題的人數比例（p-value），部分給分試題（partial credit items）難度則為該題平均得分除以該題最高分（Verhelst, 2004），由樣本推估母群體的作答情形。

（二）鑑別度

鑑別度用於描述試題能夠敏銳地測量受試者間差異的能力（Haladyna, 2004）。數十年前 Ebel（1954）已倡議鑑別度指數（discrimination index, D）盡可能高於 .30，此概念至今仍受到教育界廣泛使用。本研究定義同一題本受測學生答對題數高的30%為高分群、答對題數低的

(13)

30%為低分群，兩群學生答對該題比例相減作為鑑別度指數的數值。

點二系列相關（rpbis）亦常用於表徵試題鑑別度，本研究採用 Wu、Tam 與 Jen（2016）的

定義，該題得分（或該步驟得分）和刪除該題得分後的測驗總分間的相關，作為評估該試題和所欲測量構念間的關係強度。Haladyna 與 Rodriguez（2013）指出，因應測驗方案特性，可接受的試題點二系列相關最小值可能為 .10、 .15 或 .20。Varma（2003）則認為，試題點二系列相關至少 .15，達 .25 以上可視為優良試題。綜合學者看法，本研究採取 .20 作為可接受的最低標準。

（三）Rasch 模式之適配度

本研究所研發的試題，若心理計量特性良好，未來可應用於其他正式施測；檢驗試題預試所得實證資料是否符合 Rasch 模式，可擴展其未來應用性。本研究採用 infit mean square statistics及其 t 值檢驗資料與模式適配度。infit 期望值為 1，以其 t 值考驗觀察值和期望值的落差是否達到統計上顯著水準，一般而言 t 值大於 2 或小於-2 視為與模式不適配（Bond & Fox, 2015）。

（四）學校所處城鄉之差異試題功能

差異試題功能（differential item functioning, DIF）（Holland & Wainer, 1993）已被視為是標準化測驗、成就測驗或性向測驗檢視測驗公平性的主要方式（Salehi & Tayebi, 2012）。為檢視本研究所建構之試題對於在城市或鄉村就讀之學生是否呈現 DIF 的現象，將預試抽樣學校所處的鄉鎮市區，按照侯佩君、杜素豪、廖培珊、洪永泰與章英華（2008）的七個集群分類，第一至四類合併為「城」、第五至七類合併為「鄉」，以 Mantel-Haenszel Method 檢測 DIF。

肆、結果與討論

歷經本研究的研發程序，得出素養導向評量發展模式的三項主要研究結果，分別為評量架構、文本挑選或撰寫原則、命題原則，此外，亦一併開發素養導向試題與範例題。茲分述如下。

一、評量架構

綜合國內外相關理論、PISA 認知歷程及納入新課綱閱讀學習表現（如表 1 所示），採用三角檢證法執行本研究研發程序（一）至（三）後，訂定三向度評量架構與 16 項評量指標（並賦予編碼），其中涵蓋由文本建構而得的表層意義與深層推論，以及結合個人知識的批判性反思與問題解決。評量架構和新課綱的呼應如表 4 所示。

(14)

(15)

(16)

208 國中閱讀素養線上評量謝佩蓉由表 4 可知，新課綱透過六項學習表現來彰顯學生的閱讀素養表現，已全數納入，其中「5-IV-6 能運用圖書館（室）、科技工具，蒐集資訊、組織材料，擴充閱讀視野」亦參酌劉宜芳與柯華葳（2017）的研究成果，訂定 R-R-3 與 R-R-4 兩項評量指標。所有新課綱的閱讀素養表現均對應 PISA 七項認知歷程（OECD, 2016），包括：存取與檢索單一文本中的訊息、搜尋與選擇相關資料、詮釋字面意涵、統整與產生推論、反思文本內容與形式、評估文本品質與可信度，以及覺察與處理衝突。透過本研究的研發程序逐一訂定可作為命題根據的評量指標共 16 項，由學生解題的認知歷程判斷該題屬於哪一項指標。整體而言，評量指標從字詞、句意、至篇章俱全，也囊括應用背景知識才能回答的指標，符合 Kintsch（1988）建構統整模式中的結構和情境模式。

二、文本挑選或撰寫原則

一篇文本，搭配數個題目，為評量閱讀理解的典型命題方式（Haladyna & Rodriguez, 2013）。基於過去文獻大多討論一般性的選文通則，本研究採用三角檢證法執行研發程序（三）後，共建構五項文本挑選或撰寫原則，分述如下：

（一）確認該主旨符合教育評量需求且內容具備良好連貫性

參酌 PISA 徵題指引（OECD, 2015），素養導向評量所使用的文本，可以改寫自經典文學作品、當代小品、動畫或影片、適合國中生閱讀的科學性刊物、或是生活中隨處可見的素材，也可能為同一個社會議題的多文本觀點，唯命題者心中須思考該篇文章的主旨是否具有教育意涵。此外，文句邏輯清楚、文章內容連貫性良好（Garrod & Sanford, 2012），每一段落的敘述均扣合主旨，意義段間的布局得宜，段落內的關鍵訊息呈現適切。若邏輯性和連貫性不足，需改寫或重新選文。

（二）檢視是否具備「發展評鑑與省思層次試題」可能性

建構高認知層次的試題，向來為教育評量的挑戰（Dorans & Puhan, 2017）。訊息類文本常為了將特定現象說清楚，描述淺白且平易近人，不易找到推論的空間。記敘文則常因文長限制，使得人物和劇情的深度刻畫受限。倘若大多數的文本都只具備發展找出訊息認知層次題目的條件，那就大幅降低了評估學生思辨能力的機會。故挑選文章時，首先評估是否具備發展省思評鑑題的可能性。

（三）引用或改寫後，1,000 字左右

若每位國中學生作答題數為 22～27 題，以 Cronbach’s α 公式估計二元計分試題的測驗分數信度，可達 .78～ .82。考量閱讀速度和測驗信度，這樣的題數約可於一節課 40 分鐘之內閱讀 3 篇文本、每篇文長約為 1,000 字上下（表 5 之 A3，可以更短、不宜更長），每篇文本題數為 6～11 題，題型為選擇題或建構題。本研究經預試後，確認這樣的文長、篇數和題數，學

(17)

(18)

210 國中閱讀素養線上評量謝佩蓉生確實可以在一節課 40 分鐘之內完成。

（四）記敘文從生命經驗出發；論說文承載專業知識閱讀能力，主題明確但不宜有

太多的專有名詞

為符合素養導向試題要素，記敘文主題的選取考量學生的生命歷程，盡可能貼近學生的生活經驗。論說文的文句盡量使用社會的一般性語言，避免過多專有名詞，減少認知負荷。多元觀點的文章相當適合作為閱讀題材，畢竟真實社會就充滿各式論點。透過閱讀讓學生分辨各項論點的立場，並結合其背景知識型塑自己的看法。

（五）文本能觸動學生情感，讓學生施測後仍然印象深刻、回味無窮

新課綱期許學生能成為終身學習者，在這樣的理念下，藉由閱讀文本讓學生在作答測驗的時間內，品味人生、遊歷世界，甚至讓學生感受到內容很有趣，能從中有所成長，測驗便有了新的意義。因而在挑選或撰寫文章的時候，枯燥的主題可以透過設計，以對話、動畫等多元呈現方式，讓它活靈活現，提升閱讀動機。

三、命題原則

試題發展原則或工具發展程序的相關文獻（DeVellis, 2017; Haladyna & Rodriguez, 2013），談的大多是一般性的測驗或評量發展程序，少有針對閱讀領域試題編寫命題原則。本研究採用三角檢證法執行研發程序（三）後，共建構 10 項素養導向試題之命題原則，並賦予編碼，分述如下：

（一）監控理解過程轉化為試題

I1. 將文本分析所得的關鍵點（上位概念）轉換為命題重點。 I2. 學生可能推論不過去的轉折處，需要命題。 Pitts（1983）指出，理解監控是閱讀理解的重要元素，命題者藉由分析文章關鍵訊息、詮釋上位概念、透析寫作手法、評論觀點和立場，自我監測理解文章的認知歷程。完成文本分析後，透過「問問題」將文本分析的結果寫為試題，特別是學生閱讀時容易卡住的重點，經由試題評估理解深度。

（二）試題導引讀者深入理解

I3. 正確答案必須為文章中的關鍵訊息，而非零碎知識。 I4. 題目沿著主旨開展，答完要有「更懂文章」的感受，而非將文章支解。

(19)

謝佩蓉國中閱讀素養線上評量 211 I3與 I4 為調整試題過程常有的討論，為什麼這題被留下來，而另一題為什麼被刪掉？閱讀素養導向題組藉由提問，帶著讀者踏著文章中的關鍵概念，一步步由表層理解進入深層理解，建構通篇的文意，詮釋或評論作者所要表達的核心意涵。若為文章中的零碎細節，對於理解文意並無太大影響，便不建議命題，以免誤導學生以為該處為重要概念。

（三）素養導向試題緊扣文章內容

I5. 不需要看文本即能作答的題目，必然不是篇章理解的試題。 I6. 具備素養導向試題要素。 I5 為命題者常出現的迷思，以生活情境設計了一道很完美的題目，卻因題幹表述過於完整，或選項貼近生活常識，以至於不需要閱讀文章就能作答，便不是篇章理解的試題。另一方面，I6 特別指出，試題至少符合「國文課綱學習重點的合理問題」或「跨科核心素養的合理問題」兩項要素其中之一，以彰顯素養導向試題特性。

（四）題幹表述依評量範圍調整

I7. 廣泛性理解的題目，希望學生推論，題幹已經完整表述，就不需要告知在第幾段至第幾段。 I8. 若需要學生靠自己的能力將題幹的意思補充完，必須回到文章中才能回答，就要標示在第幾段（例如代名詞題目）。 I7和 I8 為命題過程常出現的討論，究竟要不要在題幹標示「根據文章第 X 段」呢？此時應視題幹所涵蓋的範圍而決定。若題幹指稱的文章內容侷限在特定段落，建議在題幹標示「第 X段」，以減少學生於通篇文字檢索的時間。若題幹指稱的文章內容為跨段落、大範圍的理解，則無需闡述。

（五）選項指涉意涵完整且正確

I9. 選項不要直接抄錄文本中的句子，需換句話說。 I10. 確保選項內容正確，即使文本沒提到亦未必有誤，尤其是論說文。 I9和 I10 均為命題者常見的迷思。譬如要評量某一段的段旨，正確選項乃從該段的某一句話複製得來，並未重新詮釋，便難以完整表述段落主旨。而撰寫誘答選項時，若以文本中沒有提及的概念作為誘答，然其描述放諸四海皆準，也難以達成誘答效果。譬如一篇說明塑膠微粒的文章，誘答選項之一為「只要降低塑膠的生產量，就能有效減低垃圾污染」，此選項

(20)

212 國中閱讀素養線上評量謝佩蓉的內容並未在文章中提及，故不是命題者預設的正確選項；然而該選項的概念卻是近年討論塑膠減量的重要核心概念，只要從源頭減產、消費者少用，自然能有效降低塑膠垃圾的污染。所以，文章沒提到的內容，未必就是適切的誘答選項。

四、素養導向試題研發成果與範例題

（一）試題研發成果

本研究共建構 23 篇文本之 201 題閱讀素養導向試題進行預試（如表 5 所示），其中 17 篇文本試題（73.91%）之平均鑑別度指數達 .30 以上、21 篇文本試題（91.30%）之點二系列相關達 .20 以上，顯示本研究所發展之試題大多數具備良好的心理計量特性。唯「大腦」和「小花」兩個題組，於鑑別度指數和點二系列相關兩項指標表現均不佳，故最終保留 21 篇文本共 184題，其中記敘文 7 篇（33.33%）、論說文 14 篇（66.67%），比例符合研發目標。試題難度方面，除了「旅遊」題組難度較高，選擇題平均通過率介於 .45～ .74 之間，難度分布廣，中難度至簡單題組都有；建構題則普遍偏難，除了「地鐵」之外，平均通過率介於 .01～ .47 之間。由於建構題 40 題之中，有 20 題為高層次的評鑑與省思題，屬於表 4 所列之評量指標 R-RE-1 至 R-RE-4，其鑑別度指數平均 .37、點二系列相關平均 .30、平均通過率 .24，屬高鑑別度、高難度試題，符合期待。適配度指數方面，絕大多數試題適配度考驗 t 值均介於 -2～2 之間，顯示大多數試題符合 Rasch 模式「相同鑑別度」假設，僅 20 題超出試題適配度考驗 t 值範圍，分布於 12 篇題組之中（如表 6 所示）。20 題之中，8 題的 t value of infit mean square 為負值，表示鑑別度很好是最佳題，即使和 Rasch 模式適配度不佳（Wu et al., 2016）。12 題的 t value of infit mean square 為正值，顯示和 Rasch 模式適配度不佳、鑑別度也不好，未來若要進一步應用需格外謹慎。在學校所處城鄉之差異試題功能方面，部分試題對於在城市或鄉村就讀之學生呈現差異試題功能的現象。試題 DIF 一直都是測驗界探討公平性的重要焦點議題，然難以於本研究深入討論，實為本研究之限制，未來應另行針對這些試題探討可能的原因。

（二）素養導向範例試題

以第一梯次預試之「木頭鳥」題組和第二梯次之「食安」題組，挑選其中試題作為素養導向範例試題說明。這兩組題目亦公告於國家教育研究院網站，作為「素養導向紙筆測驗」範例試題（參見 https://www.naer.edu.tw/files/11-1000-1591-1.php?Lang=zh-tw）。

1. 木頭鳥題組

以國家教育研究院（2017a）課程手冊初稿採用之示例文章〈一二三，木頭鳥〉發展試題，並從中挑選三題作為範例試題（如表 7 所示）。

(21)

表 6

不符合 Rasch 模式「相同鑑別度」假設試題

文本名稱題號 infit mean square t value of infit mean square

心情 1 0.86 -2.71 心情 5 0.88 -2.05 心理測驗 7 1.13 -2.71 木頭鳥 3 1.35 -8.07 木頭鳥 6 1.14 -2.34 木頭鳥 7 1.23 -3.04 水塔 1 0.92 -2.77 水塔 2 0.88 -2.38 水塔 5 1.16 -2.84 老師 7 1.08 -2.44 哺乳動物 1 1.12 -2.48 哺乳動物 3 0.90 -2.14 狼犬 2 1.23 -3.01 狼犬 5 0.90 -2.06 動物園 8 0.83 -3.42 動物園 9 0.89 -2.40 麻豆 8 1.14 -2.37 晴空塔 8 0.87 -3.12 跑步 4 1.18 -2.26 極地 4 1.10 -2.50 表 7 「木頭鳥」題組範例試題問題一根據本文敘述，在哪個時間、地點比較容易看到黑冠麻鷺？ ①清晨濕地 ②午間河岸 ③傍晚草地 ④夜晚高山答案 ③ 評量架構找出訊息：R-R-1 直接擷取單一段落的字面訊息學習內容 Ac-IV-3 文句表達的邏輯與意義（續）

(22)

214 國中閱讀素養線上評量謝佩蓉表 7 「木頭鳥」題組範例試題（續）學習表現 5-IV-2 理解各類文本的句子、段落與主要概念，指出寫作的目的與觀點 _{（此題僅針對「理解文本的句子、段落與主要概念」）} 試題概念與分析本文第三段提到「不管在白天或黑夜，都是黑冠麻鷺的活動時間，但主要集中在傍晚。除了繁殖與餵養小鳥之外，牠們大多是單獨活動。此外，我們常能觀察到黑冠麻鷺專心的盯著草地看，這是因為牠們正準備捕捉大餐！」評量學生是否有確實讀到「主要集中」和「常能觀察」兩項訊息問題二黑冠麻鷺被稱之為「木頭鳥」的主要原因為何？請從文章中找證據，以支持你_{所判斷黑冠麻鷺被稱為「木頭鳥」的主要原因} 評分準則 2分：正確答出毛色與行為的相關內容毛色：黑冠麻鷺的臉頰、頸部都是紅褐色，背部及翅膀上的羽毛以栗褐色為主，並且摻雜黑色細紋行為：當牠佇立不動時，乍看之下還真的與木頭有些相似呢！ 1分：僅答出毛色或行為其中一項 0分：答案錯誤或其他答案評量架構理解：R-U-5 整合文本中的文意訊息學習內容 Ac-IV-3 文句表達的邏輯與意義學習表現 5-IV-2 理解各類文本的句子、段落與主要概念，指出寫作的目的與觀點 _{（此題僅針對「理解文本的句子、段落與主要概念」）} 試題概念與分析摘要文本中的重點訊息。從文本描述黑冠麻鷺的各種訊息中，找出與「木頭鳥」相關的證據，包含黑冠麻鷺的毛色與木頭的顏色相近，以及黑冠麻鷺靜止不動時像木頭問題三小如在校園的樹下發現一隻黑冠麻鷺，拍照和同學們分享鳥的成長階段分為雛鳥、亞成鳥、成鳥。根據本文所描述的黑冠麻鷺外型特徵，你判斷牠屬於哪一個成長階段？並請說明理由（續）

(23)

謝佩蓉國中閱讀素養線上評量 215 表 7 「木頭鳥」題組範例試題（續）評分準則 2分：正確答出亞成鳥與全身夾雜許多白斑的相關內容 1分：僅答出亞成鳥或白斑其中一項 0分：答案錯誤或其他答案評量架構評鑑與省思：R-RE-4 應用源自文本之啟發解決真實情境的問題學習內容 Ad-IV-1 篇章的主旨、結構、寓意與分析學習表現 5-IV-4 應用閱讀策略增進學習效能，整合跨領域知識轉化為解決問題的能力 5-IV-5 大量閱讀多元文本，理解重大議題內涵及其與個人生活、社會結構的關聯性試題概念與分析本題透過文圖轉換，評量學生是否能將文本中所描述黑冠麻鷺的特徵運用於真實生活情境。學生須區辨文本中有關黑冠麻鷺在不同成長階段的體徵描述，並比對文本中的文字訊息與題幹圖片有何相符之處，進而判斷圖片中的黑冠麻鷺屬於哪一個成長階段問題一是點狀理解即可得出答案的題目。既然評量學生的閱讀素養，而非評量記憶，找出訊息層次的題目較不宜是死記的年代、定義等，以「文章中值得擷取的關鍵訊息」命題更加適切，「根據本文敘述，在哪個時間、地點比較容易看到黑冠麻鷺？」就具有這樣的特性。問題二沒有超出文本範圍，屬於理解層次的統整，讓學生連結黑冠麻鷺和被暱稱為「木頭鳥」的原因，是文本重要的主要概念，實為命題重點。問題三完全取材自生活實境。由於黑冠麻鷺在各地愈來愈常見，學生有機會在行進間見到，若能內化文本學到的知識，實際用於辨識鳥的特徵，能讓學習更有樂趣，正向增強閱讀的樂趣，有機會提升閱讀動機。由木頭鳥的範例題可看出，三個題目不讀文本難以作答（素養導向試題之命題原則 I5），均具備素養導向試題要素「布題強調真實的情境與真實的問題」（素養導向試題之命題原則 I6），第三題也符合「多元表徵」的跨領域核心能力，讓學生從文本得到知識後，能應用於生活之中。

2. 食安題組

食安題組的文本改寫自中央社（2016），並從已發展試題中挑選三題作為範例試題（如表 8所示）。

(24)

216 國中閱讀素養線上評量謝佩蓉表 8 「食安」題組範例試題文本有關糖與脂肪對心臟危害的相關辯論，早在1960年代就已經出現。但最新出爐的文件分析指出，美國糖業在當時就開始資助糖在心臟病扮演角色的研究，試圖將部分原因指向脂肪。哈佛研究團隊於1967年將評論發表在著名醫學期刊《新英格蘭醫學雜誌》，結論指出心臟疾病與糖無關，與膽固醇及脂肪則高度相關，因此要預防心臟病，飲食方面「毫無疑問」只需要降低膽固醇和飽和脂肪的攝取。而後，關於糖類與心臟疾病之間的討論便逐漸平息。然而，哈佛團隊並沒有公開自己的贊助者就是糖研究基金會。有不少食品業者都會贊助科學研究，例如可口可樂、家樂氏業者及農產品團體會定期資助研究，並表示會遵照科學標準。受贊助的研究人員也覺得，在公家資助競爭日益激烈下，業界的贊助確實十分重要。不過批評者指出，他們的影響力持續發酵，讓許多低脂肪飲食獲得一些健康權威專家背書，這幾乎可說是不加掩飾地行銷低脂肪、高糖分食品，使得改善公眾健康所做的努力都白費了。長期批判業界資助科學的紐約大學營養學教授奈賽爾說：「不論是不是故意操縱，食品公司的贊助會減低大眾對營養科學的信任」。問題一糖業者為什麼願意贊助心臟病的相關研究？ ①有助於研發適合心臟病患者的食品 ②為了隱匿自家產品可能導致心臟病的事實 ③想掩蓋攝取過多脂肪是心臟病發生的主因 ④可得知更多有關心臟病患者飲食習慣的資訊答案 ② 評量架構理解：R-U-7 推論文本中隱含的訊息學習內容 Ad-IV-1 篇章的主旨、結構、寓意與分析學習表現 5-IV-2 理解各類文本的句子、段落與主要概念，指出寫作的目的與觀點（此題僅針對「理解文本的句子、段落與主要概念」）試題概念與分析本題透過推論文章中重要概念，測驗學生是否能理解全文的主旨，並進一步推論出文章沒有直接陳述的隱含訊息問題二下圖是王小明臉書的畫面，請根據下方的留言，你認為哪一個人最有可能是糖業老闆？ ①陸仁甲 ②洪麻乙 ③胡交丙 ④羅波丁（續）

(25)

謝佩蓉國中閱讀素養線上評量 217 表 8 「食安」題組範例試題（續）答案 ② 評量架構理解：R-U-7 推論文本中隱含的訊息學習內容 Ad-IV-1 篇章的主旨、結構、寓意與分析學習表現 5-IV-2 理解各類文本的句子、段落與主要概念，指出寫作的目的與觀點（此題僅針對「指出寫作觀點」）試題概念與分析本題設計社交網路的留言版，測驗學生是否能透過不同人的留言，推論其立場，學生必須整合文章重要概念及題幹訊息，再進一步區辨哪一個人的立場與文章中的糖業者最接近問題三下面是一則網路上有關奇異果營養素的報導：美國排名第一的大學營養科學研究中心，多年研究發現，奇異果的維生素C是檸檬的3倍，膳食纖維是香蕉的1.5倍，熱量卻只有香蕉的一半。全球銷量最高的前幾名水果中，又以奇異果的營養成分最豐富，最接近人體所需請根據你從〈食安〉一文所獲得的啟發，說明你認為這篇報導的可信度如何？並說明原因。請將答案繕打在下方的答案欄中（續）

(26)

218 國中閱讀素養線上評量謝佩蓉表 8 「食安」題組範例試題（續）評分準則 1分：僅可回答不相信，並說明理由是須先瞭解該研究是否受企業贊助作答範例：不相信，因為需要查證研究中心的贊助者是否為奇異果業者 0分：回答相信或回答不相信，但理由並非原自文本所要傳達的主要訊息作答範例：我不相信，因為奇異果不可能完全取代其他食物我相信，因為奇異果是一種含有豐富營養成分的水果我相信，因為依照前一篇的敘述他的研究是有利且客觀的（理由引用錯誤）評量架構評鑑與省思：R-RE-4 應用源自文本之啟發解決真實情境的問題學習內容 Ad-IV-1 篇章的主旨、結構、寓意與分析學習表現 5-IV-4 應用閱讀策略增進學習效能，整合跨領域知識轉化為解決問題的能力 5-IV-5 大量閱讀多元文本，理解重大議題內涵及其與個人生活、社會結構的關聯性試題概念與分析本題測驗學生是否能藉由本文中所得到的重要訊息，進一步去判斷另一篇文章訊息的正確性、合理性。學生必須理解本文的主旨，依據重要概念做出合理判斷，同時說明判斷的依據問題一沒有超出文本範圍，屬於理解層次的產生推論；由於是廣泛性理解的推論題，題幹不需標示段落（素養導向試題之命題原則 I7），主要評量學生能否抓到全文核心宗旨，學生只要能真正理解文意便能回答。問題二設計跨文本閱讀比較評估，藉由學生熟悉的社交平台介面讓學生比較多文本之間的「立場」，不單純是推論隱含訊息，而必須達成新課綱的期待「指出寫作的目的與觀點」，具備素養導向試題要素「國語文領域核心素養」（素養導向試題之命題原則 I6）。問題三亦為跨文本設計，編寫一則網路上常見的報導，讓學生從文本得到啟發後，遷移應用於新情境之中，展現知識的活用性。由食安題組的範例題可看出，和傳統評量知識的題型相較，素養導向試題命題樣式可以更多元，發想空間更大，只要適當修改內容，信手拈來的社交平台訊息或網路新聞都可能是命題素材。學生必須內化新課綱國語文閱讀素養內涵，方能辨析文本意涵，達成新課綱所期待學習與生活結合的核心素養。綜合木頭鳥和食安範例試題可看出，素養導向試題的特性，除了融合國語文領域的學習內容與學習表現，不再只是著重知識的檢核，而是學生閱讀能力的展現。就木頭鳥的問題三而言，學生必須理解文章中所描述木頭鳥不同成長階段的毛色變化，才能正確判斷。試題圖

(27)

謝佩蓉國中閱讀素養線上評量 219 片取材自真實生活環境，將文字表徵轉為圖片表徵，呈現活生生的木頭鳥樣貌，乃期望學生不再認為自己是死讀書、背誦知識，而是在公園或草地遇到木頭鳥時，能認出牠就是文章中描寫的愈來愈常見的留鳥。和日常生活息息相關的閱讀，不但彰顯總綱「學習與生活結合」的核心素養，學有所用也可能讓學習更有趣、更有動力。食品安全近年受到高度重視，研究團隊特意選擇此項重要的公共議題，透過文章讓學生意識到，即使是國際知名學術期刊所刊登的研究成果，也可能會因背後的贊助者而影響了論文結論。食安題組除了檢核學生是否真正理解文章中的關鍵內容，更期望學生發揮總綱中的「系統思考與解決問題」的核心素養，將閱讀文章得到的啟發，遷移至日常的社交平台留言和網路新聞報導情境，秉持批判性思考面對生活中的議題。據此，素養導向試題無法透過背誦或記憶回答，必須發揮新課綱意欲培養之閱讀策略與閱讀理解歷程讀懂文意，從中習得重要概念應用至真實的生活情境解決問題。

伍、結論與建議

一、結論

（一）素養導向評量發展模式可供其他領域參採

本研究以國語文閱讀素養評量為例，建立素養導向評量發展模式。其研發程序從解析新課綱學習表現中的認知歷程，形塑評量架構初稿開始，接著透過專家會議評論評量架構。研發素養導向試題後，藉由命題工作坊修審試題，同時建構文本挑選或撰寫原則及命題原則、並同步檢視、修訂評量架構。試題預試後，邀請領域專家出席試題檢討會議，評析試題品質。各領域皆可援引這套模式轉化該領域新課綱素養內涵，打造具領域特定性的命題指引，建構素養導向試題。

（二）評量架構與評量指標切合新課綱學習表現

援用三角檢證核心概念，透過三場評量架構專家會議、20 場命題工作坊，本研究所訂定並交叉檢證之三向度評量架構與 16 項評量指標，不但符合素養導向評量之定義，亦能和新課綱適當呼應，據之發展素養導向試題便能適切評量新課綱核心素養。

（三）文本與試題發展原則引領素養導向試題研發方向

透過不同身分別的觀點（外部專家學者、內部命題專員、評量領域研究者）校正五項文本挑選或撰寫原則，10 項素養導向試題之命題原則。在反覆的命題討論之中，這些原則也再三受到不同專家學者檢視，如同檢核表一般，確保試題效度。

(28)

（四）素養導向試題具備良好特性支持素養導向評量發展模式的有效性

經由三角檢證法執行本研究研發程序（一）至（三）後，共建構 23 篇文本之 201 題閱讀素養導向試題進行預試，預試對象來自全臺 58 所國中共 1,685 人，得知 18 篇文本（78.26%）試題之平均鑑別度指數達 .30 以上。選擇題平均通過率介於 .46～ .74 之間，難度分布廣；50% 建構題為高層次評鑑與省思題，其鑑別度指數平均 .37、點二系列相關平均 .30、平均通過率 .24，屬高鑑別度、高難度試題，符合期待。試題具備良好心理計量特性，併同歷程中專家肯定的效度證據，共同支持素養導向評量發展模式的有效性。

二、建議

（一）文章取材生活情境中，信手累積文本存摺

108課綱的理念為「核心素養融入生活情境」，故本研究針對新課綱建構素養導向評量時，文本取材特意挑選和學生相關的生活情境，例如，「心情」和「老師」都和求學環境有關，「地鐵」和「生涯」則結合生涯探索議題。本研究於取材過程也發現，好的文章很多，卻不是每一篇都適合作為評量的材料，像是純粹只談生硬科學知識、沒有結合社會議題，或充滿各式專有名詞的氣象報導，或網站上的隨筆心情文、語句間連貫性較弱，這些文章要用來發展閱讀素養評量難度就很高。建議現場教師和命題工作者平日點滴累積文本存摺，覺得有命題機會的、有趣的、和學生生活情境連結度高的，就先存起來。準備著手命題時，根據素養導向試題文本之挑選或撰寫原則調整文本，執行文本分析，之後抓緊素養導向試題之命題原則和評量架構（見表 4），建構試題便能如虎添翼。

（二）評量作為教學一部分，轉化教學歷程為試題

評量與教學密不可分，評量既已素養導向，教學亦需因應調整。以本研究開發的對立觀點文本「動物園」題組為例，進行教學時，可在課堂上談動物園的存廢議題。準備教學材料時，想必教師會反覆閱讀大量相關主題的文本，以決定什麼樣的素材（或是素材組合）是最適切的。某一篇網路小報的報導嗎？還是某位專家的觀點？單一篇的論述會不會太侷限？根據素養導向試題文本之挑選或撰寫原則調整文本後，透過兩方對立觀點刺激學生思考。材料準備好之後，試著發想一個可行的教學教案。那份教案的教材，就會是閱讀素養導向評量文本；教師們在教案中的引導或提問，就會是閱讀素養導向試題。學生的反應、學生的迷思，往往就是最佳試題來源。

（三）命題內容評量金三角，成就良好素養試題

本研究於開發 23 個題組過程中，深刻體會最適切的研發團隊為「命題專員、內容專家及評量專家」的共同組成。由於文本題材包羅萬象，少有人能同時精通天文和地理，故每一篇文本需依據主題請教該領域專家，在修改文本與撰寫試題時，方能確保內容與用字正確。譬

(29)

謝佩蓉國中閱讀素養線上評量 221 如，選擇「木頭鳥」試題照片時，特別就教鳥會專家，確認所選定的照片能明顯表徵木頭鳥的成長特徵；「交通」題組特別請教警官，確認命題者編寫、詮釋的執法概念沒有錯誤。評量專家協助釐清試題所測量的認知歷程與對應的評量指標，針對題幹、選項或建構題的評分規準給予建議，解讀預試數據提出修題建議。命題專員掌握素養導向試題要素，改寫文本並撰寫試題，於討論過程勇於為自己的作品辯護，並完成最終試題後製。三者交互提問、合作無間、密不可分，最能成就信度與效度良好的素養導向試題。

誌謝

本研究感謝國家教育研究院「中等教育階段國語文核心素養評量工具開發研究（I）」（NAER-106-12-B-1-01-01-1-02）經費支持；感謝四位命題專員和多位專家學者協助試題研發；感謝國立臺灣師範大學 i-Assessment 研究團隊支援線上施測平台 Online Assessment for Science Literacy（OASL）；感謝論文審查委員的不吝指導。

(30)

參考文獻

一、中文文獻

大學入學考試中心（2018）。107 學年度學科能力測驗試題國文考科（選擇題）。取自 http://www. ceec.edu.tw/AbilityExam/AbilityExamPaper/107SAT_Paper/01-107%E5%AD%B8%E6%B8% AC%E5%9C%8B%E6%96%87%E5%AE%9A%E7%A8%BF.pdf

【College Entrance Examination Center. (2018). 2018 general scholastic ability test: Mandarin Chinese. Retrieved from http://www.ceec.edu.tw/AbilityExam/AbilityExamPaper/107SAT_Paper/01-107%E5%AD%B8%E6%B8 %AC%E5%9C%8B%E6%96%87%E5%AE%9A%E7%A8%BF.pdf】

中央社（2016，9 月 13 日）。研究曝光糖業者掩飾糖不利心臟健康。取自 http://www.cna.com. tw/news/ahel/201609130487-1.aspx

【Central News Agency. (2016, September 13). Sugar industry and coronary heart disease research. Retrieved from http://www.cna.com.tw/news/ahel/201609130487-1.aspx】

任宗浩（2018）。素養導向評量的界定與實踐。載於蔡清華（主編），課程協作與實踐第二輯（pp. 75-82）。臺北市：教育部協作中心。

【Jen, T.-H. (2018). Literacy-based assessment: Principles and practice. In C.-H. Tsai (Ed.), Curriculum coordination in practice (Vol. II, pp. 75-82). Taipei, Taiwan: Coordination Center for Teacher Professional Development, Curriculum, Instruction and Assessment.】

佘曉清、林煥祥（主編）（2017）。PISA 2015 臺灣學生的表現。新北市：心理。

【She, H.-C., & Lin, H.-S. (Eds.). (2017). Taiwan student performance on PISA 2015. New Taipei City, Taiwan: Psychological.】

侯佩君、杜素豪、廖培珊、洪永泰、章英華（2008）。臺灣鄉鎮市區類型之研究：「臺灣社會變遷基本調查第五期計畫之抽樣分層效果分析」。調查研究─方法與應用，23，7-32。 doi:10.7014/TCYCFFYYY.200804.0007

【Hou, P.-C., Tu, S.-H., Liao, P.-S., Hung, Y.-T., & Chang, Y.-H. (2008). The typology of townships in Taiwan: The analysis of sampling stratification of the 2005-2006 “Taiwan Social Change Survey”. Survey Research − Method and Application, 23, 7-32. doi:10.7014/TCYCFFYYY.200804.0007】

唐淑華、蔡孟寧、林烘煜（2015）。多文本課外閱讀對增進國中學生理解歷史主題之研究：以「外侮」主題為例。教育科學研究期刊，60（3），63-94。doi:10.6209/JORIES.2015.60(3).03

【Tang, S.-H., Tsai, M.-N., & Lin, H.-Y. (2015). Using multiple texts to foster junior high students’ historical understanding. Journal of Research in Education Sciences, 60(3), 63-94. doi:10.6209/JORIES.2015.60(3).03】

國立臺灣師範大學心理與教育測驗研究發展中心（2014）。國中教育會考成立背景。取自 https://cap.nace.edu.tw/background.html

【Research Center for Psychological and Educational Testing, National Taiwan Normal University. (2014). Overview of the comprehensive assessment program for junior high school students. Retrieved from https://cap.nace. edu.tw/background.html】

(31)

語文領域─國語文課程手冊。新北市：作者。

【National Academy for Educational Research. (2017a). Instructor’s manual of 12-year basic education curriculum guidelines: Mandarin Chinese (4th ed.). New Taipei City, Taiwan: Author.】

國家教育研究院（2017b）。學力檢測公布系統。取自 http://rap.naer.edu.tw/

【National Academy for Educational Research. (2017b). Countywide student assessment program. Retrieved from http://rap.naer.edu.tw/】

教育部（2014）。十二年國民基本教育課程綱要總綱。臺北市：作者。

【Ministry of Education. (2014). 12-year basic education curriculum guidelines. Taipei, Taiwan: Author.】

教育部（2018a）。教育部令。行政院公報，24（18）。取自 https://gazette.nat.gov.tw/egFront/ detail.do?metaid=96244&log=detailLog

【Ministry of Education. (2018a). Ministry of education order. The Executive Yuan Gazette Online, 24(18). Retrieved from https://gazette.nat.gov.tw/egFront/detail.do?metaid=96244&log=detailLog】

教育部（2018b）。十二年國民基本教育課程綱要國民中小學暨普通型高級中等學校：語文領域─國語文。臺北市：作者。

【Ministry of Education. (2018b). 12-year basic education curriculum guidelines for elementary schools, junior high schools, and general senior high schools: Language and literature category − Chinese language and literature. Taipei, Taiwan: Author.】

陳美芳（2014）。精進大學寫作指引。臺北市：國立臺灣師範大學。

【Chen, M.-F. (2014). Intensive writing guidelines for university students. Taipei, Taiwan: National Taiwan Normal University.】陳雅慧、王韻齡（2018）。2018《親子天下》縣市教育力調查：新課綱上路前夕，行政減量、課綱準備還需努力。取自 https://www.parenting.com.tw/article/5077684-2018%E3%80%8A %E8%A6%AA%E5%AD%90%E5%A4%A9%E4%B8%8B%E3%80%8B%E7%B8%A3%E5 %B8%82%E6%95%99%E8%82%B2%E5%8A%9B%E8%AA%BF%E6%9F%A5%EF%BC %9A%E6%96%B0%E8%AA%B2%E7%B6%B1%E4%B8%8A%E8%B7%AF%E5%89%8D %E5%A4%95%EF%BC%8C%E8%A1%8C%E6%94%BF%E6%B8%9B%E9%87%8F%E3 %80%81%E8%AA%B2%E7%B6%B1%E6%BA%96%E5%82%99++%E9%82%84%E9%9C %80%E5%8A%AA%E5%8A%9B/

【Chen, Y.-H., & Wang, Y.-L. (2018). 2018 key findings for education quality of administrative divisions. Retrieved from https://www.parenting.com.tw/article/5077684-2018%E3%80%8A%E8%A6%AA%E5%AD%90%E5 %A4%A9%E4%B8%8B%E3%80%8B%E7%B8%A3%E5%B8%82%E6%95%99%E8%82%B2%E5%8A% 9B%E8%AA%BF%E6%9F%A5%EF%BC%9A%E6%96%B0%E8%AA%B2%E7%B6%B1%E4%B8%8A% E8%B7%AF%E5%89%8D%E5%A4%95%EF%BC%8C%E8%A1%8C%E6%94%BF%E6%B8%9B%E9%87 %8F%E3%80%81%E8%AA%B2%E7%B6%B1%E6%BA%96%E5%82%99++%E9%82%84%E9%9C%80% E5%8A%AA%E5%8A%9B/】臺灣 PISA 國家研究中心（2000）。閱讀樣本試題（中文版）。臺南市：國立臺南大學。

【PISA in Taiwan. (2000). PISA released items-reading. Tainan, Taiwan: National University of Tainan.】

劉宜芳、柯華葳（2017）。線上閱讀研究之回顧與展望。教育科學研究期刊，62（2），61-87。 doi:10.6209/JORIES.2017.62(2).03

(32)

【Liu, I.-F., & Ko, H.-W. (2017). Online reading research: A selective review. Journal of Research in Education Sciences, 62(2), 61-87. doi:10.6209/JORIES.2017.62(2).03】

蘇慧珍、楊凱琳、陳佳陽（2017）。閱讀策略教學對高二學生數學學習表現的影響。教育科學研究期刊，62（1），33-58。doi:10.6209/JORIES.2017.62(1).02

【Su, H.-C., Yang, K.-L., & Chen, C.-Y. (2017). Effects of teaching reading strategies on senior high school student’s mathematics performance. Journal of Research in Education Sciences, 62(1), 33-58. doi:10.6209/JORIES.2017. 62(1).02】

蔡曉楓（2017）。十二年國民基本教育國語文素養導向教學課程論述與設計理念。教育研究月刊，275，99-113。doi:10.3966/168063602017030275007

【Tsai, H.-F. (2017). Preliminary discussion on the discourses of curriculum designs of the literacy-based Mandarin education in 12-year basic education curricula. Journal of Education Research, 275, 99-113. doi:10.3966/ 168063602017030275007】

Bogdan, R. C., & Biklen, S. K.（2001）。質性教育研究：理論與方法（黃光雄、李奉儒、高淑清、鄭瑞隆、林麗菊、吳芝儀…蔡清田，譯）。嘉義市：濤石文化。（原著出版於 1998 年）

【Bogdan, R. C., & Biklen, S. K. (2001). Qualitative research for education: An introduction to theory and methods (K.-H. Huang, F.-J. Lee, S.-C. Kao, J.-L. Cheng, L.-C. Lin, C.-Y. Wu, …C.-T. Tsai, Trans.). Chiayi, Taiwan: WaterStone. (Original work published 1998)】

二、外文文獻

Arias, I. J. (2007). Selecting reading materials wisely. LETRAS, 1(41), 131-151.

Bond, T. G., & Fox, C. M. (2015). Applying the Rasch model: Fundamental measurement in the human sciences (3rd ed.). New York, NY: Routledge.

Chall, J. S. (1983). Stages of reading development. New York, NY: McGraw-Hill.

Chall, J. S. (1996). Stages of reading development (2nd ed.). Fort Worth, TX: Harcourt Brace College.

DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). Thousand Oaks, CA: Sage.

Dorans, N. J., & Puhan, G. (2017). Contributions to score linking theory and practice. In R. E. Bennett & M. von Davier (Eds.), Advancing human assessment: The methodological, psychological and policy contributions of ETS (pp. 79-132). Princeton, NJ: Educational Testing Service.

Ebel, R. L. (1954). Procedures for the analysis of classroom tests. Educational and Psychological Measurement, 14(2), 352-364. doi:10.1177/001316445401400215

Florida Department of Education. (2010). FACT 2.0 reading test item specifications grades 9-10. Tallahassee, FL: Author.

Garrod, S., & Sanford, T. (2012). Language in action. In N. Braisby & A. Gellatly (Eds.), Cognitive psychology (pp. 197-223). Oxford, UK: Oxford University Press.

108課綱第四學習階段國語文閱讀素養 線上評量之建構

108

課綱第四學習階段國語文閱讀素養