• 沒有找到結果。

國中學生線上閱讀素養發展現況調查

N/A
N/A
Protected

Academic year: 2021

Share "國中學生線上閱讀素養發展現況調查"

Copied!
32
0
0

加載中.... (立即查看全文)

全文

(1)

國中學生線上閱讀素養發展現況調查

摘 要

本研究兼顧閱讀素養構念和資訊與通訊科技(ICT)媒介特色,發展國 中學生線上閱讀素養評量工具,同時描述國中學生的線上閱讀素養發展現 況。線上閱讀素養評量以PISA電子閱讀評量架構為主要依據,評量素材取 自數位典藏資源,測驗系統架構在WWW平台,虛擬線上閱讀環境。研究中 以臺南市地區601位國中二年級學生為常模樣本,使用Rasch試題反應模式 進行題目參數估計與受試者量尺分數估計,並以描述統計呈現全體學生的 線上閱讀素養表現概況。結果顯示:(1)線上閱讀素養評量工具的難度適 中,呈現良好的幅合與區別效度。(2)全體國二學生的線上閱讀素養表現 中等,多數學生達水準3,能擷取單一網頁的明確資訊、跨數個網頁擷取一 到多個資訊、整合數個指定網頁的明確資訊或搜尋問題關連的網頁,評鑑線 上資訊的表現相對較不理想。未來研究宜擴充評量題庫,以提供更精確的測 量,同時針對導航表現進行計分,釐清線上閱讀素養的導航內涵。加強青少 年線上文本資訊的批判素養將是提升線上閱讀素養表現的重要方向。

關鍵詞:閱讀素養、ICT、線上閱讀素養、Rasch模式、數位典藏 張貴琳

國立臺灣師範大學邁向頂尖大學計畫辦公室博士後研究員

電子郵件:D09611005@stumail.nutn.edu.tw

(2)

Abstract

The purpose of this study is to develop an online reading literacy assessment by adopting construct of reading literacy and information and communication technology, and to portrait junior high school students’ online reading literacy performance. The online reading literacy assessment is based on the PISA electronic reading assessment framework, questions containing two units from digital archive resource that are placed on the Internet.

A total of 601 second graders of junior high school in Tainan City participated in this study. This study uses Rasch IRT model to calibrate the item parameter and scale scores.

Descriptive statistics analysis is also used to present the online reading performance. The results indicated: (1) online reading literacy assessments had adequate difficulty level, reasonable convergent, and discriminant validity; (2) majority of students’ proficiency falls into level 3. Future studies may broaden the item bank of online reading literacy assessment and provide the navigation scoring. Promoting adolescents’ critical literacy of online reading is an important aspect for improving their online reading performance.

Keywords: reading literacy, ICT, online reading literacy, Rasch model, digital archive resource

Kuei-Lin Chang

Post-Doctoral Fellow, Aim for the Top University Project Office, National of Taiwan Normal University

The Survey of Junior High School Students Online Reading Literacy

Author's E-mail: D09611005@stumail.nutn.edu.tw

(3)

壹、緒論

閱讀與閱讀素養(reading literacy)的內涵隨社會、經濟與文化的改變而轉 化,學習的定義,特別是終身學習(life-long learning)的理念更實質擴展了閱 讀素養的社會功能層面,素養不再只是孩童早年在學校所習得的能力,而是 知識、技能及策略的實際運作效能,個人透過不同生活情境、與同儕互動及 參與社群建立素養。網際網路為新世紀全球化(globalization)經濟發展的核心 要素,因應全球知識經濟時代的來臨,教育系統需確保個人使用資訊科技的 能力,誠如經濟合作與發展組織(Organization for Economic Cooperation and Development,簡稱OECD)所強調,互動中有效使用工具為新世代國民三大 關鍵能力(key competence)之一;歐洲委員會(European Commission)近年亦指 出,資訊與通訊科技(information and communication technology,簡稱ICT)是 社會經濟成長及個人職涯發展的有力驅動工具。數位時代閱讀素養的運作並 不單指從靜態紙本資料獲取知識,而是指更廣義的心智模式和能力建立,

強調適應網路新科技變化的學習能力(Leu, 2007)。ICT重塑閱讀與寫作的本 質,但少有研究將網際網路的使用視為一項閱讀議題進行討論,了解學生在 開放網路資訊空間的閱讀理解特徵(Coiro, 2007)。

網路提供閱讀、寫作與溝通的重要脈絡,但學生經常接觸網路不一定 表示就能習得必要的線上閱讀技能。目前國中資訊素養發展綱要提出幾項相 關能力,包括將科技視為一項研究工具、問題解決和溝通工具,指出學生要 能有效使用資訊科技取得資訊,判斷資訊來源的正確性、相關性、適當性,

與他人進行溝通(中小學資訊能力評量機制發展與推廣計畫網站,2008)。

由此可知,面對科技注入的未來社會,教導學生如何尋找資訊、評鑑線上資 訊和進行線上溝通,是運用科技完成閱讀必備的能力。

線上閱讀素養(online reading literacy)為重要的學習與研究議題,但目前 有關網際網路或其他ICT工具對閱讀本質影響的探討才剛起步,大部分人將 線上閱讀與離線閱讀(offline reading)視為同義詞。閱讀教育與研究國際組織

-國際閱讀協會(International Reading Association,簡稱IRA)提出拓展閱讀的 定義,使其包含資訊擷取、資訊的評鑑、使用與溝通資訊等實質內涵(IRA,

(4)

2002)。IRA認為線上閱讀素養有其獨特本質,因此提倡評量工具的發展,並 指出評量內涵必須包含ICT的運用,以能更精確評估學生的表現(IRA, 2002;

Leu, 2007)。現階段國際學生評量計畫(Programme for International Student Assessment,簡稱PISA)亦初步於十九個國家測試電子閱讀評量(electronic reading assessment,簡稱ERA),並從事後續研發工作(OECD, 2007b);再 者,目前許多閱讀課程標準與評量尚未包括線上閱讀理解,PISA國際成人 能力評量計畫(Programme for International Assessment of Adult Competencies,

簡稱PIAAC)才該開始嘗試;美國國家教育進展評量(National Assessment of Educational Progress,簡稱NAEP)的閱讀評量預計2019年才會加入線上閱讀 理解和策略(Leu等人,2009)。臺灣亦將於2012年正式參加PISA電子閱讀評 量。由上可知,線上閱讀素養評量的發展成為現階段科技融入閱讀的主要研 究議題之一。

基於上述研究背景,本研究兼顧閱讀素養構念和資訊與通訊科技媒介 特色,發展國中學生適用的線上閱讀素養評量工具,並描述青少年線上閱讀 素養的發展現況,期盼能提供線上閱讀素養評量與教學的參考資訊。另一方 面,由於PISA電子閱讀評量以Rasch模式進行表現量尺的估計,本研究基於 相同的評量架構,亦採用此模式。本文在專有名詞方面,線上閱讀、電子閱 讀、數位閱讀(digital reading)、超文本(hypertext)閱讀皆為同義詞;離線閱讀 包括電腦化閱讀(computer-based reading)和紙本閱讀(print reading)。簡言之,

本研究之目的有二:

一、發展國中學生線上閱讀素養評量工具。

二、描述國中學生線上閱讀素養的表現概況。

貳、文獻探討

一、線上閱讀素養

(一)閱讀素養的定義

閱讀素養包括一組廣泛的認知能力,從簡單的解碼、字彙知識、文

(5)

法、組織結構,到對世界的認知。閱讀素養是讀者運用先備知識、文本的 情境線索,並結合各項閱讀歷程、技巧和策略的使用,完整建構文本的意 義。PISA 2009將閱讀素養定義為個體能理解、運用、省思和投入書面文本 資訊,以達成個人目標、發展個人知識和潛能,並有效參與社會;其中書面 文本包含紙本和數位化文本(OECD, 2010a; OECD, 2010b; OECD, 2011)。

根據OECD (2007b)閱讀素養評量架構,PISA閱讀素養評量採題組型 式,每個題組涵蓋情境(situation)、文本(text)和歷程(aspect)三項特徵。情 境意指文本建構的情境脈絡和使用目的;文本意指材料的範圍,包含連續 (continuous)和非連續(non-continuous)文本形式,連續文本通常是由文字句 子組織成段落,包括敘事文、說明文等,非連續文本主要是透過圖表和圖 表、地圖、廣告等方式引發讀者的反應;電子閱讀則強調多元文本(multiple text)。PISA從三個閱讀歷程(分測驗)測量讀者是否對文本有全盤的理 解。擷取與檢索(retrieve and access)歷程的試題通常要求學生就問題找出適 合的訊息,或與文本完全一致的用字或是與文本同義的訊息;統整與解釋 (integrate and interpret)歷程的試題要求學生解釋文章中各部分的意義,了解 各部分間的關係並整合成一個主要的概念,或推論寫作的目的;省思與評鑑 (reflect and evaluate)歷程的試題要求學生將閱讀的內容與原有知識、想法和 經驗進行連結,經過判斷與省思過後,就文本內容提出自己的見解,進行證 據關連的說明(OECD, 2007b)。

(二)線上與離線閱讀素養的異同

線上閱讀素養立基於新素養理論(new literacy),其同義詞很多,如網 路素養、數位素養、新媒體素養、資訊與通訊科技素養、電腦素養等(Coiro 等人,2007;Leu等人,2008a)。Leu等人(2004)、Coiro與Dobler (2007)以 認知、社會和語言的新素養觀點探討學生的閱讀素養發展,認為其受新 科技影響而產生快速變化,因此線上閱讀理解與策略使用是很重要的探 討議題。Leu等人(2004)指出,線上閱讀素養側重問題導向的探究歷程或 學習作業,通常指個體能使用網際網路或其他ICT工具以確認重要的問題 (identify important problem)、找尋資訊(locate information)、分析資訊的有用 性(analyze usefulness of information)、統整多元文本資訊(synthesize multiple-

(6)

text information)及溝通資訊(communicate information)。換句話說,線上閱讀 素養是個體所具備有效使用快速變化溝通科技以解決個人和職涯問題的技 巧、策略及氣質(Cheung & Sit, 2008; Leu等人,2004;Leu等人,2008a;Leu 等人,2008b)。PISA電子閱讀沿用閱讀素養的定義與架構,將電子閱讀界定 為個體能理解、運用、省思和投入書面文本資訊,以達成個人目標、發展個 人知識和潛能,並有效參與社會(OECD, 2010a, 2010b; OECD, 2011)。

Leu (2007)採用線上閱讀與離線閱讀素養進行對比,主要基於下列四項 理由:(1)由閱讀而言,目的在於資訊的理解;(2)網路是目前最大的資 訊來源;(3)線上與離線兩詞互斥,對照較為準確;(4)目前部份證據顯 示學生線上與離線閱讀表現有所差異。換言之,線上與離線閱讀的區別是必 要的,假設兩人面對相同的問題,解決問題時不太可能閱讀相同的資料,而 且精熟的紙本讀者線上閱讀效能未必良好。就文本形式而言,兩者最大差 異在於閱讀範圍邊界的固定(bounded)或動態(dynamic)本質;數位化文本具 有非線性、非序列、多樣化型態、互動和彈性的本質(Brown, 2003; Bryant, 2010; OECD, 2011),以導航工具(navigation tool)作為部分文本的線上閱讀歷 程具有非線性、網頁動態往返的本質,由於螢幕所展示的文本空間有限,讀 者必須利用導航工具開啟閱讀的頁面視窗,同時建構多重頁面切換的心理 路徑,因此精熟的線上讀者必須熟悉導航工具的使用,在真實而複雜的電 子閱讀試題中,透過循環、統整的動態歷程進行資訊的搜尋與閱讀(OECD, 2010a)。就策略層面而言,線上閱讀的主要目的多為解決資訊性的問題,面 對的是資訊無限的空間,需要使用多媒體導航工具。閱讀歷程中持續尋找、

批判、評鑑資訊的反覆歷程尤其重要。讀者首先使用搜尋引擎找尋資訊、從 諸多搜尋結果中評鑑資訊的參考價值、運用網頁連結獲取相關訊息、持續 的往返關聯網頁以尋求問題的答案並對照檢核資訊的精確性,這些都是明 顯不同於離線閱讀的嶄新閱讀策略(Leu, 2007; Leu等人,2008a;Leu等人,

2008b)。

OECD (2010b)指出,紙本與電子閱讀的擷取與檢索歷程的試題均涉及 尋找、選擇和收集資訊。紙本閱讀情境可使用目錄和頁碼等搜尋工具,電子 閱讀情境需跨不同網頁、使用表單、列表等搜尋工具,熟悉這些工具有利於

(7)

迅速找到所需的資訊。統整與解釋歷程的試題涉及文本內部的統整,這類試 題要求讀者了解文本各部分的關係,為了完成這些試題,讀者必須找出適切 的關係、在詞句的意涵中確認需要推論的關係,雖然電子閱讀也涉及這些歷 程,但因為數位化文本沒有固定的基模,跨不同網頁進行統整更形複雜。在 紙本閱讀情境中,文本結構和風格是省思與評鑑歷程試題的重要特色;在電 子閱讀環境中,由於資訊來源的變化性高,因此著重精確性、可靠性和新近 性的判斷。簡言之,讀者在進行電子閱讀時,需瀏覽大量網路素材或接觸多 元文本,同時需立即評鑑文本的真實性、可信度和關連性,故可靠性的評鑑 更為重要,這是省思與評鑑歷程的主要評量重點。PISA 2009 數位閱讀評量 (digital reading assessment)調查結果指出,難度較高的試題並不是所需搜尋 程度最高的試題,而是評鑑線上文本資訊可靠性的試題;難度較低的試題則 是擷取單一網頁特定文本資訊的試題 。整體而言,數位閱讀表現比PISA閱 讀素養表現的個別差異來得小(OECD, 2011)。研究者將文獻中有關離線與線 上閱讀素養評量內涵的對照整理如圖1。

圖1 離線與線上閱讀素養評量內涵的對照

(8)

二、PISA電子閱讀評量的內涵

(一)測量取向

線上閱讀依評量情境的真實性可分為三種不同的測量取向。第一為在 真實的網路情境中進行小規模的質性研究,採用認知歷程分析的方法收集學 生的線上閱讀理解策略和行為組型。第二為在有限的資訊空間評量中學生的 問題解決表現,採用虛擬的網際網路,惟其無法充分代表線上閱讀的全觀 複雜度和挑戰性,如美國教育測驗服務社(Educational Testing Service,簡稱 ETS)進行的大規模(large-scale) PISA ICT素養評量。第三為提供靜態的片斷 螢幕畫面,評量學生在面對某個特定的線上閱讀情境之選擇,惟無法真正測 量學生擷取、分析、統整和溝通資訊的能力(Leu, 2007)。三種測量取向呈現 如表1。本研究線上閱讀素養評量採用虛擬的線上閱讀情境,屬於第二種取 向。

(二)文本處理(text processing)與導航(navigation)

導航工具與超文本是網際網路的兩大特徵。導航工具的形式眾多,如 捲軸、按鈕、超連結、表單、索引、網站地圖等,其中以超連結的使用最 多(OECD, 2010a)。PISA將導航定義為讀者選擇與安排超文本資訊的過程,

其並不僅止於技術的操作;由於進行線上閱讀時,讀者是利用導航工具建 構自己的閱讀文本,故導航可視為是認知歷程的一部分。導航工具的主要 功能包含移動視窗、切換網頁、掌握文本全觀等,可分為機械性的導航與 認知性的導航(OECD, 2011)。雖然現今青少年常使用電腦軟體、寄發電子郵 件、上MSN聊天,但這不代表他們具有良好的導航能力(Eagleton, Guinee, &

Langlais, 2003; Henry, 2005)。臺灣學生普遍具備良好的電腦素養(computer literacy),但其電子閱讀和寫作仍有待改善(Huang, Chern, & Lin, 2009;

Lennon et al., 2003)。

表1 線上閱讀的測量取向

(9)

電子閱讀並非全然意指ICT素養,也不只是將紙本置於電腦螢幕上,電 子閱讀評量的內涵同時涵蓋文本處理與導航兩個主要成份,試題難度受文 本處理的影響較大(Mendelovits, Lumley, & Searle, 2009);Sit與Cheung(2009) 亦指出,線上閱讀素養評量的核心同時包括閱讀素養與ICT素養兩者;

OECD(2010a)進一步指出,每個電子閱讀評量試題的文本處理(閱讀素養)

與導航(ICT素養)比重各不相同,可分為四種類型:低文本處理和低導 航、高文本處理和低導航、低文本處理和高導航、高文本處理和高導航,如 圖2。本研究採用上述分類界定線上閱讀素養評量試題的成份。

PISA電子閱讀評量試題一般會要求學生辨識重要的問題,尋找與這項 閱讀試題所預設之擷取路徑(access paths)對應的訊息,分析所擷取訊息的用 途,整合在多個電子文本所擷取的訊息回答問題,並透過電子化的方法與他 人進行交流並給予回應(薛寶嫦,2010)。由於提供搜尋指示(如點擊某個 連結)可有效協助學生進行導航,避免迷失於網站過久,本研究線上閱讀素 養評量的題目敘述含有不同的ICT搜尋指示。

圖2 ERA試題之文本處理與導航的關係(OECD, 2010a)

(10)

在計分方面,電腦化測驗可提供教育人員更精確了解讀者的認知歷 程。目前使用的科技包括記錄讀者瀏覽的網頁、使用的導航工具、各題作答 時間、動作順序的資訊等,皆可用以豐富研究資料的基礎。然而,因為大規 模的電腦化評量還在研發初期,故尚未建立一套完善的計分方法,目前以記 錄最終答案作為計分依據(OECD, 2011)。本研究根據相關組型將線上閱讀素 養評量試題分為導航成份較重與閱讀成份較重兩類。

三、Rasch測量模式

使用Rasch模式對認知資料進行量尺化的主要目的在建立一個連續性的 表現量尺。從數學運算的觀點來看,題目難度與受試者能力可由一組函數關 係表示,對某位能力為βi的受試者來說,成功答對j題(難度為bj)的概率 如下列公式。當能力值與難度值相等時(βi-bj=0),答對概率為.5;當能力 值大於難度值時(βi-bj>0),答對概率大於.5; 當 能 力 值 小 於 難 度 值 時

βi-bj<0),答對概率小於.5(OECD, 2009; Wang, 2010)。

PISA表現量尺的估計主要是採用Rasch模式,全測驗採用單一估計 (separate estimate),題型包含二元計分題與多元計分題,依反應型態分為部 分計分模式(partial credit model)與評定量表模式(rating scale model)(OECD, 2009)。在能力值設定方面,有可能值(plausible value, pv)、加權概似估計法 (weighted-likelihood estimation, wle)、期望後驗估計法(expected a posteriori, eap)、最大概似估計法(maximum-likelihood estimation, mle)等幾種方法。執 行分析時,可設定受試者能力值的平均數為0,標準差為1;在參數估計的過 程中,能力值會同時產生(Wu等人,2007)。在分數報告方面,PISA主要是 將能力估計值轉換成平均數500,標準差100的量尺分數(OECD, 2009; Schulz, 2005)。由於pv值適用於具有大量背景變項的資料庫,PISA表現量尺的估計 主要是採用這個方法;pv值包含一組隨機抽取自後驗分配的能力值,而非某 個特定的能力值,其有別於wle、eap或mle。本研究線上閱讀素養評量分數 的量尺化過程主要是採用部分計分模式,針對全測驗進行估計,設定多種能

(11)

力值估計方法,並選擇與原始分數相關最高者,同時轉換成平均數500,標 準差100的量尺分數;因不同題本含有共同試題(common item),故採用同時 估計法(concurrent estimation)。

參、研究方法

一、研究樣本

本研究以臺南市地區5所國中、20個班級,共601位國中二年級學生為 樣本,計317位男生,284位女生,學校皆位於市中心邊陲。其中11個班級接 受甲式線上閱讀素養評量,共307人;9個班級接受乙式線上閱讀素養評量,

共294人。

二、線上閱讀素養評量

線上閱讀素養評量試題以PISA電子閱讀評量架構為命題依據。評量素 材取自國科會數位典藏資源,經研究者取得授權並予適度編修,網頁配置清 晰,適合國中學生閱讀,共有兩個單元,內容說明如表2。甲乙兩式合計17 題,其中7題為共同試題,擷取與檢索歷程、省思與評鑑歷程各有5題,統整 與解釋歷程有7題,評量架構如表3。單式有12個問題,其中10題為四選一的 選擇題(含配合題),2題為建構反應題,題目形式包括首頁資料判讀、搜 尋結果列表、電子郵件、討論版等,題目敘述含有ICT搜尋指示(見附錄圖 2)。內容效度方面,敦請具測驗評量專業背景的教授與中文系教授進行審 題,以修改閱讀材料、題目敘述和作答說明。由於預試的過程中發現,線上 閱讀以搜尋能力為必要條件,故研究者根據實際的答題情形調整部分搜尋指 示,使大部分學生能在有限的作答時間內完成測驗。

線上閱讀素養評量系統架構在Internet/WWW平台,搭配ASP.NET 程式技術,進行施測和統計分析,受試者可透過網頁瀏覽器(如Internet Explorer)登入帳號和密碼,直接在線上進行施測。評量系統介面分為「網 頁瀏覽區」與「問題作答區」兩大部分,網頁瀏覽區包含閱讀材料,問題作

(12)

答區包含評量試題,作答時由學生依題目敘述到網頁瀏覽區閱讀材料,再回 到問題作答區選擇答案或輸入文字,按確定鍵後即不能再回上一題,屬虛擬 的線上閱讀環境(見附錄圖1、2)。單式作答時間為40分鐘,測驗前5分鐘 由施測人員示範作答方式。計分方面,選擇題採二元計分(0、1),建構反 應題與配合題採多元計分(0-3)。建構反應題以人工閱卷方式,針對預試 的實際表現樣本建立作答範例,不同得分點各提供一組編碼原則和數個參考 答案,由研究者與一位國文科現職教師使用評分規範進行評定。甲式題本有 9題,滿分為15分,乙式題本有8題,滿分為13分,採用Rasch多元計分單向 度試題反應模式同時估計法進行全測驗的題目參數估計和受試者量尺分數估 計。

三、PISA閱讀素養測驗

閱讀素養測驗試題取自OECD (2007a)釋出的PISA 2006國際閱讀試題 (reading released item),內容包含擷取訊息、統整與解釋、省思與評鑑三個 層面。研究者依各層面試題比重分配與國際試題參數(b)選擇不同難度層 次的試題組成國二學生適用的題本,內容包括五個單元,共18題(平均難度

表2 國中學生線上閱讀素養評量素材說明

表3 國中學生線上閱讀素養評量架構

註:括號內數字為比重

(13)

b值為-.35),施測時間為40分鐘。依PISA 2006國際閱讀試題的計分規準編 碼,各題得分介於0-3之間,採用Rasch多元計分單向度試題反應模式進行全 測驗的量尺分數估計。

四、資料收集與分析

本研究於2010年12月收集線上閱讀素養評量資料,2011年3到5月收集 PISA閱讀素養測驗資料,並採用99學年度上、下學期在校各科一、二次段 考成績(含國文、英語、數學、自然、社會)作為效標。資料收集完畢後,

以Iteman for Windows、Parscale 4.0及ConQuest 2.0等軟體進行題目參數估計 與受試者量尺分數估計,同時以SPSS16.0呈現Pearson積差相關及描述統計 結果。

肆、結果與討論

一、線上閱讀素養評量的信效度

(一)題目參數

表5呈現線上閱讀素養評量甲乙兩式的題目分析結果摘要。整體而言,

試題的平均難度適中(P = .54和.61),平均鑑別度良好(D = .42和.42),

平均點二系列相關值適中(rpb = .36和.38),甲乙兩式結果雷同。甲式P值 介於.31-.73之間,D值介於.25-.57之間,rpb值介於.21-.62之間;乙式P值介.42-.83之間,D值介於.20-.66之間,rpb值介於.24-.59之間。

表4 PISA 2006閱讀素養測驗架構

註:括號內數字為比重

(14)

利用Rasch多元計分單向度IRT模式同時估計法分析的結果,模式適配 度指標MNSQ值介於.93-1.05之間,未低於.70或超過1.30,具有合理的效度。

試題的平均難度b值為.08(介於-1.36到2.10之間);利用多向度IRT模式分 析的結果,試題的平均難度b值為.09(介於-1.41到2.19之間);利用Parscale 部分計分IRT模式分析的結果,試題的平均難度b值為.10(介於-2.27到3.16 之間),難度適中,與傳統題目分析結果一致。三種模式的逐題難度b值對 照參閱表6,結果相近。時光隧道單元的平均難度b值為-.08,電影欣賞單 元的平均難度b值為.27,難度稍有不同;擷取與檢索試題的平均難度b值為 -.32,統整與解釋試題的平均難度b值為-.08,省思與評鑑試題的平均難度 b值為.75,由此可知,擷取與檢索的試題較容易,省思與評鑑的試題較困 難。

本研究依線上閱讀素養評量試題的難度b參數,將不同分測驗試題分為 基礎、精熟和進階三個難度層次。簡言之,擷取與檢索分測驗、統整與解釋 分測驗試題的難度層次大致可依搜尋指示的明確程度或所需的搜尋程度進行 區分;省思與評鑑分測驗試題的難度層次主要是依文本內容所需的評鑑程度 進行區分。整體而言,較容易的試題是擷取單一網頁明確資訊及整合數個指 定網頁明確資訊的試題,較困難的試題是未包含高度搜尋能力在內的線上文 本內容評鑑試題,研究結果與2009年PISA數位閱讀評量類似。

表5 線上閱讀素養評量甲乙兩式的整體答對率與鑑別度

* p <.05;括號內數字為包含多元計分題的平均得分率

(15)

(二)信效度分析

本研究利用原始分數進行效度分析,結果顯示,就甲式而言,線上閱 讀素養與PISA閱讀素養及國文成績具有中度相關(r = .43和.45),高於與 其他科目的相關(r = .27-.37)。在逐題相關方面,試題與總分的相關均 高於與效標的相關,多數試題與PISA閱讀素養及國文成績的相關高於與英 語、數學、自然和社會成績的相關。就乙式而言,線上閱讀素養與PISA閱 讀素養及國文成績亦為中度相關(r = .54和.54),高於與其他科目的相關

r = .38-.50)。逐題相關大致與甲式結果雷同。若以全測驗量尺分數進行6 線上閱讀素養評量的逐題難度b參數(N=601)

註1:MC表示選擇題,CR表示建構反應題,MA表示配合題

註2:設定受試者能力值平均數為0,標準差為1進行估計

3:p值與b值的相關介於-.92到-.99之間,b值間的相關介於.94到1之間

(16)

分析,如表7,線上閱讀素養與PISA閱讀素養的相關為.54,與國文成績的相 關為.52,屬中度相關,皆高於與英語、數學、自然、社會的相關(r = .36- .47)。整體而言,線上閱讀素養評量呈現合理的幅合與區別效度。

信度方面,甲式各單元與總分的相關為.78和.84,乙式各單元與總分的 相關為.77和.79,單向度IRT估計的全測驗信度為.51,誤差較大的可能原因 在於題數較少、測驗的內涵較為複雜,惟信度係數範圍與Salmeron與Garcia (2011)發展的超文本閱讀理解評量結果接近。在評分者一致性方面,兩位評 分者評分的相關係數為.85,一致性良好。

本研究依據表8各題效度分析的相關組型,將試題區分為導航成份較重 與閱讀成份較重兩大類。其中,時光隧道單元問題一、問題三、問題七和問 題八和電影欣賞單元問題三和問題四與各效標幾無顯著相關,其次為時光隧 道單元問題四和電影欣賞單元問題二,與總分的相關明顯高於各效標,本研 究將上述試題歸類為導航成份較重的試題,共8題;其餘皆為閱讀成份較重 的試題,共9題。上述導航成份較重的題目包含首頁資料判讀的訊息擷取歷 程、評鑑網址或搜尋結果可靠性的歷程、多重網頁資訊的統整歷程,足見不 同線上閱讀歷程可能同時含有ICT搜尋成份。另一方面,閱讀成份較重試題 的平均難度(b = .37)高於導航成份較重試題的平均難度(b = -.23),顯示 線上閱讀素養評量的難度合理著重在閱讀層面,研究結果支持Mendelovits、

Lumley與Searle (2009)的論點,文本處理歷程與試題難度的相關高於導航成 份與試題難度的相關。

7 線上閱讀素養與PISA閱讀素養及在校各科成績的相關(N=601)

(17)

綜上所述,本研究線上閱讀素養評量試題的難度適中,合理著重在閱 讀層面;線上閱讀素養評量具有合理的輻合與區辨效度,不同線上閱讀歷 程可能同時含有ICT搜尋成份,線上閱讀素養有別於紙本閱讀。上述結果 初步支持Coiro (2007)、Cheung與Sit (2008)、Mendelovits、Lumley與Searle (2009)、OECD (2011)的論點,線上閱讀素養僅有一部分可由紙本閱讀解 釋,內涵同時包含閱讀素養(文本處理)與ICT素養(導航)成份。

8 線上閱讀素養與PISA閱讀素養及在校各科成績的逐題相關(N=601)

* p <.05

(18)

二、國中學生的線上閱讀素養發展現況

(一)作答時間的影響

為進一步了解作答時間對線上閱讀素養表現的可能影響,研究者針對 線上閱讀素養評量一節課答完與未答完的學生人數比進行統計,結果如表 9。由表可知,大部分學生都能在40分鐘內完成12個題目,只有少部分學生 的閱讀速度較為緩慢。由此可見,線上閱讀素養表現不受作答時間的影響,

與真實的線上閱讀情境相似,評量結果可做合理推論。

表9 線上閱讀素養評量一節課答完與未答完的學生人數比

註:班級代號的英文字母表示學校,阿拉伯數字表示班級;表格中英文字母N表示不適用

(19)

(二)線上閱讀素養的表現概況

表10呈現線上閱讀素養評量甲乙兩式原始得分的描述統計。由表可 知,甲式的平均得分為7.19,乙式的平均得分為6.57,多數的學生能答對6 題。設定全體考生能力值的平均數為0,標準差為1,進行全測驗的能力值估 計,並執行不同能力值估計方法(.eap、.wle、.pv、.mle),選擇與原始分數相 關最高者,同時轉換為平均數500,標準差100的量尺分數,結果顯示,在全 測驗方面,ConQuest和Parscale兩種估計軟體所得到的量尺分數平均數皆為 500,分布介於合理範圍。在題型方面,甲式選擇題的平均得分率為.55,建 構反應題的平均得分率為.15;乙式選擇題的平均得分率為.61,建構反應題 的平均得分率為.16;學生在建構反應題的表現較不理想。由於省思與評鑑 試題多採建構反應題,大部分學生習慣以自己的意見回答問題,無法有效根 據網站資訊作為推論或判斷的依據,另一部分學生偏重複製文本,未能提供 網站資訊與自己立論的關連說明(見附錄圖6)。

茲列舉一個閱讀成份較重的試題與一個導航成份較重的試題對照說明 閱讀成份較重與導航成份較重之試題,學生答題所需的不同要素。時光隧道 單元問題二(見附錄圖1、2)明確指示學生到某個特定的單一網頁擷取資 訊,並回答問題,搜尋的需求程度低,學生正確答題所需的能力為找到對應 的網頁並擷取特定的資訊,與紙本閱讀情境接近,多數學生在這類問題的表 現良好。電影欣賞單元問題三(見附錄圖3)呈現一個搜尋結果資料網頁,

要求學生判斷資料來源的可靠性,搜尋的需求層次低,學生正確答題所需的 能力在於判斷不同文本資料來源的可信度,此在紙本閱讀情境中較為少見,

偏向線上閱讀特有的情境,與學科表現沒有關連。上兩例屬於機械性導航運 表10 全體國二學生線上閱讀素養分數之描述統計

註1:甲式滿分為15分,乙式滿分為13分

註2:原始得分與量尺分數的相關係數為.96和.92

(20)

作,無需判斷問題關連的網頁範圍,惟多數與線上閱讀素養總分相關較高的 試題在題目設計上,需有較高層次的認知性導航運作。

PISA為了便於追縱各國學生的閱讀素養表現成長,及進行紙本與數位 閱讀表現的對照,歷次皆使用相同的精熟水準決斷分數。由於本研究沿用 ERA的評量架構與樣本試題特色,在施測題數、題型分配及表現量尺估計方 法上亦雷同,故亦採用相同的決斷分數。在人數比例分配方面,未達水準2 的學生有10.1%,位於水準2的學生有26.5%,位於水準3的學生有37.1%,位 於水準4的學生有21.1%,位於水準5(含以上)的學生只有5.2%,多數學生 位於水準3,參閱表11。根據試題圖(item map)將不同線上閱讀素養精熟水準 學生所能完成的試題進行分類,未達水準2的學生能擷取單一網頁的明確資 訊與整合數個指定網頁的明確資訊;水準2的學生能進一步跨數個網頁擷取 一到多個資訊、搜尋問題關連的網頁以整合資訊、評鑑網路資料來源的可 靠性;水準3的學生在擷取訊息方面,能進一步搜尋多重網頁以推論資訊的 位置;水準4的學生在統整訊息方面,能進一步理解單一網頁文本與搜尋結 果資料的意義。水準5的學生在評鑑訊息方面,能進一步評鑑線上文本內容 及網路論壇內容的可靠性。簡言之,現階段國二學生大多能擷取單一網頁的 明確資訊、跨數個網頁擷取一到多個資訊,或搜尋多重網頁以推論資訊的位 置;能整合數個指定網頁的明確資訊,或搜尋問題關連的網頁以整合數個資 訊;能評鑑網路資料來源的可靠性。同一個水準(如水準3)的PISA閱讀素 養精熟水準學生能擷取多個文本資訊、整合文本各部分資訊以確認主旨、進 行資訊的比較或對照、展現對文本的精緻理解或與日常生活知識的關連,

水準5的學生則能展現高層次的批判性閱讀能力,與線上閱讀素養有部分類 似。

若進一步對照PISA閱讀素養(紙本)與線上閱讀素養(線上)的精熟 水準表現,多數學生的紙本和線上閱讀素養表現皆位於水準3,紙本和線上 閱讀素養位於水準5的學生皆明顯較少,全體學生的線上閱讀素養表現相較 於其紙本閱讀素養表現更為集中。上述結果與PISA2009 數位閱讀評量各國 學生紙本和線上閱讀素養表現的差異組型頗為接近。由此可見,同時加強學 生的紙本和線上批判性閱讀能力實值得關注。

(21)

伍、結論與建議

一、結論

(一)線上閱讀素養評量具有良好的效度

本研究之評量結果指出,線上閱讀素養評量的難度適中,難度層次分 類與數位閱讀評量調查結果相符,並合理偏重閱讀層面。Rasch模式適合度 指標值介於合理範圍,評量分數呈現良好的輻合與區別效度,不同線上閱讀 歷程同時含有ICT搜尋成份,有別於紙本閱讀。

(二)國二學生的線上閱讀素養表現中等

全體國二學生的線上閱讀素養表現中等,不受作答時間的影響。多數 學生位於水準3,能擷取單一網頁的明確資訊、跨數個網頁擷取一到多個資 訊、搜尋多重網頁以推論資訊的位置,能整合數個指定網頁的明確資訊,或 搜尋問題關連的網頁以整合資訊,能評鑑網路資料來源的可靠性。僅有少數 學生達到水準5,其評鑑線上文本的能力有待改善。

二、建議

(一)評量題庫的擴充

本研究受限於作答時間,線上閱讀素養評量所能測量的題數有限,暫 以一節課作為推論範圍,尚未獲得較具可靠性的結果。線上閱讀素養評量單 式施測的時間為40分鐘,在搜尋複雜度不高的情況下,大部分學生皆可有效 完成12個題目。研究者利用共同試題,以Rasch單向度IRT模式與同時估計法 將甲乙兩式的答題表現建立在同一個量尺上,結果發現,在全測驗信度方 表11 全體國二學生紙本和線上閱讀素養各精熟水準的百分比對照(N=601)

(22)

面,尚未獲得較具精確性的測量結果。未來研究宜適度擴充評量題庫,並妥 善規劃題本,以充分收集資料。在搜尋複雜度不高的情況下,一節課可考慮 增加3題選擇題,一式包含15題。

(二)評量情境真實化

本研究線上閱讀素養評量情境採用虛擬的線上閱讀環境,所收集的線 上閱讀反應型態較為受限。由於學生沒有使用搜尋引擎到真實的網路情境尋 找資訊,僅在有限的文本空間閱讀,因此所測得的線上閱讀反應型態較為受 限。針對答完與未作答的學生人數進行統計發現,線上閱讀素養表現不受作 答時間的影響,因此未來研究可嘗試提高評量情境的真實性,以充分顯現線 上閱讀的複雜和挑戰性。

(三)針對導航表現計分

本研究線上閱讀素養評量系統直接記錄最終的答案,未另行記錄導航 歷程予以量化,因此無法提供導航表現與線上閱讀素養關連程度的資訊,研 究者暫依相關組型對試題進行分類,提供導航成份較重與閱讀成份較重的試 題範例。未來研究可研發線上導航歷程的記錄系統與計分規準(如部分給分 的編碼架構),一方面針對導航表現進行計分,釐清導航表現對線上閱讀素 養的影響。

(四)提高調查樣本的代表性

由於學生樣本借閱的便利性,本研究以臺南市地區願意配合線上施測 的學校和班級作為調查對象,研究結果不宜進行大樣本的推論。未來可針對 不同地區的學生進行抽樣,提高受測樣本的代表性,以利研究母群的推論。

(五)善用豐富有意義的線上閱讀資源

本研究初步以融入數位典藏資源的線上閱讀素養評量作為探討的起 步,施測現場發現,多數學生專注於作答,反應普遍良好。因此在數位閱讀 評量設計方面,可斟酌現有線上閱讀資源或典藏資源的適用性。另一方面,

根據試用的情形,如果試題沒有提供明確的ICT搜尋指示,學生容易受到搜 尋時間的影響,因此在素材設計上,宜有效掌握網頁結構配置對導航表現與 閱讀理解的可能影響。

(23)

(六)強化國中學生的線上批判性閱讀能力

本研究之結果指出,僅有少數國二學生的線上和紙本閱讀素養表現達 到水準5,由此可知,評鑑線上文本資訊的可靠性是現階段國二學生表現較 弱的一環,大部分學生習慣以自己的意見回答問題或偏重複製文本。未來的 教學宜強調資訊依據為批判性閱讀的關鍵,例如選用文本或圖表資訊以支持 自己的論點。同時,在數位閱讀教學環境中更強調資訊可靠性的評鑑,可從 網路論壇或多元化線上文本內容的評鑑著手。

參考文獻

中小學資訊能力評量機制發展與推廣計畫網站(2008)。國民高、中、小學資訊素 養發展綱要。2011年02月15日,取自:http://infoweb.moe.edu.tw/4.php

行政院文化建設委員會網站(2010)。臺灣電影筆記。2010年04月16日,取自:

http://movie.cca.gov.tw/bin/home.php

行政院新聞局網站(2010)。財團法人國家電影資料館。2010年04月16日,取自:

http://www.ctfa.org.tw/

拓展臺灣數位典藏計畫網站(2008)。拓展臺灣數位典藏計畫簡介。2010年05月30 日,取自:http://content.ndap.org.tw/index/?cat=6

數位典藏與數位學習國家型科技計畫網站(2008)。數位典藏與數位學習國家型 科技計畫簡介。2010年05月30日,取自:http://www.teldap.tw/Introduction/

introduction.php

臺灣PISA國家研究中心(2007a)。PISA 2006 樣本試題:閱讀。臺南市:國立臺 南大學。

薛寶嫦(2010)。利用項目功能差異檢視澳門電子閱讀素養表現的優勢和弱勢。課 程與教學季刊,13(2),215-236。

Brown, G. T. L. (2003). Searching informational texts: Text and task characteristics that affect performance. Reading Online, 7(2). Retrieved June 17, 2010, from

http://www.readingonline.org/articles/art_index.asp?HREF=brown/index.html

Bryant, I. (2010). Digital reading environments as a teaching tool in the secondary classroom.

Retrieved June 17, 2010, from http://hdl.handle.net/1803/4251

Coiro, J. (2007). Exploring changes to reading comprehension on the Internet: Paradoxes and possibilities for diverse adolescent readers. Unpublished dissertation: University of Connecticut, Storrs, CT.

(24)

Coiro, J., & Dobler, E. (2007). Exploring the online reading comprehension strategies used by sixth-grade skilled readers to search for and locate information on the Internet. Reading Research Quarterly, 42(2), 214-257.

Coiro, J. et al. (2007). The Handbook of Research in New Literacies. Mahwah, NJ: Lawrence Erlbaum Associates.

Huang, H.C., Chern, C. L., & Lin, C. C. (2009). EFL learners´ use of online reading strategies and comprehension of texts: An exploratory study. Computers & Education, 52, 13-26.

International Reading Association (IRA) (2002). Integrating Literacy and Technology in the Curriculum: A Position Statement. Newark, Delaware.

Lennon, M., Kirsch, I., Von Davier, M., Wagner, M., & Yamamoto, K. (2003). Feasibility Study for the PISA ICT Literacy Assessment. Princeton, NJ: Educational Testing Services.

Leu, D. J. (2007). Expanding the reading literacy framework of PISA 2009 to include online reading comprehension. A working paper commissioned by the PISA 2009 Reading Expert Group. Princeton, NJ: Educational Testing Services.

Leu, D. J. et al. (2008a). Research on instruction and assessment in the new literacies of online reading comprehension. In C. C. Block, S. Paris, & P. Afflerbach. (Eds.), Comprehension Instruction: Research-based Best Practices (pp. 61-79). New York, NY: Guilford Press.

Leu, D. J. et al. (2004). Toward a theory of new literacies emerging from the Internet and other information and communication tecnologies. In R. B. Ruddell & N. Unrau (Eds.), Theoretical Models and Processes of Reading (pp. 1568-1611). Newark, DE: International Reading Association.

Leu, D. J. et al. (2009). The new literacies of online reading comprehension and the No Child Left Behind: Students who require our assistance the most, actually receive it the least. In Morrow, L. M., Rueda, R., & Lapp, D. (Eds.), Handbook of Research on Literacy Instruction: Issues of Diversity, Policy, and Equity. New York, NY: Guilford Press.

Leu, D. J. et al. (2008b). What is new about the new literacies of online reading comprehension?

In L. S. Rush, A. J. Eakle, & A. Berger. (Eds.), Secondary School Literacy: What Research Reveals for Classroom Practice (pp.61-79). National Council of Teachers of English.

Mendelovits, J., Lumley, T., & Searle, D. (2009, September). Assessing reading literacy in the digital age. Paper presented at The PISA Research Conference 2009, Kiel, Germany.

OECD (2007a). PISA 2006 Released Item. Paris, France: Author.

OECD (2007b). Reading Literacy: A Framework for PISA 2009. Paris, France: Author.

OECD (2009). PISA Data Analysis Manual: SPSS Second Edition. Paris, France: Author.

OECD (2010a). PISA 2009 Assessment Framework: Key Competencies in Reading, Mathematics and Science. Paris, France: Author.

OECD (2010b). PISA 2009 Results: What Students Know and Can Do - Student Performance in Reading, Mathematics and Science (Volume I). Paris, France: Author.

(25)

OECD (2011). PISA 2009 Results: Students on Line: Reading and Using Digital Information, Explores Students’ Use of Information Technologies to Learn (Volume VI). Paris, France:

Author.

Schulz, W. (2005, April). Testing parameter invariance for questionnaire indices using confirmatory factor analysis and item response theory. Paper presented at the annual meeting of the American Educational Research Association (AERA), San Francisco, CA.

Sit, P. S., & Cheung, K. C. (2009, September). An examination of the design and implementation logistics of electronic reading assessment in PISA 2009 study: The Macao experiences. Paper presented at The PISA Research Conference, Kiel, Germany.

Wang, W. C. (2010). Recent Developments in RASCH Measurement. Hong Kong: The Hong Kong Institute of Education.

Wu, M. L. et al. (2007). ACER ConQuest Version 2.0 Manual. Australian: Australian Council for Educational Research.

(26)

附錄 線上閱讀素養評量樣本試題

圖1 閱讀成份較重的試題舉例(時光隧道單元問題二:網頁瀏覽區)

(27)

圖2 閱讀成份較重的試題舉例(時光隧道單元問題二:問題作答區)

(28)

圖3 導航成份較重的試題舉例(電影欣賞單元問題三:問題作答區)

(29)

圖4 閱讀成份較重的試題舉例(時光隧道單元問題九:網頁瀏覽區)

(30)

圖5 閱讀成份較重的試題舉例(時光隧道單元問題九:問題作答區)

(31)

圖6 省思與評鑑試題的評分規範(含學生表現樣本)

(32)

數據

表 3 國中學生線上閱讀素養評量架構
表 8 線上閱讀素養與PISA閱讀素養及在校各科成績的逐題相關(N=601)

參考文獻

相關文件

The aim of this theme is to study the factors affecting industrial location using iron and steel industry and information technology industry as examples. Iron and steel industry

In the context of public assessment, SBA refers to assessments administered in schools and marked by the student’s own teachers. The primary rationale for SBA in ICT is to enhance

People need high level critical thinking skill to receive and deconstruct media messages and information from different sources.

• develop students’ metacognitive skills (e.g. knowledge management skills), which are essential for future studies or work and lifelong learning, by allowing them to take charge

Centre for Learning Sciences and Technologies (CLST) The Chinese University of Hong Kong..

In the context of public assessment, SBA refers to assessments administered in schools and marked by the student’s own teachers. The primary rationale for SBA in ICT is to enhance

Using Storytelling to Develop Students’ Literacy Skills and Positive Values is a resource package produced by the English Language Education Section, Curriculum Development

Developing a signal logic to protect pedestrian who is crossing an intersection is the first purpose of this study.. In addition, to improve the reliability and reduce delay of