網路化檔案評量於國中電腦課程之使用及成效

全文

(1)

網路化檔案評量於國中電腦課程之使用及

成效

張基成

國立台灣師大工業科技教育學系

彭星瑞

國立桃園高級農工職業學校

摘 要

本研究目的為探討網路化檔案評量系統的使用對學習成效(包括評量成 績與自我覺知學習成效)之影響。實驗對像為國中二年級學生修習「電腦」 課程的兩班學生,每班三十名分別做為實驗組與對照組。實驗組使用網路化 檔案評量系統,對照組則未使用,實施時間為期十週。結果顯示:ㄧ、系統 的使用對評量成績沒有顯著影響。二、系統的使用對學生的自我覺知學習成 效有顯著影響,達顯著的細項效果由高至低依序為:反思、自我評估、設定 學習目標、持續修正、蒐集與整理資料、同儕互動、發現並解決問題,最低 為作品成效。三、系統的使用對於高、低學習動機學生評量成績皆沒有顯著 提升作用,但對於低學習動機學生的整體自我覺知學習成效較能發揮顯著效 用。 關鍵字:自我覺知學習成效、網路化檔案評量、學習歷程檔案、檔案評量

壹、研究背景與動機

由於電腦與網際網路的普及、資料存取的方便等因素,許多學校已將網路化學習檔案 (Web Portfolio)融入教學與評量中(Batson, 2002; Lorenzo & Ittelson, 2005; Singh & Ritzhaupt, 2006),做為教學革新的工具。數位科技的進步不但提高學習檔案內資料儲存與呈現的方便 性,也增加網路化學習檔案的未來發展(McLoughlin & Luca, 2006)。歐洲國家與美國這幾年 在網路化學習檔案上有很大的進展,很多學校或課程都要求學生製作網路化學習檔案,其使 用可說是已經很普遍。譬如,美國高等教育學會網站內(http://www.aahe.org/)就列出許多大 學 的 網 路 化 學 習 檔 案 案 例 , 歐 洲 國 家 成 立 數 位 化 學 習 檔 案 聯 盟 (ePortfolio Consortium) (http://www.eportconsortium.org/)推動數位化學習檔案的研究與發展。網路化學習檔案透過

(2)

反思、目標設定、自我評估等來檢視學習者於一段時期的成長與發展(Barrett, 2000)。Bonk 與

Zhang(2006)提出的 R2D2 線上學習模式—閱讀(read)、反思(reflection)、呈現(display)、

進行(do),其中的反思是透過網路化學習檔案來撰寫與自我評估。

網路化學習檔案最主要的功能之一是作為學生學習的線上評量工具(Barker, 2006; ePortfolio Consortium, 2003)。Luca 與 McMahon(2006)將網路化學習檔案做為線上學習的 自我監督與評量工具。Forkosh-Baruch、Mioduser 與 Nachmias(2006)在討論到科技應用於

課程與教學革新時提到,網路化的專題作品製作與學習檔案是很好的評量方法。澳洲Abilene

Christian 大學學生在進行專題作品製作時,將撰寫的作品反思資料放置於網路化學習檔案內 (Dennis, Hardy, & White, 2006)。Onishi、Tominaga、Hayashi 與 Yamasaki(2006)進行樂高 (LEGO)機器人操控程式設計的教學時,要求學生製作網路化學習檔案,做為作業蒐集、 過程檢視、評分、回饋、反思、文件管理的工具。Wang、Peng 與 Lu(2006)的研究使用檔 案評量方法針對高中學生進行跨文化學習與溝通能力的評估,以彌補問卷調查的不足。評量 過程中,該研究提供檔案評量指引、評量規準來幫助評量的進行。透過學習檔案,可以讓學 習者展示他們的作品、成果、反思記錄,方便研究者蒐集質化資料,進行真實性的評量。但 此研究未探討檔案評量的使用對學習者產生的效益。 Chang(2001b)的研究顯示網路化學習檔案系統能產生許多功效,譬如有助於掌控學習 過程、有助於反思優缺點、增進成長與進步、對學習有助益。但這些功效比較偏重於產生的 作用,而非具體明確的效果。一些研究顯示檔案評量能提升學生的學習成效(陳得利,2002;

鄒慧英,2000;Barrett, 2000; Dennis et al., 2006),但對於哪些細項的成效有所提升,則未詳

述。有一些研究雖提到細項成效的提升(梁宗賀,2000;陳凱貞,2004;鄭雅文,2002;Chang,

2001b; Singh & Ritzhaupt, 2006),但並不完整。因此對於哪些細項成效的提升作用較顯著, 引起研究者的興趣。 本研究欲探討網路化檔案評量的使用對學生學習成效是否有影響,因此以網路化檔案評 量系統做為評量輔助工具,透過實際的教學實驗,以統計方法檢驗網路化檔案評量系統使用 與未使用的學生在學習成效上的差異,結果可做為有興趣進行網路化檔案評量的教學者或後 續研究者之參考。

貳、研究目的與問題

本研究目的為透過教學實驗,探討網路化檔案評量系統的使用對學習成效(包括評量成 績與自我覺知學習成效)之影響,研究問題如下: 一、在排除掉學習動機因素之後,使用網路化檔案評量系統(實驗組)與沒使用(對照組) 的兩組在評量成績(作品、測驗成績)上是否有顯著差異?

(3)

二、在排除掉學習動機因素之後,兩組在自我覺知學習成效上是否有顯著差異?

三、對高、低學習動機學生而言,兩組的評量成績(作品與測驗成績平均)是否有顯著差異? 兩組的自我覺知學習成效是否有顯著差異?網路化檔案評量系統較適合那一類學習動機 學生?(註:自我覺知學習成效〔self-perceived learning effect〕為學生自己主觀認為的 學習效果,有別於教師的實際評量成績)

參、文獻探討

一、網路化檔案評量的定義

學習歷程檔案(Learning Portfolio,簡稱學習檔案)是指有目的地搜集學生的作品,而這 些作品可呈現學生個人在認知、技能、情意上的努力、進步與成就;除了作品之外,整個檔 案的資料蒐集與製作尚可包括自我反省的證據、內容的選擇、評量標準的選取等項目。學習 檔案可使用在很多地方,較常用作學生學習的評量工具(Barker, 2006; ePortfolio Consortium,

2003),稱為學習歷程檔案評量(Learning Portfolio Assessment,簡稱檔案評量)。鄒慧英(2000)

指出,檔案評量是教師依據教學目標與計畫,請學習者持續一段時間主動收集、組織與省思 學習成果的學習檔案,以評量其努力、進步、成長的情形。李坤崇(2001)也指出,學習檔 案評量旨在突破以班級為單位,改以學習者個人為中心,且由學習者設計與製作個人學習檔 案,以特定主題收集資料,展現學習者個人的學習歷程與成果,以作為教師評量其學習過程 與成就的依據。 全球資訊網已變成廿一世紀知識的來源,在這種虛擬環境下如何使用、管理、經營、與 他人合作,或在網際網路上獲得可用的知識技巧皆是十分容易。它在學習上的應用則可以幫 助自我學習、自我評量或同儕評量,以達到提昇學習的成效。數位化學習檔案(e-Portfolio) 為真實性與多元化證據的蒐集與儲存,可以代表個人於一段時間內對於學習過程與結果的展 示與反思,最常使用的媒體為網際網路(Barker, 2006)。網路科技已使傳統紙張式的學習歷 程檔案的限制大大減少,使數位化學習檔案的功能大為擴展,譬如:儲存空間增加、存取方

便、多媒體呈現、互動增加等(ePortfolio Consortium, 2003)。網路化學習檔案(Web Portfolio)

即是透過全球資訊網來進行學習檔案內容的呈現、輔助製作、儲存與管理(張基成,2001)。 Dennis 等(2006)認為,網路化學習檔案就好像一個豐富的線上博物館,除了可讓學生儲存 與展示學習成果,也方便教師查看學生的成果並提供線上回饋,提升教師教學與學生學習的 品質。網路化學習檔案作為評量工具即是網路化檔案評量,將檔案評量系統建置在網路平台 上就是一種最佳的「技術與成就的整合」(Bergman, 2000)。

(4)

二、網路化檔案評量的特色

網路化學習檔案的重點不在於檔案的製作與多媒體的呈現,而是在於專業成長(或學習成 果)證據的蒐集、持續的反思與改善(McLoughlin & Luca, 2006)。檔案內的資料證據應該能 反應出學習成就,才能顯示出它的評量意義。吳毓瑩(2005)提到檔案評量的特色有:強調 長時期的學習歷程;多元方式評量;鼓勵學生自評與自我反思;教師與學生共同參與;檔案 的讀者參與評析並相互對話;與教師教學、學生學習相結合。余民寧(2006)提到檔案評量 的特色有:適應個別化教學目標;強調作品評量;確認學生的優點而非缺點;允許學生主動 參與;鼓勵學生與他人溝通分享成就;是耗時費力的工作;評量信度較低。郭生玉(2004) 提到類似特色有:適應個別差異的需要;對學習結果的評量較過程的評量容易達成;強調評 量的優點而非缺點;允許學生的參與;評量工作須花費較多時間;評量結果的推論性較低。 McAlpine(2000)提出歷程檔案評量的特色有:真實呈現學生的學習成就;增強學習動機; 學生高度的自主權與選擇權,也就是可選擇檔案的內容與呈現方式、自我評量學習成效、以 及訂定學習目標等;鼓勵學生發展高層次的自我評量與決策;可真實、重複檢視學生的學習 過程;與學習相互連結配合;學習的反思與評量。自從一九九○年代美國Vermont 州政府於 中小學大力推動檔案評量試探計畫之後,學生的自評與反思已成為檔案評量的特色(吳毓瑩, 2005;Korets, Stecher, Klein, & McCaffrey, 1994)。

藉助全球資訊網科技,網路化檔案評量則尚有幾項的特色(張基成、童宜慧,2000):(一) 可有效地突破傳統檔案建立時的時空限制,使資料建立或維護更具即時性。(二)有助於記錄、 整理、搜尋與分析學習歷程檔案的資料,也可提供學習者與教師共享及瀏覽他人檔案的功能, 並增加互動與觀摩學習的機會。莊雅婷(2001)提到的特色有,減少運作時間、減少所需資 源、保留紀錄、提高便利性、以及評量結果更易於產生與呈現。

三、使用網路化學習歷程檔案評量系統之成效

學習檔案的製作牽涉到資料或作品的蒐集、選擇、檢視、反思、評估等的行為。澳洲 Abilene Christian 大學讓學生使用網路化學習檔案來蒐集成長、反思、評量等的資料,以強化學生的學 習成效(Dennis et al., 2006)。因此資料蒐集、選擇、反思撰寫、自評與同儕互評可以做為實施 檔案評量的成效指標。網路化學習檔案對學生具 3R 作用,亦即呈現(representation)、反思

(reflection)、修正(revision)(Acker, 2002; Lorenzo & Ittelson, 2005; Singh & Ritzhaupt, 2006)。 “呈現”強調學生長期學習成果與過程的網路化證據呈現;“反思”強調自我反省、教師與同儕 的回饋;“修正”強調根據自我反省、教師與同儕的回饋,持續改善學習成果與過程。這三項 作用可以做為實施檔案評量的成效指標。

網路化學習檔案的發展過程中,應具有提升學習成就與能力、自我評估、設定成就目標、 引導長期專業發展的作用(Barrett, 2000)。網路化學習檔案內的資料證據應該能反應個人成

(5)

就(McLoughlin & Luca, 2006),以方便檢視成就是否達成。Dennis 等(2006)認為,學習檔 案除了應呈現專業發展與個人能力的證據,也應具有促進專業發展與提升個人能力的作用。 Emden、Hutt 與 Bruce(2003)認為,學習檔案應強調自我發展上的改善或自我成長的精進, 而非只是展示個人能力的證據而已。Singh 與 Ritzhaupt(2006)提到,網路化學習檔案具有 許多功效,其中與學習效果有關的包括:提升資訊科技能力;獲致教師與同儕的回饋;促使 反思;展示知識技能;增進寫作能力;促使自我檢視學習過程;改善學習成果等。在檔案發 展過程中,可以促進學生主動規劃、對自己的目標與成就負責、成果分享、資訊科技能力 (e-Portfolio Consortium, 2003)。綜上所述,自我評估、設定目標、資料蒐集、改善、回饋、 反思、寫作、檢視等的表現可以做為檔案評量成效的指標。 檔案評量可培養學生自我學習、自我成長、自我改進、自我評鑑的能力、及對學習的責 任感(歐滄和,2004)。李坤崇(1999)認為檔案評量可產生以下效用:激發學習興趣,培養 自我負責的價值觀,培養主動積極的學習精神,兼顧認知、情意、技能完整的學習評量,兼 顧歷程與結果,增進自我反思能力,增進同儕溝通,增進師生關係,多元呈現,激發創意, 表達與組織的能力,獲得真實的評量成果。Chang(2001b)的研究發現,網路化學習檔案的 使用對學生能產生許多功效,包括:可幫助規劃努力方向、有助於掌控學習過程、提升作品 品質、有助於反思優缺點、提昇學習動機、增進同儕間互動與交流、增進成長與進步、對學 習過程與結果有助益。林佳芬(2000)針對國小自然科實施歷程檔案評量,提出五項展現能 力改變的評分項目:知識建構、資料蒐集、省思評析、美感與創造力、學習態度與表現能力。 歐滄和(2004)提到檔案評量的規準包括:達成學習目標的程度、展現個人特色的程度、與 他人合作程度、運用資源能力四面向。由上述文獻可知,檔案評量的效益實在很廣,自我評 估、自我改善、學習動機、責任感、作品品質、反思、組織、創意、資料蒐集、合作、資源 運用、……等都可做為檔案評量成效的指標,但須進一步分類,以免過於雜亂。其中,自我 評量能力的提升被認為是檔案評量最重要的效益,因此檔案評量是要培養學生自我評量與成 長的能力,而非僅用來評量學生而已(郭生玉,2004;Popham, 2002)。 梁宗賀(2000)在網路卷宗評量系統對國小學生電腦科學習影響之研究中發現,網路卷 宗評量有助於培養個人的能力,尤其是電腦及網路應用的能力。鄭雅文(2002)在網路化反 省思考學習歷程檔案設計與應用的研究中提到,採用學習日誌、自評與同儕互評活動的實驗 組,其反省思考程度比未採用的對照組來得高,其學業成績表現亦較佳。陳凱貞(2004)在 電子化檔案評量於國小英語課堂實施情形及影響之研究中發現,實施電子化檔案評量有助於 引發學生主動學習,訂定學習目標,以及增進學生英語聽、說能力。孫瀅琇(2003)的研究 發現,網路學習歷程檔案評量機制中,依據強勢智慧分派任務較隨機選樣分派任務之學習者 能產生自主學習、自我反省,資訊能力提升、解決問題能力提升、回饋改進現象、表達和溝 通能力提升、互動學習與分享觀摩增加的結果。由上述文獻可知,資訊能力、主動學習、訂

(6)

定學習目標、自我反省、解決問題、回饋改進、表達和溝通、互動與觀摩等可做為檔案評量 成效的指標。 本研究綜合上述檔案評量所產生之效用,整理出使用網路化檔案評量系統後的九項成效 指標:設定學習目標、作品、反思、自我評估、同儕互評、同儕互動、蒐集與整理資訊、持 續修正、發現並解決問題,作為學習成效評估問卷的主要面向。

肆、研究方法

一、受試者

受試者為某國中二年級學生修習「電腦」課程的兩班學生,每班三十名分別做為實驗組 與對照組。實驗組使用網路化檔案評量系統,對照組則未使用。實施時間為期十週,每週兩 小時,每週教學進度相同。兩組的教學內容均為「PhotoImpact 動畫製作」與「Dreamweaver 時 間軸控制網頁製作」兩個單元,其作品為實驗組學習者學習歷程檔案內主要蒐集的項目之一。 電腦課程的特性為作品產出,適合以網路化學習歷程檔案蒐集作品,實施網路化檔案評量。 Holmes、Burton 與 Heaton(2006)在師資培育的課程中,就要求學生製作個人網頁、Powerpoint 電腦簡報等,並把上述作品放入網路化學習檔案中,顯示電腦作品適合以網路化學習檔案來 呈現與管理。

二、研究架構

本研究採準實驗研究設計(quasi-experimental research design)之前測 – 後測不等組設 計(the pretest-posttest nonequivalent-group design)(王文科,2001),如表 1 所示。實驗組與 對照組在實驗處理之前均給予先備條件前測,實驗處理之後進行依變項後測。 表1 前測─後測不等組之準實驗研究設計 組別 人數 前測 實驗處理 後測 實驗組 30 上學期學業成績 上學期電腦課成績 學習動機 使用網路化檔案評量系統 自我覺知學習成效 評量成績(作品成績、測驗 成績) 對照組 30 同實驗組 未使用系統 同實驗組 本研究於實驗前對兩組學生進行學習動機的問卷調查,並蒐集學生上學期學業成績、電 腦課平均成績(以上三項為先備條件前測)。在排除先備條件下,進行以下統計考驗: (一)以多變量共變數分析(MANCOVA)檢測兩組的評量成績(作品成績、測驗成績)之

(7)

差異。若有顯著差異,表示網路化檔案評量系統對評量成績有顯著影響。 (二)以單變量共變數分析(ANCOVA)檢測兩組的各項自我覺知學習成效之差異。若有顯 著差異,表示網路化檔案評量系統對自我覺知學習成效有顯著影響。 (三)以單變量變異數分析(ANOVA)檢測高學習動機兩組學生的評量成績之差異,及檢測 兩組的各項自我覺知學習成效之差異。若有顯著差異,表示網路化檔案評量系統對高 學習動機學生的評量成績、自我覺知學習成效的提升功效大於傳統評量的。同理,以 單變量變異數分析(ANOVA)檢測低學習動機兩組學生的評量成績之差異,及檢測兩 組的各項自我覺知學習成效之差異。若有顯著差異,表示網路化檔案評量系統對低學 習動機學生的評量成績、自我覺知學習成效的提升功效大於傳統評量的。根據上述結 果,可再進一步判斷網路化檔案評量系統較適合那一類學習動機學生。 學習效果包括評量成績與自我覺知學習效果,評量成績由作品與測驗成績構成。研究變 項說明如下,研究變項間的相關情形如圖1 所示。 (一)學習動機:為學生自己主觀覺知的學習動機,分為高、低選項,為二分類別變項。 (二)評量成績:包含各單元作品成績與實驗結束後的隨堂測驗成績,表徵技能、知識的評 測。 (三)自我覺知學習成效:為學生自己主觀認為的學習效果,有別於教師的實際評量成績。 主要為後設認知的能力與表現,包括設定學習目標、作品、反思、自我評估、同儕互 評、同儕互動、蒐集與整理資訊、持續修正、發現並解決問題九個面向。每個面向皆 由五個量測題目構成,共四十五個題項。 各項效果的操作型定義如下: (一)學習目標設定:學習者設定自己的學習目標的能力與產生的效用,問題包括:會試著 設定自己的學習目標;知道如何設定;會依循設定的目標去努力;學習成果常會達到 設定的目標;設定目標對學習或作品的改善有幫助。 (二)作品:學習者製作作品的能力與作品的品質。 (三)自我反思:學習者自我反思的能力與產生的效用,問題包括:會試著對自我進行反思; 知道如何對作品進行反省;會依循自己反思的結果去努力;自我反思對學習或作品的 改善有幫助。 (四)自我評量:學習者自我評量的能力與產生的效用,問題包括:會試著對作品做自評; 知道如何對作品做自評;會依循自評的結果去改進;自評行為學習或作品的改善有幫 助。 (五)同儕互評:學習者互評的能力與產生的效用,問題包括:會試著評論同儕作品的好壞; 知道如何評論與分辨同儕作品的好壞;會依循同儕給自己的意見與建議去努力;互評 的行為對學習或作品的改善有幫助。

(8)

(六)同儕互動:學習者與同儕討論溝通的能力與產生的效用,問題包括:會試著和同學針 對作品進行討論和溝通;知道如何和同學針對作品進行討論和溝通;會依循和同學討 論溝通時所給的意見去努力;和同學討論溝通的行為對學習或作品的改善有幫助。 (七)蒐集與整理資訊:學習者蒐集與整理資訊的能力與產生的效用,問題包括:會試著蒐 集和整理與作品相關的資料;知道如何蒐集和整理相關的資料;會根據蒐集和整理的 資料去努力完成作品;蒐集和整理資料的行為對學習或作品的改善有幫助。 (八)持續改善:學習者持續改善作品的能力與產生的效用,問題包括:會試著持續改善作 品;知道如何持續改善作品;會依循作品修正的方向持續努力;持續修正作品的行為 對學習或作品的改善有幫助。 (九)發現並解決問題:學習者發現並解決問題的能力與產生的效用,問題包括:會試著主 動去發現並解決問題;知道如何主動去發現並解決問題;會依循問題解決後的結果去 努力;發現並解決問題的行為對學習或作品的改善有幫助。 自變項 依變項 MANCOVA ANCOVA ANOVA 控制變項 圖1 研究架構之變項間關係 評量方法 自我覺知學習成效 評量成績 網路化檔案評量 非網路化檔案評量 設定學習目標 作品 反思 自我評估 同儕互評 同儕互動 蒐集與整理資訊 持續修正 發現並解決問題 作品成績 測驗成績

先備條件

上學期學業成績 上學期電腦課成績 學習動機

(9)

四、實驗內在效度

經由以下對兩組學生先備條件、研究工具的掌控,提高本實驗研究之內在效度。

(一)兩組先備條件的掌握

除了學習動機之外,兩組學生先備條件(上學期的學業平均成績、電腦課平均成績)均 相當接近,且使用共變數分析,實驗結果的信、效度增加。

(二)系統環境的掌控

實驗組係使用自行開發的網路化檔案評量系統,此系統功能完整、操作方便,適合學生 在網路環境中發展個人的學習檔案,同時亦可線上瀏覽、評量同儕的學習檔案。此系統已在 吳明芳(2006)的實證研究中使用過,學生反應良好,顯示此系統具有信、效度,足以作為 教學實驗的工具。

(三)量表與測驗卷的信效度

學生的作品成績是以授課教師與線上助教共同評分的平均數做為最後的成績,可降低僅 一人評分的信度問題,增加交互評分者信度(interscorer reliability)(王文科,2001)。兩者評 分結果具高度相關(r = 0.91,p < 0.01),顯示兩者評分的一致性高。自我覺知學習成效與作 品評量表的信、效度高。測驗卷的內容效度、內部一致之信度、鑑別度均佳,試題的難度適 中(數據詳見量表與信效度小節)。

五、實驗外在效度

透過實驗過程中對課程內容、進度、匿名評量方式等的掌控,提高本實驗研究之外在效 度。

(一)課程內容的掌握

研究者與授課教師共同研究與選取適合兩組實驗教學的單元(電腦動畫與時間軸控制), 並依課程大綱設計適合使用網路化檔案評量系統的教學內容與活動。

(二)課程進度的掌控

教學實驗的每個階段均按照既定的時間與課程內容實施。實驗進行前針對實驗組學習者 進行網路學習檔案內各項目製作的教導,實驗過程中亦藉由線上討論區、同儕互評提高學生

(10)

對課程進行的參與程度。

(三)評量方式的掌控

進行作品評量前,授課教師均對作品評量的題項、標準、計分方式等進行說明。實驗組 學生則進行作品自評,並對同儕進行匿名互評(即檔案評量)。由於對照組並未實施學習者自 評與同儕互評,為考量兩組作品成績計算的公平性,進行統計分析時作品成績排除掉自評與 同儕互評分數。兩組作品成績皆以教師與助教評分之平均數為最後成績。

(四)統計控制

為了減低其它變項的干擾,及降低兩組先備條件的差異,以減少實驗結果的誤差,將兩 組有較大差異的學習動機排除後,才進行兩組學習成效差異的比較(即共變數分析)。

六、實驗的實施

(一)實驗進行步驟

1. 準備階段(第一週):實驗組先由授課教師於課堂上對學生講解學習歷程檔案的概念、評量 方式以及撰寫反思的技巧。此外,教師亦作課程說明,示範系統操作,並讓學生試用系統。 控制組由授課教師於課堂上說明新單元的內容,並無特別的活動。兩組均進行先備條件的 前測。 2. 第一單元實施(第二至第五週):實驗組學生對系統有初步瞭解後,授課教師即進行第一單 元的教學,學生則利用課餘時間在網路化檔案評量系統內進行各項活動,如設定學習作目 標、繳交作品、撰寫反思等,並進行線上討論、檔案觀摩、自我評量、同儕互評、回饋等。 為提升學生參與這些活動的動機,這些活動(目標、反思、自評、互評、線上討論等)的 表現亦列入課程成績(但進行統計分析時、作品成績排除掉自評與互評成績,因控制組無 自評與互評)。控制組則在課堂上進行一般性傳統教學,無檔案評量活動。作品非線上繳交, 且只有教師與助教評分,無自我評量、同儕互評。 3. 第二單元實施(第六至第九週):進行不同單元的教學,並重覆第二階段之各項活動內容。 4. 學習成效評量(第十週):授課教師對兩組學生進行測驗、自我覺知學習成效的後測。

(二)匿名檔案評量之過程

1.評量實施前之觀摩 進入「檔案評量區」內教師可檢視學生的檔案內容,學習者可檢視自己的檔案內容或觀 摩同儕的檔案內容。此時檔案尚未匿名,可知道是那一位學生或同儕的檔案。檔案內容有基

(11)

本資料、學習目標、反思內容、單元作品(如圖2)、其它內容項目、教師回饋記錄、同儕回 饋記錄、線上參與記錄。 圖2 檔案評量區內之單元作品 2.匿名評量之實施 作品繳交截止日後數日(系統內定),檔案評量區內的學習者姓名會自動改以編號方式呈 現(如圖3),以便進行匿名同儕互評。學習者本人的編號旁會出現「自評」字樣(如圖 3), 點選自己或同儕的編號可進入檔案內進行自評或互評。原先八個檔案內容選項中會多一個評 分選項的按鈕,這些選項點選進入之後的畫面如圖4 所示。其中的基本資料選項會自動被鎖 定而無法點選,以防學習者被認出,其餘選項皆與評量實施前之情況相同。點選評分選項則 會出現檔案評量表視窗(如圖5),教師、學習者及同儕可評分並撰寫評語,每人可評五個同 儕(由教師設定)。 3.評量實施後 評量分數與評語分別在教師回饋與同儕回饋(如圖10)選項內呈現,可供評分者檢視與 修改,或供同儕觀摩。 可瀏覽被評學習者的各項 作品與心得

(12)

圖3 檔案評量區內之學習者編號名單(匿名評量時) 圖4 檔案評量區內之反思內容(匿名評量時) 匿名評量時學習者姓名自動改以編號方式排序呈 現且本人編號旁出現自評字樣 可瀏覽被評學習者所撰 寫的反思內容

(13)

圖5 檔案評量表(為彈出視窗,故左邊按鈕看不到)

七、資料蒐集工具與信效度

(一)自我覺知學習成效評估問卷

透過文獻整理,針對自我覺知學習成效擬定出問卷初稿,經過學者專家、授課教師共同 修定數次之後,方成定稿,故具一定之專家內容效度。修正的地方譬如有,每一題項測量的 效果意涵僅含一種,刪除或合併雙重意涵者;將雙重否定的句子改為肯定句;將題意改為更 具體明確;刪除與效果無直接關係或無法完整表達效果的題項;增加遺漏的效果等等。問卷 內容包括蒐集與整理資訊、持續修正、發現並解決問題、設定學習目標、作品、反思、自我 評估、同儕互評、同儕互動九面向。 兩組後測問卷之各面向Cronbach α 值,詳見表 2。實驗組後測問卷 Cronbach α 值為 0.977, 對照組後測問卷Cronbach α 值為 0.8657,皆為高信度,顯示問卷內各題項之間具有高度的內 部一致性。

(二)作品評量表

作品評量採用網路化檔案評量系統內檔案評量表(吳明芳,2006)之作品評量次表,用 以評量兩組學生的單元作品成績。作品評量表的評量項目包括:作品正確性、作品恰當性、

(14)

作品豐富性、完整性、作品難度、作品創意與創新、對學習內容的理解、作品產生的歷程、 整體評價八個項目。每項以十分為滿分,總分為八十分。 表2 自我覺知學習成效問卷的 Cronbach α 值 學習成效 Cronbach α 值 設定學習目標 0.7788 作品 0.8065 反思 0.7938 自我評估 0.7847 同儕互評 0.7587 同儕互動 0.8476 蒐集與整理資訊 0.7911 持續修正 0.7912 發現並解決問題 0.7838 整體成效 0.8526 吳明芳(2006)的作品評量表施測結果 Cronbach α 值為 0.9228,信度高。經過因素分析 後的解釋累積變異量為 66.71%,具足夠之效度。此作品評量表於本研究兩個單元施測的 Cronbach α 值分別為 0.9686、0.9856(實驗組與控制組合計),兩次皆為高信度,顯示各題項 之間具有高度的內部一致性。此研究兩個單元施測量表(實驗組與控制組合計)的 KMO (Kaiser-Meyer-Olkin 的取樣適當性量數)值皆大於 0.5,可進行因素分析並利用其主成份分 析法(Principal Factor Analysis, PFA)建構效度。以斜交轉軸(oblique rotation)進行,以容

許因素之間具相關性,得出共同解釋累積變異量分別為68.73 %與 70.26 %,具足夠之效度。

伍、研究結果與討論

一、學習者先備條件比較

實驗組與對照組上學期學業成績、電腦課成績都沒有顯著差異,顯示兩組先備知識與技 能接近。在學習動機上,兩組有顯著差異(t = 2.89, p = 0.007),為減少對實驗結果的干擾, 視學習動機為控制變項予於排除。

二、檔案評量系統對評量成績(作品、測驗成績)之影響(研究問題一)

如表3,Box’M 值未達顯著水準,表示至少在一個依變項上(作品或測驗成績),兩組符 合變異數同質性的假設。進一步查看Levene 同質性檢定結果,在兩個依變項上皆未達顯著水

(15)

準,顯示對作品、測驗成績而言,兩組變異數皆具同質性,亦即兩組學生的作品、測驗成績 的變異情況皆相同。同理,Wilk’s Λ 值未達顯著水準,表示至少在一個依變項上(作品或測 驗成績),兩組符合迴歸斜率同質性的假設。進一步查看迴歸斜率同質性檢定結果,在兩個依 變項上皆未達顯著水準,顯示對作品、測驗成績而言,兩組迴歸斜率皆具同質性,亦即兩組 學生受學習動機(共變數)影響的程度是相同的。以上兩項條件皆成立,因此可以進行多變 量共變數分析(MANCOVA)與單變量共變數分析(ANCOVA)。 表3 兩組之評量成績(作品、測驗成績)變異數同質性檢定 Levene 同質性檢定 迴歸斜率同質 性檢定 實驗組 對照組 成績 Box’s M (顯著值) F 值 顯著值 Wilk’s Λ (顯著值) F 值 顯著值 平均數 標準差 平均數 標準差 作品成績 2.91 0.093 0.378 0.541 75.01 7.93 79.30 5.10 測驗成績 6.008 (0.123) 0.058 0.810 0.939 (0.176) 1.502 0.225 57.33 17.94 57.17 17.84 評量成績(作品 與測驗成績平均) 0.662 0.419 0.663 0.419 66.17 11.77 68.23 10.16 如表4,Wilk’s Λ 值未達顯著水準,表示在所有依變項上(作品、測驗成績),兩組不會 有顯著差異。進一步查看表3,雖然實驗組的作品成績低於對照組,但排除學習動機後(表 4), 兩組的作品成績並沒有顯著差異。實驗組的測驗成績略高於對照組,在排除學習動機後,兩 組的測驗成績仍沒有顯著差異。實驗組的評量成績(作品與測驗成績平均)雖低於對照組, 在排除學習動機後(表 5),兩組的評量成績沒有顯著差異,顯示網路檔案評量系統的使用 對評量成績沒有顯著影響。進一步的推論兩組無差異的原因,有可能是因為實驗組花費較多 時間在進行目標、反思、自評、互評、線上討論等活動,排擠了課堂教學與課後製作時間, 以致在專業知識與製作技能表現上反不及傳統組。若果真如此,教學者未來在進行網路檔案 評量時,須注意此問題。正如同學生的反思記錄內說到: 「這學期老師要我們設定自己的學習目標、寫下反思、自己評論自己的作品同時也要 評論別人的作品,這些活動滿有趣的。但這些活動也佔了我一些時間,像反思有時後 要想很久才寫出來,評論同學的作品也很花時間,課後回家有時也須上網繼續做完在 學校未完成的活動,讓我製作作品的時間比以前似乎少了一些。感覺上學習檔案的製 作確實與以前上課的方式不同,不是只專注在考試,而是會呈現同學們的學習過程, 但總覺得很花時間,也很耗費心力耶!希望老師同注意這個問題,看看能否減少我們 的一些負擔。」

(16)

表4 兩組之評量成績(作品、測驗成績)多變量共變數分析 Wilk’s Λ 值 (顯著值) 變異來源 依變項 (學習成效) 平方和 (SS) 自由度 平均平方和 (MS) F 值 顯著值 估計 效果 (淨相關) 檢定 能力 共變數 (學習動機) 作品成績 測驗成績 161.210 73.236 1 1 161.210 73.236 3.804 0.226 0.056 0.637 0.063 0.004 0.483 0.075 組間 (評量方法) 作品成績 測驗成績 121.737 13.235 1 1 121.737 13.235 2.873 0.041 0.096 0.841 0.048 0.001 0.385 0.055 組內 (誤差) 作品成績 測驗成績 2415.391 18497.598 57 57 42.375 324.519 0.929 (0.129) 全體 作品成績 測驗成績 2698.338 18774.069 59 59 表5 兩組之評量成績(作品與測驗成績平均)單變量共變數分析 變異來源 平方和 自由度 平均平方和 F 值 顯著值 估計 效果 (淨相關) 檢定 能力 共變數(學習動機) 112.940 1 112.940 0.934 0.338 0.016 0.158 組間(評量方法) 13.673 1 13.673 0.113 0.738 0.002 0.063 組內(誤差) 6895.070 57 120.966 全體 7021.683 59

三、檔案評量系統對自我覺知學習成效(兩組後測)之影響(研究問題二)

如表 6,Levene 同質性檢定結果,在所有依變項上皆未達顯著水準,顯示在各項自我覺 知學習成效上,兩組變異數具同質性。迴歸斜率同質性檢定結果,在所有依變項上皆未達顯 著水準,顯示在所有的自我覺知學習成效上,兩組迴歸斜率具同質性。以上兩項條件皆成立, 因此可以進行共變數分析(ANCOVA)。 如表 7,學習動機(共變項)對所有的自我覺知學習成效有顯著影響。實驗組所有的自 我覺知學習成效皆高於對照組(表6),在排除學習動機後(表 7),除了同儕互評成效之外, 兩組其餘的自我覺知學習成效皆有顯著差異,顯示網路化檔案評量系統的使用對學生的自我 覺知學習成效有顯著影響。在八個達顯著差異的細項成效中,以反思的估計效果量(estimated

effect size)或淨相關(η2 = 0.148)最高,觀察的檢定能力(observed power)達 87.1%;估計

效果量其次為自我評估(淨相關η2 = 0.136),觀察的檢定能力達 83.7%,其餘估計效果量大

小依序為設定學習目標、持續修正、蒐集與整理資料、同儕互動、發現並解決問題,最低為 作品成效。

(17)

表6 兩組之自我覺知學習成效變異數及迴歸斜率同質性檢定 Levene 同質性檢定 迴歸斜率同質性檢定 實驗組 對照組 成效 F 值 顯著值 F 值 顯著值 平均數 標準差 平均數 標準差 設定目標 0.082 0.775 0.143 0.707 3.79 0.67 3.17 0.55 作品 1.066 0.306 0.993 0.323 3.85 0.71 3.30 0.51 反思 0.736 0.394 0.316 0.576 3.91 0.71 3.19 0.55 自評 1.229 0.272 0.001 0.975 3.87 0.67 3.23 0.51 同儕互評 0.396 0.532 0.621 0.434 3.92 0.68 3.61 0.50 同儕互動 0.088 0.768 0.696 0.408 3.81 0.73 3.17 0.69 蒐集與整理資料 2.002 0.162 0.189 0.666 3.73 0.76 3.15 0.47 持續修正 1.391 0.230 0.035 0.853 3.90 0.75 3.33 0.46 發現並解決問題 0.728 0.397 0.137 0.713 3.89 0.64 3.37 0.43 整體 1.128 0.302 0.207 0.651 3.85 0.70 3.28 0.52 表7 兩組之自我覺知學習成效單變量共變數分析 成效 變異來源 平方和 自由度 平均 平方和 F 值 顯著值 估計效果 (淨相關) 檢定 能力 共變項 3.263 1 3.263 9.940 0.003** 0.148 0.873 自變項 2.498 1 2.498 7.611 0.008** 0.118 0.774 設定學習目標 誤差 18.710 57 0.328 共變項 5.697 1 5.697 19.658 0.000*** 0.256 0.992 自變項 1.340 1 1.340 4.623 0.036* 0.075 0.561 作品 誤差 16.518 57 0.290 共變項 6.123 1 6.123 20.233 0.000*** 0.262 0.993 自變項 2.993 1 2.993 9.889 0.003** 0.148 0.871 反思 誤差 17.250 57 0.303 共變項 3.461 1 3.461 11.624 0.001*** 0.169 0.918 自變項 2.669 1 2.669 8.965 0.004** 0.136 0.837 自我評估 誤差 16.972 57 0.298 共變項 0.303 1 0.303 10.732 0.002** 0.158 0.896 自變項 0.217 1 0.217 0.706 0.404 0.012 0.131 同儕互評 誤差 17.540 57 0.308 共變項 5.132 1 5.132 12.007 0.001** 0.174 0.926 自變項 2.293 1 2.293 5.366 0.024* 0.086 0.625 同儕互動 誤差 24.361 57 0.427 共變項 3.875 1 3.875 11.565 0.001** 0.169 0.917 自變項 1.900 1 1.900 5.669 0.021* 0.090 0.648 蒐集與整理資料 誤差 19.098 57 0.335 共變項 3.838 1 3.838 11.774 0.001** 0.171 0.921 自變項 1.909 1 1.909 5.855 0.019* 0.093 0.662 持續修正 誤差 18.581 57 0.326 共變項 6.077 1 6.077 30.749 0.000*** 0.350 1.000 自變項 1.018 1 1.018 5.152 0.027* 0.083 0.607 發現並解決問題 誤差 11.265 57 0.198 共變項 4.479 1 4.479 26.926 0.000*** 0.321 0.999 自變項 1.694 1 1.694 10.186 0.002** 0.152 0.880 整體 誤差 9.482 57 0.166 註:*p < .05. **p < .01. ***p < .001. 共變項為學習動機,自變項為評量方法。

(18)

上述結果顯示,網路化檔案評量系統的使用未能顯著提升同儕互評成效。學生的反思記 錄內說到: 「我們每一個人都要評好幾位同學的檔案及作品,以前的課從未要求我們這樣做,覺 得很特別。但因一次要評好幾位,覺的有一些負擔,最好是能夠再簡化評審的題項。 有一些評審的項目,不太容易評斷,要花一些時間來回比對同學的檔案,才能打分數。 據我所知,有一些同學評審的態度並不是很好,有時後會隨便評審。」 因此線上互評機制、更精簡的評量項目等須再強化。作品雖為學習檔案的最重要內容項 目之一,但光靠作品的觀摩、反思、持續修正等,似乎仍難對作品品質有明顯的提升,因此 還是須從加強學生的專業知識與製作技能上着手,方可事半功倍。在整體學習成效上,兩組 達顯著差異;估計的效果量(或淨相關)為0.152,表示自變項(系統使用)能解釋整體學習 成效變異量的15.2%,觀查的檢定能力達 88%。

四、網路化檔案評量系統較適合高或低學習動機學生(研究問題三)

(一)以評量成績為依變項

如表 8,對高、低學習動機學生而言,兩組的作品成績、測驗成績、評量成績(作品與 測驗成績平均)變異數皆具同質性,符合變異數分析(ANOVA)的條件。 表8 對不同學習動機而言,兩組之評量成績變異數同質性檢定 Levene 同質性檢定 實驗組 對照組 成績 動機類別 F 值 顯著值 平均數 標準差 平均數 標準差 高學習動機 0.106 0.749 73.19 8.71 76.75 6.20 作品成績 低學習動機 2.380 0.131 76.40 7.23 79.69 4.94 高學習動機 0.840 0.374 53.85 20.02 47.50 30.69 測驗成績 低學習動機 0.076 0.784 60.00 16.30 58.65 15.46 高學習動機 0.582 0.457 63.52 12.53 62.13 17.30 評量成績 (作品與測驗平均) 低學習動機 1.223 0.275 68.20 11.10 69.17 8.77 如表 9,對高學習動機學生而言,兩組的作品成績、測驗成績、評量成績都沒有顯著差 異;對低學習動機學生而言,結果亦同。此結果顯示,無論是高或低學習動機學生,網路化 檔案評量系統的使用對於兩組的評量成績皆沒有顯著影響。換言之,系統的使用對於高、低 學習動機學生的評量成績皆沒有顯著提升效用。若由估計效果(淨相關)值來看,在不同動 機類別的六項成績中,網路化檔案評量系統的使用對於低學習動機學生的作品成績較能發揮 效用(淨相關η2 = 0.072),檢定能力為 41.2%,只是未達統計上的顯著差異罷了。

(19)

表9 對不同學習動機學生而言,兩組評量成績差異的變異數分析 成績 動機類別 F 值 顯著值 估計效果(淨相關) 檢定能力 高學習動機 0.566 0.463 0.036 0.109 作品成績 低學習動機 3.162 0.083 0.072 0.412 高學習動機 0.242 0.630 0.016 0.075 測驗成績 低學習動機 0.075 0.786 0.002 0.058 高學習動機 0.032 0.860 0.002 0.053 評量成績 (作品與測驗平均) 低學習動機 0.102 0.750 0.002 0.061

(二)以整體自我覺知學習成效為依變項

對高、低學習動機學生而言(表10),兩組的整體自我覺知學習成效變異數皆具同質性, 符合變異數分析的條件。如表11,對高學習動機學生而言,兩組的整體自我覺知學習成效沒 有顯著差異;對低學習動機學生而言,實驗組的整體自我覺知學習成效顯著高於對照組。低 學習動機學生整體自我覺知學習成效的估計效果(淨相關)高於高學習動機學生,檢定能力 亦較高。 表10 對不同學習動機而言,兩組之整體自我覺知學習成效變異數同質性檢定 Levene 同質性檢定 實驗組 對照組 動機類別 F 值 顯著值 平均數 標準差 平均數 標準差 高學習動機 1.271 0.277 4.20 0.56 3.64 0.14 低學習動機 1.214 0.301 3.79 0.67 3.17 0.55 表11 對不同學習動機而言,兩組整體自我覺知學習成效差異的變異數分析 動機類別 變異來源 平方和 (SS) 自由度 平均平方和 (MS) F 值 顯著值 估計 效果 (淨相關) 檢定 能力 組間 (評量方法) 0.977 1 0.977 3.863 0.068 0.159 0.452 組內 (誤差) 3.792 15 0.253 高學習動機 全體 1115.51 16 組間 (評量方法) 1.263 1 1.263 7.723 0.008* 0.205 0.774 組內 (誤差) 6.705 41 0.164 低學習動機 全體 7.968 42 *p < .05.

(20)

上述結果顯示,網路化檔案評量系統的使用對於低學習動機學生的自我覺知學習成效較 能發揮效用。正如同學生的反思記錄內說到: 「以前不管上課前或上課後,我的學習動機總是提不起來。但這學期老師使用這種評 量方式,我覺得蠻新鮮的,引起我的一些興趣。可以讓我們觀摩其他同學的作品,還 可以自己評審自己的作品,最後在繳交之前也可以再修正作品,讓我的作品不會像以 前一樣都沒有機會修改。這種方式,對我而言還蠻好的。」

陸、結論與建議

一、網路化檔案評量系統的使用對評量成績無顯著影響(研究問題一)

雖然實驗組的作品成績低於對照組,但排除學習動機後,兩組的作品成績並沒有顯著差 異。實驗組的測驗成績略高於對照組,在排除學習動機後,兩組的測驗成績仍沒有顯著差異。 實驗組的的評量成績(作品與測驗成績平均)雖低於對照組,在排除學習動機後,兩組的評 量成績沒有顯著差異,顯示網路檔案評量系統的使用對評量成績沒有顯著影響。

二、網路化檔案評量系統的使用對自我覺知學習成效有顯著正面影響(研究問

題二)

實驗組所有的自我覺知學習成效皆高於對照組,在排除學習動機後,除了同儕互評成效 之外,兩組其餘的自我覺知學習成效皆有顯著差異。在整體學習成效上,兩組達顯著差異, 顯示網路化檔案評量系統的使用對學生的自我覺知學習成效有顯著影響。此結果與其它大部 份研究結果「檔案評量的使用能提升學習成效」一致(梁宗賀,2000;陳凱貞,2004;鄭雅 文,2002;鄒慧英,2000;Barrett, 2000; Chang, 2001a; Chang, 2001b; Dennis, Hardy, & White, 2006; Singh & Ritzhaupt, 2006),但這些研究未驗證較細項的成效。

一些研究則顯示細項的成效,譬如提升自我評估、設定成就目標的作用(Barrett, 2000)。 培養學生自我改進、自我評鑑的能力(歐滄和,2004)。增進自我反思能力、增進同儕溝通(李 坤崇,1999)。提升作品品質、增進同儕間互動(Chang, 2001b)。培養學生自我評量與成長 的能力(郭生玉,2004;Popham, 2002)。有助於引發學生主動學習,訂定學習目標(陳凱貞, 2004)。其中,持續修正、蒐集與整理資料、發現並解決問題的效果則較少見。本研究驗證 有影響的細項效果由高至低依序為:反思、自我評估、設定學習目標、持續修正、蒐集與整 理資料、同儕互動、發現並解決問題,最低為作品成效。

(21)

三、網路化檔案評量系統的使用對作品成績與自我認知作品成效有不同的影響

(研究問題一、二)

比較研究問題一與問題二的結果,對照組作品成績高於實驗組,但排除學習動機後,兩 組的作品成績並沒有顯著差異。但實驗組學生對作品的自我認知評價卻顯著高於對照組,兩 者結果正好相反,且後者結果的估計效果量與檢定能力高於前者。此現象顯示,對學生的評 量不能僅考慮教師的評量成績,也可納入一定比例的學生自評與同儕互評的作品分數,才符 合學習歷程檔案評量的精神。George Lucas Education Foundation(2002)提到,作品應讓學 生有自我評量機會,以增加主動參與動機。當自我評量與教師評量差異很大時,可舉辦師生 討論會進行溝通,讓學生有說明其作品的機會。自我評量是檔案評量最重要的工作之一,而 非只有教師評量而已(郭生玉,2004;Popham, 2002)。

四、網路化檔案評量系統的使用對低學習動機學生的作品成績較能發揮效用,

但效用未達統計上的顯著水準;對於低學習動機學生的整體自我覺知學習

成效較能發揮顯著效用(研究問題三)

對高、低學習動機學生而言,兩組的作品成績、測驗成績都沒有顯著差異,而低學習動 機學生作品成績的估計效果量最高。此結果顯示,網路化檔案評量系統的使用對於低學習動 機學生的作品成績較能發揮效用,但效用未達統計上的顯著水準。對高學習動機學生而言, 兩組的整體自我覺知學習成效沒有顯著差異;但對低學習動機學生而言,實驗組的整體自我 覺知學習成效顯著高於對照組。此結果顯示,網路化檔案評量系統的使用對於高、低學習動 機學生評量成績皆沒有顯著的提升作用,但對於低學習動機學生的整體自我覺知學習成效較 能發揮顯著效用。李坤崇(1999)、Chang(2001b)提到,檔案評量可激發學習動機。前述 結果或可說明,透過檔案評量對低動機學生學習動機的激勵,可提升其學習成效。 針對系統與使用的建議如下:

(一)匿名同儕互評之自動化管理功能

同儕互評通常有許多方式,目前是採人工分組方式再進行跨組組員互評,缺乏自動分組、 互評方式的選擇及自動化執行等功能,而匿名評量時,目前亦仍為人工更改方式讓姓名改由 編號呈現。未來可增加同儕互評方式的選擇、自動化執行、自動分組及互評執行功能(譬如 隨機式、異質分組式、同質分組式等),並可設定匿名的時間,以提升匿名同儕互評之便利性。

(二)精簡版檔案評量表的研製

目前網路化檔案評量系統中檔案評量表內的題數有32 題,題數稍多,教師須花較多時間

(22)

做說明。同儕互評時一人須評好幾人,負擔稍重,可能影響學習者評分意願。未來可研製精 簡版之檔案評量表,以減少學習者的負擔,增加評分意願與效率。

(三)實施自評與互評前提供評分參考範例

授課教師雖於評量前,有對學生講解評量內容、評量方式等,但仍有一些學生不易掌握 評量方法。因此建議實施評量前應提供評分參考範例(含作品案例與評量結果),將有助於評 量者評分,減低評量結果的差異。

(四)於課堂上實施匿名互評並給予充分的時間

因檔案評量表之項目不少且須互評五個人,故時間掌握非常重要,建議於課堂上進行同 儕互評,一則可現場由教師或助教立即解決互評問題,二則可減少學習者私下互探身份的機 會,以免失去匿名評量的意義。

(五)授課教師對反思能立即回應

學生在網路化檔案評量系統內的每一次反思,授課教師或線上助教應適時與立即回饋, 包含問題的解答與優良表現的鼓勵等,以提升學生撰寫反思的興趣,並進一步對學習成效有 助益。

(六)系統提供教師與同儕輔助的機制

由學生的學習檔案內看得出學生設定之學習目標缺乏目的性,反思內容亦不夠具體(前述 圖4),顯示每個單元的目標設定與反思活動非常需要教師與同儕的示範、教導、與輔助,建 議在網路功能的科技輔助下,能加上教師與同儕輔助設定學習目標與撰寫反思的機制。 針對實驗研究結果與未來研究的建議如下:

(一)學習成效不只考慮教師評量成績,也應納入學生自評與同儕互評成績

網路化檔案評量系統的使用對評量成績沒有顯著提升,但對學生的自我覺知學習成效有 顯著正面影響。因此學習成效不能只考慮教師評量成績,亦可計入學生自我評量甚至於同儕 互評的成績,才能達成檔案評量的真實性與多元化精神。正如同學生的反思記錄內提到: 「我原本以為自己的作品成績會很好,可是看到成績之後,才知道跟自己評估的有一 些落差。我想可能是我跟老師對作品的看法不同吧!希望下一次老師打分數時,也能 考慮我們的想法,甚至於把我們打的分數及同學打的分數也算一部份進去。就算只算 一點點的比例,我覺得也很不錯,對同學有鼓舞作用。」

(23)

(二)系統的同儕互評機制與作品成效需再強化

除了同儕互評成效之外,其餘的自我覺知學習成效皆有顯著提升。建議可強化系統的同 儕互評機制、精簡同儕互評的項目,給予學生同儕互評明確而具體的說明與練習,並有充分 的時間完成同儕互評活動。作品成績沒有顯著提升,自我認知的作品成效雖有顯著提升,但 與其它成效相比為最低,作品製作能力與成效須再加強。在作品成效的提升上,建議加強學 生的電腦技能與專業知識、教師的指導、同儕的合作、明確的作品製作步驟等,將有助提升 作品的成效。

(三)進行二因子多組比較之實驗研究

本研究僅以兩組進行比較,涵蓋之組別可再更廣泛,且自變項僅一個(評量方法)。建議 未來可採實驗組(一)(使用網路化Portfolio 評量)、實驗組(二)(使用傳統Portfolio 評量)、 對照組(沒用 Portfolio)三組進行比較,加入另一個自變項如教學方式、學習型態等,並排 除掉可能干擾的變項,如學習動機、先備知識與技能等,使用二因子多變量共變數分析 (Two-way MANCOVA)檢驗三組學習成效的差異。

(24)

參考文獻

王文科(2001)。教育研究法。臺北:五南。 余民寧(2006)。教育測驗與評量—成就測驗與教學評量。臺北:心理。 吳明芳(2006)。網路化檔案評量標準與信、效度之建立。國立臺北科技大學技術及職業教育研究所碩士 論文初稿,未出版,臺北。 吳毓瑩(2005)。第十章檔案評量。載於王文中、呂金燮、吳毓瑩、張郁雯、張淑慧(合著),教育測驗 與評量—教室學習觀點(pp. 95-130)。臺北:五南。 李坤崇(1999)。多元化教學評量。臺北:心理。 李坤崇(2001)。綜合活動學習領域教材教法。臺北:心理。 林佳芬(2000)。國小自然科試用卷評量之行動研究。科學教育研究與發展季刊,21,16-33 。 張基成(2001)。網路化學習檔案之系統化建構經驗及相關問題探討。視聽教育,43(2),9-22。 張基成、童宜慧(2000)。網路化學習歷程檔案系統之建構與評鑑-一個電子化的真實性學習評量工具。 遠距教育,13/14,78-90。 梁宗賀(2000)。網路卷宗評量在國小電腦科教學之研究。臺南師範學院資訊教育研究所碩士論文,未出 版,臺南。 孫瀅琇(2003)。以強勢智慧分派任務的網路學習歷程檔案評量機制對學習成果與學習行為影響之研究。 臺南師範學院資訊教育研究所教師在職進修資訊碩士學位班碩士論文,未出版,臺南。 莊雅婷(2001)。線上評鑑之探討。人力資源發展月刊,164,1-10。 郭生玉(2004)。教育測驗與評量。臺北:精華書局。 陳得利(2002)。網路化歷程檔案系統之設計與實作。國立中山大學資訊管理學研究所碩士論文,未出版, 高雄。 陳凱貞(2004)。實施國小英語電子化檔案評量研究-以一國小三年級班級為例。國立臺北師範學院兒童 英語教育研究所碩士論文,未出版,臺北。 鄒慧英(2000)。專題學習的概念介紹與評量設計。載於臺南師院測驗發展中心所舉辦之「新世紀優質學 習的經營研討會」論文集(pp.35-52),臺南。 歐滄和(2004)。教育測驗與評量。臺北:心理出版社。 鄭雅文(2002)。網路化反省思考學習歷程檔案的設計與應用。國立臺灣師範大學資訊教育研究所碩士論 文,未出版,臺北。

Acker, S. (2002). Technology-enabled Teaching / eLearning dialogue: Overcoming obstacles to authentic ePortfolio assessment. Retrieved September 16, 2006, from http://www.campus-technology.com/

Barker, K. C. (2006). Environmental scan: Overview of the ePortfolio in general and in the workplace specifically. Retrieved October 20, 2006, from http;//www.FuturEd.com

Barrett, H. C. (2000). Electronic portfolios = multimedia development + portfolio development: The electronic portfolio development process. Retrieved October 20, 2006, from http://transition.alaska.edu/www/ portfolios/EPDevProcess.html

(25)

Batson, T. (2002). The electronic portfolio boom: What’s it all about. Syllabus. Retrieved September 16, 2006, from http://www.campus-technology.com/

Bergman, T. (2000). Digital portfolios. Retrieved December 18, 2006, from http://www.mehs.educ.state.ak.us/ portfolios/portfolio.html

Bonk, C., & Zhang, K. (2006). The R2D2 model of online instruction: A mapping out of the components. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 2010-2015). Norfolk, VA: AACE.

Chang, C. C.(2001a). Construction and evaluation of a web-based learning portfolio: An electronic authentic assessment tool. Innovations in Education and Teaching International, 38(2), 144-155.

Chang, C. C. (2001b). A study on the evaluation and effectiveness analysis of web-based learning portfolio (WBLP). British Journal of Educational Technology, 32(4), 435-458.

Dennis, C., Hardy, J., & White, P. (2006). Development of a model to advance the uptake of e-portfolios for undergraduates in teacher education and registered nurse preparation: An exemplar of best practice. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 248-253). Norfolk, VA: AACE.

Emden, C., Hutt, D., & Bruce, M. (2003). Portfolio learning. Contemporary Nurse, 16(1-2), 124-132.

e-Portfolio Consortium (2003). Electronic portfolio white paper. Retrieved December 30, 2006, from http://eportconsortium.org/

Forkosh-Baruch, A., Mioduser, D., & Nachmias, R. (2006). Diffusion of patterns of ICT-based pedagogical innovations. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 58-65). Norfolk, VA: AACE.

George Lucas Education Foundation (2002). How does project-based learning work? Retrieved October 20, 2006, from http://www.glef.org/modules/PBL/index.php

Holmes, B., Burton, N., & Heaton, L. (2006). Increasing teacher awareness of assistive technology through integration into special education preparation programs. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 1855-1860). Norfolk, VA: AACE.

Korets, D., Stecher, B., Klein, S., & McCaffrey, D. (1994). Cognition and learning. In D. C. Berliner & R. C. Calfee (Eds.), Handbook of educational psychology (pp. 15-46). New York: Simon & Schuster Macmillan. Lorenzo, G., & Ittelson, J. (2005). An overview of ePortfolios. The educause learning initiative. Retrieved

December 26, 2006, from http://www.educause.edu/ir/library/pdf/ELI3001.pdf/

Luca, J., & McMahon, M. (2006). Developing multidisciplinary teams through self-assessment, supported with online tools. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 1855-1860). Norfolk, VA: AACE.

McAlpine, D. (2000). Assessment and the gifted. Tall Poppies, 25(1). Retrieved December 30, 2004, from http://www.tki.org.nz/r/gifted/pedagogy/portfolio_e.php

McLoughlin, C., & Luca, J. (2006). Best practice in online assessment: Principles, processes and outcomes. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 2375-2382). Norfolk, VA: AACE.

Onishi,Y., Tominaga, H., Hayashi, T., & Yamasaki, T. (2006). Exercise analysis and lesson plan with robot behavior in LEGO programming contest for problem solving learning. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 1943-1950). Norfolk, VA: AACE.

(26)

Popham, W. J. (2002). Classroom assessment: What teachers need to know. Boston, MA: Allyn and Bacon. Singh, O., & Ritzhaupt, A. D. (2006). Student perceptive of organizational uses of eportfolios in higher

education. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 1717-1722). Norfolk, VA: AACE.

Wang, C. I., Peng, H. Y., & Lu, W. H. (2006). A framework for the assessing of intercultural communicative competence: A mixed approach. In E. Pearson & P. Bohman (Eds.), Proceedings of ed-media (pp. 2979-2984). Norfolk, VA: AACE.

作者簡介

張基成,國立台灣師範大學工業科技教育學系教授

Chi-Cheng Chang is a professor of Department of Industrial Technology Education, National Taiwan Normal University.

E-mail: samchang@ntnu.edu.tw

彭星瑞,國立桃園高級農工職業學校教師

Sin-Ra Peng is a teacher of National Tao-yuan Agricultural & Industrial Vocational High School.

收稿日期:96.02.06 修正日期:97.03.03 接受日期:97.03.10

(27)

2008, 53(2), 31-57

Use and Effects of Web-Based Portfolio

Assessment on Computer Course of Junior

High Schools

Chi-Cheng Chang

Department of Industrial Technology Education,

National Taiwan Normal University

Sin-Ra Peng

National Tao-yuan Agricultural & Industrial Vocational High School

Abstract

This study looked at the impact of the web portfolio assessment system on learning, as measured by both achievement and subjects’ perceived effects. The subjects were two classes of students taking a computer course in the second year of junior high school. Each class had both an experimental group (30 students) and a control group (30 students). The experimental groups used the system while the control groups did not. The experiment lasted for 10 weeks. The results were as follows: (1) Use of the system had no impact on achievement. (2) Use of the system had a significant impact on perceived effects. These effects, ranked in decreasing order of importance included reflection, self-assessment, learning goal setting, continuous improvement, data gathering and organizing, peer interaction, problem discovering and problem solving. The lowest-level effect was project work. (3) The system had no effect on assessment achievement for the students with the highest and lowest levels of motivation. However, it was more effective in terms of self-perceived effect for the low- motivation students.

Keywords: self-perceived learning effect, web portfolio, portfolio, portfolio

(28)

數據

圖 3  檔案評量區內之學習者編號名單(匿名評量時)  圖 4  檔案評量區內之反思內容(匿名評量時)  匿名評量時學習者姓名自動改以編號方式排序呈現且本人編號旁出現自評字樣可瀏覽被評學習者所撰寫的反思內容

圖 3

檔案評量區內之學習者編號名單(匿名評量時) 圖 4 檔案評量區內之反思內容(匿名評量時) 匿名評量時學習者姓名自動改以編號方式排序呈現且本人編號旁出現自評字樣可瀏覽被評學習者所撰寫的反思內容 p.12
圖 5  檔案評量表(為彈出視窗,故左邊按鈕看不到)  七、資料蒐集工具與信效度  (一)自我覺知學習成效評估問卷  透過文獻整理,針對自我覺知學習成效擬定出問卷初稿,經過學者專家、授課教師共同 修定數次之後,方成定稿,故具一定之專家內容效度。修正的地方譬如有,每一題項測量的 效果意涵僅含一種,刪除或合併雙重意涵者;將雙重否定的句子改為肯定句;將題意改為更 具體明確;刪除與效果無直接關係或無法完整表達效果的題項;增加遺漏的效果等等。問卷 內容包括蒐集與整理資訊、持續修正、發現並解決問題、設定學習目標、作品、

圖 5

檔案評量表(為彈出視窗,故左邊按鈕看不到) 七、資料蒐集工具與信效度 (一)自我覺知學習成效評估問卷 透過文獻整理,針對自我覺知學習成效擬定出問卷初稿,經過學者專家、授課教師共同 修定數次之後,方成定稿,故具一定之專家內容效度。修正的地方譬如有,每一題項測量的 效果意涵僅含一種,刪除或合併雙重意涵者;將雙重否定的句子改為肯定句;將題意改為更 具體明確;刪除與效果無直接關係或無法完整表達效果的題項;增加遺漏的效果等等。問卷 內容包括蒐集與整理資訊、持續修正、發現並解決問題、設定學習目標、作品、 p.13
表 4  兩組之評量成績(作品、測驗成績)多變量共變數分析  Wilk’s Λ 值  (顯著值)  變異來源  依變項  (學習成效)  平方和 (SS)  自由度 平均平方和(MS)  F 值 顯著值  估計 效果  (淨相關)  檢定 能力  共變數  (學習動機) 作品成績 測驗成績  161.210 73.236 11 161.210 73.236 3.8040.226 0.056 0.637  0.063 0.004  0.483 0.075  組間    (評量方法) 作品成績 測驗成績  12

表 4

兩組之評量成績(作品、測驗成績)多變量共變數分析 Wilk’s Λ 值 (顯著值) 變異來源 依變項 (學習成效) 平方和 (SS) 自由度 平均平方和(MS) F 值 顯著值 估計 效果 (淨相關) 檢定 能力 共變數 (學習動機) 作品成績 測驗成績 161.210 73.236 11 161.210 73.236 3.8040.226 0.056 0.637 0.063 0.004 0.483 0.075 組間 (評量方法) 作品成績 測驗成績 12 p.16
表 6  兩組之自我覺知學習成效變異數及迴歸斜率同質性檢定  Levene 同質性檢定  迴歸斜率同質性檢定 實驗組  對照組  成效  F 值    顯著值  F 值    顯著值  平均數    標準差  平均數    標準差  設定目標  0.082  0.775  0.143  0.707  3.79   0.67  3.17   0.55  作品  1.066  0.306  0.993  0.323  3.85   0.71  3.30   0.51  反思  0.736  0.394  0.3

表 6

兩組之自我覺知學習成效變異數及迴歸斜率同質性檢定 Levene 同質性檢定 迴歸斜率同質性檢定 實驗組 對照組 成效 F 值 顯著值 F 值 顯著值 平均數 標準差 平均數 標準差 設定目標 0.082 0.775 0.143 0.707 3.79 0.67 3.17 0.55 作品 1.066 0.306 0.993 0.323 3.85 0.71 3.30 0.51 反思 0.736 0.394 0.3 p.17
表 9  對不同學習動機學生而言,兩組評量成績差異的變異數分析  成績  動機類別  F 值  顯著值  估計效果 (淨相關) 檢定能力  高學習動機 0.566  0.463  0.036  0.109  作品成績  低學習動機 3.162 0.083  0.072  0.412  高學習動機 0.242  0.630  0.016  0.075  測驗成績  低學習動機 0.075 0.786  0.002  0.058  高學習動機 0.032  0.860  0.002  0.053  評量成績

表 9

對不同學習動機學生而言,兩組評量成績差異的變異數分析 成績 動機類別 F 值 顯著值 估計效果 (淨相關) 檢定能力 高學習動機 0.566 0.463 0.036 0.109 作品成績 低學習動機 3.162 0.083 0.072 0.412 高學習動機 0.242 0.630 0.016 0.075 測驗成績 低學習動機 0.075 0.786 0.002 0.058 高學習動機 0.032 0.860 0.002 0.053 評量成績 p.19

參考文獻

Updating...