第五章 測試與評估
6.1 結論
本研究嘗試開發一個可應用於國內師資培育體系之數位歷程檔案系統,並期 望系統能夠有效提升師資培育成效。本研究將師資培育成效的提升,分為以下四 個面向:
(1) 透過歷程檔案系統,幫助使用者建置歷程檔案,記錄其學習歷程,作為教師 終身進修及生涯規劃的依據。
(2) 透過歷程檔案的建置過程,激發使用者反思學習,增進教學專業能力,並提 升教學品質。
(3) 透過系統平台幫助師資培育參與人員進行互動,提升互動品質。
(4) 透過系統平台,幫助師資培育體系的行政人員能夠更有效率地處理行政事務。
為達到以上之目的,本研究系統之開發流程結合瀑布模式(Sommerville, 2001)及螺旋模式(Boehm, 1988),共分為需求分析與定義、系統與軟體設計、
實作與單位測試、整合與系統測試、運行與維護等五階段,共進行十一次螺旋循 環。總結整體開發過程及成果,本研究已回答四個研究問題,以下分別陳述。
6.1.1 數位歷程檔案系統應用在師資培育體系中具有可行性
本研究首先整理歷程檔案相關文獻,發現許多學者一致認為歷程檔案能夠有 效幫助學習者進行反思(Lin, Hmelo, Kinzer & Secules, 1999;Bartlett & Sherry,
2004;Woodward & Nanlohy, 2004;Mullenm Britten & McFadden, 2005;羅綸新,
2002;葉興華,2003)。再加上目前國內外皆有許多教師或實習教師使用歷程檔 案之相關研究(Kilbane & Milman, 2003;Montgomery & Wiley, 2004;張德銳,
2003;葉興華,2003;賴羿蓉,2003),指出教師使用歷程檔案記錄其教學歷程,
可作為檢討教學、促進專業成長之利器。此外,讓職前教師在職前訓練與教育實 習應用數位歷程檔案,除了能有效提升師資培育成效外,透過操作數位科技的過 程,也可促進日後將資訊科技融入教學(Kilbane & Milman, 2003)。
為進一步瞭解數位歷程檔案應用於我國師資培育體系之可行性,本研究觀察 我國目前師資培育之現況。師資培育學生修畢職前教育課程後,將進行教育實 習,從《師資培育之大學辦教育實習作業原則》可瞭解,實習學生在實習過程中,
會與其實習指導教授及師資培育中心有密切之互動。而根據教育部中等教育司
(2005)之調查,我國 94 學年度教師甄選的錄取比率僅 13.2%,顯示正式教師 職位的競爭激烈。此外,當師資培育學生成為正式教師後,需依照探索期、建立 期、轉化期、維持期、成熟期等目前教師生涯發展的五階段(吳武典等人,2005)
進行各項研習,各階段之研習課程架構雖不相同,但可確定師資培育學生成為正 式教師後,仍必須不斷進修以提升教學成效。
有鑑於此,本研究認為數位歷程檔案既可提升學習成效,也可作為參與師資 培育之人員的互動平台,的確有應用於師資培育體系中的可行性。
6.1.2 數位歷程檔案系統在師資培育體系之可能使用者及其需求
為開發適用於國內師資培育體系之數位歷程檔案系統,本研究透過文獻分析 歸納系統可能之使用者及其需求。從我國師資培育制度可知,我國師資培育體系 之人員,包含師資培育學生、實習教師、正式教師、實習輔導教師、師資培育中 心教授及師資培育中心行政人員,本研究針對以上人員進行訪談以瞭解其需求。
訪談結果顯示,上述人員對系統之需求主要為輔助保留學習資料、提供良好搜尋 機制、促進溝通互動、簡化行政事務項目。本研究進一步參考目前現有之數位歷
程檔案系統,並分析文獻及歸納訪談結果,將使用者需求轉換為具體之系統目 的,結果指出使用者需要之系統必須能夠達到(1)系統提供良好的保存學習資 料的功能,並且能為保存的資料撰寫內容概要與心得(張德銳,2002、葉興華,
2003);(2)系統提供方便的資料搜尋機制(Chuang, 2002;Chen, Liu, Ou & Lin, 2001);(3)系統提供歷程檔案分享與瀏覽之功能(Lin, Hmelo, Kinzer & Secules, 1999);(4)系統提供師資培育機構教授、行政人員、歷屆學生基本聯絡資料,
並且能透過搜尋機制方便地進行人員搜尋(Kilbane & Milman, 2003);(5)系統 能夠作為學生繳交資料的平台,並且能簡單地將資料分類整理;(6)系統提供各 種教學資源;(7)系統能夠作為師資培育機構公告資訊的平台;(8)系統能夠輔 助師資培育機構簡化學分認證手續;(9)系統具備穩定性、良好介面以及資料備 份之功能。
6.1.3 設計數位歷程檔案系統應用在師資培育體系應具備的功能
本研究在系統實作階段,依照先前整理之系統目的規劃系統架構,將系統功 能分成基本資料功能、歷程檔案管理功能、通訊功能、行事曆功能、佈告欄功能、
資料備份功能、資料搜尋功能、教學資源功能及行政事務功能等九大項。系統目 的與系統功能對照整理於表6-1 中。
表6-1、系統目的與系統功能對照表 流程圖(Senn, 1989;Kendall & Kendall, 2005),並據此擬定相對應之系統介面及 資料庫。
6.1.4 本研究所開發之系統應用在師資培育體系中具備可用性
系統完成後,本研究邀請專家評估系統及進行使用者測試。為提升評估效 率,本研究採用專家捷思評估法,其優點在於雖然評估者數量不多,但卻能發現 大部分的系統問題,且能透過專家的幫助,瞭解問題發生的原因,讓系統進行修 改時能有所依據(Nielsen & Mack, 1994)。本系統大部分之設計皆獲得不錯之評 估結果,然而在操作流程及介面設計仍有改善空間,例如簡化實習指導教授與實 習學生的互動介面、系統操作按鈕名稱應更加符合使用者習慣等。除此之外,專 家們也建議未來系統可新增更多實用功能,如通訊錄匯入、教學資源分享、實習 教師與指導教授之討論區,甚至可整合教學平台,輔助教師授課。
在一般使用者測試部分,本研究參考李青蓉等人(1998)設計之互動式系統 使用者滿意度問卷,邀請未來可能的使用者族群進行系統測試並填寫問卷。結果 顯示本系統在所有評估項目皆獲得良好之回應,尤其功能設計更是得分最高之項 目。綜合評估測試結果,本研究所開發之系統,確實具備在師資培育體系中應用 的可用性,然而,評估過程中也發現,系統未來仍有一些可改進的空間:
(1) 不同的教學資源分享機制:本研究在需求分析及使用者測試所得結果皆顯 示,不論是師資培育學生、實習教師或正式教師,都期望能夠有各類型經過 品質篩選並分類良好的教學資源庫可供使用,也願意提供各種自行蒐集之教 學資源。而目前本研究系統的教學資源功能,是由系統管理者蒐集教學資源 並供使用者使用,未來也可新增由使用者蒐集並相互分享的機制。
(2) 提升使用者之間的互動功能:本研究參與評估與測試之人員指出,系統所提 供的通訊功能及人員資料搜尋,非常有助於提升彼此互動。但未來系統應增 加更多互動功能,例如提供聊天室、實習教師與實習指導教授的私密討論空 間、更方便地分享實習或教學經驗與學習心得的機制。
(3) 加強實習輔導功能:本研究所設計之系統架構,並未完全針對現有實習制度 進行設計,雖然輔導者仍可透過系統瀏覽學生實習資料,並與實習學生互動,
但由於並未將實習輔導獨立成為系統功能之一,因此在操作上仍有不便之 處。未來可針對現有實習制度增設更多實習輔導相關功能,相信能更進一步 提升師資培育成效。
(4) 支援更多行政事務:本研究與以往有關師資培育與歷程檔案的研究不同之處 在於,本研究將行政人員也列為系統可能之使用者,為其規劃行政事務功能,
幫助行政人員簡化繁瑣地行政事務,且經過系統評估後顯示,行政事務功能 的確可增進行政效率,提升師資培育成效。本系統目前支援之行政事務為輔 助製作教育學分證書,並可透過系統繳交資料給師資培育中心。在系統測試 時,師資培育中心行政人員表示,此兩項功能對於提升行政效率非常有幫助,
希望未來可支援更多行政事務,例如製作專門科目學分證書、線上填寫各類 申請表格等。
(5) 提供更方便的操作介面:雖然本研究系統在測試結果中,各項使用性指標皆 獲得正面之回應,但使用者在回答開放性問題時,仍指出不少可改進之處,
如基本資料先顯示內容頁面,需要修改再進入編輯頁面、提供更方便的瀏覽 他人歷程檔案機制、放置更多功能說明文字等。
整體而言,本研究已回答所提出的四個研究問題,並成功地開發可應用於國 內師資培育體系之數位歷程檔案系統。雖礙於軟硬體及人力資源不足,此系統目 前可容納之使用者數量未能與其他現有的教學系統並駕齊驅,但本研究所提出的 系統架構,確實可作為日後開發大型數位歷程檔案系統之雛形,也期望未來有關 單位能投入更多人力物力,發展可供國內所有師資培育單位所使用的數位歷程檔 案系統。