運用資訊科技於學校關鍵績效指標評鑑：網路績效管理平台建置之研究

(1)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 27 教育科學研究期刊第五十九卷第四期 2014 年，59（4），27-63 doi:10.6209/JORIES.2014.59(4).02

運用資訊科技於學校關鍵績效指標評鑑：

網路績效管理平台建置之研究

鄭新輝

鍾廣翰

王怡芳

* 國立臺南大學教育學系教育制度及政策研究中心國家教育研究院邁向頂尖大學計畫辦公室國立臺灣師範大學

摘要

本研究目的在運用資訊科技建構學校績效管理的網路平台，以協助管理者、評鑑者與個人進行有效的績效管理。研究對象採立意取樣，選擇願意參與本研究之 3 所學校，調查對象之有效樣本為 3 所學校 74 位使用者（8 位評鑑委員、13 位教師、3 位校長及 50 位行政人員）。參與者以一學期的時間進行評鑑指標資料之上傳與管理，上傳資料以 word 檔居多（82%），其次為 PDF（15%）、影音檔及其他（3%）。績效指標是以鄭新輝（2010）所建構之「整合性學校績效管理關鍵績效指標」為架構，共分成三大類、十六個層面、八十個指標。先透過焦點團體座談、網路管理平台建置、資料上傳、專家評鑑、問卷調查等歷程，再以描述性統計、獨立樣本 t 檢定與單因子變異數等統計方法進行分析。研究結果顯示：一、以行為錨定法可明確化各績效指標的檢證標準、方式與證據來源。二、績效管理平台的「介面親和度」、「運作功能性」、「使用滿意度」與「推廣可行性」等四大面向，在五等量表中平均達 3.82～3.89 分，顯示以網路管理平台進行學校績效管理，具良好的可行性及效益性。有六成二以上的使用者，同意使用本系統以輔助個人進行績效管理與評鑑。三、教育程度與上網時間的長短，會影響使用者對網路管理平台運用的效益性及滿意度看法。綜而言之，本研究開創學校績效管理與評鑑數位化的先機，將學校績效指標以行為錨定法，系統化地建構客觀檢證標準、檢證方式與證據來源，並據以規劃可提供管理者、評鑑者與個人進行績效管理的網路管理平台，可有效強化學校與個人定期進行自我管理，以提升學校整體的經營品質。關鍵字：資訊科技、網路管理平台、績效管理、關鍵績效指標通訊作者：鍾廣翰，E-mail: gramchung@naer.edu.tw 收稿日期：2013/08/15；修正日期：2013/10/09、2014/05/07；接受日期：2014/07/08。

(2)

28 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳

壹、前言

近年來，組織行為管理隨著資訊科技發展，透過建置網路績效管理平台並進行各項資料的管理與運用，已成為提升組織效能的一種趨勢。國內各縣市在進行校務評鑑、校長辦學績效評鑑或其他各種方案評鑑過程中，也逐漸要求學校應將自我評鑑檔案或佐證資料上傳到學校網頁上，以便訪評委員進行資料檢視，並藉以引導學校提升其資訊管理能力，展現「無紙化行政」的效益。研究者在擔任各縣市各種評鑑的訪評過程中也發現，即使教育行政單位沒有要求，部分學校也會透過學校網路系統，提供該項評鑑的進入介面，並依據評鑑項目與指標，將各種佐證資料上傳。透過超連結的方式，呈現各種可供檢視的文件檔案、活動照片或影像紀錄等資料，確實可減少資料影印的耗費，以及訪評委員資料檢視的時間。但無可諱言地，目前的作法對協助受評者提供評鑑資料內容，以及評鑑者進行客觀與正確性的判斷，並未帶來多大的幫助。因為目前在各種評鑑計畫或評鑑工具中，大部分未明確指出「每一指標所要採取的檢證標準與檢核方式」，以及可用來判斷的「證據資料來源與內容」，以致於不同學校對指標會有不同的解讀；而不同的訪評委員也有不同的解讀與判斷依據，因而影響評鑑結果的一致性與正確性。更有甚者，受評學校為了爭取好的評鑑成績，相關人員在評鑑之前，便忙於「做資料」，以便符合指標要求。使得評鑑變成一種原罪（郭昭佑，2007），而學校更是「聞評色變」。因此，若能針對「每一評鑑指標的檢證標準、檢核方式與證據來源」有較明確的界定，且能夠設計完善的網路績效管理平台，適切管理各項評鑑資料上傳的時間點，應可提升校務管理效率，並減少學校行政負擔，引導學校與個人更務實地展現績效。評鑑指標的檢證標準與方式若未能具體界定，證據資料的來源與內容也缺乏明確的說明，則評鑑指標會因受評者與評鑑者不同解讀而失去客觀性，也影響評鑑的公正性。此外，國內傳統的學校或其他方案評鑑指標的檢證方式，仍偏重檔案查閱，因此無論是紙本或電子檔，皆給學校有進行事後編造假資料的空間，而評鑑結果對善於撰寫記錄或整理資料的學校較為有利；對某些較循規蹈矩，默默執行，卻不善於事後整理資料的學校，反而吃虧。尤其，傳統的學校評鑑因受限於評鑑委員共同可利用的時間有限，因此各校訪評時間的安排，多則一天，少則半天，往往影響訪評委員對資料審閱的深度（例如：無法充分檢證學校所呈現會議資料與活動時間的真偽）。因此，若能藉由網路管理平台的設計，明確化每一指標的檢證標準、方式與證據來源，並要求受評學校配合各項指標所要求的檢證資料內容，依據該資料應呈現的時間點，於「平時」即上傳至管理平台，其優點在於可透過網路上傳時間的紀錄，以及網路管理平台龐大的記憶容量與資料庫的管理效能，打破評鑑時間與空間的限制。不僅可忠實記錄檔案上傳的時間，亦能杜絕評鑑資料造假的可能性；且透過網路視訊系統的設計，評鑑者與受訪者也可隨時進行具隱私性的個別晤談；此外，也可透過網路管理平台，更便捷

(3)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 29 地檢視學校所提供的多元化錄音與影像紀錄資料，強化檔案查閱與檢視的功能。亦即透過評鑑網路管理平台的建置，可將歷程紀錄忠實地存檔，並經由平台管理的過程，將評鑑資料依指標進行分類，適切引導學校養成平時建立檔案管理的習性，所得資料不僅可供學校自我管理使用，在評鑑期間更可經由系統化的管理資料庫，讓評鑑委員能更輕易地檢閱各項評鑑指標證據資料內容的真實性，有效杜絕資料造假的機會，其最大意義在於引導學校務實地執行評鑑指標項目、強化學校自我管理與提升學校的經營品質。具體而言，本研究目的有三：一、探討關鍵績效指標系統最適切的檢證方式、證據來源與評定標準；二、依據關鍵績效指標的檢證方式與證據來源，設計網路管理平台；三、選擇部分學校與評鑑者針對網路管理平台的使用進行實際測試，以檢視其效益性與可行性。

貳、文獻探討

一、績效指標的檢證方式、證據來源與評定標準

國內碩、博士論文與期刊對有關學校、校長與教師評鑑指標的檢證方式，例如檔案查閱、晤談、觀察、座談、問卷調查等，較少進行實證性研究，少部分僅在其論文中，概括性介紹各種可能的資料蒐集或檢核方式之功能與作法（王冬雅，2004；吳清山，2001；吳淑妤，2003；李有在，2006；陳忠本，2004；蔡金柱，2004；鍾榮茂，2006；羅英豪，2000）；對評鑑指標系統中，每一項指標的檢證方式，有具體規劃者，僅見於少部分的評鑑手冊或工具中（許明峰，2005；陳漢強、周淑惠，1993；蔡培村、鄭彩鳳，2008；鄭新輝，2008；鄭新輝、林文展，2011），大多數缺乏實證研究；對每一項指標進行判斷時所要因循的證據資料來源與內容，更缺乏相關研究。由於評鑑指標的檢證方式若僅概略性呈現，且證據資料來源與內容也缺乏明確的陳述，則評鑑指標會因受評者與評鑑者不同解讀而失去客觀性，也影響評鑑的公正性。因此，為明確化國民中、小學整合性績效管理系統關鍵績效指標之檢證方式與證據來源，以下針對文獻中有關績效指標檢證方式與證據資料來源進行探討。

（一）績效指標的檢證方式

「指標的檢證方式」是指針對所要檢證的績效指標，進行資料蒐集所使用的方法或技術。 Stufflebeam與 Shinkfield（2007）認為，評鑑人員應運用各種資訊蒐集方法與技術，由多元的資訊來源處蒐集評鑑所需的資訊。對評鑑指標的檢證方式，例如檔案查閱、晤談、觀察、座談、問卷調查等，僅概括性地介紹其功能與作法（王冬雅，2004；吳清山，2001；吳淑妤， 2003；李有在，2006；許明峰，2005；陳忠本，2004；蔡金柱，2004；鄭新輝，2008；鍾榮茂，2006；羅英豪，2000；Alabama State Department of Education, 2002; Stufflebeam & Shinkfield, 2007）。由於相關研究相當少見，以下將綜合國內、外學者對學校、校長與教師評鑑在進行資料蒐集時，所經常使用的方式或技術、資訊蒐集的可能來源，以及各種檢證方式與資料來源

(4)

30 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳對建構網路管理平台的需要性，歸納整理如下：

1. 績效指標的檢證方式

績效指標的檢證方式應配合績效指標進行規劃。一般常用的績效指標檢證方式可歸納為下列四種（鄭新輝、鍾廣翰，2012）：

(1)檔案查閱

是指評鑑者依據評鑑指標所產生、保存及記錄的文件或資料。檔案查閱是評鑑中最基本也是常使用的指標檢證方式。檔案形式可分為書面紙本文件、Office 系統檔案或統計表、照片，以及影音資料等。在傳統評鑑中，受限於時間上的關係，使用檔案查閱是最普遍的評鑑指標檢證方式，但因所呈現與檢視的檔案較偏重書面紙本資料；對其他有價值的網站資料與影音檔案，較無法進行檢證，相當可惜。因此，若能透過網路管理平台來管理檢證資料，則可善用行動載具的功能，檢視各種類型的檔案資料。

(2)觀察

觀察是一項複雜的任務，是評鑑者運用個人的感官知覺能力，進行實地覺察的歷程。因此，評鑑人員需要接受專業訓練，以培養敏銳的觀察力。由於訪評時間規劃不足，使得評鑑者較無法依據各項指標的要求進行充分的觀察。因此，若能透過網路管理平台，將學校有關的環境設施與教學活動等影像紀錄上傳至管理平台，將可提供評鑑者較多觀察的時間與機會，配合績效指標進行更深入的檢視與評量。

(3)晤談

是指評鑑者依據指標對個別利害關係人，進行面對面的溝通互動，以便蒐集資料並做判斷的歷程。晤談方式可分成「探索性晤談」與「澄清性晤談」。前者是以瞭解現況與感受為主要目的；後者則以檢證某些書面檔案內容或進一步澄清有關資訊為目的。在訪評時間有限的情況下，評鑑者通常會折衷地採取集體座談方式進行，相對地也影響資料的蒐集與判斷。因此，若能透過網路管理平台的規劃，運用視訊軟體的功能，將可打破時空的限制，在任何時間與場合中進行晤談。

(4)問卷調查

是指評鑑者依據績效指標對不同利害關係人，以問題量表或檢核表的形式進行調查。問卷調查是一種較為便利、經濟且省時省力的資料蒐集方式，其缺點在於容易受個人主觀意識與態度影響。因此，若能依據指標需求，設計適合不同利害關係人回應的問題，且提供充分的時間，將可滿足大量蒐集資料的優點。傳統紙筆式的問卷調查，以郵寄方式、當面作答或追蹤訪問的方式填答，常需要花費較多的整理時間。若能透過網路管理平台，進行網路問卷調查，則可節省資料彙整時間並快速解讀所獲得的資訊。

(5)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 31

2. 資訊蒐集來源

鄭新輝（2002）指出，評鑑資料的蒐集應依評鑑規準與指標的性質，配合採取多元化的資料蒐集方式，例如：資料查閱、觀察、晤談、問卷、座談等，藉以相互檢證，讓資料的分析與解讀更具信度與效度，以避免因過於偏重書面資料的查閱所產生真實性不足的問題。績效指標的檢證方式中，需對不同的利害關係人，透過不同的方法蒐集多元化資訊。綜合有關研究與實務觀點，績效指標的資訊蒐集來源主要包括下列幾種可能對象（Stufflebeam & Shinkfield, 2007）：(1)上級機關有關人員；(2)校長；(3)教職員工；(4)學生；(5)家長；(6)社區人士；(7)其他利害關係人。近年來為提供更完整的評鑑回饋資訊，降低評鑑者的專斷或偏見，因此提倡採取 360 度回饋技術，針對相同的指標，由不同利害關係人處，蒐集多來源的資訊，以提供評鑑者做出更客觀與正確的判斷（Clifford & Ross, 2011）。由於資訊蒐集來源愈多元，所需花費的時間愈多，因此在績效指標檢證過程中，有必要依據指標，審慎規劃並選擇最適切的資料蒐集來源。此外，藉由網路管理平台的建置，將有助於破除時空限制並蒐集更多元化資訊，以協助評鑑者做出正確判斷。

（二）績效指標的證據來源與內容評定標準

證據來源與內容（evidential information sources and contents）是指可用來證明受評者在某一指標的表現，是否符合要求水準的證據資料來源與具體內容。評鑑的證據資料重質不重量，受評者只需依指標的要求，選擇最能夠證明其績效與價值的證據內容即可。因此，評鑑過程受評者不應該「製造資料」，而是將日常活動中的眾多資料，選擇足以證明其表現的證據放入檔案中即可（Alabama State Department of Education, 2002）。然而，績效指標的設計有時無法明確地指陳將被用來判斷績效與價值的標準，因此，如何將每項指標所應呈現的證據來源與內容，更具體而明確地規範與說明，將成為評鑑能否客觀公正的關鍵。亦即，評鑑規劃者如果能針對每一項項指標所要檢視的證據來源（例如：檢視實施計畫與會議紀錄等）與具體的內容評定標準（例如：是否有呈現實施計畫、會議紀錄內是否有議題、錄音或活動照片、參與教師是否能具體描述會議過程等），有明確的解讀，並讓受評者與評鑑者知悉，將有助於減低受評者的評鑑焦慮，並提高評鑑的可靠性與正確性。因此，在某些評鑑手冊與工具的使用說明中，會將每一指標所要評定的各等級分數，運用「行為錨定法」（Behaviorally Anchored Rating Scale）進行分析，具體明確地陳述受評對象所應表現的內容與標準（陳漢強、周淑惠， 1993；蔡培村、鄭彩鳳，2008）。但目前仍有大部分評鑑規劃僅關注指標設計，忽略證據來源與內容標準。由於本研究各項績效指標的證據來源與內容標準具有個殊性，因此在建構績效指標網路管理平台之前，有必要透過各利害關係人之間的討論與解讀，形成可用來判斷符合各項指標要求所應呈現的證據來源與內容標準，以作為受評者提供證據資料與評鑑者判斷其績效表現的依據。

(6)

二、績效管理平台的設計理念與策略

（一）績效管理平台的設計理念

Ngai、Poon 與 Chan（2007）指出，在接受數位科技學習中，技術支援是很重要的因素。學校評鑑所需資料愈來愈多樣化，且資料格式變化不定；而資料取得後，也需要花時間進行篩選與處理。資料處理時間視資料多寡及複雜度而定，有時需另行以人工方式加以整理，過程需耗費相當時日，相對增加教育人員的負擔並影響評鑑的時效性及品質（張德銳等，2002）。網路管理平台結合數位化歷程檔案，能提供受評者真實紀錄，以及自我反思的機會，是一種真實評量。因此，若能透過績效管理平台的建置，將可強化評鑑的功能性，也有助於將學校評鑑導向永續性及系統性發展。 Denzin（1978）最早將航海量測中多重檢核的觀念引入社會學的研究，主張採用多重方法來探究同樣的社會現象，以避免產生探究的偏誤。Denzin 提出四種多重檢核的作法，包括： 1.資料的多重檢核（data triangulation），指在一個研究中取得多種資料來源；2.研究者的多重檢核（ investigator triangulation ），指透過多個研究者進行研究； 3. 理論的多重檢核（theorytriangulation），使用多個理論觀點來解釋某一項研究結果；4.方法的多重檢核（methodological triangulation），使用多重方法來研究同一問題。本研究中針對績效指標的檢證標準、方式與證據來源之探究，主要包含焦點團體座談與網路績效管理平台的實作，並利用線上檔案查閱、到校實地訪視、晤談與問卷調查等「多重檢核」方法，以便能相互檢核並降低單一方法所產生之偏誤（bias），達到多重檢核或交互檢證（cross validation）的目的（宋曜廷，2011；宋曜廷、潘佩妤，2010）。由於以不同方法對同一現象加以檢視，如果兩套結果是相近似的，則可以對評鑑結果提供更強而有力的支撐，並增加指標檢證方式與證據來源結構的效度。

（二）網路績效管理平台的設計策略

教育現況的發展與需求永遠隨著內、外在環境而快速改變。Palmer（2002）認為，根據媒體豐富理論的觀點，多媒體互動格式（multimedia interactive format）所能提供的豐富性將大於文字與圖片所能提供的，而網際網路正具備此項能力來加強其媒體豐富性。傳統資訊系統分析功能不夠彈性，不能變換多角度分析複雜資料且進行細部分析與自行設計報表等功能。因而現行傳統的評鑑無法滿足多變的需要，如趨勢分析、歷史資料比對等。在本研究網路績效管理平台的建置模式，依不同資訊技術應用及特性可分成三種：

1. 檔案資料形式

這是簡單的評鑑資料呈現方式。將所有紙本資料數位化，如利用 Office 系統將紙本資料轉換，儲存於電腦資料夾中，並依不同指標分類資料，檔案可包含文字檔、影片檔及音效檔等形式，可對資料檔案進行編排與整理的工作，亦可同時儲存大量資料（陳得利，2002）。

(7)

2. 網頁形式（Webfolio）

此類的設計原理是利用網頁製作軟體，以及程式語法的編寫來製作網頁，最常見的如： HTML、Dreamweaver、Joomla、Xoops 等；讓受評者依照指標將資料上傳至網站，利用資料庫系統將資料保存、分析及整理，可確保資料按時間上傳，增加資料的正確性、有效性，同時對評鑑者而言也提高了便利性。

3. Web 2.0 應用

“Web 2.0”一詞是於 2004 年 San Francisco 國際研討會中，由 O’Reilly（2007）提出的名詞，其總結出七項大原則：(1)將 Web 當作平台；(2)引領集體智慧；(3)資料將變成未來的“Intel Inside”；(4)終止軟體更新週期；(5)輕型程式設計模型；(6)跨越單一設備之軟體應用；(7)豐富使用者的體驗。Web 2.0 的應用提供了多樣化的支援與服務，其易使用性和發展快速，提供了一個相當大的機會給使用者來做資訊共享與合作，將使用者導向及多元化資訊傳遞，帶入了平台設計。 Li、Tan 與 Xie（2002）指出，技術支援除了最基本的傳遞資訊功能外，更重要的是藉由平台為使用者提供更迅速的服務或協助。因此，是否能夠針對使用者的問題或要求，即時透過平台的機制，迅速地給予處理，是使用者評估平台功能的重要因素。因此，本研究改良網頁型平台設計，並導入 Web 2.0＋ajax 的應用來提升績效評鑑網路管理平台的功能。讓評鑑資料的呈現不僅有更多元化的選擇，網路管理平台亦能提供更便利的資訊分享，幫助評鑑走向更多元化並提升評鑑資料的深度及廣度；讓評鑑工作不再只是單向的工作，而是同儕經驗共享與雙向溝通的管道；讓評鑑不再是敵人，而是朋友。而資料蒐集的種類也更具多樣化，除一般的 word 檔案資料外，PDF 檔、影音檔、網站資源連結及數位教學教材均可上傳，可讓教師及學校的努力，更真實且豐富地呈現。系統之介面設計是以指標之內容、檢核方式、檢證標準與證據來源為主軸，先以指標為第一層分類，接下來的連結分頁，則由此項指標的對象，包含檢核的方式等再分項分層規劃，系統畫面可參考圖 4、圖 5。為使系統易於管理者使用，每個指標、檢核方式、檢證標準與證據來源均可依需求修改，彈性度較一般系統大，且可符合每所學校之需求。

三、運用資訊科技在績效評鑑並建置網路管理平台的效益性與可行性

榮泰生（2006）指出，系統開發人員於系統建制完成之後，應審慎評估系統的運作狀況，以瞭解系統是否符合使用者需求，並作為未來改善的建議與參考。此外，在系統開發過程中，使用者介面（user interface）為使用者與系統操作互動的重要媒介。因此，使用者介面的友善程度影響著系統是否被使用者所接受的重要關鍵（Chung, 2009），系統的效益性應包含介面親和度及運作功能性。可行性分析是用來評估某方案在技術、操作、效益與應用上是否務實的一個過程。因此，系統的可行性應包含使用者對於系統整體性的滿意度及其後續的推廣性進

(8)

34 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳行評估（尹玫君、蘇彥寧，2011）。本研究以學校行政管理者、教師與評鑑人員等不同利害關係人為對象，針對所建置的網路績效管理平台的介面親和性與運作功能性檢視其效益性，並以使用者的滿意度及其推廣的可能性檢視其可行性。有關運用資訊科技在學校績效評鑑並建置網路管理平台的效益性與可行性分析如下：

（一）對學校行政與管理者的效益

在網路績效管理平台中，所有的績效評鑑指標均採系統化建構，藉由與資料庫的連結，資料可不受時間及地點的限制，隨時被上傳及被檢閱，以提升資料被使用的效率。因網路績效管理平台具歷程記錄的功能，所以可防止資料假造的機會，確保資料的時間正確性。透過平台的整理，資料可及時地以不同形式呈現，如：表格、圖表及統計分析圖等，讓管理者能在第一時間得到詳細可用的資料，並做出最符合需求的決定。管理者不須等到評鑑時才能檢閱所有資料，於平時就可進行資料檢核，隨時發現問題，即可快速處理。此外，藉由平台的使用管理，不僅可減少人力在資料彙整與分析上的耗費，也有助於強化評鑑管理的效能。

（二）對教師的效益

Bolliger與 Wasilik（2009）認為使用者的滿意度是指使用者在使用過程中，所涉入之活動足以滿足個人使用上的需要，而產生完滿的感受和正向的態度。藉由網路績效管理平台，資料的呈現將更具多樣性，受評者可以多元的方式將其成果或教學歷程呈現。這些歷程資料亦可成為受評者個人職涯發展的資料檔，可提供個人在未來求職或自我反思更詳盡的資料。受評者可檢閱教學或行政的績效，提供個人自我專業成長的參考。藉由這些歷程，也可真實地呈現受評者的努力與進步。

（三）對評鑑委員的效益

Ngai 等（2007）指出，在接受數位科技環境中，技術支援是影響認知有用性、認知易用性及態度的主要因素。傳統評鑑由於時間及空間的限制，評鑑者往往無法詳細地檢閱資料（張德銳等，2002），若透過網路績效管理平台，則可提供足夠的檢閱時間，降低空間的限制，大幅提升評鑑的品質及準確度。因網路績效管理平台具有記錄歷程的功能，所以評鑑者可依受評者真實呈現的資料進行判斷，以提升評鑑的正確性與公信力。透過管理平台多元化的資料呈現，受評者雖然有些指標尚未達到期望水準，但累積所呈現的歷程資料，評鑑者可據以判斷受評者的努力與進展情形。亦即，藉由網路績效管理平台的使用，可將傳統評鑑由成果導向轉為績效與歷程並重，讓評鑑的終極目標符合「建設性取向」（constructive orientation）的後設評鑑標準（Joint Committee on Standards for Educational Evaluation, 2009），以達成持續改善與提升學校經營品質之目的。

(9)

（四）建置網路管理平台的可行性

由於傳統的評鑑無論對學校教育人員與評鑑人員，皆存在許多待解決的問題。因此，若能運用資訊科技有系統地規劃與建置評鑑系統的網路管理平台，如前所述，對學校受評者與評鑑者皆可帶來許多效益。因此，對該平台系統而言，其可行性應可由使用者對本系統的使用滿意度，以及比傳統評鑑好用的推廣可行性，包含本系統比傳統評鑑方便，可節省評鑑時間、更具客觀性、可輔助受評者評量、樂於使用本系統等進行評估。

參、研究設計與實施

一、研究方法

（一）焦點團體座談

本研究以鄭新輝（2010）所建構之「整合性學校績效管理關鍵績效指標」為基礎，共分成三大類、十六個層面、八十個指標（內容架構如圖 1 所示）。透過焦點團體座談，以行為錨定法針對每一個指標設定其合理的檢證標準、方式與證據來源（如表 1）。焦點團體座談的優點在於可針對焦點議題，在同一時間內蒐集多位參與者的看法，同時透過持續地溝通互動與討論，對議題有更深入而完整的看法（陳向明，2002；鈕文英，2006；Morgan, 1996）。由於本研究之目的在針對每一個績效指標的檢證標準、方式與證據來源進行深入的探討，以建立較為合理的共識，因此若能透過焦點團體座談法進行資料蒐集，將可適切達成目的。本研究的焦點團體座談每次歷時約兩小時。晤談由研究者負責主持，在徵得參與者同意後，由研究助理負責錄音與現場記錄，包括發言者以及口語與非口語的表達重點摘述。進行的程序分為：開場、討論與總結三部分。

（二）網路績效管理平台建構

本研究利用 Web 2.0 與 ajax 技術結合資料庫來建構網路績效管理平台，並配合群組合作與管理來規劃建置。本網站使用 Linux 作業系統，伺服器軟體為 AppServer，內含 PHP、MySQL。在網站內容管理系統（Content Management System, CMS）方面，研究者利用 PHP 自行開發設計模組並結合 Joomla 系統會員資料建置網站內容架構，使用 ajax 技術呈現即時互動圖表。本研究網站內容共規劃：「研究計畫」、「時程規劃」、「評鑑系統」、「活動照片」、「網站連結」等五個項目（見圖 2），以及作為本研究網路績效管理平台的入口網站（見圖 3）。評鑑系統的主要功能包含：檔案資料上傳、線上問卷調查、線上資料查詢、線上評分與統計圖。

（三）問卷調查法

本研究為瞭解運用資訊科技建構網路績效管理平台的效益與可行性，以自編問卷就本系統的「介面親和度」、「運作功能性」、「使用滿意度」與「推廣可行性」四個層面進行分

(10)

36 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳圖 1. 關鍵績效指標的內容架構第一級指標（三大類）第二級指標 _{（十六層面）} 第三級指標（八十個指標）整合性學校績效管理系統關鍵績效指標內容架構 B 類：教師教學與輔導類指標 C 類：學校整體經營成效指標 4 健康的學生表現 3 專業的教師團隊 2 成功的領導與支持 1 優質教育環境營造 6 專業發展與分享 5 學生身心輔導 4 教學評量 3 班級經營 2 教學技巧 1 課程與教學規劃 1 策略規劃與領導 2 課程領導與管理 3 學生身心健康管理 4 環境設施與管理 5 資源開發與管理 6 人資發展與管理五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標五個指標 A 類：行政領導與管理類指標

(11)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 37 表 1 關鍵績效指標對應之檢證標準、檢核方式與證據來源層面績效指標內容檢證標準（1～5分）檢核方式證據來源 A-1_{策略規劃與領導} A-1-1學校訂有明確的共享願景、年度優先發展或改善目標，且教職員皆能瞭解與支持。 1. 未訂 2. 有訂。但不完整、不明確或無會議討論紀錄，或未達 40%之教師瞭解與支持。 3. 學校有明確共享願景、年度優先發展目標與會議討論紀錄，但僅 40%以上之教職員瞭解與支持。 4. 學校有明確共享願景、年度優先發展目標與會議討論紀錄，且有 60%以上之教職員瞭解與支持。 5. 學校有明確共享願景、年度優先發展目標與會議討論紀錄，且有 80%以上之教職員瞭解與支持。 ■1.檔案查閱 □2.觀察 ■3.訪談 □4.座談 ■5.問卷調查 □6.其他 1. 查閱書面之共享願景、年度發展目標與會議紀錄之內容。 2. 抽樣之受訪教職員能具體說出學校共享願景與年度優先發展目標。 3. 問卷調查教職員瞭解學校共享願景與年度優先發展情形。圖2. 網路績效管理平台架構析。使用問卷調查法的優點，在於可在短時間內蒐集大量的問卷資料，以提供本研究後續修正與分析之參考。

二、研究範圍與對象

本研究對象採立意取樣，選擇願意參與本研究之 3 所學校。問卷調查對象之有效樣本為 74位使用者，包含 8 位評鑑委員、13 位教師、3 位校長及 50 位行政人員。問卷調查回收 74 位，樣本之基本資料整理如表 2 所示。首頁評鑑委員研究計畫時程規劃評鑑系統活動照片網站連結教師行政人員

(12)

38 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳圖3. 整合性學校績效管理系統入口網站

三、可行性與效益性問卷

所謂信度是指量表工具所測得結果的穩定度或量表的一致性。研究工具中各量表之信度考驗方式採 Cronbach’s α 係數值來衡量。本研究調查問卷總量表之 Cronbach’s α 值為 .927，達到信度要求水準。該量表之效度考驗以因素分析進行建構效度考驗。首先依據 Kaiser 的建議，檢視其 KMO 值為 .809。其次，以主成分分析法進行因素抽取，選取標準為特徵值大於 1 之因素，並以最大變異數轉軸法進行直交轉軸，轉軸後之因素中，以各題之因素負荷量最高且大於 .40 以上之題目才保留。最後再進行一次因素分析，以確認各量表的因素、特徵值、各因素的題目與因素負荷量、解釋變異量，以及全量表的解釋變異量，其結果如表 3 所示。本研究調查問卷四層面，包括：系統介面親和度、介面功能性、使用滿意度與推廣的可行性等，各題目之因素負荷量均大於 .40，所以 20 題皆保留且整份問卷也具有良好的信度與效度。

(13)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 39 表 2 研究樣本結構樣本特性人數百分比（%）性別男女 34 40 46.0 54.0 學歷專科大學碩士（含四十學分班）博士 4 29 38 3 5.4 39.2 51.4 4.0 年齡 21-30歲 31-40歲 41-50歲 51歲以上 4 30 25 15 5.4 40.6 33.8 20.2 登入身分老師行政人員主任／校長評鑑委員 13 43 10 8 17.6 58.1 13.5 10.8 離開學校後是否上網會上網不上網 68 6 91.9 8.1 表 3 「可行性與效益性問卷」之各層面因素分析（KMO＝ .809）因素負荷量共同性刪除題號因素1 系統使用滿意度因素2 系統推廣可行性因素3 系統介面親和度因素4 系統介面功能性 .867 否 12 .863 .867 否 13 .837 .837 否 11 .776 .806 否 14 .712 .656 否 15 .622 .814 否 20 .851 .919 否 19 .784 .796 否 18 .723 .828 否（續）

(14)

40 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳表 3 「可行性與效益性問卷」之各層面因素分析（KMO＝ .809）（續）因素負荷量共同性刪除題號因素1 系統使用滿意度因素2 系統推廣可行性因素3 系統介面親和度因素4 系統介面功能性 .867 否 16 .657 .849 否 17 .631 .777 否 3 .878 .813 否 4 .838 .737 否 2 .655 .744 否 1 .541 .676 否 5 .530 .551 否 10 .819 .721 否 7 .746 .840 否 9 .618 .731 否 6 .587 .736 否 8 .539 .765 否特徵值 4.535 3.952 3.725 3.251 解釋變異量（%） 22.675 19.758 18.627 16.257 累計解釋變異量（%） 22.675 42.433 61.060 77.317

四、資料處理

（一）質性資料的處理

本研究參考質性分析的架構（Bryman, 2001），先將訪談錄音檔轉譯為逐字稿；其次再請另一位研究人員針對內容進行審核；接著依每一指標修正內容進行整理與歸類並統整成表格；最後進行整體資料的檢視，以確保焦點團體座談的內容與每一個指標的檢證標準、方式與證據來源皆有清楚的陳述，修正之原因也有清楚的紀錄。最後，依據本研究目的，將前述所蒐集的質性分析結果，進行研究結果的綜合分析與解釋。

（二）量化資料的處理

量化資料之處理主要針對網路績效管理平台使用效益與可行性之問卷調查資料。整份問卷區分為四大面向，包括：介面親和度、運作功能性、使用滿意度與推廣可行性。評分方式採用李克特（Likert）五點量表，5 分代表「非常同意」、4 分為「同意」、3 分代表「普通」、2

(15)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 41 分為「不同意」、1 分是「非常不同意」。各層面與單題所得結果以描述性統計進行分析與解釋，並以獨立樣本 t 檢定與單因子變異數進行不同背景受試者在各層面的反應差異分析。

肆、結果與討論

一、關鍵績效指標最適切的檢證標準、檢核方式與證據來源

本研究針對三大類、十六個層面、八十個關鍵績效指標的內容、檢證標準、檢核方式與證據來源，邀請校長與教師分別進行五次焦點團體座談，共有 9 位校長及教師 20 位參與，其結果整理如下：

（一）校長焦點團體座談資料整理

1. 第一次校長焦點團體座談

在第一次校長焦點團體座談後，問卷「A 類：行政領導與管理類指標」共有 17 題經過修改，其中有 8 題是修改指標內容的文辭並加強字義的精確度，有 13 題增加或改變檢核方式、有 7 題對檢證標準修飾其說明。修改的指標中，以指標 A-2-3 修改較大。因該指標的檢證標準「偏向學藝活動」，參與者認為，為提供學生多元展能機會，因此將之修改為「校內與校外學藝活動競賽」，並將括弧內增列語文、數學、科展、藝文、體育等項目；在 3、4、5 分上增加親師生認同的百分比，讓檢證標準更完善；此外，也將適合進行問卷調查之指標皆增加為該指標的檢核方式。在「C 類：學校整體經營成效指標」中共有 4 題經過修改，這 4 題的指標內容均有修改文辭，其中 2 題對檢證標準有小幅修改，又以指標 C-4-5 爭議較大，校長們對於檢證標準有不同的看法，為了讓檢證標準更加明確，針對指標說明後來有加入近 3 年的校園安全意外事件，且因比率太抽象不知道怎麼去算，所以修改為以全縣市的平均數來做基準，分數 2 是「高於平均數沒改善」、3 是「高於平均但持續獲得改善」、4 是「低於平均數或高於全縣市平均數，但每年減少比例達到 40%以上」、5 是「低於全縣市平均數 50%，或高於全縣市平均數，但有持續獲得改善，但每年減少比例達到 60%以上」。

2. 第二次校長焦點團體座談

為提升指標之穩定性，本研究安排了第二次校長焦點團體座談會，以第一次座談會修正後的指標內容、檢證標準、檢核方式與證據來源等項進行討論。經過第二次校長焦點團體座談後，問卷「A 類：行政領導與管理類指標」共有 17 題做少部分的修改，其中有 13 題進行文辭修飾，只有 3 題增加或改變檢核方式、11 題對證據來源說明加強解釋，修改幅度不大，大多為文辭潤飾較多，並無具爭議的題項出現，因此未再進行第三次焦點團體座談。在「C 類：學校整體經營成效指標」中共有 12 題經過修改，12 題均有文詞修飾，其中 2

(16)

42 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳題對檢證標準有小幅修改，在說明後面加入「（或有明顯的持續改善）」，讓標準更完善。

（二）教師焦點團體座談資料整理

本研究為深入瞭解教師對「B 類：教師教學與輔導類指標」各層面指標的內容、檢證標準、檢核方式與證據來源之看法，共舉行了 3 場焦點團體座談會，分別邀請 K 市甲國小、乙國小及 T 市丙國小共 20 位老師參與。

1. 第一場教師焦點團體座談

第一場 K 市甲國小焦點團體座談會，有 6 位老師參與，分別針對 B 類指標給予建議，經過第一次教師焦點團體座談後，共修改了七個指標，其餘皆保留。其中有 5 題進行文辭修飾與加強字義精確度，只有 2 題增加或改變檢核方式、4 題對證據來源說明加強解釋，其中以指標 B-3-1 修改幅度較大，因該題之證據來源不夠明確，所以增加第三、四項的說明，包括：「訪談教師瞭解其進行教育情境布置之規劃與運用情形」、「訪談與問卷調查學生，以瞭解其對教室平面與空間布置是否定期更換並豐富其學習需求」。

2. 第二場教師焦點團體座談

第二場教師焦點團體座談在 T 市丙國小舉行，共有 8 位教師參與訪談，根據第一次訪談修改過之指標進行意見諮詢。在此場會議中只修改了四個指標，其中 5 題進行了文辭修飾，另外只有 1 題對證據來源說明加強解釋，例如：指標 B-1-4，因為學生的進步較難界定，若將檢證標準 4、5 分增加學生「學習表現」，評分起來會較容易。對於其他未修改之指標，教師們均表達了認同。

3. 第三場教師焦點團體座談

第三場教師焦點團體座談在 K 市乙國小舉行，共有 6 位教師參與訪談，根據第二次訪談修改過之指標進行意見諮詢，在第三場教師焦點團體座談中，對於指標並無大幅度的修改，只有對九個指標進行修改，其中有 5 題進行些微的文句修飾、1 題做檢證標準修改，另外有 3 題對證據來源說明加強解釋，例如：指標 B-4-1，教師建議檢證標準 3 一定要改，因為批改學生作業正確率達 60%實在太低了，應改為 80%，同時檢證標準 4，要把正確率提高到 90%。本研究依據五次焦點團體座談之結果進行分析與整理。三大類、十六層面、八十個指標的內容、各指標的檢證標準、檢核方式與證據來源分析，因篇幅過大無法全部呈現在本研究中，僅擷取一部分內容呈現如附錄。

二、網路績效管理平台之建置

傳統教育管理系統中尚無運用績效指標導入資料庫進行評估的先例，因此本研究採用 Web 2.0＋ajax 技術並結合資料庫管理平台進行建置。利用內容管理提供評鑑資料儲存、搜尋、分享、遠端存取瀏覽、權限保護等內容管理機制。本研究依據前述歸納之三大類、十六層面、

(17)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 43 八十個指標內容與各個指標的檢證標準、檢核方式與證據來源說明，建置成網路績效管理平台，其設計結果分成三部分加以說明如下：

（一）指標的檢證標準、方式與證據來源之設計

網路績效管理系統的開發基於專業分工的考量必須委由資訊專業人員來設計，但要如何依照關鍵績效指標需求進行系統開發與管理，就必須先有明確的績效指標、檢核方式與證據來源。就本研究而言，受評人員和評鑑人員大多選自國民中、小學校長、老師和行政人員，具有教育之背景，對於其專業有相當瞭解。管理人員在系統開發後，應與受評者及評鑑者討論，並規劃瞭解與熟悉本系統操作的教育訓練內容及進行測試，以利學校日後能順利使用系統。唯有管理人員、受評者、評鑑者三方面密切配合的開發模式，才能保證系統開發的成功。指標轉換與評鑑系統檔案之設計包括：

1. 資料種類

在評鑑網路管理平台上，上傳檔案的類型較為多元化，可包括：書面的文件、檔案、照片，以及影音資料等，以瞭解工作執行情形和完成數量。

2. 資料保存

在評鑑網路管理平台上，會要求受評學校負責人員上傳資料至該平台，這些資料包含了學校有關的規章、計畫、報表、出版品、工作或會議紀錄等，都將儲存於資料庫中。另外，受評教師也可依評鑑指標項目分類後將資料上傳，這些資料也會按照指標類型的不同，分類保存。

3. 資料歷程

傳統評鑑無法明確指出資料是何時製作，因此會有資料造假的可能，但使用網路管理平台後，所有的資料上傳均有詳細的歷程紀錄，日期、時間都會被詳實地記錄下來。若同一指標資料有被更新，歷程紀錄也會呈現何時更新及更新次數等，來確保資料的正確性與公正性。本研究中績效指標檢證方式與證據來源之建構，可歸納為下列四種：(1)檔案查閱；(2)觀察；(3)晤談；(4)問卷調查。研究者利用 PHP 程式撰寫之評鑑系統如圖 4 與圖 5 所示。圖 4 為評分標準的介面，由介面中評分者可以清楚瞭解檢證標準、檢核方式與證據來源；若有需要改變標準時，管理者可輕易地進行修改及增減資料；圖 5 為檢證方式與證據來源介面，在上方的選項中，評鑑者可清楚地看到此項指標中，有多少種檢核方式（如：檔案查閱、訪談、問卷調查等）之資料須審閱。

（二）線上學校自評與委員訪評

在本研究中，學校自評與委員訪評能兼具量化與質性資料之蒐集與判斷。其方式包含：檔案查閱、觀察、訪談及問卷調查等。檔案查閱除了檢視內容是否符合指標要求外，也要依

(18)

44 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳圖4. 評鑑系統模組圖5. 檢證方式與證據來源據上傳的時間點，判定其是否為真實資料。觀察與訪談則是評鑑者到校親自訪視並記錄其結果。問卷調查包含對行政人員、教師、學生與家長之問卷分析。最後評鑑者依據學校行政或教師自評的量化成績、具體成效與進步情形、尚未達預訂標準的待解決問題、應優先改善重

(19)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 45 點與具體作法，綜合評定其訪評分數（見圖 6）。圖6. 委員評分介面

（三）線上即時互動圖表

資訊視覺化運用已非常普遍，能將資訊顯示於網頁和行動設備上，實現快速共享知識，並制定更合理的決策。本研究中利用 Web 2.0＋ajax 技術建構了一個具備完整檔案儲存與資料分析的系統架構，能夠即時展現每位教師、行政人員與學校整體的各項統計分析。這些分析結果也可以透過類似 Excel 的分析表畫面，以 Web 方式展現至網頁上，或是同時展示分析圖與表，如圖 7 所示。此系統會自動擷取上傳數據，算出平均或差距等各項數值，並依不同需求立即產生各項圖表，例如柱狀圖、圓餅圖等。

三、網路績效管理平台之效益性與可行性

為瞭解使用者對所規劃建置之網路績效管理平台之看法，本研究利用問卷調查進行系統的效益性（介面親和度、運作功能性）與可行性（使用滿意度與推廣可行性）之分析。其結果說明如下：

（一）介面親和度

受試者對本系統的介面親和度反應分析結果整理如表 4 所示。該層面共有 5 題，其平均分數為 3.92 分。若逐題進行分析，可見大多數使用者同意或非常同意所建置的系統容易操作、

(20)

46 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳項目A 項目B 項目C 自評訪評自評訪評自評訪評甲國小 4.97 0.00 0.33 0.30 4.95 0.00 乙國小 3.97 0.00 0.33 0.28 4.10 0.00 丙國小 3.33 0.00 0.36 0.36 5.00 0.00 項目A 項目B

A-1 A-2 A-3 A-4 A-5 A-6 自評訪評自評訪評自評訪評自評訪評自評訪評自評訪評甲國小 5.00 0.00 5.00 0.00 5.00 0.00 5.00 0.00 4.80 0.00 5.00 0.00 乙國小 4.00 0.00 4.40 0.00 4.20 0.00 3.60 0.00 3.40 0.00 4.20 0.00 丙國小 5.00 0.00 5.00 0.00 5.00 0.00 0.00 0.00 0.00 0.00 5.00 0.00 圖7. 線上即時互動圖表網頁內容顯示清晰、網頁轉換流暢穩定、網頁的色彩配置感覺舒適及文字字體大小適當。對本系統的操作性方面，有78.4%的使用者同意或非常同意系統操作容易。在網頁的內容呈現上，有 78%的使用者同意或非常同意系統的網頁內容清晰；有 70.3%同意或非常同意網頁的轉換流暢且穩定；有 71.6%同意或非常同意網頁的色彩配置感覺舒適；有 73%同意或非常同意網頁的文字字體大小適當。

（二）運作功能性

有關本系統的運作功能性分析，主要包含：檔案查閱匯入功能的方便性、評量的客觀性、評量功能能否滿足評鑑需求、協助使用者瞭解學校的評量結果，以及能否提升評鑑效率等 5 題。受試者對該層面各題的反應分析結果整理如表 5 所示。其整體的反應平均得分 3.82 分。自評訪評差距自評訪評差距 0.40 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0 6 5 4 3 2 1 0 甲國小乙國小丙國小甲國小乙國小丙國小

(21)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 47 表 4 系統介面親和度題項內容非常同意 5 同意 4 普通 3 不同意 2 非常不同意 1 平均數 1. 本整合性績效管理系統（以下稱本系統）容易操作。 16 （21.6%） 42 （56.8%） 14 （18.9%） 2 （2.7%） 0 （0%） 3.97 2. 本系統的網頁內容顯示清晰。 16 （21.6%） 41 （55.4%） 13 （17.6%） 4 （5.4%） 0 （0%） 3.93 3. 本系統的網頁轉換流暢穩定。 14 （18.9%） 38 （51.4%） 22 （29.7%） 0 （0%） 0 （0%） 3.89 4. 本系統的色彩配置感覺舒適。 14 （18.9%） 39 （52.7%） 21 （28.4%） 0 （0%） 0 （0%） 3.91 5. 本系統的文字字體大小適當。 14 （18.9%） 40 （54.1%） 19 （25.7%） 1 （1.4%） 0 （0%） 3.91 表 5 系統功能性題項內容非常同意 5 同意 4 普通 3 不同意 2 非常不同意 1 平均數 6. 本系統的檔案查閱匯入功能很方便。 13 （17.6%） 38 （51.4%） 20 （27.0%） 2 （2.7%） 1 （1.4%） 3.81 7. 本系統提供的評量非常客觀。 14 （18.9%） 31 （41.9%） 28 （37.8%） 1 （1.4%） 0 （0%） 3.78 8. 本系統的評量功能可以滿足評鑑需求。 14 （18.9%） 33 （44.6%） 23 （31.1%） 4 （5.4%） 0 （0%） 3.77 9. 本系統能協助使用者迅速瞭解學校的評量結果。 16 （21.6%） 35 （47.3%） 20 （27.0%） 3 （4.1%） 0 （0%） 3.86 10. 本系統能有效提升評鑑效率。 17 （23.0%） 38 （51.4%） 13 （17.6%） 6 （8.1%） 0 （0%） 3.89 若逐題分析，則有 69%的使用者同意或非常同意本系統的檔案查閱匯入功能很方便；有 60.8% 同意或非常同意本系統提供的評量非常客觀；有 63.5%同意或非常同意本系統的評量功能可以滿足評鑑需求；有 68.9%同意或非常同意本系統可協助使用者迅速瞭解學校的評量結果；有 74.4%的使用者同意或非常同意本系統能有效提升評鑑效率。

(22)

（三）使用滿意度

使用滿意度題項包含：操作介面滿意度、資料呈現滿意度、網頁版面滿意度、服務管理滿意度及整體滿意度等 5 題。受試者對該層面各題的反應分析結果整理如表 6 所示。其整體的反應平均為 3.82 分。若逐題分析，則有 70.3%的受試者對本系統的操作介面感到滿意；有 68.9%對本系統的資料呈現感到滿意；有 74.3%對網頁版面感到滿意；有 68.9%對系統的服務管理感到滿意。雖然績效評鑑在執行上仍有其潛在的壓力，也會增加參與者的負擔，但本研究所建構之網路管理平台運作系統，整體而言，對使用者仍有近七成的使用滿意度。表 6 系統使用滿意度題項內容非常同意 5 同意 4 普通 3 不同意 2 非常不同意 1 平均數 11. 我對於本系統的操作介面感到滿意。 12 （16.2%） 40 （54.1%） 21 （28.4%） 1 （1.4%） 0 （0%） 3.85 12. 我對於本系統的資料呈現感到滿意。 8 （10.8%） 43 （58.1%） 19 （25.7%） 4 （5.4%） 0 （0%） 3.74 13. 我對於本系統的網頁版面感到滿意。 12 （16.2%） 43 （58.1%） 17 （23.0%） 2 （2.7%） 0 （0%） 3.88 14. 我對於本系統的服務管理感到滿意。 10 （13.5%） 41 （55.4%） 20 （27.0%） 3 （4.1%） 0 （0%） 3.78 15. 我對於本系統的整體性感到滿意。 11 （14.7%） 44 （59.5%） 16 （21.6%） 3 （4.1%） 0 （0%） 3.85

（四）推廣可行性

推廣可行性題項包含：本系統的方便性、效率性、客觀性、輔助性及執行性等 5 題。受試者對該層面各題的反應分析結果整理如表 7 所示。其整體的反應平均數為 3.90 分。若逐題分析，則受試者有 78.4%認為本系統比傳統的評量更具有方便性；有 78.4%同意或非常同意本系統可以有效地節省評鑑時間；有 70.3%認為本系統有較佳的客觀性；有 74.3%很樂意使用本系統來輔助其進行評量；有 77%樂於將本系統應用在學校評鑑的評量。亦即本研究所建構的網路績效管理平台經實際運用結果，有相當高比例的使用者，認為本系統比傳統的評鑑更具便利性、更有效率、更客觀、更具輔助性與樂於採用。

(23)

鄭新輝、鍾廣翰、王怡芳網路績效管理平台建置 49 表 7 系統推廣可行性題項內容非常同意 5 同意 4 普通 3 不同意 2 非常不同意 1 平均數 16. 我覺得本系統比傳統式評量方便。 19 （25.7%） 39 （52.7%） 14 （18.9%） 2 （2.7%） 0 （0%） 4.01 17. 我覺得使用本系統可以有效節省評鑑時間。 14 （18.9%） 44 （59.5%） 15 （20.3%） 1 （1.4%） 0 （0%） 3.96 18. 我覺得本系統有較佳的客觀性。 13 （17.6%） 39 （52.7%） 18 （24.3%） 4 （5.4%） 0 （0%） 3.83 19. 我很樂意使用本系統來輔助評量。 9 （12.2%） 46 （62.1%） 15 （20.3%） 4 （5.4%） 0 （0%） 3.81 20. 我很樂意將本系統應用在學校評鑑的評量。 11 （14.9%） 46 （62.1%） 15 （20.2%） 1 （1.4%） 1 （1.4%） 3.88

（五）不同背景因素反應差異

不同背景受試者在介面親和性、運作功能、使用滿意度、推廣可行性等四個層面與整體的反應差異分析結果，整理如表 8～10。由表 8 顯示，不同性別受試者在四個層面的反應差異經獨立樣本 t 考驗結果皆未達顯著，亦即不同性別者的反應並無不同。表 8 不同性別對系統各層面及整體層面差異摘要層面名稱性別 N M SD t值男 34 3.95 .66 介面親和度女 40 3.90 .59 -0.36 男 34 3.97 .71 運作功能性女 40 3.73 .71 -1.49 男 34 3.82 .57 使用滿意度女 40 3.82 .71 -0.02 男 34 3.92 .61 推廣可行性女 40 3.88 .68 -0.25 男 34 3.90 .58 整體層面女 40 3.83 .62 -0.52

(24)

50 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳由表 9 顯示，本系統的效益性兩個層面（介面親和性與運作功能性），除「回家後上網時間」不同的受試者，對介面親和性層面有反應差異，且有上網者顯著大於不上網者外，不同年齡、學歷、身分別、上網互動情形的受試者反應差異，皆未達顯著。亦即有上網經驗者對本研究所建構之網路績效管理平台的介面親和性有較高的評價，可見本系統受到有經驗使用者的肯定。表 9 不同背景受試者對系統介面親和度與運作功能性之反應差異分析介面親和度運作功能性背景變項 F值 p值 _事後比較Scheffé F值 p值 _事後比較Scheffé 年齡 1.248** .299 2.131 .104 學歷 1.600** .197 1.589 .200 系統身分別 2.312** .106 1.416 .249 上網互動情形 2.905** .061 1.917 .155 回家後上網時間 7.106** .009 上網＞不上網 0.047 .830 **p ＜ .01. 由表 10 顯示，本系統的可行性兩個層面（使用滿意度與推廣可行性），除不同「學歷」的受試者在「使用滿意度」的反應有差異，且碩士學歷顯著高於大學者外，不同性別、年齡、身分別、上網互動情形與回家後上網時間的受試者，在兩個層面皆未達顯著。亦即有較高學歷者對本研究所建構之網路績效管理平台，有較高的使用滿意度。可見本系統受到高學歷的使用者所肯定。表 10 不同背景受試者對系統使用滿意度與推廣可行性之反應差異分析使用滿意度推廣可行性背景變項 F值 p值 _事後比較Scheffé F值 p值 _事後比較Scheffé 年齡 1.877* .141 1.610 .195 學歷 3.859* .013 碩士＞大學 2.179 .098 系統身分別 2.175* .121 2.111 .129 上網互動情形 0.910* .407 1.452 .241 回家後上網時間 0.220* .640 0.442 .508 *p ＜ .05.

(25)

（六）評鑑者與參與者的評論

評鑑者與參與者在本研究之期末檢討會議中，對本研究所建構之指標系統、各指標的檢證標準、檢核方式與證據來源規劃，以及據以設計的網路管理平台之使用效益與可行性，大多給予正向回應，若綜合其所提及之價值，主要可歸納如下：

1. 透過行為錨定法

可更明確化各指標的檢證標準參與人員表示，因為藉由行為錨定法將每一指標所期待的五等第量尺分數表現標準，以具體的行為描述與量化表現標準的界定，可以更清楚地定義每一個指標的期望表現水準與評量方式。

2. 可降低評鑑者對每一指標的主觀解讀

產生評分者之間的評分差距，且有助於受評者準備資料：例如評鑑者 A 表示：「這樣設計，我們在評分時比較有個依據，大家評出來的分數才不會差太多」；參與教師 B 表示：「在準備評鑑資料時，我們有明確的標準，而且自己預期的分數與委員給的分數，兩者差距不大」。

3. 可引導受評者養成平時即定期整理資料並進行自我管理之習慣

例如參與者 C 表示：「因為這套系統的操作與分類很清楚，我可以把平時有做的資料就上傳上去，不用自己還要整理資料夾。而且，我還可以隨時上去看我自己的表現，對照一下標準，看我可以得幾分，不行就再加油」。

4. 平台上的資料可作為受評者個人的歷程檔案，可提供多種用途

例如參與者 B 表示：「學校對上級評鑑最大的困擾，就是同樣做一件事，不同單位來評鑑一次，就要準備一份資料。所以如果有這樣的平台，就可以整合，請他們上去看我們的資料，或由電腦上彙整下來就可以了，可以省去許多工作，少砍幾棵樹」。參與者 C 表示：「這樣的資料，老師可以當作自己教學檔案，以後可以當作教師評鑑資料；全校性的資料也可以作為學校評鑑、校長辦學績效評鑑的歷程資料」。

5. 可提升校務資料管理效率

因系統設定已上傳資料之統計功能，有助於學校校長及主任檢視全校資料上傳之狀況，以便及時提供回饋。例如參與校長 A 表示：「我每天只要上系統，就可以看每個單位及每位老師資料上傳的狀況，不論在何處，只要能連上系統，我就能瞭解目前學校的狀況，不用等到期中或期末報告時，才能知道，可以及時對學校同仁作要求」。

(26)

伍、結論與建議

一、結論

（一）明確化各指標的檢證標準、檢核方式與證據來源，可提高評鑑的客觀性

本研究發現，參與者與評鑑者對本研究所建構之每一個指標內容，皆有明確的檢證標準、檢核方式與所要蒐集的證據來源，皆給予正向的評價。尤其本研究改良傳統評分方式，利用「行為錨定法」給予各指標明確的檢證標準，受評者可以很清楚地知道各指標的期望表現、自己應當準備的資料，以及可獲得的評定等級分數。評鑑者也可以清楚瞭解各指標應蒐集之資料，並依據各量尺分數的期望表現，對受評者進行客觀的評定，可減低評鑑者的主觀偏見與評鑑者之間評分的差距。

（二）網路績效管理平台可提高評鑑效能，開創績效評鑑數位化管理的先機

本研究將傳統評鑑改良為網頁型評鑑管理平台設計，導入 Web 2.0＋ajax 的應用，以提升學校績效管理平台的功能，讓評鑑資料能夠有更多元化呈現的選擇。此外，網路管理平台亦能提供資訊分享功能，提升評鑑資料的深度及廣度；讓評鑑工作不再是單向性的，而是具有同儕經驗共享的雙向溝通管道。透過網路管理平台，也可強化評鑑的公信力及接受度。同時其所建構的學校與個人的歷程檔案資料，也可發揮「蒐集一次資料，提供多種用途」（MacBeath, 2006），減輕學校負擔之功能。透過網路平台資料上傳的歷程管理機制，也可避免臨時「做資料」的情形發生，可適切引導學校與教師落實自我管理的機制。

（三）本研究建構之網路績效管理平台具效益性與可行性

依據受試者對網路績效管理平台使用的效益性與可行性問卷調查結果顯示，無論是效益性的兩個層面：介面親和度與運作功能性，或可行性的兩個層面：使用滿意度與推廣可行性，在五等量表的反應平均數皆超過 3.5 分，亦即有正面的反應傾向，且逐題分析結果，受試者皆有相當高比例的認同度。顯示本研究依據各指標所建置的網路績效管理平台，具有相當良好的效益性與可行性。尤其在本系統推廣的可行性方面，對有使用經驗的受試者而言，更給予高達七成以上的認同度，亦即本系統比傳統的評鑑具有較高的方便性、效率性、客觀性、輔助性與樂於執行性。由訪談資料也顯示，本研究「各指標的檢證標準、檢核方式與證據來源」內容清楚明確，網路績效管理平台介面具有易於使用等優點，因此參與者也表示願意使用本系統；此外，參與研究之校長及評鑑委員也對於推動使用本系統，給予高度支持與肯定。

(27)

二、建議

（一）教育行政主管機關與學校，可建置網路績效管理平台，強化學校經營效能

本研究發現，使用者對所建置的網路績效管理平台的介面親和性、運作功能、使用滿意度與推廣可行性，皆給予相當正向的反應。因為藉由網路管理平台，不僅可將評鑑指標系統化、減少紙張作業、避免由人為因素所造成的錯誤、正確記錄資料上傳的歷程，也可以加快指標資料傳遞的速度與行政效率。透過資料庫的連結，指標資料可以迅速建檔並統計管理，方便相關部門查詢作業，且與建置關聯性資料庫系統連結，可提升資料的查詢與檢證。學校主管可經由網路管理平台的使用，提供更完整且更有系統化的資料蒐尋系統。決策者可輕易地透過本系統搜尋所需要的資料，不必仰賴部屬彙整資料，在做決策時，可省下不少的時間與人力。此外，網路管理平台提供一個保存評鑑資料的良好系統。可以累積每年度的檔案資料，提供各項教育評鑑與視導所需，發揮「蒐集一次資料，提供多次使用」之功能，以減輕學校教育人員的負擔。透過管理平台的使用，校內主管可隨時掌控學校行政與教學狀況，不必等到每次評鑑報告出爐時，才能瞭解學校的問題。因為網路管理平台的採用，可以大幅降低學校偽造資料與數據的機會，如此一來可大幅提升政策評估的效能。學校亦可藉由網站平台的資料自己對學校自評，且每年可比對往年資料，確實瞭解學校的進步狀況。因此，建議教育行政主管機關與學校，可善用網路績效管理平台，強化學校經營效能。

（二）評鑑人員可善用行為錨定法與網路績效管理平台，以提升評鑑管理效能

傳統式的評鑑，評鑑人員雖有評鑑指標作為參考，但是給分標準因人而異。評鑑若缺乏明確客觀的評分依據，且評定各指標的證據資料來源也未能適切規範與引導，則評鑑者無法有一致性的檢視方式，使得評鑑結果的公正性易受質疑。本研究發現，若能善用「行為錨定法」，針對每一指標的表現期望水準，將五等量表中各等級分數的檢證標準，具體陳述其績效表現行為，將有助於評鑑者能更清楚地判斷受評者表現，並給予適切的分數。此外，數位化的績效管理系統也可以有效管理各項指標所需的資訊。透過儲存歷年紀錄，可提供相關評鑑人員比較受評者各年度的績效表現，瞭解學校與教育人員在各項指標的進展情形。透過數位化績效評鑑的管理平台，可改變傳統評鑑的缺失，協助評鑑人員查詢所有評鑑資訊的上傳時間與內容。數位化評鑑系統會將績效分數與系統連結，便於快速分析並產生圖表，可強化評鑑的正確性並節省評鑑成本，提高評鑑管理的效能。因此，建議教育評鑑人員可善用行為錨定法進行評鑑指標規劃，並透過網路績效管理平台的建置，以提升評鑑管理效能。

（三）學校行政人員與教師可善用網路管理平台，累積個人完整的生涯歷程檔案

本研究受試者普遍認為本系統比傳統的評鑑具有較高的方便性、效率性、客觀性、輔助性與樂於執行性。因為檔案上傳可以設置歷程紀錄，詳實地記錄資料上傳的人員、時間及更新次數，增加檢證的真實性。績效指標的設計能明確地指陳將被用來判斷其績效與價值的標

(28)

54 網路績效管理平台建置鄭新輝、鍾廣翰、王怡芳準與檢核方式，而每項指標所應呈現的證據來源也能明確地加以規範及說明，可適切引導學校教師對指標的期望表現水準有更明確的解讀。不僅可協助教師準備個人績效表現的歷程檔案資料，也有助於減低學校教育人員的評鑑焦慮，而評鑑的效率、可靠性與正確性也相對提升。此外，網路管理平台可提供明確的指引，個人在工作與教學歷程中可隨時將所得各種格式資料，依指標上傳並存檔於管理平台中的資料庫，個人長期累積的資料庫，即可作為個人完整的生涯歷程檔案，便於個人管理與運用。因此，建議學校行政人員與教師可善用網路績效管理平台，以累積個人完整的生涯歷程檔案。

誌謝

本研究承蒙科技部人文及社會科學研究發展司 99 學年度兩年期專題研究計畫（計畫編號：NSC99-2410-H-024-008-MY2）經費補助，以及本刊主編及審稿委員們給予寶貴的意見，謹此致謝。

(29)

參考文獻

一、中文文獻

尹玫君、蘇彥寧（2011）。建置網路學習小組議題報告電腦化評量機制之研究。課程與教學季刊，14（2），55-74。

【Yin, M.-C., & Su, Y.-N. (2011). The study on developing a computerized assessment system for report of web-based learning. Curriculum & Instruction Quarterly, 14(2), 55-74.】

王冬雅（2004）。雲林縣國民小學實施校長評鑑制度之研究（未出版碩士論文）。國立中正大學，嘉義縣。

【Wang, D.-Y. (2004). Research on elementary school principals’ evaluation in Yulin County (Unpublished master’s thesis). National Chung Cheng University, Chiayi County, Taiwan.】

吳清山（2001）。中小學實施校長評鑑的挑戰課題與因應策略。教育研究月刊，84，28-36。

【Wu, C.-S. (2001). Challenges and strategies of implementing principal evaluation at primary and secondary schools. Journal of Education Research, 84, 28-36.】

吳淑妤（2003）。國民小學校長評鑑標準歷程與方法之研究（未出版碩士論文）。國立臺北師範學院，臺北市。

【Wu, S.-Y. (2003). Elementary school principal standards, the process of principal assessment and assessing methods (Unpublished master’s thesis). National Taipei Teachers College, Taipei, Taiwan.】

宋曜廷（編著）（2011）。數位學習研究方法。臺北市：高等教育。

【Sung, Y.-T. (Ed.). (2011). Research methodology for e-learning. Taipei, Taiwan: Higher Education.】

宋曜廷、潘佩妤（2010）。混合研究在教育研究的應用。教育科學研究期刊，55（4），97-130。 doi:10.3966/2073753X2010125504004

【Sung, Y.-T., & Pan, P.-Y. (2010). Applications of mixed methods research in educational studies. Journal of Research in Education Sciences, 55(4), 97-130.doi:10.3966/2073753X2010125504004】

李有在（2006）。台中市國民小學校務評鑑實施之研究（未出版碩士論文）。國立臺中師範學院，臺中市。

【Lee, Y.-T. (2006). A research on the practice of elementary school evaluation in Taichung City (Unpublished master’s thesis). National Taichung Normal College, Taichung, Taiwan.】

張德銳、張芬芬、邱錦昌、張明輝、熊曣、萬家春…李俊達（2002）。台北市中小學教學輔導教師制度九十學年度實施成效評鑑報告。臺北市政府教育局委託專案研究報告（未出版）。臺北市：臺北市立師範學院國民教育研究所。

【Zhang, D.-R., Zhang, F.-F., Qiu, J.-C., Zhang, M.-H., Xiong, Y., Wan, C.-C. …Lee, C.-D. (2002). The evaluation report of implementing education tutor system at primary and secondary schools in Taipei during ninety academic year. Unpublished research report for Department of Education, Taipei City Government. Taipei, Taiwan: Graduate Institute of Compulsory Education, Taipei Municipal Teachers College.】

許明峰（2005）。國民小學教師評鑑手冊建構之研究（未出版碩士論文）。國立新竹師範學院，新竹市。

(30)

【Hsu, M.-F. (2005). A study on the development of elementary school teacher evaluation manual (Unpublished master’s thesis). National Hsinchu Teachers College, Hsinchu, Taiwan.】

郭昭佑（2007）。教育評鑑研究：原罪與解放。臺北市：五南。

【Guo, Z.-Y. (2007). Educational research and evaluation: Original sin and liberation. Taipei, Taiwan: Wu-Nan Book.】

陳向明（2002）。社會科學質性研究。臺北市：五南。

【Chen, X.-M. (2002). Qualitative research of social science. Taipei, Taiwan: Wu-Nan Book.】

陳忠本（2004）。國民小學校長評鑑之研究－以屏東縣國民小學為例（未出版碩士論文）。國立屏東師範學院，屏東市。

【Chen, Z.-M. (2004). A study of elementary school principal evaluation: A case study of elementary school in Pingtung (Unpublished master’s thesis). National Pingtung Teachers College, Pingtung, Taiwan.】

陳得利（2002）。網路化歷程檔案系統之設計與實作（未出版碩士論文）。國立中山大學，高雄市。

【Chen, D.-L. (2002). Design and implementation of a web-based portfolio supporting system (Unpublished master’s thesis). National Sun Yat-sen University, Kaohsiung, Taiwan.】

陳漢強、周淑惠（1993）。台灣省、台北市、高雄市幼稚園評鑑手冊。臺北市：教育部。

【Chen, H.-C., & Zhou, S.-H. (1993). Kindergarten evaluation manual for Taiwan, Taipei, and Kaohsiung. Taipei, Taiwan: Ministry of Education.】

鈕文英（2006）。教育研究方法與論文寫作。臺北市：雙葉書廊。

【Niu, W.-Y. (2006). Educational research methods and thesis writing. Taipei, Taiwan: Yeh Yeh Book Gallery.】

榮泰生（2006）。管理資訊系統。臺北市：五南。

【Rong, T.-S. (2006). Management information system. Taipei, Taiwan: Wu-Nan Book.】

蔡金柱（2004）。高雄市國民小學校長評鑑制度規劃之研究（未出版碩士論文）。國立中山大學，高雄市。

【Tsai, J.-C. (2004). A study on the master plan of evaluation system for elementary school principals in Kaohsiung City (Unpublished master’s thesis). National Sun Yat-sen University, Kaohsiung, Taiwan.】

蔡培村、鄭彩鳳（2008）。九十七學年度高級中學校務評鑑－評鑑委員手冊。臺中市：教育部中部辦公室。

【Tsai, P.-C., & Zheng, C.-F. (2008). The senior high school evaluation for ninety-seven academic year: Evaluation committee manual. Taichung, Taiwan: The Taichung Office of the Ministry of Education.】

鄭新輝（2002）。規劃實施校長評鑑的可能缺失與因應：後設評鑑的觀點。研習資訊，19（6）， 8-26。

【Cheng, H.-H. (2002). The potential defect and solution base on implementation of principal evaluation: From the view of meta-evaluation. Educators and Professional Development, 19(6), 8-26.】

鄭新輝（2008）。台南縣國民中小學校務評鑑方案研究。臺南縣政府委託研究報告（未出版）。臺南縣：臺南縣政府教育處。

【Cheng, H.-H. (2008). The study of school affairs evaluation project of elementary and junior high schools in Tainan County. Unpublished research report for Tainan County Government. Tainan County, Taiwan: Bureau of Education, Tainan County Government.】