屏東縣國民小學校務評鑑之後設評鑑研究

全文

(1)國立屏東教育大學教育行政研究所碩士論文. 屏東縣國民小學校務評鑑之後設評鑑研究. 指導教授：指導教授：劉鎮寧博士研究生：研究生：陳惠美撰. 中. 華. 民國. 103. 年. 7. 月.

(2)

(3) 謝詞此篇論文的完成，首先要感謝我最敬愛的指導老師—劉鎮寧教授，在個人撰寫論文的過程中給予我諸多的啟發及用心指導，在論文付梓的背後有著更多看不到的是老師的鼓勵與關懷。對於鎮寧老師的感激之心，我實在無法用文字完整的表達出來，老師總是不厭其煩的指導、修正我毫無邏輯的思維，相信老師耗盡了不少時間與體力；老師總是耐著性子，給我許多撰寫的方向，甚至主動提供資料給我作為參考，也在撰寫論文的過程中，老師樂意與我分享了許多事務與辦學經驗，拓展了我的視野，對於老師的無私，我真的非常感謝，點滴在心頭。再者，感謝李銘義所長與高師大王政彥教務長在個人口試本篇論文，提供本論文諸多寶貴意見，您們細心的批閱，給了我許多改進的地方，學生獲益良多，使全篇論文更加充實。特別，感恩我最親愛的家人，在我讀研究所及撰寫論文期間給予我最大的支持與陪伴，這篇論文因着家人的關懷、鼓勵與包容才得以完成，讓我能夠順利畢業。家對我來說是每次拖著疲憊的身心回家，總能精神抖擻的再回學校學習的一個避風港。最後，感謝學校同仁，在進修期間，因為有您們的協助，對於學校校務能讓我無後顧之憂，幫我解決許多學校事務；感恩研究所同學，在學習過程中，有您們的支持與鼓勵，讓我順利完成學業。能夠完成階段性的學習，都受之於曾經幫助、支持、關懷我的好朋友，您們都是我生命中的貴人，致上我誠摯的謝意，並祝福您們。. 陳惠美謹誌 2014 年 7 月. I.

(4) 屏東縣國民小學校務評鑑之後設評鑑研究. 摘要. 本研究之目的，係透過後設評鑑的分析，來探討屏東縣國民小學學校校務評鑑的實施成效。為此，本研究主要是以下列四個後設評鑑標準進行學校評鑑的現況與評析，包括 1.國民小學校務評鑑的目標；2.國民小學校務評鑑的規劃與設計；3.國民小學校務評鑑的實施；4.國民小校務評鑑的資料分析與結果利用之差異達成情形。本研究在文獻探討的部份，係從後設評鑑的意義、校務評鑑的後設評鑑概念以及屏東縣國民小學校務評鑑的內涵，做一整體探究，而從研究對象則是以屏東縣 102 學年度接受校務評鑑的 41 所國民小學教師為範圍，並透過問卷調查進行相關資料蒐集與分析，最後根據研究分析結果，研究者綜以結論，並據以提出建議，以作為改進國民小學校務評鑑工作之參考。. 關鍵詞：關鍵詞：國民小學；國民小學；校務評鑑；校務評鑑；後設評鑑. II.

(5) Institutional Evaluation for Primary Schools in Pingtung County – A Meta Evaluation. Abstract. The purpose of this research is to analyze the implementation of institutional evaluation for primary schools in Pingtung County. We assessthe outcomes using the following four criteria in Meta– Evaluation: 1. the goal of evaluation; 2. thedesign of evaluation; 3. the execution of evaluation; 4. data analysis in evaluation and the differences it makes. The ideas of institutional evaluation and Meta - Evaluation are discussed in depth in our literature review. The sample is consisted of teachers from 41 different primary schools in PingtungCounty, and we analyze the outcomes through the questionnaires we collected. In the end, we make suggestions about how institutional evaluationcan be improved based on our research.. Key Words: Primary Schools, Institutional Evaluation, Meta Evaluation. III.

(6) 目次第一章緒論…………………………………………………………………1 第一節研究動機與目的………………………………………………1 第二節待答問題………………………………………………………4 第三節名詞釋義………………………………………………………4 第四節研究範圍與限制………………………………………………5 第二章文獻探討……………………………………………………………7 第一節後設評鑑理論分析……………………………………………7 第二節後設評鑑標準…………………………………………………22 第三節屏東縣國民小學校務評鑑實施現況…………………………40 第四節後設評鑑相關研究……………………………………………44 第五節對本研究起啟示………………………………………………54 第三章研究設計與實施 …………………………………………………57 第一節研究架構………………………………………………………57 第二節研究假設………………………………………………………58 第三節研究方法與對象………………………………………………60 第四節研究工具………………………………………………………62 第五節研究步驟………………………………………………………64 第六節資料處理方式…………………………………………………65 第四章研究結果分析與討論 ……………………………………………67 第一節國民小學校務評鑑目標的分析與討論………………………67 第二節國民小學校務評鑑內容規劃與設計的分析與討論…………76 第三節國民小學校務評鑑實施達成的分析與討論…………………96. IV.

(7) 第四節國民小學校務評鑑報告資料分析與結果利用的分析與討論 …………………………………………………114 第五章結論與建議………………………………………………………129 第一節結論 …………………………………………………………129 第二節建議 …………………………………………………………134 參考文獻 …………………………………………………………………139 中文部份 ………………………………………………………………139 英文部分 ………………………………………………………………142 附錄一專家效度問卷……………………………………………………144 附錄二專家效度問卷回饋意見…………………………………………154 附錄三正式問卷…………………………………………………………165. V.

(8) 圖次圖 3-1 研究架構圖…………………………………………………………57. VI.

(9) 表次表 2-1 後設評鑑焦點………………………………………………………15 表 2-2 Stufflebaem 之邏輯架構…………………………………………17 表 2-3 Stufflebeam 後設評鑑設計 ………………………………………20 表 2-4 Cook＆Gruder 之後設評鑑模式……………………………………21 表 2-5 屏東縣國民中小學校務評鑑機制比較表…………………………41 表 2-6 後設評鑑相關研究之設計…………………………………………51 表 3-1 屏東縣 102 學年度國民小學校務評鑑受評學校一覽表…………60 表 3-2 研究樣本描述統計表. ……………………………………………61. 表 3-3 屏東縣國民小學學校評鑑意見調查問卷之信度係數……………63 表 4-1 校務評鑑目標一：激勵學校自我改進卡方摘要表………………68 表 4-2 校務評鑑目標二：診斷學校教育問卡方摘要表. ………………70. 表 4-3 校務評鑑目標三：學校校務推轉現況卡方摘要表………………71 表 4-4 校務評鑑目標四：學校發展特色卡方摘要表. ………………73. 表 4-5 校務評鑑目標五：學校校務發展卡方摘要表. ………………74. 表 4-6 校務評鑑規劃與設計一：卡方摘要表. …………………………77. 表 4-7 校務評鑑規劃與設計二：卡方摘要表. …………………………78. 表 4-8 校務評鑑規劃與設計三：卡方摘要表. …………………………79. 表 4-9 校務評鑑規劃與設計四：卡方摘要表. …………………………81. 表 4-10 校務評鑑規劃與設計五：卡方摘要表. …………………………82. 表 4-11 校務評鑑規劃與設計六：卡方摘要表. …………………………83. 表 4-12 校務評鑑規劃與設計七：卡方摘要表. …………………………84. 表 4-13 校務評鑑規劃與設計八：卡方摘要表. …………………………86. 表 4-14 校務評鑑規劃與設計九：卡方摘要表. …………………………88. VII.

(10) 表 4-15 校務評鑑規劃與設計十：卡方摘要表. …………………………89. 表 4-16 校務評鑑規劃與設計十一：卡方摘要表. ………………………91. 表 4-17 校務評鑑規劃與設計十二：卡方摘要表. ………………………92. 表 4-18 校務評鑑規劃與設計十三：卡方摘要表. ………………………94. 表 4-19 校務評鑑規劃與設計十四：卡方摘要表. ………………………95. 表 4-20 校務評鑑實施一：卡方摘要表. …………………………………97. 表 4-21 校務評鑑實施二：卡方摘要表. …………………………………98. 表 4-22 校務評鑑實施三：卡方摘要表. ………………………………100. 表 4-23 校務評鑑實施四：卡方摘要表. ………………………………102. 表 4-24 校務評鑑實施五：卡方摘要表. ………………………………103. 表 4-25 校務評鑑實施六：卡方摘要表. ………………………………105. 表 4-26 校務評鑑實施七：卡方摘要表. ………………………………106. 表 4-27 校務評鑑實施八：卡方摘要表. ………………………………107. 表 4-28 校務評鑑實施九：卡方摘要表. ………………………………109. 表 4-29 校務評鑑實施十：卡方摘要表. ………………………………110 表. 4-30 校務評鑑實施十一：卡方摘要表. ……………………………111. 表 4-31 校務評鑑實施十二：卡方摘要表. ……………………………112. 表 4-32 校務評鑑報告一：卡方摘要表. ………………………………115. 表 4-33 校務評鑑報告二：卡方摘要表. ………………………………116. 表 4-34 校務評鑑報告三：卡方摘要表. ………………………………117. 表 4-35 校務評鑑報告四：卡方摘要表. ………………………………119. 表 4-36 校務評鑑報告五：卡方摘要表. ………………………………120. 表 4-37 校務評鑑報告六：卡方摘要表. ………………………………121. 表 4-38 校務評鑑報告七：卡方摘要表. ………………………………123. VIII.

(11) 表 4-39 校務評鑑報告八：卡方摘要表. ………………………………124. 表 4-40 校務評鑑報告九：卡方摘要表. ………………………………126. 表 4-41 校務評鑑報告十：卡方摘要表. ………………………………127. IX.

(12) 第一章緒論本章旨在敘述研究之基本理念與構想，共分為五節：第一節為研究動機與目的；第三節為待答問題；第三節為名詞釋義；第四節為研究範圍與限制。. 第一節研究動機與目的第一節研究動機與目的二十一世紀國家教育競爭力的重要表現指標之一為「教育品質」，而追求卓越的教育品質，已是當前先進國家教育發展的主流，教育改革也為全球各地共同關心的議題 (吳宗立，2007)。在近幾年教育變革中，傾向於授權地方、學校，強調學校本位管理、教師專業的自主，特別是現在家長教育選擇權呼聲不斷的高漲，相對的在教育品質的重視更是有增無減。鄭崇趁(2007)認為，學校經營的成效與缺失，需要一套有系統的機制予以檢核，而校務評鑑係以學校為核心所進行整合型教育評鑑工作，也是當前國內運用最廣，中小學及大學均在實施的教育評鑑方法。誠如 Stufflebeam(1993)所說：「評鑑的最重要目的不在於證明，而是在於改進」，故校務評鑑是當前檢核學校教育目標的績效責任及確保學校教育所發展品質的有效檢核工具。近年來，由於教育品質逐漸受到重視，促使各縣市政府重視學校校務評鑑，希望能藉由校務評鑑以瞭解學校辦學情況及改進學校教育缺失，進而提昇教育品質優質化。但反觀國內現行的教育評鑑運作，大多由教育行政機關統籌執行規劃與實施，學校只是處於被動的情況，而接受上級的評鑑。這種由上而下的評鑑模式，在評鑑設計上及實際的運作情形，都存在著許多的問題。諸如：評鑑概念被窄化為校長的辦學績效，評鑑方法重技術而輕忽理論，評鑑內容偏重背景與輸入而忽略過程和結果，評鑑過程流於形式化，評鑑結果的應用漸趨政. 1.

(13) 治化，以及評鑑人員專業不足等情形(游家政、曾祥榕，民 93，頁 54)。就評鑑的本質而言， Wiles 和 Bondi(1984)認為，評鑑的目的係依據蒐集的資料評估教育計畫的效果，並力求改進。因此，從評鑑的權責來看，不論是教育行政機關或學校，都必須站在力求改進的角度面對評鑑工作，才有可能達成教育發展的雙向增值，而非只是一味的要求學校接受評鑑，但評鑑之後卻從未見教育行政機關和學校應有的責任和改變。就評鑑執行的層面來看，陳玉琨(2004)指出，此一價值關係到評鑑者對此評鑑項目應該怎樣的認識有關，即評鑑結果的價值判斷是在事實描述的基礎上，根據評鑑者的需要和願望，對評鑑結果做出評判。也就是說，評鑑會受限於評鑑者對受評對象的主觀判斷，以及評鑑者對教育事務的主觀認知所影響。若從評鑑方案設計的角度來看，評鑑的項目該有那些、評鑑項目的規準是什麼、誰應接受評鑑、誰來擔任評鑑人員、如何蒐集資料等問題，無不與價值的認定有關。綜上所述，若評鑑本身無法以價值中立的思維而言，就必須正視評鑑人員是否宰制評鑑內容與過程可能造成的缺失，甚至是評鑑結果的不當使用。如此，係有賴於後設評鑑(mata-evaluation)的實施，即教育評鑑本身也必須接受評鑑，以改進評鑑實務，並有效引導評鑑工作的實施，提昇評鑑的品質。屏東縣政府教育處針對屏東縣國民中小學所實施的學校校務評鑑工作已推動七年，且所有公立國中小學均已接受過評鑑，但對於此項評鑑制度所進行的後設評鑑可說是相當有限，此一現象係值得相關單位的重視。為了促使學校校務評鑑工作的專業化發展，應當避免過去學校校務評鑑曾產生的爭議與問題，例如內部人員對評鑑的錯誤認知、評鑑人員的專業和角色受到質疑、評鑑時間的不足、評鑑指標不夠適切和具體、以及評鑑方法和工具的不夠多元等問題。因此，屏東縣的國民小學校務評鑑有必要藉由後設評鑑的實施加. 2.

(14) 以分析探究，以確保評鑑的品質，並進一步解決評鑑的相關問題。誠如：評鑑的評鑑是任何一項評鑑制度，在推動過程中不可或缺的重要機制。屏東縣國中小校務評鑑於 2007 年正式展開，為期四年(96-99 學年度)第一階段辦理，針對全縣各級學校透過校務評鑑來瞭解本縣各級學校之發展特色，並提升本縣教育經營品質。在過程中，本縣教育處也針對實施要點及評鑑指標進行修正，並進行第二階段(101-104 學年度) 辦理屏東縣各級學校之校務評鑑。在本縣積極辦理國民中小學校務評鑑這二個階段過程中，研究者在國民小學擔任了不同的職務(即學校教導主任及校長 )而參與了這二階段的國民小學校務評鑑工作；雖本縣從 2007 年開始實施國民小學校務評鑑，教育處也在每年評鑑結束後，會邀請參加評鑑委員與評鑑規劃小組，針對該年度校務評鑑作業的優缺點及未來辦理的改進方向進行研討，但對於建立後設評鑑機制，未見進展；因此，從研究的角度觀之，對於評鑑的設計上，或就實際的運作上，其實更值得先透過後設評鑑加以探析後，再進行相關工作的研議。. 根據上述之研究動機，本研究希望透過實證研究及根據理論、文獻之探討來進行，欲達成的研究目的有下：一、分析不同背景變項的國民小學教師，透過後設評鑑對校務評鑑的看法。二、檢視後設評鑑的分析結果，提出屏東縣校務評鑑的改進意見。. 3.

(15) 第二節待答問題屏東縣教育處針對國民小學所實施的校務評鑑工作已推動七年，且所有公立國小均已接受過評鑑，因此，屏東縣國民小學校務評鑑有必要藉由後設評鑑的實施加以分析探究，以確保評鑑的品質，並進一步解決評鑑的相關問題。職是之故，本研究主要探討的問題如下：一、校務評鑑工作五項目標的達成情形為何？二、校務校評鑑的設計層面之問題為何？三、校務評鑑實施層面的達成情形為何？四、校務評鑑資料分析與結果利用達成情形為何？五、屏東縣國民小學校務評鑑符合後設評鑑標準之程度為何？. 第三節名詞釋義第三節名詞釋義本研究相關之重要名詞有屏東縣國民小學、校務評鑑、後設評鑑，茲分別說明如下：. 一、屏東縣國民小學依據本研究之範圍，所稱之國民小學係指正式教育體系中之屏東縣公立國民小學。. 二、校務評鑑校務評鑑是應用教育評鑑的方法，有系統的蒐集學校資訊，其主要目的在了解學校教育實際情況，分析學校教育的優點與缺點，評比學校辦學績效，並藉以改進學校教育品質，引導學校校務發展。根據屏東縣國民中小學校務評鑑實施要點，校務評鑑項目包括：組織及行政、課程及教學、學生事務及輔導、環境及設備、教師專業成長及進修、社區及家長等六大項目。. 4.

(16) 三、後設評鑑後設評鑑是評鑑方式的一種，是將原來的評鑑方案置於受評者的位置，系統地蒐集評鑑方案的資訊，再根據既定的標準判斷及價值。就後設評鑑的範圍而言，包括評鑑的規劃、設計、實施、資料分析報告與結果利用。後設評鑑實施的時機，可在評鑑實施前和評鑑實施中進行，即所謂形成性後設評鑑，也可在評鑑完成後進行，即所謂總結性評鑑。本研究之校務評鑑之後設評鑑即是以屏東縣國民小學校務評鑑為研究對象所實施之後設評鑑，在設計屬於在評鑑工作完成後進行，因此為總結性後設評鑑。. 第四節研究範圍第四節研究範圍與限制節研究範圍與限制本節針對本研究之範圍依據研究地區、研究對象及研究內容分述如下：. 壹、研究範圍一、研究地區本研究僅以屏東縣公立國民小學為研究範圍，不包括私立小學及其他實驗性質學校，也不包括其他縣市之公立學校。. 二、研究對象本研究主要對象針對屏東縣國民小學校務評鑑進行後設評鑑，亦即以屏東縣國民小學校務評鑑為研究對象。其次，本研究採調查研究法，調查研究對象包括參與屏東縣國民小學 102 年度校務評鑑工作之屏東縣公立國民小學之教育人員，包括校長、主任、組長及教師，而學校職員工及代理教師不在調查研究實施範圍。. 三、研究內容本研究是將原級評鑑，即屏東縣國民小學 102 年度校務評鑑對象進. 5.

(17) 行再評鑑。因此，本研究之內容主要是依據後設評鑑標準之內容，包括評鑑目標、評鑑規劃與設計、評鑑實施、評鑑結果與利用等四個層面，來探討不同個人背景變項及學校背景變項在後設評鑑標準各層面看法之差異情形，並根據問卷調查所得結果針對屏東縣國民小學校務評鑑工作進行分析與價值判斷。. 貳、研究限制一、就研究對象而言本研究係以屏東縣 102 年度接受校務評鑑之公立國民小學教師為施測對象，並未包括屏東縣全縣公立小學教師及私立小學教師；此外，在探究地區上也不包括其他外縣市，故對同一體制下之學校未能全部涵括，因此，在推論上係有其限制。二、就研究工具而言本研究實證調查部分，採用自陳式量表為研究工具。雖問卷採取不具名方式進行施測，以減少受試者心理因素的影響，但仍可能因其主觀因素之影響，無法呈現事實之反應。三、問卷回收結果所造成的限制本研究係以屏東縣102年度接受校務評鑑之41所公立國民小學教師為施測對象，問卷共發出458份，回收問卷有404份，其中都會區學校回收率相較於一般地區及偏遠地區來得偏低；因此，在推論上係有其限制。. 6.

(18) 第二章文獻探討本研究旨在進行校務評鑑之後設評鑑，因此，對於後設評鑑理論、校務評鑑之現況及相關實証研究做深入的探究與分析，以建立本研究之理論基礎。本章內容共分為四節：第一節為後設評鑑理論分析；第二節為後設評鑑標準；第三節為屏東縣國民小學校務評鑑實施現況；第四節為後設評鑑相關研究。. 第一節後設評鑑理論分析壹、後設評鑑的演進歷程後設評鑑的概念最早源自於 1940 年 Orata 撰寫〝 Evaluating evaluation〞一文，提出「評鑑的評鑑」(evaluation of evaluation)的概念。而Scriven於1969年提出metaevaluation，即「後設評鑑」此一名詞(Cook ＆ Gruder，1978)，並用於評估教育的評鑑計畫。因此，後社評鑑逐漸受到教育學者及評鑑專家的重視。國內學者游家政(1994)以後設評鑑標準為核心，參照教育評鑑的歷史發展，以及歸納評鑑學界的自我反省與批判，將後設評鑑的發展分為三個時期，分別簡述如下：. 一、研究標準的借用期(1930年代初期至1957年) 1930年代初期由Tyler主持「八年研究」至1957年蘇聯發射人造衛星「史帕尼克一號」(Sputmik Ι)為止。在這段期間，教育評鑑尚未成熟亦缺乏本身適用標準，因此，學者稱之為「研究標準的借用期」。在本時期，教育評鑑大多採用傳統的研究方法，以標準化的成就測驗作為主要評鑑工具，對方案的成效進行評估。教育或心理研究的標準被視為教育評鑑的標準，據以此設計或規範教育評鑑方案。對於. 7.

(19) 教育研究與教育評鑑在動機、目的、推論及價值仍有差異，若以研究標準來檢視評鑑活動，常使評鑑的結論流於「敘述性」，失去了評鑑具有的「價值判斷」之特性。由於後設評鑑的觀念隨著測驗活動的擴張，而逐漸有學者或學術單位開始重視。. 二、教育評鑑的批判和反省期(1958年代至1980年) 本時期是從 1958 年美國通過「國防教育法案」 (National Defense Education Act)開始至1980年為止。這段時間內，評鑑運動風行全美各級教育機構，但教育評鑑的品質卻頗受質疑和批評，激起評鑑學界開始自我批判與反省，並相繼提出各種評鑑理論、模式與技術，故稱之為「教育評鑑的批判與反省期」。美國聯邦政府於1958年通過「國防教育法案」後，積極開始介入教育評鑑活動，並提供經費發展新的教育方案計畫及實施新課程的效果評鑑，在聯邦政府推動下，學術機構及地方學區紛紛成立評鑑部門，掀起了一股評鑑熱潮，積極展開各級學校評鑑及方案評鑑。對於方案必須接受評鑑的規定，教育界並未做好有效的準備，評鑑品質不良自然是無可避免，甚至罹患「重病」。聯邦政府於是先後成立「評鑑研究中心」(Center for the Study Evaluation) 和「國家教育研究所」(National Institute of Education) 支持學術機構研究與改進教育評鑑方案，或鼓勵學者重新分析方案評鑑的原始資料。在本時期亦有許多學者發展西的評鑑理論和工具，如Scriven提出不受目標約束的評鑑、Stake提出外貌模式和反應模式等。同樣在這個時期，後社評鑑標準的概念也逐漸為學者所提出，以做為判斷或檢核評鑑品質的依據；後設評鑑的模式也是這時期評鑑研究的課題。. 三、後設評鑑的建立期(1981年以後) 後設評鑑標準的建立是從1981年「教育評鑑標準聯合委員會」(Joint Committee on Standards for Educational Evallation，JCSEE)發展並出版「教. 8.

(20) 育方案、計畫與教材評鑑的標準」 (Standards for evaluations programs,projects, and materials)以後至今，教育評鑑除了在理論與技術日趨成熟，並試圖發展系統性、共識性的各類教育評鑑標準，作為評鑑者及消費者判斷與改進評鑑品質的依據。在 Stufflebeam 的領導下，由十二的專業評鑑組織所組成的「教育評鑑標準聯合委員會」於1981年完成「教育方案、計畫與教材評鑑的標準」，共有三十項，分成：效標性標準(utility standards)；可行性標準(feasibility standards)；適切性標準 (propriety standards)及精確性標準(accuracy standards)等四部份。評鑑研究學會(Evaluation Research Society，簡稱ERS)則從較廣的應用社會科學領域和衛生、法律、公共政策等學門，發展出另一套「方案評鑑標準」。這套標準依照評鑑的流程分為六部份，分別是：規劃與協商、架構與設計、資料蒐集與準備、資料分析與解釋、溝通與公布以及結果的利用，共五十五項標準。此外教育評鑑標準聯合委員會後來為改善教育人事的評鑑，又發展了一套「人事評鑑標準」(The Personnel Evaluation Standards)。與上述「教育評鑑標準」同樣分成四部份，但次序略有不同，而標準則有二十一項。可見後社評鑑就在專業體的支持與努力下持續蓬勃發展，朝向專業化的理想邁進。從「人事評鑑準」的發展來看，顯示平建有越來越專業化的趨勢。然在學校評鑑的領域而言，評鑑界尚未提出專屬的評鑑標準，因此，建立一套學校專屬的後設評鑑標準乃成為評鑑界所應積極努力的目標。. 貳、後設評鑑的意義與目的一、後設評鑑之定義後設評鑑的概念已如前所述，後設評鑑的意義也因不同學者而有不同的界定，分述如下： Scriven(1972) 認為後設評鑑借勢第二層次評鑑 (Second-order. 9.

(21) evaluation)，意指評鑑的評鑑，它涉及評鑑角色的方法評估，關注特定評鑑各種表現的評鑑。 Cook(1974)認為後設評鑑就是第二級評鑑(secondary evaluation)，原評鑑則稱為「原級評鑑」(primary evaluation)。其定義為：一、試圖經由檢核研究資料及其解釋和含義，重新評估特定評鑑研究與潛在政策的相關性。二、試圖利用基礎研究或評鑑的現有資料，評估當前措施或變通方案的主要假定及對未來政策變通方案之實證性支持程度。 Stufflebeam(1978) 則將後設評鑑定義為針對一項評鑑技術之適當性、利用性、倫理性和實用性，進行描述，獲取和使用敘述性和判斷性資訊的過程，並藉以指陳該評鑑技術及報告的優缺點。 Straw和Cook(1990)則認為後設評鑑乃對一項評鑑或一組評鑑的技術品質保證及其結果進行評鑑的各種活動。謝文全(2003)認為，後設評鑑是評鑑的評鑑，意指對於原來評鑑目的、方法、工具、資料蒐集與分析、評鑑結果及其利用等進行評鑑，以改進評鑑的品質。曾淑惠(2002)認為，後設評鑑乃是為對評鑑、評鑑系統或評鑑機制的評鑑。邱錦興(2004)指出，後設評鑑意旨評鑑的評鑑，它是把原來的評鑑方案(原級評鑑)置於受評者的位置，有系統的收集評鑑方案的資訊，依既定的標準判斷其價值或優缺點之謂。其實施的時機，可在評鑑前和評鑑中(即形成性評鑑)，亦可在評鑑實施後(即總結性評鑑)；其實施的範圍包括評鑑方案的規劃、設計、實施、資料分析、報告與結果利用六個層面。蘇錦麗(1999)綜合各學者定義提出：後社評鑑是一種對評鑑工作加以評鑑的藝術與科學，由於這些後設評鑑的指引提供了評鑑工作品質保證及評鑑的可靠性，並且可以用來改進後續實施的評鑑，其詳細意. 10.

(22) 義如下： (一) 就發生時機而言：可能是形成性的後設評鑑，也可能是總結性的後設評鑑。 (二) 就歷程而言：後設評鑑是一種系統地描述、獲取及使用敘述性與判斷性資訊的過程，具體地說，後設評鑑是一種價值判斷的過程。 (三) 就功能而言：後設評鑑主要在重新評估評鑑計劃之設計、執行及結果運用之績效，並據以做出判斷、提出評論，作為改進評鑑實施的決策參考。林劭仁 (2001)綜合各學者對後設評鑑的定義將後設評鑑的定義闡述如下： (一)後設評鑑基本上是對一項進行中或已完成的評鑑進行價值(目的、設計、實施、結果等)的判斷，性質上應包含形成性及總結性的評鑑。用以確保評鑑品質的完美。 (二)後設評鑑必須是有系統的過程。包括從目標訂定、描述問題、方案設計、蒐集資訊以及利用資訊做決策和判斷績效等。 (三)後設評鑑必須注重其適當性、精確性、有效性及可行性。綜合國內外學者所論述，明確可知後設評鑑是為評鑑模式之一，是藉由系統的描述獲取及使用敘述性與判斷性資訊，針對「原級評鑑」進行價值判斷，以確保評鑑之品質及提供改進之參考；其功能則兼具形成性及總結性後社評鑑，一方面提供決策參考，另一方面提供評鑑績效之相關資訊，使評鑑的品質得以有效提升。. 二、後設評鑑之目的郭為藩 (2006)指出，後設評鑑不僅在審視評鑑指標的選用是否妥當？評鑑工具的效度及實施的可行性如何？評鑑過程是否客觀且合乎評鑑規範？評鑑人員是否符合專業條件等等問題；而且考量評鑑目標. 11.

(23) 與整體評鑑設計是否周延？有否設計者的偏見、技術上的可能誤差或是執行評鑑過程中難以克服的困難？甚至追問這項評鑑有否濫用以遂特定目的之動機。 Cook(1974)基於政策與評鑑研究的關係，提出實施後設評鑑的八項理由與目的，分別是(引自林劭仁。2001：49) 1.降低評鑑結果的不確定性。 2.用於獲得另一種觀點和評鑑獨立的精神。 3.突破學術本位的限制，建立科技整合的研究。 4.提供多層面的訓練功能。 5.整體評估各種原始評鑑的效果。 6.促成知識的累積和多元資料的應用。 7.對傳統知識的質疑。 8.增進專業的能力。 Smith(1981)指出後設評鑑主要目的在於了解及改進評鑑工作本身的理論與實務，後設評鑑的目的與任務，分別如下： 1.評估評鑑工作的品質、影響及利用。 2.研究評鑑過程的品質。 3.矯正可能的評鑑誤用。 4.提供評鑑績效責任的保證。 5.提示與控制評鑑實施的偏差。 6.評估評鑑新取向的有效性。 Straw和Cook(1990)指出後設評鑑之目的在於確認評鑑過程中任何型態的偏差，並使用各種方法去評估評鑑的重要性外，他們也提出後設評鑑兩個主要的議題與目的，一為「評鑑系統的評鑑」；另一則為. 12.

(24) 「評鑑研究的評鑑」。蘇錦麗(1999)認為，後設評鑑主要目的在判斷或評估事務的優點與價值，所以後設評鑑之目的即在判斷一項評鑑活動的價值，對該項評鑑的表現進行價值判斷以了解與改進評鑑的本身實施。游家政(1994)則認為後設評鑑的功能有三： 1.做決定服務的行成性後設評鑑，旨在協助評鑑者改進評鑑的實施或確保評鑑的正確進行，提高評鑑的可行性。 2.績效責任服務的總結性後設評鑑。旨在判斷已完成的評鑑活動之優缺點，確認評鑑品質、影響和利用。 3.評鑑研究服務的啟發性後社評鑑，只在突破學術本位的限制，建立資料多元使用漢科技整合的研究途徑，發現新的觀點與知識。綜上所述，後設評鑑的目的在評斷原級評鑑的價值或優缺點，也是一種對評鑑工作加以評鑑的藝術與科學。後設評鑑功能在評鑑前可協助評鑑者規劃評鑑的實施，以提高評鑑的可行性；也可在評鑑後判斷已完成的評鑑活動之優缺點，以確認評鑑的品質、影響和利用；更可做為未來建立資料多元使用漢科技整合研究，以發現新觀點與知識的學術研究之用。. 參、後設評鑑之內涵與架構一、後設評鑑之內容評鑑活動是一個複雜的價值判斷過程，評鑑活動的實施包含了事前的規劃、目標的確立、資料的蒐集、評鑑的運作、結果呈現及事後的檢討。因此Stuffebeam(1974)即指出後設評鑑的內容包括下列四項： (一) 評鑑的目的：指評鑑所要達成的結果，因當事者的需求不同，評鑑. 13.

(25) 目的也有所不同，後設評鑑即在判斷評鑑目的的價值性。 (二) 評鑑設計：只依評鑑目的，考慮相關條件，選擇合適的評鑑方案。因此評鑑的設計與規劃，都是後設評鑑的重點。 (三) 評鑑的過程：指評鑑過程中我遭遇的各種實際問題都是判斷評鑑成效的重點。 (四) 評鑑結果：指涉及評鑑品質、評鑑影響及結果利用的問題，是判斷評鑑結果的重點所在。 Scriven(1974, 1981)認為評鑑包含多元向度，必須運用下列十三項標準：(1)需求(2)市場(3)影響的規模與種類(4)因國關係(5)受影響的人口(6) 時續性(7)普遍性(8)統計意義(9)合法性/倫理性/接受性(10)成本(11)未來的利用/改進/成本(12)比較意義(13)整體價值。 Millman(1981)則利用Scriven的十三項標準整合為後設評鑑的內容： (一) 評鑑的先備條件：包括需求、市場及影響規模與種類。 (二) 評鑑的效果：包括因果關係、受影響的人口，持續性、普遍性、統計意義、合法性、倫理性、接受性。 (三) 評鑑的效用：包括成本、未來的利用/改進/成本，比較意義及整體價值。 Brinkerhoff等人(1983)則認為後設評鑑包括下列六項：(一)決定評鑑 (二)設計評鑑(三)蒐集評鑑(四)分析資訊(五)報導資訊(六)管理評鑑。其進行的時機又可分為：(一)評鑑計劃的評鑑(二)評鑑過程的評鑑(三)評鑑完成後的評鑑。將以上三個不同評鑑階段，依六項評鑑內容，可統整出表2-1所列出的焦點工作：. 14.

(26) 表2-1 後設評鑑的焦點評鑑職能. 評鑑計劃的評鑑. 評估和協助修正評鑑決定. 目地及問題。探究環. 評鑑. 境背景並確認評鑑的當事者。. 評鑑過程的評鑑. 決定所選的問題和目的能否執行，並評鑑值得做的程度。. 評鑑完成後的評鑑. 評鑑所提出的評鑑目地和問題的優點和價值。. 評估和修正設計策略. 評估實施中的設計效. 決定評鑑設計是否健. 或提供有關選擇和協. 果，並在必要時協助監. 全、適當的實施及對當事. 助設計的資訊。. 控或修正。. 者有用。. 蒐集. 評鑑或幫助設計或選. 觀察或評鑑資訊的蒐. 評估蒐集的資訊和所用. 評鑑. 擇工具和蒐集策略。. 集。. 方法織品質與關聯性。. 設計評鑑. 引導主要的評鑑者選分析. 擇可能的分析策略和. 資訊. 考慮將解釋和如何解釋。. 報導資訊. 評鑑報告策略和建議格式、當事者的考慮和報告內容。. 管理. 評鑑和修正管理計. 評鑑. 畫、預算和契約。. 評鑑分析的過程和如何有效的彙整、排列、分析。. 閱讀和評鑑報告的初稿，討論變通性的報告，修正為專業性或通俗性的報告。. 評鑑資料分析與解釋的正當性與精確性。. 評鑑其評鑑的管理與編列預算，以決定成本是否合理和受到支持同意。. 評鑑管理計畫正當性. 評鑑其評鑑管理與編列. 如何被監控和契約、預. 預算，已決定成本是否合. 算的適合性。. 理和受到支持同意。. 資料來源： Brinkerhoff,R.O.,Brrethower,D.M.,Hluchyj,T. ＆ Nowakowski,J.R. （ 1 9 8 6 ） . P r o g r a m e v a l u a t i o n： A p r a c t i t i o n e r ’ s g u i d e f o r t r a i n e r s a n d educators. P.110. 茲將其內容簡要說明如下： (一)決定評鑑( f o c u s i n g e v a l u a t i o n)：. 15.

(27) 決定評鑑的功能在於確認評鑑的目的，故後設評鑑的功能就在改善評鑑之目的及問題，並調查及確定受評的對象；或在評鑑進行中確定所選之問題及目的的可行性；最後則評估評鑑目的及問題的健全和價值程度。 (二)設計評鑑(d e s i g n i n g e v a l u a t i o n)：後設評鑑的目的在評估及協助改良評鑑設計的程序及策略。亦於評鑑進行時評估評鑑設計實施的效果，必要時將提供監控及修正。並於評鑑結束後確定評鑑設計是完美的，能對參與者產生最大助益。 (四) 蒐集資訊(c o l l e c t i n g i n f o r m a t i o n)：分析資訊的功能在解釋及說明所蒐集資料的意義。後設評鑑需引導初級評鑑者選擇合適之分析策略，並考慮資訊之呈現及說明。評鑑進行中亦需了解資料是否有效性的分析。評鑑完成後在評估資料分析方法使用的適切性及正確性。 (五)報告資訊(r e p o r t i n g i n f o r m a t i o n)：報告資訊的功能在於向當事者溝通評鑑的結果即可利用的建議。後設評鑑需要評估評鑑報告之呈現形式及內容。評鑑進行中則需詳讀並評估評鑑報告的草稿，討論及提供改進之建議。評鑑完成後則需注意評鑑報告是否平衡報導及正確的引用。 (六)管理評鑑(m a n a g i n g e v a l u a t i o n)：管理評鑑的功能在於規劃或督導評鑑時所有工作的進行。後設評鑑必須評估及改良評鑑工作的管理計畫、經費及協議等工作。評鑑進行中亦需評估評鑑工作管理計畫、經費及協議之適切性。俟評鑑完成後再評估評鑑工作是否有效的管理，是否合乎成本價值(林劭仁，2001)。綜上所述，後設評鑑的內容包括評鑑計劃的評鑑、評鑑過程的評鑑、評鑑完成後的評鑑，亦即整個評鑑過程與結果都是後設評鑑的重. 16.

(28) 點。. 二、後設評鑑的架構 Stufflebeam(1974)提出後設評鑑的邏輯架構(l o g i c a l s t r u c t u r e)，對後來的後設評鑑研究貢獻卓著。該結構包含三個向度，分別為目的、對象與步驟。表2-2 Stufflebaem之邏輯架構 Stufflebaem 之邏輯架構後設評鑑的角色功能行動前後設評鑑做為評鑑工作決策之用 ( 此即形成性後設評鑑，經常由內部人員實施) 回朔的後設評鑑做為評鑑工作績效之效用 ( 此即總結性後設評鑑，經常由外部人員實施). 後評過之驟描資的件. 設鑑程步. 後設評鑑的對象評鑑目的. 評鑑設計. 評鑑過程. 評鑑結果. 述訊要. 當事者可能的評鑑目的評定評鑑目的規準. 變通性評鑑設計評定評鑑設計規準. 獲得所需的資訊. 評鑑目的之邏輯分析評定評鑑的目標. 變通性評鑑設計之評定. 選定之評鑑設計的工作分析和程序使用檢核表評論評鑑設計評鑑設計的評論評鑑過程的監控. 應用獲得的資訊. 對應選評鑑目的之建議. 對應選評鑑設計之建議. 定時的進度和例外的報告修正評鑑設計或程序的建議. 評鑑目標成本、品質和影響的規準評鑑的預定使用者評鑑報告品質的評定利用評鑑作決策和績效的證據評鑑報告品質的評定監控評鑑的經費評鑑品質、影響和成本/效益的定期報告改進評鑑結果的建議. 描述資訊的要件. 當事者目標的選定判斷評鑑目標之歸準. 選定的設計主要的競爭著評定評鑑目標之規準. 獲得所需的資訊. 評鑑需求的調查當事者對選定目的的評定相當於規準、需求和當事者評定之評鑑目的的分析. 變通性評鑑設計之評定. 選定之評鑑設計的工作分析和程序使用檢核表評論評鑑設計評鑑過程的個案研究評鑑過程與選定的評鑑設計之間的差距. 應用獲得的資訊. 選定的評鑑目的之判斷. 選定的評鑑設計之判斷. 評鑑設計實施之判斷. 評鑑目標成本、品質和影響的規準評鑑的預訂使用者評鑑報告品質的評定利用評鑑作決策和績效的證據評鑑報告品質的評定評鑑的成本分析對評鑑活動的品質、利用和成本/效益的分析. 資料來源： Stufflebeam， D.L. （ 1974） .Toward a Technology for Evaluating Evaluation.p.71. 17.

(29) 三個向度又可細分為若干部分，依序為：目的可區分為形成性後設評鑑與總結性後設評鑑。對象可分為評鑑目標、評鑑設計、評鑑過程和評鑑結果。步驟則分為描述資訊的要件、獲得所需的資訊和應用所獲得之資訊三部份。表2-2即為Stufflebaem之邏輯架構。本研究性質為評鑑完成後的評鑑，依上述結構而言，為總結性後設評鑑；步驟為獲得所需之資訊和應用所獲得的資訊；對象則含括評鑑目標、評鑑設計、評鑑過程、評鑑結果四部份。. 三、後設評鑑之實施步驟 Stufflebeam(2000)提出了針對後設評鑑的十個過程，後又提出了後設評鑑十一項處理步驟(Stufflebeam，2001) (一). 決定並準備與利害關係人互動。. (二). 組織後設評鑑工作團隊。. (三). 界定後設評鑑問題。. (四). 利用一致的標準、原則或準則判斷評鑑系統或特定評鑑。. (五). 發佈同意備忘錄或協商正式的後設評鑑契約。. (六). 蒐集並檢視相關有用的資訊。. (七). 以現場訪談、觀察、調查等方式蒐集所需的新資訊。. (八). 分析發現。. (九). 根據所選擇的評鑑標準、原則或準備判斷評鑑的特質。. (十). 準備和提出所需報告。. (十一) 在適當的情況下幫助評鑑委託人及利害關係人解釋及應用評鑑。蘇錦麗(1994)認為後設評鑑與原級評鑑具有共通的項目，並將後設評鑑分為下列十個步驟：. 18.

(30) (一) 說明評鑑對象。 (二) 界定評鑑方案的目的與問題。 (三) 選擇評鑑模式。 (四) 指出資料蒐集來源。 (五) 選擇資料蒐集方法與工具。 (六) 說明資料分析方法。 (七) 設定評鑑標準。 (八) 設定評鑑程序與時間表。 (九) 決定評鑑人員與經費。 (十) 規畫評鑑報告之撰寫。由上面的分析可以得知，後設評鑑的內涵需針對原級評鑑而設計，包括評鑑的目的、評鑑的設計、評鑑的過程及評鑑的結果，並且因後設評鑑角色之不同而有所變化。而後設評鑑在評鑑設計、評鑑過程、評鑑完成等不同的階段實施，更有其不同的焦點工作。此外，後設評鑑之實施，有一定的程序，並且為實施後設評鑑，提供處理程序的指引。. 肆、後設評鑑的模式與設計評鑑模式係指該皮件資料蒐集的方法、策略及架構，無整個評鑑核心，能具體表現出整個評鑑本質與特色 ( 蘇錦麗， 1994) 。 Alkin ＆ Ellett(1990)認為評鑑模式的種類，可分為描述性模式與規範性模式兩塚，前者提出一組陳述和通則，描述、預示或說明評鑑活動；後者提出一組規則、規定禁令和指導架構，說明一個優良的、適切的評鑑所須具備的原則及評鑑如何實施。. 一、Stufflebeam的後設評鑑設計 Stufflebeam(1974)將後設評鑑依評鑑的目的分為提供評鑑決策服務. 19.

(31) 之形成性後設評鑑及提供評鑑工作績效服務之總結性後設評鑑，如表 2-3。其中形成性的後設評鑑共有四項設計，主要在評估初級評鑑的目的、設計、實施過程及結果，以提供決策過程之參考；總結性後設評鑑則利用以評估初級評鑑的工作績效。有關各校後設評鑑的設計說明如下： (一) 設計一：行動前的後設評鑑研究用以核定和排列各種評鑑目標之優先次序。 (二) 設計二：行動前的後設評鑑工作用以核定和排列各種評鑑設計之優先次序。 (三) 設計三：行動前的後設評鑑研究以引導有有評鑑設計之實施。 (四) 設計四：行動前的後設評鑑研究用以增進評鑑結果的使用與品質。 (五) 設計五：評鑑目標的行動後評估。表2-3 Stufflebeam後設評鑑設計 Stufflebeam 後設評鑑設計後設評鑑對象後設評鑑目的. 提供評鑑決策服務之形成性後設評鑑. 提供評鑑工作績效服務之總結性後設評鑑. 後設評鑑步驟. 評鑑目的. 評鑑設計. 評鑑過程. 評鑑結果. 描述資訊需求. 設計一. 設計二. 設計三. 設計四. 獲得所須資訊應用獲得資訊. 評鑑目的之形成性評估. 評鑑目的之形成性評估. 評鑑實施之形成性評估. 評鑑結果之形成性評估. 描述資訊需求. 設計五. 獲得所須資訊. 評鑑整體工作優缺電的總結性評估. 應用獲得資訊資料來源：S t u f f l e b e a nm， D . L . （ 1 9 7 4 ） . T o w a r d a T e c h n o l o g y for Evaluating. Evaluation. 二、Cook 和 Gruder 之後設評鑑模式 Cook 和 Gruder(1978)為解決評鑑品質低落的現象，依據「再分析」、. 20.

(32) 「後分析」與「研究的研究」等三種研究傳統，發展出七種後設評鑑的可行模式，如表 2-4 所示：表 2-4 Cook＆ Cook ＆ Gruder 之後設評鑑模式. 在初級. 不處理. 單一資料組. 對一項評鑑報告進行評語式的評論. 資料. 多元資料組. 對一項特定的方案進行實證性再評鑑. 單一資料組. 對一個評鑑或方案進行實證性再評鑑. 評鑑之後進行. 處理資對同一個方案的多組資料進行實證性再料. 多元資料組評鑑. 不處理. 單一或多元. 資料. 資料組. 處理資. 單一資料組. 對原始資料同步進行次級分析. 料. 多元資料組. 多組獨立的評鑑抗辯. 諮詢式後設評鑑. 與初級評鑑同時進行. 資料來源： Cook,TD., ＆ Gruder,C.L.(1978).Metaevaluation. Research. Evaluation. Quaterly ,2(1),p.21.. Cook 和 Gruder 之後設評鑑模式依據評鑑實施時機(在原級評鑑之後獲原級評鑑同時進行)、處理資料與否及資料的性質分為七種模式： (一)對一項評鑑報告進行評語是的評論：及對單一評鑑資料進行試後評論，而不是再分析。 (二)對一項特定的方案進行文獻評論：意指對方案的多元資料組進行試後評論。 (三)對一個評論或方案進行實證性再評論：運用某個方案的原始資料評估初級評鑑結果的效度。 (四)對同一個方案的多組資料進行實證性再評論：運用多個方案的原始資料評估初級評鑑結果的效度。 (五)諮詢是後設評鑑：意指藉由一位或多位本身不參與執行的諮詢者，. 21.

(33) 持續監控初級原級評鑑並提供回饋，以判斷和改進該項評鑑。 (六)對原始資料同時進行次級分析：意指由不同於初級評鑑人員，與初級評鑑之人員同時進行評鑑資料分析。 (七)多組獨立的評鑑抗辯：意指由一個以上的評鑑人員分別設計和進行方案影響評鑑。 Posavac 和 Carey(1989)指出：同步進行的後設評鑑模式較為複雜，且成本較大；而在原級評鑑之後進行後設評鑑，不但成本較低，教具實用性，而且為大多數評鑑者所能掌握(引自曾淑惠，民 91：189)。基於此一觀點，在節省成本及可行雙重因素的考量下，本研究針對校務評鑑各種內容進行分析，在性質上較接近對一個評鑑或方案進行實證性再評鑑之評鑑模式。. 第二節後設評鑑標準. 根據「教育評鑑標準聯合委員會」的說法：標準是專業的評鑑者普便同意原則，可據以判斷一項評鑑的價值或品質。「評鑑研界學」則主張：標準是一套指引、指導評鑑的規劃、設計及實施。游家政 (1994)認為後設評鑑標準就是一套能夠讓評鑑研究者普遍認同的評鑑指導原則，其對象是評鑑工作的所有過程，而最主要的功用在於指引及改進評鑑規劃、設計，並用以判斷評鑑方案的品質與價值。為進行後設評鑑所不可缺少的重要工具，後設評鑑標準具有指引與判斷的作用，包括判斷評鑑績效、改進評鑑技術、發展評鑑架構、追蹤評鑑過程、確保評鑑倫理、顯示評鑑現況、促進評鑑溝通與合作以及提升評鑑公信力。曾淑惠 (1996)認為評鑑標準係一套專業評鑑者普遍同意的原則或指引，通常代表該領域內的最低表現水準，其作用在指導評鑑的規劃、. 22.

(34) 設計及實施，或做為判斷評鑑品質與價值的依據。後設評鑑是評鑑的評鑑，因此後設評鑑標準亦具有與評鑑標準相同的定義與特質。林劭仁(2001)認為所謂後設評鑑的標準簡單來說，就是一套能夠讓評鑑研究者普遍認同的評鑑指導原則，最主要的功用在於指引及改進評鑑的過程，並用於判斷評鑑方案的品質與價值。 Stufflebeam(1974)認為在後設評鑑方法論的發展中，用適當的標準以判斷評鑑設計和報告是相當重要的，並提出後設評鑑檢核規準。 Harlen 和 Elliott(1982)為提升後設評鑑的品質，設計了一個後設評鑑檢核表，內容主要針對後設評鑑進行實的重點提出問題，以提醒評鑑者隨時注意並維持後設評鑑實施的品質。 Bayless、Cahalan 及 Stufflebeam 等人(1990)歸納近代的評鑑文獻資料，彙整出七項後設評鑑之標準規範，分別是：國家教育統計中心的「標準與政策」(Standards and Policies)、能源資訊系統的「標準手冊」 (Standards Manual)、美國主計局「政府審計標準」(Govemment Auditing Standards)、國家健康統計中心的「環境對健康的影響的資訊與統計指導原則(Draft Guidelines for Statistics and Information on Effects of the Environment on Health)、教育評鑑標準聯合委員會的「教育方案、計畫、教材評鑑標準」、聯合委員會的「教育和心理測驗標準」(Standards for Educational Testing )及評鑑委員協會的「方案評鑑標準」(Standards for Porgram Evaluation)(引自賴志峰，1997)。其中教育評鑑標準聯合委員會的「教育方案、計畫、教材評鑑標準」於 1994 年再加以修訂並更名為「方案評鑑標準」。國內學者游家政 (1994)採用德懷術 (Delphi Techniqe)邀集十三位學者專家(包括教育學者”教育行政專家、國小校長、民間文教與企業人士)為樣本，經由三次連續密集的問卷，蒐集不同的意見和建立共識，建構一套後設評鑑標準，作為判斷國小評鑑品質的參考。檢視上述各種後設評鑑標準之內容，以 Stufflebeam 之後設評鑑檢. 23.

(35) 核規準、Harlen 和 Elliot 之後設評鑑檢核表、教育評鑑標準聯合委員會之「方案評鑑標準」、評鑑研究學會之「方案評鑑標準」及游家政之「國民小學後設評鑑標準」與「學校校務評鑑較具關聯性」，茲分述如下：. 壹、 Stufflebeam Stufflebeam 之後設評鑑檢核規準 Stufflebeam(1974)之後設評鑑檢核規準其內容大致分成技術的適當性標準、效用性標準及效率性標準等三大項，總共十一項的檢核規準：一、技術適當性規準 1.內在效度：評鑑活動的設計是否能確實的回答想要了解的問題。 2.外在效度：評鑑活動的結果是否能達到一般化的標準。 3.可靠性：評鑑活動的呈現資料是否正確一致。 4.客觀性：其他相關的評估者是否同意評鑑活動的結論。二、效用性規準 1.相關性：評鑑的發現是否與評鑑活動的當事者相關。 2.重要性：評鑑活動中是否包刮最重要及最有意義的相關資料。 3.範圍：評鑑活動的資料是否有適當的範圍。 4.公信力：當事者是否是評鑑活動為有效的和無偏差的。 5.適時性：結果是否能最適時的提供給當事者。 6.普變性：結果是否普遍傳播致有需要的當事者。三、效率性標準評鑑活動所獲得的評鑑結果是否能夠符合成本效益。上述檢核規準提供進行後設評鑑時可以參考的規準，其意義亦類似於後設評鑑的實施原則。. 貳、 Harlen 和 Elliott 之後設評鑑檢核 Harlen 和 Elliott(1982)為了提升後設評鑑的品質，設計了一個後設. 24.

(36) 評鑑檢核表，內容主要針對後社評鑑進行時的重點提出下列十六個問題，以提醒評鑑者隨時注意並維持後社評鑑實施時的品質。 1.評鑑是否達到原先提供資料以作為決定或判斷的目的？ 2.評鑑的結果產生了什麼決定？ 3.評鑑工作的解釋與實施是否與原訂計畫一致？ 4.評鑑所蒐集的資訊是否適合於與評鑑的目的？ 5.資訊蒐集的過程中有哪些步驟是永許發生偏差、不具代表性及低信度的現象存在？ 6.實際從事評鑑的人員是否有最佳狀況實施評鑑工作？ 7.評鑑使用的方法是否適合所需要的各種資訊？ 8.評鑑的方法是否有系統及明確？ 9.那些提供資訊的人是否同意資訊蒐集的方法？ 10.評鑑中是否有充足的時間去搜集必要的資訊？ 11.評鑑是否在最佳時機發生以達成原有目的？ 12.評鑑過程有哪些積極的或消極的邊際效益？ 13.評鑑過程是否有令人滿意的程序以保障資訊提供者？ 14.作為判斷或決定的標準是否適切和明確的陳述？ 15.評鑑報告的方式是否能有效的與當事者高通？ 16.評鑑報告對於參與者與決策者激起了什麼樣的反應？上列問題可獳對某些預計要進行評鑑的人們提供有用的練習。雖然有些解釋的理由可能無法為所有的當事人所接受，但評鑑檢核規準的發展與公佈，可協助人們在評鑑實施前能夠多加思考潛在的問題，而認真規劃評鑑的過程，以避免造成評鑑後的缺憾(林劭仁，民 90：68)。. 参、教育評鑑標準聯合委員會之「教育評鑑標準聯合委員會之「方案評鑑標準」評鑑標準」教育評鑑標準聯合委員會是由美、加地區教育專業組織所組成，該組織自 1975 年開始著手「教育方案、計畫、教材評鑑標準」的發工. 25.

(37) 作，至 1981 年完成。內容分為校用性、可行性、適切性及精確性等四大類，共三十項標準。1994 年再加以修訂並更名為「方案評鑑標準」，並經美國國家標準協會認可。以下僅就教育評鑑標準聯合委員會之「方案評鑑標準」內容概述於下(JCSEE，1994)：. 一、效用性標準(utility standards) 效用性標準的目的在確保評鑑能夠提供有用的資訊，並且具有時效性和影響力。一方面要求評鑑者淑枝與評鑑結果有關的各種利害關係人，並確認其對資訊的需求，再適時而清楚的提供他們相關的資訊。 U1 利害關係人的確認凡參與評鑑或受評鑑影響的利害關係人都必須加以確認，以強調他們的需求。 U2 評鑑者的可靠性實施評鑑的人員必須是可信任的，並且有能力勝任評鑑工作，以利評鑑的發現達到最大的可信度和可接受性。 U3 資訊的範圍與選擇所蒐集的資訊在範圍和選擇上必須適合受憑對象，並反應特定利害關係人的需求及興趣。 U4 價值的確認用以解釋評鑑發現的觀點、程序和理由必須加以詳細的描述，使得價值判斷的基礎能夠清楚且明白。 U5 報告的清晰評鑑報告必須清楚的描述評鑑過程，包括受憑對象及其背景、評鑑、目標、評鑑程序及評鑑的發現，方便讓當事人能輕易了解。 U6 報告的及時性與傳播評鑑的發現必須傳播給那些希望運用結果之人員，使他們得以即時運用這些發現。 U7 評鑑的影響評鑑應被規範、指引與報告並鼓勵利害關係人充分利用，期望增加. 26.

(38) 評鑑的使用度。. 二、可行性標準(feasibility standards) 可行性標準是希望評鑑能在自然的而非實驗的情境下進行，另一方面亦需顧及評鑑所需資源、人員與時間的成本效益。以確保評鑑工作的實務、審慎及簡約。 F1 務實的程序評鑑的程序必須符合實際，當獲得所需的資訊時要將半途而廢的可能性減至最低。 F2 政治上的效應評鑑的規畫與實施必須考量各種利益團體不同的期望，一方面使他們能共同合作，另一方面消除他們對評鑑活動的抵制或對評鑑的偏見與誤用。 F3 成本效益評鑑是有效率的，並製造出有充分價值的資訊，因此資源的消耗必須不斷修正。. 三、適切性標準(popreiety standards) 適切性標準要確保評鑑是合法的、合倫理的以及所有評鑑的參與者及受評鑑結果影響者之福祉皆獲得保障。 P1 服務的導向評鑑必須設計為協助組織去強調並有效率的提供所有參與者的需求。 P2 正式的協議評鑑正式參與人員之義務必需達成書面的協議(包括應做的事務、如何做、誰去做以及如何做)，使這些人在協議下履行義務或透過重新協商以變更。 P3 受慿者的權利評鑑的設計和實施必須尊重和保護受評者的權利和福祉。. 27.

(39) P4 人際的互動評鑑者在和其他與評鑑有關的利害關係人互動時，必須尊重人的尊嚴與價值，使得參與者能不受到威脅或傷害。 P5 完全和公平的評估評鑑方案的優點和缺點必須完全而公平的紀錄，使得優點得以再現而問題得以被強調。 P6 評鑑發現的公佈評鑑之正式參與者應確定評鑑的發現與限制，能完整的提供受評鑑影響的人，而其他人亦具有了解結果的合法權利。 P7 利益的衝突利益衝突必須公開而誠懇的杵哩，以避免此衝突危及至評鑑的程序與結果。 P8 財政的職責評鑑者對資源分配與開銷必須反映出良好的績效程序，並且是警慎而合乎道德責任。. 四、精確性標準(accuracy standards) 精確性標準是要確保評鑑能夠蒐集到正確的資訊，並依此對受評對象進行價值判斷。因此，當然要求所蒐集的資訊必須是適當的，結果與資料的關聯必須是合乎邏輯的。 A1 方案的說明被評鑑的方案必須詳盡而明確的描述說明，使方案得以清楚的被確認。 A2 背景分析評鑑對象的背景必須詳細的評估，以了解屆時可能對方案的影響。 A3 目的與程序的描述評鑑的目的與程序必須詳細的追蹤與描述，俾使他們得以被確認及評估。. 28.

(40) A4 有辯護力的資訊來源資訊的來源必須描述清楚，俾使資訊的精確性得以被評估。 A5 有效的資訊必須有效的選擇或發展蒐集資訊的工具及程序，以利施行後能確保解釋，對使用時是有效的。 A6 可靠的資訊必須有效的選擇或發展蒐集資訊的工具及程序，以利施行後能確保其所獲得的資訊，能對特定的用途具有充分的可靠性。 A7 系統的資料評鑑資料的蒐集、處理和報導必須加以檢討或改進，將評鑑結果之缺失降至最低。 A8 量化資訊的分析評鑑量化的資料必須有系統的和適切的分析，以確保相關的解釋能夠合理並獲得支持。 A9 質化資訊的分析評鑑質化的資料必須有系統的和適切性的分析，以確保相關的解釋能夠合理並獲得支持。 A10 證據正當的結論評鑑所獲致的結論必須明確的檢驗，使得利害關係人能夠進行評估。 A11 無偏差的報導評鑑程序必須提供安全的保護，以免評鑑的發現和結果受評鑑人員主觀的感覺和偏見所扭曲。 A12 後設評鑑評鑑本身應是形成性及總結性的評鑑。並且根據適當的標準，適當的引導即完成其實施，而利害關係人亦得以密切的評估其優點與缺點。. 29.

(41) 肆、評鑑研究學會之「評鑑研究學會之「方案評鑑標準」方案評鑑標準」評鑑研究學會認為教育評鑑標準聯合委員會之評鑑標準關注的重點僅在於教育方案，未能涵蓋評鑑研究學會成員的需求，因此另行發展出一套「方案評鑑標準」。其內容分為規劃與協商、結構與設計、資料蒐集與準備、資料分析與解釋、溝通與公佈、利用等六大類，共有五十五項標準(ERS，1982；引自黃正傑等人，1994：239-242)。. 一、規劃與協商(formulation and negotiation) 在訂定評鑑計畫之前，評鑑者必須先與相關的當事人進行規劃與協商的工作。對於評鑑什麼、如何評鑑和為何評鑑等問題，以及可能發生的限制與障礙，評鑑者與當事人都必須能夠清楚了解。此部分必須考慮的標準有十二項： 1.對於受評方案或活動的目標和特質之敘述，必須儘可能的正確而詳細。 2.對於委託者、決策者和其他潛在的評鑑結果使用者必須加以確認，並釐清他們的資訊需求與期望以及方案的公共利益。 3.評鑑的型態必須適合，評鑑的對象必須釐清，評鑑的範圍必須明確。 4.評鑑方案與變通方案的成本估算慎重與合理，且合乎健全地會計原則。 5.對於評鑑提供資訊的價值性、適用性與判斷成本的潛在利用性，必須在評鑑開始前達成協議。 6.對於評鑑的可行性，必須經過非正式的或正式的評鑑可行性評估。 7.對於獲取評鑑資訊和結果的限制，評鑑者和委託者事先必須清楚地確立並達成協議。 8.潛在的利益衝突必須確認，並採取步驟以免危及評鑑歷程和結果。 9.對於涉及評鑑的所有群體的權利與福祉之尊重與保障，必須是協商過程中的主要考慮。. 30.

(42) 10.評鑑技術和經費管理的績效責任，必須明確界定。 11.在協商所達成的所有協定必須以文字詳細說明，包括程序、義務和涉入評鑑的所有群體，以及獲取資料的策略和程序。當計劃或條件改變時，這些協定也應詳細說明。 12.對於超越評鑑者的專業限制或資源條件的要求，評鑑者不應接受。. 二、結構與設計(structure and design) 任何的評鑑設計都會受到符號、邏輯、倫理、政治、經費和方法等層面的影像，但不同的評鑑設計所要求的條件並不一樣，其所達成的客觀性也有差異。不過還是會有一些共通性的標準，主要有以下六項： 1.對於各種的評鑑，必須詳細說明其途徑與設計，並判斷其與評鑑結論和推論的合適性。 2.對於影響的評鑑，未處理部份的效果評估和完成此項評估的特定方法等主要評鑑設計，必須完整的描述和判斷。 3.如果採用樣本，必須依據評鑑的必要條件及其概括化詳細分析，描述及判斷樣本方法的細節。 4.評鑑方法和工具必須明確敘述，並以受評的母群或現象考驗其信度和效度。 5.評鑑程序和工具的胡適性，必須提供有關的判斷。 6.對於方案的人、受影響的機構、有關群體的成員，以及直接涉入評鑑人員之間的必要性合作，必須加以安排並確保合作無間。. 三、資料蒐集和準備(data collection and preparation) 在資料蒐集的過程，如果發生邏輯的困難，或環境有顯著改變，評鑑的設計及工作計畫就必須隨之調整或修訂，資料蒐集及準備階段的考慮標準共有十二項： 1.資料蒐集的準備計畫必須在資料蒐集之前發展完成。 2.對於背離原來設計的檢查、調解和考証必須有所準備。. 31.

(43) 3.評鑑人員必須加以選擇、訓練和監督，以確保其勝任姓、一致性、公平性和倫理性的措施。 4.所有資料蒐集的活動必須加以管理，確保個別的權利、福祉、尊重和價值都能獲得尊重和保障。 5.資料蒐集工具和程序的預測信度、效度，必須在一般的實施環境加以驗證。 6.錯誤來源的分析必須進行，建立品質保證和控制的適當措施。 7.資料蒐集和準備的程序必須提供保護措施，避免發現和報告受到資料蒐集者的偏見所扭曲。 8.資料蒐集活動應在無害於受評方案完整下進行，並在資料提供者或機構最少負擔情形下實施。 9.對於可能產生相反效果或危險的程序，必須嚴格檢討，然後僅使用影響群體所同意的程序。 10.資料必須管理和保管，以免落入未經許可者的手中，對於個別認可資料的取得，應限於有必要知道者。 11.文件必須保存資料來源、蒐集方法、蒐集的環境，以及各項資料的準備過程。 12.採取適當的保護措施，以防意外事件造成無法挽回的資料損失。. 四、資料分析和解釋(data analysis and interpretation) 在資料的分析與解釋階段，評鑑者不再有太多的自由去改變評鑑設計，反而必須配合資料的性質採用適當的分析和解釋方法。此部份要考慮標準有九項： 1.分析的程序必須符合評鑑目地、設計和資料的蒐集。 2.所有分析程序及其假定和限制必須詳細清楚描述，選擇該程序的理由也應說明清楚。 3.分析的程序必須適合所使用者的評鑑特質，以及資料的性質、量性特質。. 32.

(44) 4.分析的單位必須適合資料蒐集的方式和結論的型態。 5.對於資料分析的合適性必須加以判斷。 6.文件必須適合重複分析。 7.若進行量的比較，必須提供有關統計和實質意義的指標。 8.因果解釋的支持，不但要參照設計，也要確認和排除似合理的反面說明。 9.評鑑發現的報告方式，必須能區別出客觀的發現、意見、判斷和推測。. 五、溝通與公佈(communication and disclosure) 良好的溝通與有效的規畫是最基本的要件，同時也是下一階段有效利用評鑑結果的基本前提。在評鑑報告公佈階段，必須注意的標準有十項： 1.評鑑發現必須清晰地、完整地、公平地呈顯出來。 2.評鑑發現必須以決策者和其他的聽取者能理解的語言來組織與敘述，並且任何的建議必須明顯地和這些發現相關聯。 3.發現建議的呈現架構，必須能指出二者間相關的重要性。 4.假定必須明確定為人所認定。 5.有關時間、資源和資料的可用性等侷限所造成的限制，必須加以陳述。 6.對於如何發現的完整描述，必須是可接受的。 7.對於評鑑有貢獻的個人、群體和組織，必須得到適合其需求的回饋。 8.評鑑報告的公佈，必須遵守事先同意的合法性與專屬性的理解。 9.完成的資料庫和相關文件必須與使用者的策略和程序相一致的方式來組織。. 六、結果的利用(use of results). 33.

(45) 實施評鑑的目的在提供當事人做決策所需的資訊，因此評鑑結果必須得到利用，評鑑才有意義。為了確保評鑑結果得到有效的利用，必須考慮的標準有六項： 1.評鑑結果必須做成相關決策之前，提供合適的使用者。 2.評鑑人員必須預防評鑑資訊的誤解與誤用。 3.評鑑人員必須提醒決策者和其他相關的聽取者，注意評鑑過程中可能產生的正面或負面的副作用。 4.評鑑人員必須明確地區分評鑑發現和根據評鑑發現所提出的政策建議。 5.在提出有關修正行動路線的建議時，評鑑人員必須仔細考慮和指出建議方案的可能小果和成本。 6.評鑑人員必須在評鑑人員的角色和所選擇的支持角色之間維持明確的界線。. 伍、國民小學後設評鑑標準游家政(1994)採用德懷術邀集十三位學者專家，經由三次連續密集的問卷，蒐集不同的意見和建立共識，建構一套國小後設評鑑標準。此套標準係依據評鑑的流程和工作項目，分為規劃、設計、實施、資料分析、報告與結果利用等六個層面，此六個層面的評鑑標準共計 76 項。. 一、「規劃」層面的標準規劃層面係指在做成實施學校評鑑的決定之後，首先必須對即將進. 行的評鑑活動，研擬一份初步的計畫。其主要的工作要向包括評鑑目的之訂定、評鑑對象的選擇、規劃人員與能力、評鑑經費的編列等。 1-1 評鑑目的 1-1-1 能促使學校切合教育的目標。 1-1-2 有助於了解學校現況、問題與困難。 1-1-3 有助於引導學校決策與發展。. 34.