幼兒園基礎評鑑之後設評鑑—受評人員觀點之分析/ 111

(1)

幼兒園基礎評鑑之後設評鑑—受評人員觀點之分析

羅凱臨臺北市信義區福德國小附設幼兒園教師國立臺北教育大學教育創新與評鑑研究所研究生

一、前言

教育部(2013)指出「幼兒園基礎評鑑」之目的主要在執行政府監督的責任，檢核幼兒園持續符合法令相關規定，幼兒園應接受該評鑑，透過後設評鑑，對幼兒園基礎評鑑加以檢核或評鑑，能確保評鑑的品質，進而提升幼兒教育的品質，筆者認為幼兒園基礎評鑑實有進行後設評鑑之必要，以提供改進評鑑的方向，強化評鑑的規劃、運作和結果。幼兒園基礎評鑑最直接的利害關係人就是幼兒園的主任和教師，因此，筆者為了能呈現受評人員的想法，訪問和分析臺北市幸福國小附設幼兒園(化名)主任、教師的意見和觀點，透過後設評鑑，關注評鑑過程及結果的改善與績效責任，以提供未來評鑑改善之參考。

二、幼兒園基礎評鑑的實施現況

(一) 評鑑類別依據 2012 年教育部所發布的《幼兒園評鑑辦法》第 4 條第一款規定「基礎評鑑：針對設立與營運、總務與財務管理、教保活動課程、人事管理、餐飲與衛生管理、安全管理等類別進行評鑑。」幼兒園基礎評鑑共有六大類的評鑑項目。 (二) 辦理現況臺北市幼兒園基礎評鑑自中華民國一百零二年八月一日開始實施，以每五學年為一週期，評鑑通過標準，以有無通過評鑑指標來認定，評鑑結果 102 學年度「全數指標通過」有 86 所，「部分指標通過」有 47 所；103 學年度「全數指標通過」有 119 所，「部分指標通過」有 12 所；104 學年度接受評鑑的 97 所均「全數指標通過」。資料來源：臺北市政府教育局

三、後設評鑑的意涵

(一) 後設評鑑的意義後設評鑑的概念，最早源自於 Orata 在 1940 年撰寫 Evaluating evaluation 文章中提出「評鑑的評鑑」（ evaluation of evaluation ）的概念 (Cook & Gruder, 1978；陳菁徽，2015)。 Michael Scriven(1969)在《教育產出報告》(Education Products Report)提出後設評鑑是一種對評鑑、評鑑系統或評 133₈₆ 131₁₁₉ ₉₇₉₇ 47 ₁₂ ₀ 0 100 200 102學年度 103學年度 104學年度 102學年~104學幼兒園基礎評鑑結果辦理總園數全數指標通過部分指標通過

(2)

鑑設計的評鑑(引自蘇錦麗，2005)。 Stufflebeam（1981）認為後設評鑑是一種評鑑的形式，他將後設評鑑視為對一項評鑑優缺點的評估過程(引自林邵仁，2008)。 (二) 後設評鑑的目的蘇錦麗等（2001）認為後設評鑑之目的，為判斷原先評鑑方案的價值，對該項評鑑的表現進行價值判斷，以瞭解與改進評鑑的實施。楊瑩等(2014)指出後設評鑑之目的，在於將原級評鑑置於受評者的位置，透過相關資訊的蒐集與分析，對原級評鑑制度設計與結果進行價值判斷，藉此不斷改進原級評鑑隱含之缺失，促成評鑑活動之完備，有助於教育品質的維持與提升。綜上所述，後設評鑑之目的在於評估及協助評鑑的改進，在評鑑進行時評估實施的效果，提供監控與修正，於評鑑結束後確定評鑑設計的完備，有助於教育品質的維持與提升，也能對參與者產生最大助益。 (三) 後設評鑑所採用的標準依據 JCSEE（1994）對於評鑑標準的定義為「專業評鑑者共通同意的原則，可據此判斷某評鑑在每項標準的符合程度，符合程度愈高表示該評鑑有較佳的品質。」因此，進行後設評鑑時，後設評鑑標準為不可缺少的重要準則，除了在進行後設評鑑時能提供引導與改進外，也能夠判斷評鑑實施的價值與品質。 2011 年美國教育評鑑標準聯合委員會（The Joint Committee on Standards for Educational Evaluation, 簡稱 JCSEE）公佈的第三版「方案評鑑標準」五大標準為效用性 (Utility) 、可行性 (Feasibility)、適切性(Propriety)、精確性(Accuracy)、評鑑績效性(Evaluation Accountability)等五大類、30 項標準，共計 30 個指標。第三版方案評鑑標準簡要說明如下(蘇錦麗，2005；朱筱婷， 2011)。 1. 效用性(Utility)：旨在確保評鑑能為特定使用者提供所需資訊，內容有評鑑人員具公信力、關注利害關係人、經過協商的目的、明確價值、相關資訊、有意義的過程與結果、及時且適當溝通和報導、關注後果與影響。 2. 可行性(Feasibility)：旨在確保評鑑必須是可行、審慎、節約的評鑑，內容有計畫管理、務實的程序、脈絡可行性、資源運用。 3. 適切性(Propriety)：為確保評鑑的實施是合法、合乎倫理，並保障評鑑參與者和受評鑑結果影響者的福利，內容有回應與包容取向、正式協議、人權與尊重、清晰並公正、透明與揭露、利益衝突、財務責任。 4. 精確性(Accuracy)：確保評鑑對受評方案的優、缺點，能提出有效的資訊，內容有公正的結論與決策、有效資訊、可靠資訊、明確的方案與脈絡描述、資訊管理、健全的設計與分析、推論、傳播與報導。

(3)

5. 評鑑績效性 (Evaluation Accountability)：在促使評鑑文件能滿足需求，以後設評鑑觀點聚焦在評鑑過程及結果的改善和績效性，內容有評鑑檔案化，內、外部後設評鑑。

四、幼兒園基礎評鑑之後設評鑑

擬訂、實施與結果

(一) 擬訂與實施筆者為確保評鑑能為幸福國小附設幼兒園教師提供所需資訊，聚焦在評鑑過程及結果的改善和績效性，選擇「方案評鑑標準」中的「效用性」編制成「幼兒園基礎評鑑之後設評鑑調查問卷」；「評鑑績效性」編製成「訪談大綱」，對象為 1 位主任兼任教師、 4 位教師，將受評人員所提出觀點整理分析。完成問卷與訪談大綱初稿後，商請兩位後設評鑑專長教師審閱修正，再敦請所上教授審閱完成正式問卷，共有五題，填答方式採 Likert 四點量表，得分越高表示符合後設評鑑標準之程度越高；反之則表示符合程度越低，題目如下： 1. 評鑑委員能透過綜合座談和受評幼兒園進行意見交流。 2. 幼兒園基礎評鑑指標敘述具體明確，能讓受評幼兒園清楚瞭解。 3. 評鑑能使受評幼兒園重新檢視或修正問題。 4. 評鑑報告能依受評幼兒園的個別差異，給予適當的說明。 5. 評鑑的結果與建議能使受評幼兒園提升整體效能。訪談大綱共有三題，題目如下： 1. 評鑑報告是否能提供受評幼兒園適切具體的解決問題或困難的方案？ 2. 是否能使受評幼兒園藉由評鑑，每年就實施狀況進行檢討，以確保行政與教學的品質？ 3. 幼兒園如何檢視問題，並進而提出解決問題或困難的方案？ (二) 結果 1. 效用性標準及其次標準分析

(4)

經由統計分析結果，幼兒園基礎評鑑於「效用性」其中 5 項次標準之符合程度較高為「評鑑委員能透過綜合座談和受評幼兒園進行意見交流」、「幼兒園基礎評鑑指標敘述具體明確，能讓受評幼兒園清楚瞭解」、「評鑑能使受評幼兒園重新檢視或修正問題」，可見園內教師肯定評鑑委員能透過綜合座談和受評幼兒園進行意見交流，也認為幼兒園基礎評鑑指標敘述具體明確，使受評幼兒園能清楚瞭解，並藉由評鑑能使受評幼兒園重新檢視或修正問題。符合程度較低為「評鑑報告能依受評幼兒園的個別差異，給予適當的說明」、「評鑑的結果與建議能使受評幼兒園提升整體效能」，意即評鑑報告內容尚可依受評幼兒園的個別差異，給予適當的說明；評鑑的結果與建議尚可提升受評幼兒園整體效能。 2. 評鑑績效性標準 (1) 評鑑報告能提供受評幼兒園適切 具體的解決問題或困難的方案 教師均同意評鑑報告能提供受評幼兒園適切具體的解決問題或困難的方案，教授能具體建議老師充實操作性教具的種類和數量，展示作品的高度要符合孩子視線的高度，也建議每天要進行 30 分鐘出汗性大肌肉活動。 (2) 教師均同意受評幼兒園能藉由評 鑑，每年就實施狀況進行檢討，以確保行政與教學的品質，但看法亦 有所不同。 A 老師說：「行政上對於『幼兒園及其分班基本設施設備標準』馬桶、男生小便斗數量的規定，公幼如果不符合規定，要申請及有經費才能改善，加上原有建築物空間的限制，所以有些設備是無法立即改善的。」B 老師說：「會和校外老師交流討論，有一些不錯的作法、表格，我們就會拿來使用，還有，教育局評鑑完成後，會辦理績優學校觀摩，讓我們去參觀學習，都可以提升我們的行政與教學品質。」C 和 E 均認為「基礎評鑑能使受評幼兒園檢視了解園內行政、教學問題，並就實施狀況進行檢討，但要確保行政與教學的品質需有長期的在園輔導才能提升品質。」D 老師說：「現在的教學需運用在地資源，發展在地特色課程，我覺得因為評鑑，會仔細想如何發展自己的特色。」 (3) 老師們均同意受評幼兒園能透過 園務會議進行交流，提出解決問題 或困難的方案 教師均同意會透過園務會議討論交流，看看別人遇到問題是怎麼解決的，一起想辦法解決問題，或是把別人的方法當作自己解決問題的參考，E 老師則認為「透過園內教師交流，依幼兒園基礎評鑑指標確實檢視，而非只透過園長及行政單位的檢核，這樣才能有效提升幼兒園整體效能。」

五、結論與建議

進行幼兒園基礎評鑑之後設評鑑，效用性標準及各次標準符合程度之平均數介於 2.8 至 3.4，皆高於四點量表平均數 2.5，皆達「符合」程度，

(5)

顯示受評幼兒園教師認為幼兒園基礎評鑑符合後設評鑑標準；評鑑績效性標準中，教師同意評鑑報告和園務會議能提供教師適切的解決方案，顯示受評人員對幼兒園基礎評鑑大多持正面看法，予以肯定，但在評鑑是否能提升行政與教學品質，仍有部分教師持保留的看法，認為需要有長期的在園輔導才能提升品質。實施了幼兒園基礎評鑑之後設評鑑，筆者提出以下幾點建議： (一) 評鑑業務承辦單位 1. 深入瞭解受評幼兒園的需求與個別差異，提供合宜的建議與幫助。 Stufflebeam 曾說「除非評鑑的目標符合服務對象的需求，否則我們無法肯定這些目標的價值。」（引自黃光雄，2005）為了能改進評鑑與彰顯評鑑的價值，須傾聽受評者的需求，所以建議評鑑委員在進行評鑑時，可透過訪談與意見交流的方式，深入瞭解受評幼兒園的需求與個別差異，提供合宜的建議與幫助，以獲得受評者的認同與實踐。 2. 建立後設評鑑機制，持續改善幼兒園基礎評鑑。目前「臺北市 102-106 學年幼兒園基礎評鑑實施計畫」中，尚未納入後設評鑑機制，所以建議臺北市教育局能制定出後設評鑑的標準與具體做法，納入實施計畫中，以檢核幼兒園基礎評鑑執行狀況的符合程度，及強化評鑑的規劃運作，並能隨時進行修正，以確保評鑑工作的品質。 3. 將受評人員、家長、學生或其他評鑑利害關係人之看法，納入未來評鑑改善之參考。唯有參與評鑑才能發現評鑑執行過程中的問題，因此若能將受評人員、家長、學生或其他評鑑利害關係人的觀點納入未來評鑑改善之參考，將能關注評鑑過程及結果的改善，不斷改進評鑑缺失，促使評鑑更加完備。 (二) 學校教育人員 1. 教師可建立自我評鑑與改善機制，以達到自我改進的目標。教師若能將自我評鑑納入平時的行政與教學，無須等待五年一次的幼兒園基礎評鑑，則能及時發現問題改善現況，定能達到自我改進的目標。 2. 申請幼兒園輔導計畫，提升教師專業知能幼兒園輔導計畫能依幼兒園教保發展需求提供各種輔導，協助幼兒園符合基礎評鑑規定，朝專業發展的目標邁進，建議可依園所的需求申請「基礎輔導」、「專業發展輔導」及「支持服務輔導」等，提升教師專業知能。 3. 受評幼兒園於受評時，可主動提出需求。依據實施的結果可知，在效用性標準中，「評鑑的結果與建議能使受評幼兒園提升整體效能」，符合程度較低，在評鑑績效性標準中，C 老師表示「教授建議我們要有具體目標，當

(6)

時剛剛推動幼兒園教保活動課程大綱，我們都還不是很懂最新的幼兒園保活動課程大綱內容，所以我覺得很困難，難以理解」、「我覺得老師是會進行檢討，也會想要改善問題，但是如果沒有透過在園輔導，我覺得效果是有限的」，E 老師也認為「要確保行政與教學的品質需有長期不斷的在園輔導才能提升品質」，顯示受評幼兒園在評鑑的過程中，確實希望評鑑委員能提供具體解決問題的方案，建議受評幼兒園能在評鑑的過程中，主動提出需求，以幫助幼兒園解決困難，不但能對參與者產生最大助益，也能提升評鑑的品質。參考文獻  朱筱婷（2011）。臺北市優質學校方案後設評鑑之研究（未出版之碩士論文）。臺北市立教育大學，臺北市。  林邵仁(2008)。教育評鑑:標準的 發展與探索。臺北市：心理。  教育部(2012)。幼兒園評鑑辦法。臺北市：教育部。  教育部(2013)。一百零二學年至一百零六學年幼兒園基礎評鑑指標。臺北市：教育部。  陳菁徽(2015)。屏東縣身心障礙特殊教育評鑑之後設評鑑研究（未出版之碩士論文）。國立屏東大學，屏東縣。  黃光雄主譯（2005）。系統的評鑑：理論與實務的自我教學指引（D. L. Stufflebeam 與 A. J. Shinkfield原著， 1984年出版）。臺北市：師大書苑。  楊瑩、楊國賜、劉秀曦、黃家凱 (2014)。100 年度大學校院校務評鑑後設評鑑研究之分析。高教評鑑與發展，8(1)，1-40。  蘇錦麗(2005)。評鑑模式：教育及人力服務的評鑑觀點。臺北市：高等教育。  蘇錦麗、楊瑩、王偉中、呂鴻德、詹惠雪（2001）。八十六學年度大學綜合評鑑試辦計畫成效評估之研究，新 竹師院學報，14，127-162。

 Cook, T. D.,& Gruder, C. L. (1978). Metaevaluation research.

Evaluation Quarterly, 2(1), 5-51.

 Joint Committee on Standards for Educational Evaluation (1994). The

program evaluation standards: How to assess evaluations of educational programs. Tounsand Oaks, CA: Sage.

 Yarbrough, D. B.(2011). The

Program Evaluation Standards :A Guide for Evaluators and Evaluation Users