後設評鑑的意涵

如果評鑑能提供適當的輔導，那麼評鑑本身必須很健全（House, 1993）。為了確認評鑑本身是否健全，其必要步驟之一就是後設評鑑。

本節就後設評鑑的意義、目的與功能、採用的標準，以及後設評鑑與 屏東縣身心障礙特殊教育評鑑之關聯進行探討。

壹、後設評鑑的意義

後設評鑑的概念，最早源自於Orata 在 1940 年撰寫“Evaluating evaluation＂文章中提出「評鑑的評鑑」（evaluation of evaluation）的 概念(Cook & Gruder, 1978)。1969 年 Scriven 首次使用了「後設評鑑」

之名詞，認為其為對一項評鑑、評鑑系統或設計的評鑑，並於 1974 年說明「後設評鑑」定義後設評鑑為對評鑑、評鑑系統或評鑑機制的 評鑑(曾淑惠，2002）；而 Cook（1974）提出相對於「原級評鑑」或

「初級評鑑」（primary evaluation）的「次級評鑑」或「第二級評鑑」

（secondary evaluation），並指出「次級評鑑」即為後設評鑑，並下定 義為：1.試圖經由對研究資料、研究解釋及啟發的檢核，重新評估某 一特定評鑑研究設計與潛在政策的相關性；2.試圖利用基礎研究或對 現有的資料加以評鑑，以評估當前措施或未來政策變通方案，及其對 未來政策之實證性支持程度。

Stufflebeam（1974）認為後設評鑑是一種評鑑的形式。因此，他 提出後設評鑑與一般評鑑相關的概念，有助於更清楚了解後設評鑑的 定義，說明如下表：

27 切性(technical adequacy)進行描述、獲取和使用敘述性及判斷性資料

28

的過程，以便於指引評鑑的實施，並公開報告評鑑的優缺點。

Gallegos（1994）認為後設評鑑是將原來的評鑑者與評鑑機制變 成受評鑑者，而對其活動或表現進行價值判斷，以提升原有評鑑之品 質。

蘇錦麗、楊瑩、王偉中、呂鴻德、詹惠雪（2001）認為後設評鑑 是一種對評鑑工作加以評鑑的藝術與科學，由於這些後設評鑑的指引 提供了評鑑工作的品質保證及評鑑的可靠性，並且可以用來改進後續 評鑑的實施。

謝文全（2003）認為，後設評鑑是評鑑的評鑑，是指對於原來的 評鑑目的、方法、工具、資料蒐集與分析、評鑑結果及其利用等進行 評鑑，以改進評鑑的品質。

鄭崇趁（2006）提到，後設評鑑是對於一個既成的「評鑑方案」

進行評鑑，判斷此一「評鑑方案」之「指標設定」與「實施方式」是 否符合「方案評鑑標準」的歷程。

綜合各學者之定義，歸納出後設評鑑的意義為「一種評鑑模式，

指對於原先的評鑑方案所進行的評鑑，透過一套既定的檢核標準，評 估其實施的價值與優缺點，以協助評鑑者瞭解原評鑑方案的績效，並 據以改進評鑑方案本身，做為下一次辦理評鑑之參考。」

貳、後設評鑑的目的

評鑑的目的在於判斷或評估事物的優點和價值（游家政，1994）；

後設評鑑之目的，即為判斷原先評鑑方案的價值，對該項評鑑的表現 進行價值判斷，以瞭解與改進評鑑的實施（蘇錦麗等，2001）。

Smith 認為實施後設評鑑主要目的在於了解及改進評鑑工作本身 的理論與實務，其目的包含評估評鑑工作的品質、影響及利用、探討 評鑑過程的性質、糾正可能發生對評鑑的誤用、提供並確保評鑑的績 效責任、說明及控制評鑑實施時的偏差、評估新評鑑取向的實用性（楊

29

正淇，2009）。

Straw 與 Cook（1990）指出後設評鑑的目的除了確認評鑑過程中 任何可能型態的偏差，並採用不同的方式或是統計方法去評估評鑑的 重要性之外，另提出後設評鑑的兩個主要目的：

一、了解評鑑的組織、管理的結構對評鑑資訊產生的影響。

二、以一或多個不同研究或評鑑，獲得對原級評鑑更廣闊的視野。

林劭仁（2001）認為後設評鑑的目的在於評估及協助改良評鑑的 程序和策略。在評鑑進行時評估評鑑設計實施的效果，必要時提供監 控及修正，並於評鑑結束後確定評鑑設計是完美的，能對參與者產生 最大助益。

綜上所述，後設評鑑的目的在於瞭解原級評鑑的相關資訊及內 容，在評鑑過程中檢視其正當性、判斷評鑑之價值；評鑑後，預防評 鑑結果的誤用、提供正確的報告，進而改進評鑑本身、增進評鑑人員 專業、獲得評鑑的嶄新觀點。對於屏東縣身心障礙特殊教育評鑑而 言，在評鑑後進行後設評鑑，得以確保評鑑的品質、改進評鑑本身的 缺失、增長評鑑人員的專業知能，進而提高評鑑相關人員對於評鑑的 評價，為進行屏東縣身心障礙特殊教育後設評鑑之目的。

參、後設評鑑的功能

後設評鑑經常認為是在評鑑結束後，對原先的評鑑進行的總結 性評鑑，其實後設評鑑與一般評鑑相同，具有形成性的功能。因此 Stufflebeam（1974）指出後設評鑑有兩項重要的功能，分別為幫助決 策的「形成性後設評鑑」、確認績效責任的「總結性後設評鑑」；另 於 2000 年再提出後設評鑑兼具專業性及公共利益的雙重功能，除了 可以改善評鑑的實施，亦能對評鑑結果報告提供可信度與可應用性

（Stufflebeam, 2000）。

游家政與曾祥榕（2004）亦歸納 Stufflebeam 等學者的看法提出

30

後設評鑑有三項功能：

一、「做決定」服務的形成性後設評鑑：目的在改進及確保評鑑正確 的進行，讓評鑑具有高度可行性。

二、「績效責任」服務的總結性後設評鑑，是針對評鑑活動之優缺點 做判斷，讓評鑑品質、影響與利用獲得確保。

三、「評鑑研究」服務的啟發性評鑑，主張學術本位的限制須加以突 破，多元使用所建立的資料，並藉由科技整合方式，擴大評鑑研 究途徑，使其得以發現新的評鑑觀點與知識。

Worthen 與 Sanders（1987）認為形成性後設評鑑能在評鑑尚未造 成無法彌補的錯誤之前獲得改善；總結性後設評鑑則可增強最後評鑑 結果的可信賴性。

綜上所述，後設評鑑的功能不僅對於進行中的評鑑或結束後的評 鑑做檢視，亦可檢視現行評鑑系統的缺失、提供規劃完善的範例、提 供政策決定者發展與評估健全程序的原則與實用性建議，並滿足利害 關係人（stakeholders）對於評鑑的需求。屏東縣身心障礙特殊教育後 設評鑑的功能是在評鑑結束後，透過問卷調查，判斷整體身心障礙特 殊教育評鑑方案的績效，提供修正建議並符應評鑑相關人員的需求。

肆、後設評鑑的步驟

為能有系統的進行後設評鑑，蘇錦麗（1995）將後設評鑑研究分 成十個步驟，依次為：1.說明評鑑對象；2.界定評鑑方案的目的與問 題；3.選擇評鑑模式；4.指出資料蒐集來源；5.選擇資料蒐集的方法 並發展工具；6.說明資料分析方法；7.設定評鑑標準；8.訂定評鑑程 序與時間表；9.決定評鑑人員與經費；10.規劃評鑑報告之撰寫。

Stufflebeam（2000）將後設評鑑規劃實施歷程分成十個步驟，以 作為進行後設評鑑的實施程序：1.決定後設評鑑的利害關係人並與之 互動；2.建立合格的後設評鑑團隊；3.定義後設評鑑的問題；4.取得

31

判斷評鑑系統或特定評鑑的原則或參考標準；5.協商後設評鑑的契約

（contract）；6.蒐集並檢視所取得的資訊；7.以實地訪談、觀察與調 查等方式蒐集所需的新資訊；8.分析量化與質性的資訊，並依據所選 的評鑑標準判斷其符合的程度；9.準備並提出評鑑報告；10.協助委託 人及其他利害關係人解釋與應用評鑑發現。

由此可知，後設評鑑需要一套標準及分析的程序。進行後設評鑑 的人員對於行動與程序需有謹慎的態度和行為，以判斷先前評鑑所用 參考標準的實用性，獲得價值判斷的成果，呈現價值的優缺點（曾淑 惠，2012）。因此，屏東縣身心障礙特殊教育後設評鑑經由研究者界 定後設評鑑的問題、建構後設評鑑標準並以問卷調查蒐集受評特殊教 育教師的意見並提出結果，以判斷先前評鑑的優缺點。

伍、後設評鑑所採用的標準

本研究所採用的後設評鑑標準係以美國教育評鑑標準聯合委員 會（The Joint Committee on Standards for Educational Evaluation, 簡稱 JCSEE）於 2010 年發行的「方案評鑑標準（the program evaluation standards）」第三版之實用性（utility）、可行性（feasibility）、適切性

（propriety ）、 精 確 性 （ accuracy ）、 評 鑑 績 效 性 （ evaluation accountability）五大標準及其衍生的 30 項次標準為基礎。以下就後設 評鑑標準的意義與所使用的標準分述如下：

一、後設評鑑標準的意義

House（1993）認為推動評鑑必須依據適當的標準，才能據以判 斷事物的實行程度與價值，因此後設評鑑標準為進行後設評鑑不可缺 少的工具（許韡穎，2002）。從標準（standard）一詞可知為一種榜 樣、規範、期望水準或希冀的目標，是衡量事物表現的規則、原則或 規準（蘇錦麗等，2001）。依據 JCSEE（1994）對於評鑑標準的定義

32

為「專業評鑑者共通同意的原則，可據此判斷某評鑑在每項標準的符 合程度，符合程度愈高表示該評鑑有較佳的品質。」

Scriven（1991）指出後設評鑑標準是後設評鑑設計中重要的環 節，在建構標準時，須把握嚴密、價值與效能等原則以外，尚須建立 與原級評鑑之設計、過程、結果、團隊、資源與經費、建議與報告等 的關聯性。

游家政（1994）認為後設評鑑標準意指評鑑專業人員共同認可的 一套指引或準則，通常為最低的表現水準。這些標準可用來指導評鑑 的規劃、設計和實施，或作為判斷評鑑的價值和品質的參照架構。

林劭仁（2001）提出後設評鑑標準就是一套專業評鑑者普遍認同 的評鑑原則或指引，代表該領域應有的表現水準，其對象是評鑑工作 的所有過程，主要的功用在於指引及改進評鑑的過程，並用以判斷評 鑑方案的品質與價值。

因此，後設評鑑標準為進行後設評鑑所不可缺少的重要工具，需 要具備專業評鑑者普遍同意之原則，作為實施後設評鑑時的引導，據 以改進評鑑的規劃、設計與實施，並能夠判斷其價值與確認評鑑實施 的品質。

二、後設評鑑所使用的方案評鑑標準

為定義出一個「好的評鑑」，學者開始討論後設評鑑模式及標準，

為定義出一個「好的評鑑」，學者開始討論後設評鑑模式及標準，

在文檔中 屏東縣身心障礙特殊教育評鑑之後設評鑑研究 (頁 36-53)