後設評鑑之理論與內涵

壹、後設評鑑（meta-evaluation）的定義

後設評鑑係指「評鑑的評鑑」，是較高層次的評鑑，將原來有的評鑑計 劃（原級評鑑）置於受評鑑的位置，有系統的蒐集評鑑計畫的資訊，對原有 的評鑑人員及評鑑活動依既定的標準判斷其價值或優缺點（Stufflebeam，

2001）。後設評鑑依實施的時機可區分為：（1）在評鑑實施前和評鑑實施中 進行，即為形成性後設評鑑；（2）評鑑完成後實施，即為總結性後設評鑑。

後設評鑑實施的範圍包括評鑑規劃與協商、結構與設計、資料蒐集與準備、

資料分析與解釋、溝通與公佈、結果的利用等。

1969 年 Scriven 在「教育產出報告」（Educational Products Report）中首 先使用「後設評鑑(meta-evaluation)」的用語，指出其為評鑑教育產出的評鑑 計畫（游家政、曾祥榕，2005），並於 1974 年正式說明「後設評鑑」就是第 二級評鑑(second-order evaluation)，即對評鑑、評鑑系統或評鑑機制的評鑑（羅 文全，2005）。Stufflebeam(1981)除了採用 Scriven 的定義，即後設評鑑是評 鑑的評鑑外，更進一步將後設評鑑定義為：針對評鑑技術的效用性(utility)、

實務性(practicality)、倫理性(ethics)、及適切性(propriety)進行描述、獲取、和 使用敘述性及判斷性資料的過程，依據相關的標準，以及系統化的本質、正 直、社會責任能力的實踐等，指引評鑑的實施，公開報告評鑑的優缺點。並 認為後設評鑑的角色應兼顧形成性與總結性兩方面，形成性的功能在指引評 鑑，總結性的功能在公開報告其優缺點。

綜上所述，後設評鑑為對評鑑活動加以評鑑的藝術和科學過程，透過後 設評鑑的施行，了解執行及結果運用的績效，提供評鑑工作的品質保證及評

鑑的可靠性，且可做為後續評鑑改善和設計的依據。

後設評鑑的意義也因不同學者而有不同的界定，茲依時間順序介紹如後：

一 、 Scriven （ 1972 ） 認 為 後 設 評 鑑 就 是 第 二 級 評 鑑

（Second-orderevaluation），意指評鑑的評鑑，它涉及評鑑角色的方法論評估，

關注特定評鑑各種表現的評鑑。

二、Cook（1974）認為後設評鑑就是第二級評鑑（secondary evaluation），

原評鑑則稱為「原級評鑑」（primary evaluation）。其定義為：1.試圖經由檢 核研究資料及其解釋和含義，重新評估特定評鑑研究與潛在政策的相關性。

2.試圖利用基礎研究或評鑑的現有資料，評估當前措施或變通方案的主要假定 及對未來政策變通方案之實證性支持程度。

三、Stufflebeam（1978）則將後設評鑑定義為針對一項評鑑技術之適當性、

利用性、倫理性和實用性，進行描述，獲取和使用敘述性和判斷性資訊的過 程，並藉以指陳該評鑑技術及報告的優缺點。

四、Straw 和 Cook（1990）則認為後設評鑑乃對一項評鑑或一組評鑑的 技術品質及其結果進行評鑑的各種活動。

國內學者蘇錦麗（2001）綜合各學者定義提出：後設評鑑是一種對評鑑 工作加以評鑑的藝術與科學，由於這些後設評鑑的指引提供了評鑑工作的品 質保證及評鑑的可靠性，並且可以用來改進後續實施的評鑑，其詳細意義如 下：

一、就發生時機而言：它可能是形成性的後設評鑑，也可能是總結性的

後設評鑑。

二、就歷程而言：後設評鑑是一種系統地描述、獲取及使用敘述性與判 斷性資訊的過程，具體地說，後設評鑑是一種價值判斷的過程。

三、就功能而言：後設評鑑主要在重新評估評鑑計畫之設計、執行及結 果運用之績效，並據以做出判斷、提出評論，作為改進評鑑實施的 決策參考。

所以才需要利用後設評鑑來檢測或改進，以做為將來改善並提升品質的 指標。

貳、後設評鑑的目的

評鑑主要目的係判斷或評估事務的優點與價值，所以後設評鑑之目的，

即在於判斷一項評鑑活動的價值，對該項評鑑的表現進行價值判斷，以瞭解 與改進評鑑本身的實施（蘇錦麗，2001）。各評鑑學者所指出的目的如下：

Cook（1974）認為實施後設評鑑的目的有八項：（一）減低評鑑結果的 不確定性。（二）獲得另一種觀點及具備評鑑獨立的精神。（三）突破學術 本位的限制，建立科技整合的研究。（四）提供多構面的訓練功能。（五）

整體評估各種原始評鑑的效果。（六）促成知識的累積與多元資料的應用。

（七）對傳統知識的質疑。（八）增進專業能力。

Smith（1981b）指出後設評鑑目的有：（一）評估評鑑工作的品質、影 響及利用。（二）研究評鑑過程的品質。（三）矯正可能的評鑑誤用。（四）

提供評鑑績效責任的保證。（五）提示與控制評鑑實施的偏差。（六）評估 評鑑新取向的有效性。

Cook 和 Straw（1990）指出後設評鑑之目的在於確認評鑑過程中任何型

態的偏差，並使用各種方法和統計方法去評估評鑑的重要性。

游家政（1994）則認為後設評鑑的功能有三：（一）為做決定服務的形 成性後設評鑑，旨在協助評鑑者改進評鑑的實施或確保評鑑的正確進行，提 高評鑑的可行性。（二）為績效責任服務的總結性後設評鑑，旨在判斷已完 成的評鑑活動之優缺點，確認評鑑品質、影響和利用。（三）為評鑑研究服 務的啟發性後設評鑑，旨在突破學術本位的限制，建立資料多元使用和科技 整合的研究途徑，發現新的觀點與知識。

後設評鑑的目的旨在判斷一項評鑑活動的價值或優缺點，評量一個評鑑 是否真的達到評鑑的目的（游家政，1994），焦點應放在評鑑目標的重要性、

評鑑設計的合適性、評鑑實施的妥當性、以及評鑑結果的品質與重要性等四 點。後設評鑑的實施，不但可以協助改善評鑑的進行以及更加確認評鑑的優 缺點，進而加強它的措施，且能提高評鑑的可行性。由上述可知，後設評鑑 的目的，是因為有些評鑑會因為本身的偏頗或者是主觀的影響而導致錯誤，

為了可以更客觀的判斷一項評鑑活動的優缺點，後設評鑑的實施，不但可以 保證評鑑工作達到可靠性及公正性，藉由透明公開的評鑑當中，瞭解到原始 評鑑是如何進行，產生的效益與品質是否同步成長，並且提升後續評鑑的改 善工程之後的依據，可以做為將來檢討與改善的依據。

綜上所述，後設評鑑是在評斷原級評鑑的價值或優缺點，也是一種對評 鑑工作加以評鑑的藝術與科學。其功能在評鑑前可協助評鑑者規劃評鑑的實 施，以提高評鑑的可行性；亦可在評鑑後判斷已完成的評鑑活動之優缺點，

以確認評鑑的品質、影響和利用；更可作為未來建立資料多元使用和科技整 合研究，以發現新觀點與知識的學術研究之用。

參、後設評鑑的內涵

Stufflebeam（1974b）認為後設評鑑的範圍包括四項（引自蘇錦麗，1999）：

一、評鑑目的：係指評鑑所要達成的結果，由於各種當事者的需求不同，

因此評鑑者會面臨各種競爭性的評鑑目的，後設評鑑即在判斷其選定的評鑑 項目之價值。

二、評鑑設計：評鑑設計指依據評鑑目的，考慮相關的策略與社會政治 因素，選擇、規劃合適的評鑑方案，因此，整個評鑑活動的設計與規劃，都 是後設評鑑的重點。

三、評鑑過程：評鑑實施過程中會遭遇許多實際的問題，諸如評鑑的時 程、人員組織、評鑑技巧、行政支援、溝通聯繫及道德倫理等，都是判斷評 鑑實施成效的重點。

四、評鑑結果：評鑑的問題是否得到回答、評鑑報告的品質如何、是否 利用評鑑結果作決策，這些涉及評鑑品質、評鑑影響與利用的問題，都是判 斷評鑑實施成效的重點。

Brinkerhoff 等人（1983）則認為後設評鑑工作內容應包含六項：

一、決定評鑑：決定評鑑的功能在於確認評鑑的目的，故後設評鑑的功 能在於評估及協助改善評鑑之目的及問題，並調查及確定受評對象。在評鑑 過程中則在確定對所選之問題及目的可行性。而在評鑑完成時，則評估評鑑 目的及問題的健全和價值程度。

二、設計評鑑：設計評鑑的目的在評估及協助改良評鑑設計的策略。評 鑑過程中評估評鑑設計實施的效果，並在必要時提供監控及修正資訊。評鑑

完成後確定評鑑設計是完美的，並透過適當的實施而對參與者產生助益。

三、蒐集資訊：蒐集資訊在評估及協助選擇工具及資訊蒐集之策略。評 鑑進行中觀察及評估資訊蒐集之工作。評鑑完成後評估資料蒐集的資訊和所 使用方法之品質與相關性。

四、分析資訊：分析資訊需引導初級評鑑者選擇合適之分析策略，並考 慮資訊之呈現及說明。評鑑進行中則評估資料分析的過程是否有效率的分 析、整合、分類等。評鑑完成後則評估資料分析的方法使用的適切性及精確 性。

五、報告資訊：報告資訊需評估評鑑報告之呈現形式及內涵。評鑑進行 中則詳讀並評估評鑑報告的初稿，討論及提供將評鑑報告改進成專業性報告 之建議。評鑑完成後則評估評鑑是否已有平衡性、時效性的報導，以及是否 正確與正當的引用。

六、管理資訊：管理資訊需評估及改良評鑑工作的管理計畫、經費及建 議。評鑑進行中則評估評鑑工作的管理計畫、經費及協議之適切性。評鑑進 行後則評估評鑑是否有效的管理，及是否合乎成本價值。

各階段工作內涵重點，如表 2-4-1 所示：

表 2-4-1 不同評鑑階段實施後設評鑑之重點

資料來源：Brinkerhoff,R. O., Brrethower, D. M., Hluchyj, T. & Nowakowski, J.

R.（1983）p.110.

此外，Brinkerhoff 等人（1983）認為後設評鑑的內涵應包括以下特點：

一、任何評鑑工作都可以受到評鑑。

二、後設評鑑進行的步驟或方法與一般評鑑中的步驟或方法並無不同。

三、後設評鑑進行的過程中，通常會以「教育評鑑標準聯合委員會」所 發展出的「教育方案、計畫與教材評鑑之標準」作為評估的基礎。

四、後設評鑑的使用時機必須在評鑑方案實施前、中、後分別進行。

四、後設評鑑的使用時機必須在評鑑方案實施前、中、後分別進行。