後設評鑑的內容與實施

（一） 後設評鑑的模式設計

評鑑模式的設計必須依據評鑑的目的、問題與結果處理規劃，以期得到最貼 近實務面的資料，蘇錦麗（1995）說明評鑑模式係指該評鑑資料蒐集的方法、策 略及架構，為整個評鑑的核心，能具體表現出整個評鑑的本質與特色。Alkin ＆ Ellett（1990）認為評鑑模式的種類，可分為描述性模式與規範性模式兩種，前者 提出一組陳述和通則，描述、預示或說明評鑑活動；後者提出一組規則、規定禁 令和指導架構，說明一個優良的、適切的評鑑所須具備的原則，及評鑑如何實施。

關於後設評鑑的模式設計，列舉 Stufflebeam、Cook 和 Gruder 二種後設評鑑模 式設計

1.Stufflebeam 的後設評鑑設計

Stufflebeam（1974）將後設評鑑依評鑑的目的分為提供評鑑決策服務之形成 性後設評鑑及提供評鑑工作績效服務之總結性後設評鑑，如表 2-11。其中形成性 的後設評鑑共有四項設計，主要在評估初級評鑑的目的、設計、實施過程及結果，

以提供決策過程之參考；總結性後設評鑑則用以評估初級評鑑的工作績效。有關 各後設評鑑的設計說明如下：

設計一：行動前的後設評鑑研究以核定和排列各種評鑑目標之優先次序。

64

設計二：行動前的後設評鑑工作以核定和排列各種評鑑設計之優先次序。

資料來源：Stufflebeam,D.L.（1974）.Toward a Technology for Evaluting Evaluation（ERIC document reproduction service No.ED090319）.

2. Cook 和 Gruder 之後設評鑑模式

Cook 和 Gruder（1978）依據「再分析」、「後設分析」與「研究的研究」

等三種研究傳統，發展出七種後設評鑑的可行模式，如表 2-12 所示。可知 Cook 和

模式七：多組獨立的評鑑抗辯：意指由一個以上的評鑑人員分別設計和進行 方案影響評鑑。

表 2-12 Cook ＆ Gruder 之後設評鑑模式

單一資料 組 對一項評 鑑 報告進行 評 語式的評 論 不處理資 料

多元資料 組 對一項特 定 的方案的 文 獻進行評 論 單一資料 組 對一個評 鑑 或方案進 行 實證性再 評 鑑 在初級

評鑑之

後進行 處理資料

多元資料 組 對同一個 方 案多組資 料 進行實證 性 再評鑑 不處理資 料 單一或多元資料組 諮詢式後 設 評鑑

單一資料 組 對原始資 料 同步進行 次 級分析 與初級

評鑑同

時進行 處理資料

多元資料 組 多組獨立 的 評鑑抗辯

資料來源 ：Cook, T. D.,& Gruder, C. L.（1978）. Metaevaluation Research. Evaluation Quarterly,2

（1）,p.21.

曾淑惠（2002）提出 Posavac 和 Carey 的研究指出同步進行的後設評鑑模 式較為複雜，且成本較大；而在原級評鑑之後進行後設評鑑，不但成本較低，較 具實用性，而且為大多數評鑑者所能掌握。本研究在成本及實用性的考量下，採 總結性後設評鑑之評鑑模式，也就是如 Stufflebeam 的後設評鑑設計（五）評鑑 整體工作優缺點的總結性評估；屬於 Cook ＆ Gruder 之後設評鑑模式多元資料 組對同一個方案多組資料進行實證性再評鑑。

（二） 後設評鑑的內容

評鑑活動是複雜連續的價值判斷過程，過程中含了評鑑前的規劃、評鑑目標 的確立、依據目標的蒐集資料、評鑑判斷的運作、結果的呈現及評鑑後的檢討。

Stufflebeam（1974）指出後設評鑑的內容包括下列四項：

1. 評鑑目的：指評鑑所要達成的結果，因當事者的需求不同，評鑑目的也有所不 同，後設評鑑即在判斷評鑑目的的價值性。

2. 評鑑設計：指依據評鑑目的，考慮相關的策略與社會政治因素，選擇、規劃合 適的評鑑方案，因此整個評鑑活動的設計與規劃，都是後設評鑑的重點。

3. 評鑑過程：評鑑實施過程中會遭遇到許多實際的問題，諸如評鑑的時程、人員 組織、評鑑技巧、行政支援、溝通聯繫及道德倫理等，都是判斷評鑑實施成效 的重點。

4. 評鑑結果：評鑑的問題是否得到回答、評鑑報告的品質如何、是否利用評鑑結

66

果作決策。這些涉及評鑑品質、評鑑影響與利用的問題，都是判斷評鑑實施成

Millman（1981）則利用 Scriven 的十三項標準整合為後設評鑑的內容：

1.評鑑的先備條件：包括需求、市場及影響的規模與種類。

2.評鑑的效果：包括因果關係、受影響的人口，持續性、普遍性、統計意義、合 法性/倫理性/接受性。

3.評鑑的效用：包括成本、未來的利用/改進/成本，比較意義及整體價值。

（三） 後設評鑑的架構

Stufflebeam（1974）提出後設評鑑的邏輯架構（logical structure）如表 2-13 所示，對後來的後設評鑑研究貢獻卓著。該結構包含三個向度，分別為角色功能、

對象與步驟。三個向度又可細分為若干部份。依序為：角色功能可區分為形成性 後設評鑑與總結性後設評鑑。步驟則分為描述資訊的要件、獲得所需的資訊和應 用所獲得之資訊三部份。對象可分為評鑑目標、評鑑設計、評鑑過程和評鑑結果。

表2-13 Stufflebeam後設評鑑的邏輯結構（logical structure）

後設評鑑的對象

續表2-13 Stufflebeam後設評鑑的邏輯結構（logical structure）

資料來源：Stufflebeam,D.L.（1974）.Toward a Technology for Evaluting Evaluation.（ERIC document reproduction service No.ED090319）.

Brinkerhoff 等人（1983）則認為後設評鑑包括下列六項：1.決定評鑑；2.設 計評鑑；3.蒐集資訊；4.分析資訊；5.報導資訊；6.管理評鑑。其進行的時機又可 分為：評鑑計畫的評鑑、評鑑過程的評鑑、評鑑完成後的評鑑。不同評鑑階段實 施後設評鑑焦點不同，列如下表 2-14。簡要說明如下（引自林劭仁，2001：53）。

1. 決定評鑑（focusing evaluation）﹕決定評鑑的功能在於確認評鑑的目的，故 後設評鑑的功用就在改善評鑑之目的及問題，並調查及確定受評對象；或在評鑑 進行中確定所選之問題及目的的可行性；最後則評估評鑑目的及問題的健全和價 值程度。

2. 設計評鑑（designing evaluation）﹕後設評鑑的目的在評估及協助改良評鑑設 計的程序及策略。亦於評鑑進行時評估評鑑設計實施的效果，必要時將提供監控 及修正。並於評鑑結束後確定評鑑設計是完美的，能對參與者產生最大助益。

3. 蒐集資訊（collecting information）﹕蒐集資訊的功能在蒐集評鑑時所需要的 一切資訊。後設評鑑協助及評估選擇工具及資訊蒐集之策略。並於評鑑進行中觀

68

察及評估資料蒐集的工作。評鑑完成後再評估資料蒐集方法之品質與關聯性。

4. 分析資訊（analyzing information）﹕分析資訊的功能在解釋及說明所蒐集資 料的意義。後設評鑑需引導初級評鑑者選擇合適之分析策略，並考慮資訊之呈現 及說明。評鑑進行中亦需了解資料是否有效性的分析。評鑑完成後在評估資料分 析方法使用的適切性及正確性。

5. 報告資訊（reporting information）：報告資訊的功能在於向當事者溝通評鑑 的結果即可利用的建議。後設評鑑需評估評鑑報告之呈現形式及內容。評鑑進行 中則需詳讀並評估評鑑報告的草稿，討論及提供改進之建議。評鑑完成後則需注 意評鑑報告是否平衡報導及正確的引用。

6. 管理評鑑（managing evaluation）﹕管理評鑑的功能在於規劃或督導評鑑時所 有工作的進行。後設評鑑必須評估及改良評鑑工作的管理計畫、經費及協議等工 資料來源：Brinkerhoff,B.O.,Brethower,D. M., Hluchyj, T. & Nowakowski, J. R.（1986）. Program Evaluation:

A Practitioner’s Guide for Trainers and Educators.（p.110）. Bostton:Kluwer-Nijhoff.

69

本研究為原級評鑑完成後的評鑑為總結性後設評鑑，依上述 Stufflebeam 後 設評鑑的邏輯結構和 Brinkerhoff 提出不同評鑑階段實施後設評鑑之焦點，對本研 究有所啟發，整理如下表 2-15。 Stufflebeam 提出之評鑑架構，描述本研究後設評鑑評鑑資訊的要件：

1. 決定評鑑：評鑑計畫、學校規模、評鑑期間、評鑑經費、受評教師、評鑑人 員、評鑑推動小組、以及評鑑參與率等方面之基本資料。

70

2. 設計評鑑：評鑑方式、評鑑層面、運作方式、評鑑規準、評鑑時間、評鑑研 習、實施程序、以及評鑑支持。

3. 蒐集資訊：執行方式、評鑑對象的確認、評鑑人員的信賴度、評鑑資料的選 擇、評鑑資訊的提供。

4. 分析資訊：評鑑人力、評鑑時間、評鑑資源、資料來源可靠性、評量信度。

5. 報告資訊：評鑑結果處理、評鑑報告的告知、評鑑報告涵蓋內容、評鑑結果 合理性。

6. 管理評鑑：權益維護、評鑑倫理、評鑑的影響

以上述六項評鑑內容及其列舉細項為本研究後設評鑑之具體內容，依該細項 獲取所需資訊，再應用所獲得資訊，進行後設評鑑研究，後設評鑑焦點將可以指 引研究者關注資料的判讀。

（四） 後設評鑑之實施步驟

黃政傑、李隆盛、游家政等人（1994）認為後設評鑑規劃雖有其不同的取向 和模式，然亦有其共通的項目和步驟，如圖 2-4 所示。

說明評鑑 對 象和緣由

列出評鑑 目 的與問題

檢

圖 2-4 後設評鑑規劃的架構

資料來源 ：黃政傑等 人（1994）國民小學教育評鑑之研究（頁 99）。（國科會專案報告，計畫 編號：NSC83-0301-H-003-011）

核 與 回 饋

選擇或發 展 評鑑模式

編列評鑑 經 費

選擇或發 展 評鑑方法 和 工具 指出資訊 需 求和來源 描述評鑑 報 告

擬定評鑑 組 織和人選

訂定評鑑 程 序和時間 表 說明資料 分 析方法與 步 驟

選擇或建 立 評鑑標準

71

蘇錦麗（1995）也認為後設評鑑與原級評鑑具有共通的項目，並將後設評鑑 分為下列十個步驟：

1. 說明評鑑對象。

2. 界定評鑑方案的目的與問題。

3. 選擇評鑑模式。

4. 指出資料蒐集來源。

5. 選擇資料蒐集方法與工具。

6. 說明資料分析方法。

7. 設定評鑑標準。

8. 設定評鑑程序與時間表。

9. 決定評鑑人員與經費。

10. 規劃評鑑報告之撰寫。

Stufflebeam（2000）針對後設評鑑提出了十個處理過程，後又提出了後設評 鑑十一項處理步驟（Stufflebeam，2001）：

1. 決定並準備與利害關係人互動。

2. 組織後設評鑑工作團隊。

3. 界定後設評鑑問題。

4. 利用一致的標準、原則或準則判斷評鑑系統或特定評鑑。

5. 發佈同意備忘錄或協商正式的後設評鑑契約。

6. 蒐集並檢視相關有用的資訊。

7. 以現場訪談、觀察、調查等方式蒐集所需的新資訊。

8. 分析發現。

9. 根據所選擇的評鑑標準、原則或準則判斷評鑑的特質。

9. 根據所選擇的評鑑標準、原則或準則判斷評鑑的特質。