建立常設且完備的後設評鑑機制／ 65

建立常設且完備的後設評鑑機制

劉經翰 美國印第安那大學教育領導與政策研究學系博士候選人

一、前言

後設評鑑（meta-evaluation）為針 對評鑑本身的檢討與回饋，亦即「評 鑑 的 評 鑑 」（ e v a l u a t i n g t h e evaluation）。一個評鑑方案，其所關注 的對象除了受評者以外，亦應包含評 鑑本身，例如評鑑設計、評鑑方法、 評鑑結果等等，才能確保該方案能持 續達到預期的績效（Scriven, 1972）。 美國評鑑學會（American Evaluation Association）提出的「評鑑人員指導原 則 」（ G u i d i n g P r i n c i p l e s f o r Evaluators），以及美國國家標準協會 （ A m e r i c a n N a t i o n a l S t a n d a r d s Institute，ANSI）認可的專業組織「教 育評鑑標準聯合委員會」（The Joint Committee on Standards for Educational Evaluation, JCSEE）提出的「方案評鑑 標準」（ Th e P ro gr a m Ev alu ati on Standards）中，均建議一個完整的評 鑑 應 包 含 後 設 評 鑑 （ A m e r i c a n Evaluation Association, revised 2004； Ya r b r o u g h , S h u l h a , H o p s o n , & C a r u t h e r s , 2 0 1 1 ）。 一個評鑑制度如果要持續改善， 需要有一套有效的後設評鑑來支援。 筆者認為臺灣的教育主管機關以及大 學評鑑的執行單位應該將後設評鑑視 為評鑑方案的一部份，完整規劃並且 定期執行。本文將說明後設評鑑的內 涵，並針對後設評鑑目前在臺灣的實 行現況，提出後設評鑑制度化的建議。

二、後設評鑑的內涵及制度化

以下將簡要說明後設評鑑應包含 的內容，並討論後設評鑑在臺灣的實 施現況，針對後設評鑑的制度化提出 具體建議。 (一) 後設評鑑的內涵 茲就後設評鑑的途徑及指標，簡 要說明如下。 1. 後設評鑑的途徑，依照實施者的不 同，可區分為三種（Scriven, 2009; Yarbrough et al., 2011）： (1) 透過原本的評鑑團隊進行內 部 後 設 評 鑑 （ internal meta-evaluation）。該取向可視 為評鑑團隊的自我評鑑。任何 的方案在執行結束之後都應 有自主性的事後檢討，教育評 鑑亦然，筆者認為內部後設評 鑑應列為評鑑團隊的責任。該 取向的優點在於，評鑑團隊往 往是整個評鑑過程中最清楚 評鑑設計與流程的利害關係 人（stakeholder），對於評鑑目 的、評鑑方法與結果之間是否 能有效呼應，其觀點與感受應 該最為敏銳。然而其缺點為， 由同樣的團隊針對自己提出 的方案進行檢討，其有效性容 易被外界質疑。 (2) 透過受評者進行外部後設評 鑑 （ external meta-evaluation）。該取向乃邀 請受評者（包含大學校院的各

級主管、教師、與行政人員）， 對評鑑進行評價、給予回饋。 資料收集的方法包含問卷、訪 談與焦點團體等等。其優點在 於 可 直 接 獲 得 受 評 者 的 意 見，長期下來有助於評鑑團隊 與受評者之間的溝通。但其難 處在於受評者事後往往不見 得願意再花更多時間參與，導 致 收 集 到 的 資 料 有 效 性 不 足，甚至難以進行資料收集。 (3) 透過第三方進行外部後設評 鑑。該取向乃委託第三方專業 團隊，針對評鑑進行檢討與建 議。這個方式的優點為具有較 高的公信力（credibility），但 最大的疑慮在於該第三方團 隊可能對於整體方案、以及受 評單位龐雜的組織背景並不 熟悉，導致其提出的建議可能 在實用價值上有所限制。 以上三種不同的途徑，各有其 利弊得失，故在實際施行上應三管 齊下，或至少同時採取二種取向， 以確保後設評鑑的有效性。 此外，取決於後設評鑑欲關注 的問題，其結果可能同時包含質性 與量化的報告。以前述第二種途徑 為例，該取向關注受評者的意見， 通常以訪談與焦點團體等方式收 集質性資料，亦能以問卷方式收集 量化資料；而另外二種途徑欲探究 的對象，除了受評者意見以外，還 涉及評鑑方案的長期發展趨勢，例 如預算及員額編制的變化，這類型 的資料則需要以量化方式進行分 析。故一份後設評鑑報告的內容， 可能會同時包含質性及量化的結 果，執行者應釐清其後設評鑑所關 注的問題，並據此擬訂適切的資料 收集與分析方法。以下將進一步討 論後設評鑑欲檢視的指標可能包 含哪些向度。 2. 後設評鑑的指標，有別於現行的校 務評鑑及系所評鑑，因為後設評鑑 欲檢視的對象並非學校或系所的 運作本身，而是校務評鑑及系所評 鑑的過程及方法是否適切有效。故 後設評鑑的指標應涵蓋一個評鑑 從開始到結束整體過程中所涉及 的 每 個 要 素 。 這 些 指 標 包 含 （Russ-Eft & Preskill, 2009）：

(1) 評鑑目的之適切性。評鑑目的 之釐清相當重要，因為它將引 導一個評鑑方案的指標該如 何規劃，後設評鑑應審視評鑑 方案的目的是否具體，並從中 觀察評鑑者對評鑑對象是否 有足夠的了解。 (2) 利害關係人（stakeholder）的 區辨（Scriven, 1991）。後設評 鑑應關注下列問題：各層級的 利害關係人對評鑑的參與程 度有多高？該評鑑將對不同 的利害關係人帶來什麼樣的 助益？如何與不同利害關係 人之間進行更多的合作？ (3) 評鑑指標的適切性。評鑑方案 的指標應能確實呼應評鑑目 的。 (4) 資料收集。後設評鑑應了解評 鑑方案的資料收集方法是否 適切、以及取得的資料是否有 效。 (5) 評鑑管理。這項指標包含：評 鑑團隊是否能如期執行評鑑 計畫、以及評鑑執行的預算是 否合理等等。

(6) 評鑑活動與評鑑結果的傳達 與報告。包含：不同的利害關 係人如何在評鑑過程中都能 清楚了解整體流程？評鑑者 與受評者之間的溝通如何進 行？評鑑結果以何種方式來 傳達？決策者將如何有效利 用評鑑結果？ 上述六大要素是決定評鑑方案好 壞的重要關鍵，後設評鑑應透過上列 各個向度去檢視一個評鑑方案，才能 完整地對其進行評價。 (二) 建立正式的後設評鑑制度 臺灣目前的大學評鑑制度，確實 在 某 種程 度上 納入 了 後設 評鑑 的 機 制，但重視度顯然不足。在法規層次， 大 學 評鑑 辦法 第七條 與後設評鑑有 關：「本部得對受託辦理大學評鑑之學 術 團 體或 專業 評鑑 機 構之 規劃 、 設 計 、 實施 及結 果報 告 等進 行後 設 評 鑑；其評鑑結果，得作為本部遴選委 託辦理大學評鑑之依據」（大學評鑑辦 法， 民 國 102 年 01 月 31 日 修 正）。但該條文內容僅被動地「允許辦 理」後設評鑑，並未主動地建議或要 求實施。在實務層次，財團法人高等 教育評鑑中心基金會曾於 2012 年年底 在其官方網站上的常見問答中簡單敘 述了「經第三方公正人士辦理的後設 評鑑結果」，但關於該後設評鑑的方法 與結果分析則未見公開的詳細報告。 此外，雖然楊瑩教授等曾針對第一週 期大學校院校務評鑑進行後設評鑑研 究（楊瑩、楊國賜、劉秀曦、黃家凱， 2014），然而該研究乃學者自發性進 行，並非由大學評鑑之執行單位主動 辦理。 換言之，目前在臺灣無論從法規 或實務層次而言，後設評鑑都沒有被 視為一項必要的任務，顯示我們對後 設評鑑的重視程度有所不足。筆者認 為，我國的大學評鑑應將後設評鑑列 入必要的執行項目，規劃完整的方法 與流程，並定期實施，如此將有助於 大學評鑑制度獲得系統性、持續性地 檢討與改善。 (三) 後設評鑑制度化的具體推動策略 一個理念的制度化，需要許多條 件的配合，例如在法規上要有相關依 據，在人力方面應具備相關的專業及 經驗。茲就後設評鑑的制度化，提出 下列具體推動策略： 1. 修改大學評鑑辦法，將後設評鑑列 為必要的執行項目。從法規層次， 將後設評鑑建立為一項責任。建立 法源依據應是後設評鑑制度化的 第一步。 2. 召集教育評鑑的專才。執行教育評 鑑需依靠團隊合作，應整合不同領 域的專家，這些領域包含質性、量 化方法、行政組織、學生事務等 等。以資料收集為例，深入訪談是 後設評鑑非常重要的方法之一，不 應流於形式化，然而設計良好的訪 談 大 綱 以 及 熟 悉 有 效 的 訪 談 技 巧，皆非容易之事，需要專家來協 助進行，國內有不少專精於質性方 法的研究者，這些專家一方面具備 理論基礎，另一方面也擁有豐富的 田野經驗，熟悉本國的組織文化， 這些都是組成專業的高教評鑑團 隊所需要的資源。 3. 財團法人高等教育評鑑中心基金 會應針對現行的校務評鑑及系所 評鑑，分別研擬具體的後設評鑑實

施方案，經專家團隊討論修正後， 列入現有評鑑計畫的一部份。 4. 後設評鑑結果，應比照校務評鑑及 系所評鑑，公布完整的報告書，並 且應提出具體建議，達到改善評鑑 方案的目的。 5. 鼓勵學界進行後設評鑑的相關研 究，或針對既有的評鑑方案進行後 設評鑑。 6. 鼓 勵 各 大 學 整 合 不 同 領 域 的 師 資，開設教育評鑑、組織評鑑的相 關課程，一方面有助於培養未來的 評鑑人才，另一方面則能讓評鑑逐 漸形成一項專業。高教評鑑在部分 先進國家行之有年，已被視為一項 專業活動，以美國為例，多數知名 大學均開設研究所層級的相關課 程，部分大學甚至成立相關的學位 學程，前文提及的美國評鑑學會則 在實務上扮演專業的諮詢角色，提 出多項實用價值極高的準則。

三、結語

臺 灣 的 大 學 評 鑑 ， 雖 然 起 步 較 晚，但在評鑑指標與評鑑方法上，已 納 入 不少 新觀 念， 這 點十 分值 得 嘉 許。惟在後設評鑑方面，無論在觀念 上 以 及實 務上 ，都 有 相當 的進 步 空 間。筆者認為臺灣的大學評鑑制度如 果要持續進步，需要更加重視後設評 鑑，而後設評鑑的制度化，是相當重 要的一步。 參考文獻  大 學 評 鑑 辦 法 （ 2013 ）。 取 自 http://edu.law.moe.gov.tw/LawContentD etails.aspx?id=FL041732&KeyWordHL =&StyleType=1  楊瑩、楊國賜、劉秀曦、黃家凱 （2014）。100年度大學校院校務評鑑 後設評鑑研究之分析。高教評鑑與發 展，8（1），1-40。。

 American Evaluation Association.

“Guiding Principles For Evaluators” (July, 2004). Retrieved January 26,

2016, from

http://www.eval.org/p/cm/ld/fid=51  Russ-Eft, Darlene and Preskill, Hallie, (2009). Evaluation in organizations; A systematic approach to enhancing learning, performance and change. (2nd ed.). Basic Books, a

member of Persus Book Club Group. New York.

 Scriven, M. (1969). An introduction to metaevaluation. Educational Products

Report, 2, 36- 38.

 Scriven, M. (1991). Evaluation

Thesaurus, 4th ed. Thousand Oaks, CA: Sage.

 Scriven M. ( 2009) Meta-evaluation revisited. Journal of MultiDisciplinary

 Yarbrough, D. B., Shulha, L. M., Hopson, R. K., & Caruthers, F. A. (2011). The program evaluation standards: A guide for evaluators and evaluation users (3rd ed.). Thousand