評鑑應用之意義

本節分為兩部分，分別探討評鑑應用之意義與以實際應用為焦點的評鑑模式。

壹、評鑑應用之意義

評鑑應用係指以評鑑的方式，透過評鑑獲得之資訊，對接受評鑑的方案產生 衝擊（Alkin&Taut, 2003）。亦指教育評鑑的結果與過程，對於受評鑑對象及其組織 所發揮的功能與成效（鄭淑惠，2009）。評鑑應用可根據評鑑過程與研究結果而產 生，依據應用來源加以界定可分為過程性應用（process use）與結果性應用（findings use）（Alkin & Taut, 2003）：

一、評鑑的過程性應用

Guba與Lincoln（1989）提出第四代評鑑，主張評鑑利害關係人參與評鑑。而 利害關係人因為參與評鑑審查，從中敘述工作職責的改變情形；利害關係人藉由 參與評鑑的過程，思考評鑑對方案帶來的衝擊（Patton,2008）。Alkin與Taut提出評 鑑的結果性應用是一種工具性、觀念性與象徵性的應用，評鑑者在過程中對方案 性質的提問，能使參與評鑑人員重新檢視方案並進行修正（Alkin & Taut, 2003）。

在過程性應用中，評鑑被視為是研擬評鑑目的、評鑑問題、準則指標，蒐集、分

Alkin, 2003）。評鑑利害關係人透過參與評鑑會議、閱讀評鑑報告，及其他資訊傳 遞或溝通管道，以獲得評鑑結果，有助於增進個人和團體對於組織重要議題之思

40 如：評鑑可培育成員能力（Fetterman, 1994）、可促進學校的發展（Hopkins, 1989）、

可帶動組織的改進（Sanders, 2003）。

校務評鑑目的之一，便是在評鑑結果上呈現學校的體質和辦學狀態，並使評

（Utilization-Focused Evaluation,U-FE），其主張評鑑必須要有應用。為了讓評鑑有 應用，須採取一些必要的措施。Patton 主張以實際應用為焦點的評鑑即是透過一個 步驟接著一個步驟，將系統化思考及複雜的概念整合在一個具有適應性的系統 中，以協助建構一個真正能夠有效使用評鑑歷程與成果的評鑑。

Patton 談論的是一種實證的概念，是基於之前眾多學者對評鑑結果適用性的 廣泛議題上討論而生成的概念。Patton 將此觀念以專有名詞界定並大力倡導，其中 囊括許多學者的思辨智慧。對於評鑑應用的疑慮，在 Patton 理論的假定前提中獲 得釋疑。

41

評鑑應用的程度，端視當局是否重視教育研究，此又與政治與文化的影響，

以及該國社會科學研究發展成熟度有關。以實際應用為焦點的評鑑認為評鑑應用

（uses）可以有多種方式（Patton, 2008, p.429）：

（一）評鑑過程可以引導人們如何引導一個方案的想法；這是概念式的評鑑。

（二）評鑑有助於調整方案的施行細節。

（三）評鑑設計過程可引導出更清楚明確有意義的目標。

（四）評鑑可提供資訊，使大眾討論公眾議題。

一、以實際應用為焦點的評（Utilization-Focused Evaluation）之意義

（一）界定評鑑的「利害關係人」，讓評鑑做有益的用途

以實際應用為焦點的評鑑是一個協助評鑑使用者為其自身需求選擇一個最適 當的內容、模式、方法、理論或用途的過程（process）（Patton, 2008, p.426）。評鑑 設計者和評鑑使用者（研究者註：使用評鑑的人）共同討論，雙方決定可能需要 的評鑑方式。藉由明確的定義來回應評鑑的價值，而評鑑使用者（user）有責任去 使用評鑑的發現，以及執行評鑑者提出的建議。評鑑使用者的主動參與，可訓練 評鑑使用者應用評鑑、準備應用評鑑的前置作業，以及增強評鑑的預期效用（葉 忠達，2005）。

評鑑應該由其效用與實際的用途來判斷。評鑑的焦點在於「由有意使用者所 做的有意用途」（葉忠達，2005）。以實際應用為焦點的評鑑認為「評鑑的主要使 用者」決定評鑑的重要議題，因此評鑑的第一步便是清楚界定誰是評鑑受益者，

即潛在的「利害關係人」（Patton, 2008, p.427）。

（二）強調個人因素造成評鑑應用上的差異

人有不同的利益和需求，這個事實在設計評鑑時一直被忽略。自 1970 到 1980 年代，史丹佛評鑑聯（Stanford Evaluation Consortium）成員 Cronbach 與其合作者 發表一連串論文，討論關於評鑑所需的改革（Cronbach and Associates, 1980, p.6），

提到「沒有甚麼比個人因素更能造成評鑑應用上的差異」。

個人因素係指關心評鑑及其產生的發現的個人或群體的存在。評鑑結果的使 用者，不僅是接受評鑑訪視的學校，還有關心評鑑所產生問題的個人和群眾。校

42

務評鑑結束後，學校如何應用評鑑結果，需視使用者的利益考量。既然如此，聚 焦於使用者利益的評鑑便十分重要，這是造成使用評鑑結果的最大因素（Patton, 2008, p.427）。

二、評鑑應用模式之特色：聚焦於評鑑的選擇性和決策能力

以實際應用為焦點的評鑑是一種過程，Patton 聚焦評鑑於機會、選擇及決策，

提出四個重點：評鑑者角色的多樣化、重視情境評鑑、「主動—反應—調適」和使 用者的反應與技術品質；其模式的特色如下（Patton, 2008, p.429-436）：

（一）評鑑者角色的多樣化

在實際應用為焦點的評鑑中，評鑑者通常是協商者，和評鑑使用者協調其所 扮演角色。評鑑使用者根據用途選擇角色（Patton, 2008, p.429）。

（二）重視評鑑的情境

此模式談論以「議題解決」為導向的途徑。每一個評鑑情境都是獨特的，一 個經由評鑑者和評鑑使用者相互討論、分析情境的方法，是把事情做好的正確方 式。能克服「決策科學家教育無用論」（Brightman & Noble,1979）中對評鑑者的批 判（Patton, 2008, p.430-431）。

（三）重視評鑑者與評鑑使用者的協商過程

Patton 以「主動—反應—調適」形容評鑑者和評鑑使用者之間協調互動的性 質。評鑑要聚焦於有用的問題上，使用者要對評鑑所發現的情境有所反應，並能 隨之調整（Patton, 2008, p.432）。因此評鑑是一種動態的協商過程。

（四）使用者的反應與技術品質

在評鑑起初，技術品質（Technical Quality）需隨著不同的使用者和情境變化，

然在評鑑中的測量和方法，需有適當的信度和效度，方能達到評鑑的目的，並滿 足使用者需求（Patton, 2008, p.433）。針對「技術品質和使用者的反應」，Greene

43

提出兩者的優先順序：其差異在於眾人對評鑑的政治本質有多少認識。其建議評 鑑者要詳細說明背後的「政治和價值觀」（Greene,1988）。

（五）使用者更替會對評鑑造成破壞

評鑑應用模式強調評鑑過程需要使用者的主動參與，若使用者因更換工作、

組織調整、調職或重新選舉而流失的話，會對評鑑的應用造成無形的破壞（Patton, 2008, p.436）。

三、使用評鑑結果之假定前提

評鑑完成後，其評鑑報告使用對某些使用者來說很明確，但也可能不清楚如 何使用。以實際應用為焦點的評鑑之 14 個基本前提如下（Patton, 2008, p.436-438）：

（一）意圖使用者對意圖使用的承諾是評鑑的趨力。

（二）有關於使用的策略規劃，是從評鑑一開始就進行，並且是持續性的。

（三）評鑑是使用者導向的，焦點在特定的、可定義的個人。

（四）界定主要的意圖使用者，焦點圍繞在意圖使用者對方案所持有的興趣。

（五）將焦點置於一些事項上，置於意圖使用者的意圖使用是最有用的。

（六）將焦點置於意圖使用者上，需要有計畫且深思熟慮地選擇評鑑目的與用途。

（七）意圖使用者的高品質參與，會導致高品質、有用的評鑑。

（八）有用的評鑑必須是情境化、適應性的設計。

（九）目標是高品質的參與，而不是大量的參與。

（十）評鑑人員在信用及正直受到質疑時，對評鑑有利害關係，因此評鑑人員要 「行動－反應－調適（active-reactive-adaptive）」。

（十一）評鑑人員要承諾去促進使用。

（十二）評鑑的使用會由於報告的與傳播的對象與方法等而有所不同。

（十三）報告與傳播可由不同的意圖使用者拿來做決策、改進方案、改變思想及 產生知識。

（十四）考量財務及時間成本，明確指出並編列預算才不致於使實用性缺乏資源 而受限。

44

四、以實際應用為焦點的評鑑之操作方式

以實際應用為焦點的評鑑之流程為界定意圖使用者、評鑑者和意圖使用者對 評鑑的用途須達成共識並決定評鑑的焦點、研究方法與測量及設計的決定、發送 評鑑報告（葉忠達，2005），其重點及流程圖如下：

圖 2-4 以實際應用為焦點之評鑑使用流程圖

資料來源：Pattn, M.Q. （2000） Utilization-focused evaluation. In D. L. Stufflebeam, G. F. Madaus, & T. Kellaghan（Eds.）, Evaluation models: Viewpoint on educational and human services evaluation. （p.435） Kluwer Academic Publishers.

45

（一）界定意圖使用者

以利害關係人（stakeholder）的分析為起點，定義意圖使用者的利益，找出主 要的意圖使用者。這些意圖使用者可以任何形式參與討論。

（二）評鑑者和意圖使用者對評鑑的用途須達成共識，並決定評鑑的焦點

評鑑者和意圖使用者必須對評鑑的用途、方案的實施、對方案的認同度等達 成共識。

（三）研究方法與測量及設計的決定

對於研究的設計如量化或質性的資料，研究方法的適切性、實用性、準確性、

成本加以討論。

（四）發送評鑑報告

評鑑發送的對象，除原先的意圖使用者之外，也可以發送給一般大眾，以符 合公共績效責任。

Patton 所提之「以實際應用為焦點」的評鑑模式，在操作方式上可讓評鑑使 用者實際經歷「過程性應用」與「結果性應用」。這一實證的概念，從前置工作 中的界定利害關係人建構可能的結果，分析評鑑意圖使用者的利益以模擬評鑑的 應用，進入評鑑準備歷程中與意圖使用者協商決策的使用，建立更多有用的問題 與議題，對評鑑用途的認同程度跟認同方式達成共識，都是評鑑的「過程性應用」。

在評鑑結束後，讓主要使用者分析使用評鑑結果，並發送評鑑報告向前在使用者 傳播發現，並在評鑑結束後進行後設評鑑，都是評鑑的「結果性應用」，故 Patton 所提之評鑑模式，集成評鑑應用上的「過程性應用」與「結果性應用」。

46