學校自我評鑑的利用

利用（use）是評鑑領域的核心概念，大多數的評鑑者都會盡最大的努力，將其評鑑結果付 諸利用（Henry & Mark, 2003）。 評鑑最重要的目標就是提供有意義的資訊，作為設計方案與決 策的依據（Fleisher & Christie, 2009），因而評鑑領域聚焦於評鑑結果的利用，作為評鑑是否成 功的一個指標（Preskill, Zuckerman & Matthews, 2003）。故探究學校自我評鑑時，亦應查明學校 自我評鑑的利用情況。本節先討論評鑑利用的意涵，再論述其影響因素。

壹、評鑑利用的概念內涵

早自 1960 年代的美國即已關注評鑑利用的議題（Alkin & Taut, 2003），評鑑研究者也開始 討論「利用」的意義。早期有關「利用」的定義範圍狹隘，只包括「直接來自研究結果之特定 決定與方案活動的立即的、具體的、看得見的效果」（引自Baughnan, Boyd & Franz, 2012, p.330）。自 1980 年代開始，「過程利用」的概念開始出現在文獻中（Kirkhart, 2000），重視自執 行評鑑過程的學習、增強利害關係人對方案影響與結果的察覺。到了 2000 年代，Kirkhart

（2000）和 Henry 與 Mark（2003）呼籲考慮更廣泛的利用概念內涵，以包含評鑑的所有影響。

茲根據此三個時期，說明評鑑利用概念的發展。

一、早期評鑑利用的內涵

此時期的評鑑利用概念強調對評鑑結果的利用。Rich 於 1977 年的著作，把評鑑結果的利 用區分為工具性利用（instrumental use）與概念性利用（conceptual use）（引自 Leviton &

Hughes, 1981）；隨後，Leviton 和 Hughes（1981）提出遊說性利用（persuasive use），或稱象徵 性利用（symbolic use）。自此，評鑑結果的區分方式就沿用這種分類架構。

（一）工具性利用

工具利用係指利用知識來影響直接行動，例如做成特別的決定（Alkin & Taut, 2003）。換言 之，工具性利用係指「決策者利用評鑑結果來改變或修正方案」（Fleischer & Christie, 2009, p.159）。這種定義相當於 Patton（2008）對於「利用」的定義，所蒐集的資訊是以直接的、具體 的方式利用。

（二）概念性利用

概念利用係指沒有做出直接的行動決定，而是修正特定的概念理解，改變利用者思考特定 方案的方式（Alkin & Taut, 2003）。換言之，概念性利用係指方案成員受評鑑結果的影響，而以 新的方式了解方案（Fleischer & Christie, 2009）。Weiss, Murphy-Graham 和 Birkland（2005）認

43

為概念性利用也就是啟蒙（enlightenment）、組織學習和認知處理。此類型利用在一個較大的脈 絡比在特定的方案脈絡更能提升理解。

（三）遊說性利用

遊說性利用係指利用評鑑證據試圖說服其他人支持一項政治立場，或保護這個立場免受攻 擊（Leviton & Hughes, 1981）。這種利用不常被視為是一個正面的利用形式。例如利用評鑑結果 證明一個決定是正當的，或是合法化一個已經做出的決定，或是向利害關係人或其他行政決策 者證明組織重視績效責任（Fleischer & Christie, 2009）。有時這種利用會被看成是一種結果的政 治利用，而沒想要把實際結果或評鑑過程當成一回事，給予認真看待（Patton, 2008）。

二、1980 年代評鑑利用的內涵

此時期的評鑑利用概念採用過程利用的概念。Patton（1997）把因參與評鑑過程而產生的學 習稱為是「過程利用」（process use）。他這麼定義過程利用：

由於評鑑參與者在評鑑過程期間產生了學習，導致個人在思維與行為上發生改變，以及方 案或組織在程序與文化上產生改變。過程利用的跡象常由評鑑後的陳述來描述：我們方案 的影響不僅來自結果，也來自經歷了評鑑所需要的思維過程。（p.90）

過程利用反映建構學習理論（constructivist learning theory），聚焦在人們如何在評鑑過程中 獲得意義（Preskill, Zuckerman & Matthews, 2003）。想在評鑑過程中獲得意義，利害關係人就應 該參與評鑑目的、關鍵問題和資料蒐集工具的決定與檢查，以應該協助資料的蒐集與分析、做 出建議，並根據評鑑結果發展行動計畫。簡言之，過程利用是「認知的、行為的方案與組織變 革。不是直接就是間接投入評鑑過程及學習思考的結果」（Patton, 2008, p.109）。因此，過程利 用不是起因於評鑑結果，而是產生於評鑑活動與過程。把過程利用加入評鑑利用的定義中，代 表評鑑可以催化學習，以改善、轉化個人與組織（Preskill & Caracelli, 1997）。

Alkin 和 Taut（2003）認為過程評鑑不是與這些利用類型（結果利用）同等的另一類型，而 是另一種利用範圍。換言之，評鑑結果可以利用，評鑑過程也可以利用。此外，Alkin 和 Taut

（2003, pp.6-7）亦詳細區分過程利用與結果利用。他們二人認為不論是過程利用或是結果利用 都具有工具性與概念性的成分，唯獨不同的是結果利用可提供合法化的功能，而過程利用可以 提供象徵性的功能。圖 2.3 摘要這些區別。

44

圖 2.4 評鑑利用類型

資料來源：引自Alkin, M.C. & Taut, S.M.(2003).

在此時期討論「評鑑利用」的文獻中已有「誤用」（misutilization）的概念。在 1970 年代至 1980 年代，「誤用」的考慮（considerations of misutilization）時常是討論評鑑利用時的副產物

（Christie & Alkin, 1999）。「誤用」可以分為三種類型：受委託評鑑的誤用（misuse of the commissioned evaluation）、評鑑過程的誤用與評鑑結果的誤用（Alkin & Coyle, 1988），如表 2.6 所示。「利用者行動」一欄所描述的行為是潛在利用者的行為。每一種行為會引發一種相應的結 果，包括誤用、公然不利用與不完全評鑑。當利用者投入於一種特定的行動，且誤用是此行動 所期望的結果時，誤用就會發生。當評鑑的結果可能影響方案決策時，公然不利用是指故意不 作為。當評鑑的過程混亂（disrupt）到不能完成的程度時就產生不完全評鑑。

表 2.6 誤用的範圍

評鑑階段 利用者行動 發現的結果

評鑑的委託階段 ．政治利益

．宣傳（publicity）

．獲得資金

．公共關係

．專業聲望

．先前決定的辯護

．誤用

評鑑的過程階段 ．拖延重要的決定

．利用政治力破壞評鑑

．誤用

．不完全評鑑 評鑑的發現階段 ．重寫結論

．選擇性的報導結果

．過分簡化或誇大結果

．刪除無效的結果

．輕視結果

．不正確地傳播結果

．不完整、不成熟的傳播

．結果的失真陳述或溝通

．誤用

．公然地不利用（blatant non-use）

資料來源：引自Alkin, T. M. & Coyle, K. (1999).

三、2000 年代評鑑利用的內涵

2000 年後有學者如Kirkhart（2000）與 Henry（2003）等人主張以「評鑑影響」（evaluation influence）來取代「評鑑利用」（evaluation use）。Kirkhart 定義「影響」係指「人或事物藉由無

結果利用 過程利用

工具性 觀念性 合法性

工具性 觀念性 象徵性

45

形的或間接的方法對他人（物）產生影響的能力或權力」（p.7）。他進一步指出「影響」的意涵 比「利用」廣闊，包括了多向的、遞增的、非意圖的和非工具性的效應，以及那些「利用」所 含括的單向的、片段的、意圖的與工具性的效應。她提出的影響整合理論（an integrated theory of influence）包括三個面向：意向（計畫的 vs.非計畫的）、資源（過程 vs.結果）和時間（立 即、end-of-cycle、長期）。Kirkhart 雖然自認為「評鑑影響」一詞比「評鑑利用」佳。不過，她 並不主張用「評鑑影響」來取代「評鑑利用」的概念。相反地，她認為有關評鑑塑造、影響、

支持和改變個人與系統的方法與程度的問題，只有藉由擴大對評鑑影響的了解（從利用到影 響）才能達成。『利用』一詞不完全適用於非結果本位應用、非預期產生的效果和隨著時間逐漸 發酵的影響」（p.6）。

Henry 和 Mark（2003）二人從個人的、人際的與集體的三個層級來分類評鑑所能影響的改 變過程與結果。第一層，個人層級係指評鑑過程或結果直接造成個人或眾人在思想與行動的改 變，或是改變的過程或問題的差異主要是發生在個體之內；第二層，人際層級係指改變發生在 人與人之間的互動，或是指改變的過程與結果主要發生在個人之間的互動；第三層，集體層級 係指評鑑直接或間接影響組織的決定和實踐，包含以公開的方式，或是私下的方式為之。更精 確地說，當改變的過程或結果是在社會組織機構之內運作時，集體層級的分析就會產生。上述 三個層級與每一個層級之具體影響形式摘述在圖 2.4。每一層級都列舉 4~6 個評鑑所引起的具體 改變過程或結果。

圖 2.5 評鑑產生影響的機制

資料來源：Henry,G.T. & Mark,M. M.(2003).

影響層級

個人 人際 集體

態度改變 特點 詳細闡述 獲得技能 行為改變

證實 遊說

變革代理人 少數觀點影響

議題設定 政策導向學習 政策改變 傳播

46

綜合上述，可知評鑑利用概念隨著學者持續探究而擴展其內涵。早期聚焦於評鑑結果的利 用，1980 年代以後加入評鑑過程利用的內涵，2000 年後另有學者主張以「評鑑影響」取代「評 鑑利用」。由於本研究的目的純粹是探究有意圖、可察知的評鑑利用，故不採取「評鑑影響」的 觀點。雖然John, Greenseild, Toal, King, Lawrenz 和 Volkov(2009)等人曾分析自 1986 到 2005 年間 41 篇有關評鑑利用的實證研究之後，認為評鑑結果的利用仍為目前學界從事相關實證研究的主 流。不過基於本研究除了重視評鑑結果的利用外，亦重視自我評鑑在個人思維與行為，以及學 校程序與文化上所產生的影響，故兼採結果利用與過程利用的觀點進行探究。

貳、學校自我評鑑利用的影響因素

過往已有不少學者發展出一些分類架構，用以探究評鑑利用的影響因素。例如黃政傑

（1987）歸納許多國外學者所發現的因素為十類：評鑑者角色的問題、方法上的缺點、評鑑報 告與所作決定無關、缺乏行動建議、資料處理與報告形式不當、澆冷水的效應、缺乏推廣管 道、不具公信力、缺乏使用者的參與和提倡、組織的惰性。

Cousins 和 Leithwood（1986, pp347~348）檢視從 1971 到 1985 年間，在教育、心理健康與 社會服務領域之有關評鑑結果利用的 65 篇實證研究之後，建構出包括 12 項影響利用因素的概 念架構。這些因素中的六項是有關於評鑑執行的特徵，另六項是有關於決定或政策設定的特 徵。評鑑執行的六項因素分別為：1 評鑑品質：評鑑過程的特徵，包括方法的複雜性、嚴謹

Cousins 和 Leithwood（1986, pp347~348）檢視從 1971 到 1985 年間，在教育、心理健康與 社會服務領域之有關評鑑結果利用的 65 篇實證研究之後，建構出包括 12 項影響利用因素的概 念架構。這些因素中的六項是有關於評鑑執行的特徵，另六項是有關於決定或政策設定的特 徵。評鑑執行的六項因素分別為：1 評鑑品質：評鑑過程的特徵，包括方法的複雜性、嚴謹