方案改變理論評鑑的理論與研究

方案改變理論評鑑係以方案理論為架構，針對方案或政策的運作或結果作系統 性的評估，藉以說明方案推動如何實踐預期結果與目標（王麗雲，2014；高嘉卿，

2009； Norris, 2016; Silliman, 2016; Weiss, 1972; Franklin & Blankenberger, 2016）。 由於進行方案改變理論評鑑必須發展方案改變理論架構，本節將針對方案改變理論 與方案改變理論評鑑的意涵、方案改變理論的建構、方案改變理論評鑑的執行，以 及方案改變理論評鑑在教育領域的相關研究，分述說明如下：

壹、 方案改變理論的意涵與建構

Weiss（1972）指出，了解方案理論能提供評鑑的基礎，藉以組織評鑑以檢核 方案的假設，並根據方案理論提出評鑑問題，驗證其因果邏輯與評鑑方案成效。

Norris（2016）認為，方案評鑑能夠提供各種以證據為基礎的決策和行動，從設計 方案和實施實踐，進而評估方案的有效性和改進成果。因此，在探討方案改變理論 評鑑之前，以下先就方案理論的意涵、方案改變理論的建構說明如下。

一、 方案理論的意涵

方案（Program）是根據經驗與專業知識所建構而成的，是組織行動的的指引；

而方案所依據的假設為何？如何合理的運作？以及如何做有意義的解釋？有賴理 論（Theory）連結，因此，方案理論係為界定方案資源、活動，並且預期方案結果，

指出連接方案資源、活動、中程結果（intermediate outcomes）與最終結果的因果關 係假設（Bickman, 1987:5; Wholey, 1987:78）。

方案理論的提及，源於學者對於方案成功與失敗原因的研究，其中Suchman 在 1967年Evaluative Research一書中討論「方案失敗」與「理論失敗」，帶動學者對方 案理論的研究（Bickman, 2000； Chen, 2004）。直到1970年代以後，由於評鑑的興 起，評鑑者為了規劃評鑑以提供客觀性的評估，評鑑者開始關注方案所植基的理論 基礎，並試圖了解方案所建立的假設，以及如何運作以達成方案預期的結果，方案 理論開始受到學者們的重視（Davidson, 2000; Rogers, 2007; Weiss, 2007）。

Weiss（1972）將方案理論視為一種介於方案傳播與接收，以及所欲產生結果 之間的機制（mechanism），重視的不是方案的運作機制，而是方案運作所產生的反 應與結果。Chen（2004）指出，方案理論包含「規範理論」（normative theory）和

「因果理論」（causal theory）的概念，前者係指方案參與者所採用的信念、假設或 原則，並非嚴謹的科學理論，也不一定正確，通常是源自於方案參與者的直覺思考 或經驗，而是建構方案計畫時用以界定或指引方案的一套假設規範。後者則是一般 學者所指的「方案理論」（Davidson, 2000; Rogers, 2007; Weiss, 2007），係用以探討 方案有效或失敗問題的線索，提供評鑑者佐證資料進行方案因果歸因。

在方案理論評鑑中，方案理論係指社會方案、中介的小型或特定的理論，類似 中介變項（mediator variable）的概念，影響自變項對依變項所產生結果，幫助我們 追溯方案的活動到預定結果的連結（Bickman, 2000; Donaldson, 2007）。同時，Barrett

& Sorensen（2015）透過方案理論評鑑，能針對政策成果進行評估，包含需求評估、

成本評估、方案關鍵項目評估等，進而導引良好政策和實踐決策的手段。再者，

Weiss（1972）指出，方案理論有助於方案參與者或評鑑者充分了解方案議題、形 塑問題與了解資料、解釋結果資料與證據，進而提出建議與後設分析。因此，研究 者整合學者們的觀點（Davidson, 2000; Rogers, Petrosino, Huebner & Hacsi., 2000），

認為探討方案理論可掌握方案成敗的因果關係，消極面可指引方案參與者在方案全 面實施前，先行排除不適切的方案運作思維，以避免方案執行錯誤或誤判方案預期 成效，造成人力、物力等資源的耗費；積極面則影響方案決策者依據方案運作的評 估資料，作出正確判斷，達成預期的方案成效。

二、 方案改變理論的建構

由方案理論的意涵可知，理論可發展、指引及執行方案，亦是指導評鑑的基礎。

但理論的建構方式，學者們卻有不同的看法，茲整理說明如下：

Weiss（1972，2007）提出「方案改變理論」（program’s theory of change），係 由實施理論與方案理論組合而成：第一，「實施理論」（implementation theory），係 為假設當方案能依據預定的規劃運作，配合足夠的資源，將能有效達成預定的結 果，故其依據方案目標執行方案，強調方案如何確實依照預定的規劃執行；第二，

「方案理論」（programmatic theory），方案理論強調方案參與者對方案活動的反應，

若是方案能夠完成所有預期的事物就會具有好的結果，是處理方案過程與結果互動 的機制。如圖2-9所示，在方案改變理論之中，實施理論與方案理論交織而成方案的 變化，每一階段的活動均預設參與者適當反應，參與者的反應影響下一階段方案的 發展，唯有相互互動方能獲致預期的成果。

圖 2-9. 方案改變理論：實施理論及方案理論 資料來源：研究者自行整理

Chen（2005）從描述性和規範性的假設架構說明方案改變理論，在描述性的假 設架構中，Chen稱為「描述理論」（descriptive theory） 或「改變模式」（change model），用分析方案目標、結果與中介變項等；規範性的假設架構則稱為「規範理 論」（normative theory）或「行動模式」（action model），主要在處理達成方案預期 目標的過程，包含方案組織、執行者等利害關係人、方案執行計畫、環境脈絡及目 標團體等。在此概念下，對於方案的評估，學者們認為方案所欲改變方案參與者的 知識、態度和行為方式等中介因素（mediating factors）和調節因素（moderating factors）會影響方案執行和方案成果的互動關係（Chen, 2005; Weiss, 1972、2007）， 如圖2-10所示。

實施理論（活動規劃） 方案理論（改變機制）

方案策略 1 方案參與者反應 1

方案策略 2

方案策略 3

方案參與者反應 2

方案參與者反應 3

方案預期的結果

圖 2-10. 方案改變理論：中介因素和調節因素 資料來源：引自 Chen（2005: 242, 255）。

Rossi、Freeman 和 Lipsey（2004）則提出「方案影響理論」（program impact theory）與「方案過程理論」（program process theory）。前者依據方案假設，描述方 案目標與結果間的因果關係；後者則從方案的執行方式，包含服務利用計畫（service utilization plan）與組織計畫（organizational plan），說明方案如何與目標團體產生互 動而獲得預期的結果，以及如何運用資源和組織活動以維持方案的發展。此外，

Funnell（2000）從問題導向方式分析方案的直接、間接與最後結果三個層次，提出

「方案理論矩陣取徑」（program theory matrix approach）清楚界定此三層次的問題 指引，包含「方案成功的指標為何？如何判斷？」、「影響方案成功的因素為何？」、

「影響方案的環境因素為何？」、「有哪些可運用的行動與資源？」、「如何蒐集各項 證明資料」等。

綜歸上述學者對於方案改變理論建構的概念，雖採用的概念架構與名稱有所不 同，但仍可發現主要聚焦於方案目的與結果間的因果關係，以及方案行動策略與資 源脈絡的探討，從而形成方案改變理論建構的模式基礎。侯崇博（2003）與高嘉卿

（2009）均指出，Weiss 的「方案改變理論」（program’s theory of change）可協助 評鑑者同時檢視方案的進程，以及確認方案理論成功或失敗的因素，研究者為了了 解教專評鑑政策的成效，故以此作為探討之依據。

貳、 方案改變理論評鑑的執行

由前述可知，方案改變理論評鑑係運用方案理論作為架構，具體說明方案資 源、活動及預期目標的因果邏輯關係，說明方案的推動如何達成預期的結果或目

調節因素

方案介入 中介因素 方案成果

方案介入 中介因素 方案成果

標，並根據方案理論提出評鑑問題，驗證其因果機制及評鑑方案的成效。

Weiss（2000）認為，方案改變理論評鑑重點在驗證方案理論的因果邏輯假設，

說明其中的機制如何影響方案結果及為何產生最後的方案結果。因此，方案改變理 論評鑑係為對方案進行整體性價值判斷的過程，其以量化驗證與質性資料分析，檢 證方案目標與對象或利害關係人間的觀點之間的因果關係，並能夠分析、提供有效 研究建議，指陳方案問題與影響的機制（Barrett & Sorensen, 2015; Carvalho &

White, 2004; Chen, 1997; Chen, 2004; Franklin & Blankenberger, 2016; Rogers, 2005;

Norris, 2016）。

在方案改變理論評鑑的執行方面，如圖2-11所示，由於評鑑者試圖探究方案目 標與結果間的因果關係，進而評鑑方案的成效，評鑑者通常藉由研究文獻的分析、

訪談方案人員與觀察方案運作三種方式建構方案改變理論（高嘉卿，2009）。在進 行方案改變理論評鑑之前，可評鑑性（evaluability）是決定一個方案是否值得評鑑 的步驟，用以檢視方案與設計的一致性與穩定性，以及是否有理由期待的正面效 果。當一切都肯定時，評鑑者可以開始執行方案評鑑理論。

當方案適合評鑑後，評鑑者首先必須界定評鑑的目的，如Bickman（2000）指 出的總結性、形成性目的或持續的方案監控；同時澄清評鑑的關鍵問題，可能的問 題可以分為五種類型（Silva, Jacobson, Susan, Monroe, Martha, Israel & Glenn, 2016;

Weiss, 1972，2007）：第一，方案的歷程性問題：如方案的對象或參與者？方案關 心甚麼？方案的的執行方是與歷程為何？第二，方案的結果性問題：即方案預期達 成的目標、方案執行的結果與影響；第三，方案結果與方案的關聯性問題：歸因研 究所觀察到的變化與方案是否有關？即方案對於改變的影響程度，或方案達成預期 目標的程度；第四，方案某些特徵與較好或較差結果間是否有關係？第五，解釋與 歸納：為何方案會導致這樣的結果？

在界定方案改變理論評鑑的目的與問題後，評鑑者必須分析方案改變理論模式 的要素，就Weiss的方案改變理論而言，包含實施理論的方案人力與物力投入，以 及方案行動與參與者行為的產出；以及方案改變理論的利害關係人反應、短中長期 成果及外部關鍵性脈絡因素等。這些因素會影響評鑑研究的時間規劃、研究問題的 取捨以及研究取徑的決定，進而影響整體的評鑑設計（Weiss, 1972，2007）。

在界定方案改變理論評鑑的目的與問題後，評鑑者必須分析方案改變理論模式 的要素，就Weiss的方案改變理論而言，包含實施理論的方案人力與物力投入，以 及方案行動與參與者行為的產出；以及方案改變理論的利害關係人反應、短中長期 成果及外部關鍵性脈絡因素等。這些因素會影響評鑑研究的時間規劃、研究問題的 取捨以及研究取徑的決定，進而影響整體的評鑑設計（Weiss, 1972，2007）。