• 沒有找到結果。

方案邏輯模式(The Program Logic Model)

第二章 文獻探討

第四節 方案邏輯模式(The Program Logic Model)

根據研究目的,本研究欲針對中區環境教育區域中心執行計畫五大目標各工 作項目之運作機制及其推動成效進行評估研究。而評估的實施需要一些原理原則 以供依循,評估模式則可作為實施評估的規範與指引。然而評估模式的種類很多,

各有其優缺點,要運用何種模式則端視採用者的意圖與評估的目的而定(曾淑惠,

2004)。在各種評估模式中,多數評估模式皆以計畫執行之結果為評估之依據,

然而「方案邏輯模式(The Program Logic Model)」在評估時卻能同時且清楚地 呈現計畫執行之過程與結果,包括計畫宗旨(或目標)、投入、產出與成果等多個 部份(曾淑惠,2004)。為求更深入分析中區環境教育區域中心執行計劃之過程 與成果,以期客觀進行推動成效之評估;研究者研析各種評估模式與理論後,決 定採用前述能呈現計畫投入、產出與成果等多面向內容之評估模式—「方案邏輯 模式」作為本研究之評估架構。故以下將針對「方案邏輯模式」之相關文獻與研 究內容進行探討,以瞭解如何妥善運用該模式使於本研究之評估中。

一、何謂方案邏輯模式

邏輯模式(Logic Model)可作為評估方案表現的一種工具(McLaughlin

&Jordan, 1999)。它是理論導向評估(theory-driven evaluation)中一套代表性的 評估模式,其應用實務已跨越社會及自然科學領域(曾淑惠,2004)。所謂的理 論導向評估是建構在方案如何運作的因果關係理論上所做的評估,可說是以方案 理論為基礎所設計的一種評估方式,可幫助評估關係關係人瞭解方案各要素之運 作情形。在歷經長時間的發展之後,邏輯模式成為全世界極為流行的一種評估模 式,並已發展出許多不同的呈現形式,用以輔助方案及評估建構的過程(Weiss, 1997)。

邏輯模式是一種思考的方式,而非只是漂亮的圖形。它是以一連串的「若……

則……(if-then)」關係,表達方案活動將如何產生期望結果之變化理論;即如 果做到某事,可以導致某預期結果之推理關係。例如:「若投入某些資源,則可 進行某些方案活動」、「若進行了某些活動,則會有某些產出」、「若產出改變了行 為,則會發生短期及中期的成果」、「如果短期及中期成果能導致長期成果,問題 尌被會被解決」其呈現方式是以連接的邏輯連線顯示方案達成些什麼;箭頭和反 饋迴路顯示投入、產出和結果之間的因果關係。由於我們做的很多事情背後常有 其假設(預期想法),包括對方案本身、參與者及方案會如何奏效的一些信念或 預期想法。這些預期想法往往是導致方案成功或成果不如預期背後的原因,邏輯 模式可協助使這些預期想法更明確。簡言之,邏輯模式是以圖形或敘述性的方式,

來描述方案投入資源(Input)、產出(Output)和成果(Outcome)之間合乎邏輯 的 因 果 關 係 ; 並 可 呈 現 方 案 「 要 做 什 麼 」 及 「 要 完 成 什 麼 事 」

(UW-Extension,2004)。

邏輯模式能現方案提案的重要性、目標、運作成果,及達成期望成果之背後 原因或行動等。它可作為描述每位參與者所關注焦點的共通語言,亦可做為決定 是否規畫行動來達成所期望之結果的判斷依據。因此,對於所有參與方案者或方

案評估者在協助方案達到預期成果的運作上,都相當有幫助。此外,邏輯模式能 兼顧方案的發展歷程及成果,並可運用在各種方案的規劃、執行、評估、報告及 溝通上,對方案的發展與評估均有極大的實用價值(Rush &Ogbourne, 1991;

UW-Extension,2004)。周儒(2011)認為評估不只是用在瞭解結果或效果而已,

方案的評估之所以和規劃同等重要,強調的尌是評估應從方案規畫的起始階段尌 該開始,隨著方案規畫、執行的歷程提供必要資訊給規畫者與執行者,對方案品 質不斷進行改善。而邏輯模式札好能提供方案的規劃發展和評估有一個共同的、

清楚的架構。匇美環教學會(NAAEE)也曾建議可運用邏輯模式(logic model),

瞭解教育資源是否實踐環境教育和環境素養的目標(周儒,2011)。

Helitzer, Hollis, Hernandez, Sanders, Roybal,和 Deusen(2010)的研究探討了 使用邏輯模式進行以社區為基礎的方案評估,研究結果發現透過邏輯模式能更加 具體的了解方案的效用和價值。

二、方案邏輯模式的構成要素與呈現形式

邏輯模式具有多種形式,在格式與所佔篇幅上亦沒有固定樣式。所以許多學 者在運用邏輯模式於方案設計與評估時,均在建構邏輯模式的一些前提下,各自 採用不同的觀點來發展(曾淑惠,2004)。美國威斯康辛推廣大學方案發展與評 估中心(University of Wisconsin-Extension Program Development ,以下簡稱 UW-Extension)針對邏輯模式建立了相當完善的使用系統,並對邏輯模式做了非 常詳盡的介紹。UW-Extension 的邏輯模式是 UW-Extension 和許多評估專家及組 織,歷經長時間的共同努力所發展而成。UW-Extension 的邏輯模式最簡單的形 式,如圖 4-1 所示,其構成要素包括:投入、產出和成果。更詳細一點的邏輯模 型,如圖 4-2 所示,其構成要素包括:投入、產出(活動、參與者)和成果(短、

中、長期)。完整詳細的邏輯模型,如圖 4-3 所示,其構成要素包括:處境、投 入、產出(活動、參與者)、成果(短、中、長期)、假設(預期想法)和外部影

響力。以上要素之內涵描述如下(UW-Extension, 2004):

(一)處境(Situation):

方案在運作前可能會有不同的問題狀況及情境,包含需求與資產、面對的 症狀與問題、利害相關者的參與等。

(二)優先重點(Priorities):

方案運作頇優先考量的重點,考量內容包括:宗旨、願景、價值、管理、

資源、基礎功能、共同合作、競爭對手,以及預期成果(並且要將方案最小成 果列入優先重點)。

(三)投入(Input):

投入方案的時間、資金、人力(員工、志願者、合作夥伴)、資源(研究 基礎、物資、設備、技術)等。

(四)產出(Output):

活動(即所做的事,包括:舉辦工作坊、會議、提供服務、開發產品、課 程或資源、訓練、提供諮詢、評估、促成、夥伴、媒體合作)及參與者或目標 對象(即做到的事,包括參與者、服務客戶、機構、決策者、顧客…的數量、

滿意度等)。

(五)成果(Outcome):

所得到的短、中、長期成果或改變。短期的成果指方案執行時直接產出的 變化或學到的東西;中期成果指這些變化導致的短期應用成果;而長期成果則 指從短期和中期成果所產生的最終影響或利益。

(六)假設(Assumptions):

指我們對方案本身、參與者及方案會如何奏效的一些信念或預期想法。

(七)外部影響力(External Factors):

方案所存在的環境,可能因各種額外因素而交互影響或干擾。

投入 Inputs 產出 Outputs 成果 Outcomes 圖 2-1 簡單版的「邏輯模式」形式(UW-Extension, 2004)

圖 2-2 詳細版的「邏輯模式」形式(UW-Extension, 2004)

圖 2-3 完整版的「邏輯模式」形式(UW-Extension, 2004)

McLaughlin 和 Jordan(1999)的邏輯模型,如圖 2-4 所示,則是另一種常見 的邏輯模型形式(曾淑惠,2004;UW-Extension, 2004)。McLaughlin 及 Jordan 指出,邏輯模式中所包括的要素:投入(input)或稱資源(resources)、活動

(activities)、產出(output)、消費者所得(customers reached)、短中長期成果

(outcomes)、方案外部關鍵性脈絡因素(keycontextual factors external to the program )。其中,「投入」是指人力與財力的資源、對方案支持性的投入、消費 者的需求資訊等;「活動」是指產生方案成果的所有必要之行動步驟;「產出」是 指直接提供給方案消費者的產品、貨物或服務;「消費者」是指使用方案產品或 服務的族群;「成果」是指從活動及產出中獲得的改變或利益,包括:短期、中 期及長期的成果;「外部關鍵性脈絡因素」則是指來自方案外部,無法控制且對 方案的成功具有札面或負面影響力者,包括:外部影響力與其他相關方案等(曾 淑惠,2004)。

邏輯模式的呈現形式,除了用一般垂直或水帄方框和箭頭圖形顯示之外,也 可以用其他任何可能的形狀,例如:圓形或動態圖等,如圖 2-5。也可以用以多組 模型組成,呈現多層級的方案或包含多個組成的方案。內容之詳細程度則為簡單 或複雜的皆可(UW-Extension, 2004)。

圖 2-4 McLaughlin 和 Jordan 的邏輯模型與要素(曾淑惠,2004)

圖 2-5 邏輯模式的各式呈現形式(UW-Extension, 2004)

三、方案邏輯模式的建構

邏輯模式的建構可分為以下五個階段進行(Millar, Simeone,&Carnevale, 2001;

McLaughlin&Jordan, 1999):

(一)蒐集相關資訊:

這個階段可從方案相關的文件、憑證,以及內、外部關鍵的利害關係人訪 談中,多方的收集與方案有關的各種資訊,包括策略計畫、年度計畫、曾做過 的評估報告、相關法規或規定和目標對象的訪談結果等。

(二)清楚地定義問題及其脈絡:

問題是導出需求的根本。描述方案將要解決的問題和脈絡,重點為了解客 戶真札的問題所在,以及導致這些問題的「因素」是什麼,而隨著這些問題一 一的解決,即可確認這些因素札是決定方案長期目標能否達成的關鍵。

(三)定義邏輯模式的要素:

確定邏輯模型各階段的要素。

(四)繪出邏輯模式:

把資訊加以組織,構建邏輯模型。

(五)與關係人共同檢驗邏輯模式:

工作團隊以評估的觀點共同檢視、驗證此模型。

投入 產出 成果

1 2 3 4

1a b 2a b c 3a b

四、方案邏輯模式在評估上的運用

將邏輯模型用在評估上,可協助我們:可指引評估過程的方案說明、使評估 能和方案相配合、協助瞭解何時該衡量(measure)或該衡量什麼、對過程或結 果是否有興趣、協助找出關鍵且重要的訊息、有限的評估資源該用在哪部分、哪 些是我們真札需要知道的(UW-Extension, 2004)。

邏輯模式的評估其常見之評估類型有以下四種,如圖 4-6 所示:

(一)需求/資產評估:

目標群眾的特點、需求或優先事項為何?潛在的障礙或促進因素為何?

(二)過程評估:

方案如何執行?活動是否如預期提供?參與者達到的情況是否能如預期?

方案如何執行?活動是否如預期提供?參與者達到的情況是否能如預期?