自然中心方案的評估

前面回顧的的文獻指出，評估是瞭解方案成效的重要工具，評估也提供方案 改善的方向，長期的評估才能瞭解方案的長期影響，可見方案評估的重要性。本 節從瞭解方案評估及其內涵、層次與模式，進一步探究邏輯模式(Logic Model)的 理念與案例，歸納出適合自然中心方案評估的方法。

一、 方案評估

方案評估是結合了方法、技術和需求的敏感度來決定該服務是否需要？可否 呈現？所提供的服務能否即時滿足需求之不足，或者幫助人們計畫合理且剛好的 必需成本(Posavac & Carey, 1997)。根據美國科學部門 National Science Foundation (NSF)將評估的歸類出以下的層級（如圖 2-6），其中方案評估(Program Evaluation) 就是定義所收集計畫(Projects)的價值，而計畫評估(Project Evaluation)相對於方案 評估，則專注於不同的計畫。評估提供計畫在發展與運作改善的資訊，而所收集 的資訊將有助於瞭解運作是否按照計畫，是否達到方案的目標與目的，是否按照 當初設定的時間表來進行(Stevens. Lawrenz, & Sharp, n.d., 引自陳士泓，2005)。

57

圖 2-6 評估階層(Stevens. Lawrenz, & Sharp, n.d., 引自陳士泓，2005)

（一） 方案評估的內涵與層次

根據不同學者的論述，方案的評估可以有以下的內涵與層次：

Kirpatrick(1995)提出方案評估有以下四個內涵：(1)反應評估；(2)學習評 估；(3)行為改變；(4)結果評估（引自蔡祈和，2003）。

方案評估包含：(1)需求評估；(2)過程評估；(3)成果評估；(4)效果評估。

這四種評估方式需要一起實行，這樣方案才能得到真正確實且有效(Posavac

& Garey，1997)。

Owen(1999) 則 指 出 方 案 評 估 的 內 涵 有 以 下 ： 1. 前 瞻 評 估 (Proactive evaluation)；2.澄清評估(Clarificative evaluation)；3.互動歷程之評估(Interative evaluation)；4.執行歷程之監測評估(Monitoring evaluation)（引自蔡祈和，

2003）。

學者 Jacobson(1999)也提出方案評估有三個層次：層次一為評估方案的 活動以及結果，比方說：來了多少目標對象？出版多少小冊子？舉行了多少

課程

目標 目標 目標

成份 成份 成份 成份 成份 成份

58

會議？這個層次的評估不包含學習的評估；層次二為評估測量目標對象能否 吸收、專心及記住方案的內容；層次三超越層次二為測量學習者在觀點、態 度、或行為的改變。

（二） 方案評估的模式

Thomson 和 Hoffman(2010)指出方案運行有一規則性的運作方式，稱之 為方案邏輯模式(Program Logic Model)，方案邏輯模式是一個計畫與管理企 劃的一個策略，有助我們對更瞭解於企劃在做什麼以及它該變了什麼，

Thomson & Hoffman 也針對這個模式描繪一個簡單的系統，包含了輸入、活 動、輸出、短、中、長期成果、促進和限制以及指標，詳如圖 2-7：

輸入 活動 輸出 短期

成果

中期 成果

長期 成果 促進與限制（風險評估與管理）

指標

促進與限制（風險評估與管理）

圖 2-7 方案邏輯模式(Thomson & Hoffman, 2010)

59

Marcinkowski 建議的邏輯模式，提供一個簡單的方法及以系統理論觀點 來看待計畫及找出計畫內特殊的元素。該模式注意的計畫元素包括：教育目 的 (Educational Purposes) 、 教 育 工 具 (Educational Tools) 、 教 育 工 具 支 援 (Support for Tool Use)、執行系統(Delivery Systems)、執行策略(Delivery strategy)、方案輸出(Program Outputs)、參與成果(Participant Outcomes)及方 案 影 響 與 效 益 (Program Impact and Benefits) 等 八 項 (North American Association for Environmental Education, 2004)。

美國威斯康辛教育大學 University of Wisconsin-Extension 方案發展與評 估中心針對邏輯模式建立了一個相當完善且健全的系統，UW-Extension program Logic Model 建 立 以 美 國 國 際 開 發 署 (United States Aid for International Development)的工作架構以及其方案效率團體所提供的經驗，經 過相當長的時間以及全國性的延伸合作所運做出來，而這個方案模式也是經 由以下的學者或者組織(Wholey、Wholey、Mayeske、Reisman、United Way、

Montague 等人)所共同努力的累積而成的。這套方案模式將活動及參與定義 為輸入。這是一套相當有用的模式可以用在計畫、執行、評估以及溝通上，

並針對各種以「方案」為名的主要企劃，如團體活動、團隊活動、社區合作 以及複雜的組織過程等，邏輯模式對於希望方案達到預期的結果相當有幫助，

其主要的功用包含：(UW-Extension，2004)

 讓模式更為簡化且口語化

 讓我們聚焦在成果與輸出

 讓我們同時獲得參與者運作順序以及達到多樣目的的重要觀念。

邏輯模式並不是一種線性的過程，不同的投入會產生不同的成果，而主 要其主要包含的內涵如下：情境(Situation)、優先重點(Priorities)、輸入(Inputs)、

60

輸出(Outputs)、成果與影響(Outcomes-Impact)、預期想法(Assumptions)、外 在因素(External Factors)共 7 項。這套模式提供了方案發展及方案評估的具 體模式，邏輯模式圖例也將各種方案成分間的關聯性表現出來，它能協助環 境教育工作者方案的發展、規劃設計以及評估時提供清楚的脈絡以及運行方 式。

二、 邏輯模式(Logic Model)的介紹與案例

目前國內外環境教育領域研究者較常用的邏輯模式為 Marcinkowski 建議的 邏輯模式、University of Wisconsin-Extension 發展的邏輯模式以及 W. K. Kellogg Foundation 發展的邏輯模式。分別詳述如下：

（一） Marcinkowski 的邏輯模式

Marcinkowski 建議的邏輯模式，這個模式主要是用來瞭解教育資源能否 實踐環境教育與環境素養的目標。它的發展可提供使用者從理論及實務上瞭 解它的操作與方向。邏輯模式通常是以圖像來描述環境教育方案（如圖 2-8）， 且 包 含 以 下 八 個 元 素 (North American Association for Environmental Education , 2004)：

(1) 教 育 目 的 ： 包 含 遠 程 目 標 (aims) 近 程 目 標 (goals) 及 目 的 (objectives)。

(2) 教育的工具：包含課程與教育資源。

(3) 教育工具的支援：教育手冊、訓練與技術支援。

(4) 執行系統：執行的部門與目標對象

(5) 執行策略：執行教育方案與活動的手段與方法。

61

(6) 方案的輸出：方案相關的數字結果與回饋。

(7) 參與者的成果：參與者學到的成果。

(8) 方案的影響與利益：長期方案的成效。

62

圖 2-8 Marcinkowski 建議的邏輯模式 (引自 North American Association for Environmental Education , 2004)

63

（二） University of Wisconsin-Extension 的邏輯模式

美國威斯康辛大學(University of Wisconsin-Extension)方案發展與評估 中心根據多年對邏輯模式的研究與廣泛地應用發展出的模式核心概念為：

 邏輯模式是以一簡單的圖示來說明方案，並回應當時的情境。

 邏輯模式能呈現出投入的資源、設計的活動與產生的結果間的邏輯 關係並描寫出方案的基本原理。

 邏輯模式是方案發展、評估、管理及溝通的核心。

完 整 的 邏 輯 模 式 從 規 劃 (planning) 、 建 置 (implementation) 到 評 估 (evaluation) 的 邏 輯 流 程 （ 如 圖 2-9 ）， 包 含七 個 主 要 元 素 分 別 詳述 如 下 (UW-Extension, 2004)：

1. 情境(Situation)：這個方案在運作之前可能會有不同的狀況以及情 境，包含需求與資產，其方面有面對的症狀與問題、重要領導人、

承諾。

2. 優先重點(Priorities)：方案所要運作的必須的重點首先要考量宗旨、

願景、價值、管理、資源、基礎功能、共同合作以及競爭，並且要 將方案最小成果列入優先重點。

3. 輸入(Inputs)：投入方案的資源、資金以及投資。

4. 輸出(Outputs)：活動、服務、事件以及產品，那些得到參與或者主 要的群眾。

5. 成果與影響(Outcomes-Impact)：個人、群體、社區、組織、或系統 所得到的成果或改變。

64

6. 設想(Assumptions)：我們對於方案的信念，包括人對於方案運作的 執行、內涵以及方式的想法。

7. 外在因素(External Factors)：方案所存在的環境，可能因各種額外 因素而交互影響以及干擾。

65

圖 2-9 University of Wisconsin-Extension 的邏輯模式（引自 UW-Extension, 2004）

優先重點

66

（三） W. K. Kellogg Foundation 的邏輯模式

W. K. Kellogg Foundation(2004)指出邏輯模式能提供有效的規劃及學習 的機會，它是有效率的評估工具，能促進方案的規劃、建置及評估。邏輯模 式以系統及圖形的方式呈現方案的資源、規劃的活動及可達成的改變與結果。

它包含了五個步驟，分屬二個階段。第一個階段是規劃的工作，第二階段是 欲達到的結果。說明如下，詳如圖 2-10。

 規劃的工作：

1. 資源(Resources)：包含了可投入方案的人力、財力、組織與社區的 資源，通常也可稱為輸入。

2. 活動(Activities)：方案運用這些資源做了什麼事，可能是方案執行 中的一部分，包含了過程、工具、事件、技術及行動。

 欲達到的結果：

3. 輸出(Outputs)：由於活動所產出的成果，包含了方案所傳遞的服務 型式、程度及目標。

4. 成果(Outcomes)：由於活動造成參與者行為、知識及技能上的改變，

可分為短期及長期。

5. 影響(Impact)：由於活動造成組織、社區或整個系統預期及非預期 的改變。

67

以圖形的方式讓設計者思考方案之施行。這模式清楚地勾勒出資源與方 案實施、活動設計、目標達成及長期影響間的關係。使用邏輯模式為方案規 劃的架構能使經營管理者、教育者及研究者們對整個方案有清楚的概念。

UW-Extension Program 發展的邏輯模式與 W. K. Kellogg Foundation 的邏輯 模式不同在於 UW-Extension Program 邏輯模式先考量情境及優先重點，並 考慮外在因素的影響。而 W. K. Kellogg Foundation 的邏輯模式將活動獨立出 來，不屬於輸出的一部分，圖示簡單明瞭、較易讓管理者及研究者一目瞭然。

（四） 邏輯模式的案例

運用邏輯模式於環境教育方案發展評估的部分，Cheng(2008)曾利用邏 輯模式來瞭解及分析由 Brevard 動物園所設計的 Lagoon Quest 環境教育方案。

這份研究的評估結果顯示學生、教師及家長喜愛及支持這個教育方案。由於 這個方案使學生獲得相關的知識及喜愛當地的生態，促使 Brevard 區的學校 持續支持這個方案的實施。Lagoon Quest 教育方案的評估報告使研究者認識 邏輯模式這套發展與評估工具，整合了評估與研究，選擇了有效的評估工具 (引自 W. K. Kellogg Foundation, 2004)

68

陳仕泓（2005）運用 UW-Extension 的邏輯模式來評估關渡自然中心環 境教育方案，詳細說明如表 2-2。礙於時間與人力僅針對方案的輸出及短期 成果加以評估。此研究透過邏輯模式國小環境教育課程方案的執行現況；參 與學生的學習成效；參與學生、教師與家長後續參與的意願以及相關意見。

最後建議後續之研究可建立環境教育課程方案整體需求、規劃、執行、與評 估的流程，以及自然中心環境教育方案學生學習成果或長期成效之研究。

69

70

以上的回顧瞭解自然中心方案評估的意義及重要性，也瞭解邏輯模式的特點、

優勢及運用案例。所以本研究採用 UW-Extension Program 的邏輯模式與 W. K.

Kellogg Foundation 的邏輯模式的優點。先瞭解方案的情境、可投入的資源 (輸入)，

接著規劃可行的活動，並呈現出方案的輸出和想達成的成果與影響。並以邏輯模 式作為本研究持續型環境教育方案發展、執行與評估的工具，期望經由這個研究 的嘗試與運用替台灣自然中心方案發展、評估與實務應用開啟另一扇窗。