永續評估架構

本節介紹一種在國外的自然中心使用過的輔導環教組織自我評估模式，可使 環境教育機構經由最初的內部管理投資，建立一個可持續發展且能進行自我管理 的評估模式，以提升環境教育機構的管理成效。

國外學者 Powell、Stern 和 Ardoin 於 2006 年發展了「永續評估架構」

(Sustainable Evaluation Framework, SEF)，這是一個環境教育組織內部可持續發展 的評估系統架構，而此架構也可以應用於其他類型的組織。經由 Powell 的研究團 隊輔導環境教育場所人員所開發的可持續性之評估框架，目的在建立一個環境教 育組織的工作人員能夠永久進行自我管理的評估系統。以下將 SEF 的內涵以及 Powell 等人在 2004 年協助 GSMIT 使用 SEF 發展其評估系統的實例說明如下

（Powell, Stern & Ardoin, 2006）：

一、 為何要使用 SEF？

SEF 將評估系統視為一個持續發展的、使組織制度化的資源 (Norland &

Marcinkoski, 2004），可提供組織一個嚴謹、自我持續發展、切合組織需求且適 當的評估系統和方法。也就是透過使用多元方法和多種來源，有系統地收集資料 進行評估，持續地檢討方案實施的過程，來改進和重新調整方案，以確保能實現 組織的目標和任務( Powell et al., 2006)。

相對於評估系統由外部顧問實施和管理，永續評估架構採用內部評鑑的方式，

使評估從一開始成為組織文化的一部份，可提升相關性、靈活性和所有權性。雖 然在 SEF 發展的階段使用外部資源可能是必要的，但最終的實施、維護和分析的 責任仍在於組織本身，因此，SEF 提供了發展一個有效和可靠的評估系統結構，

透過中心人員參與發展評估系統的方法和工具，再加上密集的人員培訓，能不斷 地減輕聘用外部顧問的需要，使方案人員具有歸屬感和磨練所需的技能，並隨著 時間的推移成功地實施該系統( Powell et al., 2006)。

二、 SEF 理論應用

一般的評估大多只使用單一的理論及方法，但 SEF 融合了幾種模式，包含 了好幾個互補的評估方法理論，關鍵部份包括：（1）應用導向，根據組織對於 方案的需求（2）內部參與導向，它使組織工作人員多方的參與評估和探索問題 的興趣與信心（3）理論導向，充分的參考相關文獻和研究方法，以確保評估系 統的嚴謹（4）消費者導向，確保了系統對於方案參與者和其他關鍵利益相關者 是適當的。雖然這四部分有重疊之處，但結合四種方法的好處在於重視每一種方 法的優點，而同時互補而減少弱點。例如，一個應用導向的方法，可能缺乏有力 的理論基礎，而一個完全基於評估理論所進行的評估，評估結果的效用可能是最 小的( Powell et al., 2006)。茲將 SEF 的架構（如圖 2-4 所示）分項說明如下：

(一) 應用導向評估（utilization-focused evaluation）

應用導向的評估設計指的是能根植於組織的目標和實際需求，換言之，此評 估是針對該組織的工作人員和管理人員，能符合組織的實際需求，以確保評估是 可行的和有用的。雖然和目標消費者的需求也有關連，但主要還是關注於組織的 具體需要。

前端評估結合了 SEF 框架中應用導向的觀點，對環境教育中心的工作人員 進行初步訪談，以瞭解他們的需求、資源可用性和評估的目標消費者。此外，還 要對中心以外的重要關係人進行訪談，以澄清最重要的評估要素為何。此部分可 經由有計畫的觀察並與前端評估所收集的資料進行三角檢定，使評估引導者對該

圖 2-4 永續評估架構圖

方案的組成要素、組織文化、實際情況和目標消費者有全盤的了解。

(二) 內部參與評估 (participatory evaluation：the empowerment process)

社會科學研究在傳統上強調研究理論基礎，使用嚴謹、科學客觀在方法，有 效的和可靠的資料收集工具。這雖然能確保研究結果的客觀性，但就其有效性，

可能會忽視了實用性和大眾的想法。為了保證研究結果能符合組織的效用，一些 研究人員現在採用更多的合作和參與發展過程，要求組織或機構的成員在評估形 成的階段須參與其中（Patton, 1996；引自 Powell & Vagias, 2010）。

在 SEF 過程中，研究團隊引導進行目標設定的練習，以確保所有工作人員都 能對組織的共同願景和方向達成共識；引導人員提出了一系列的評估方法類型、

如何進行資料處理、所需投入的資源以及如何進行分析等，經過工作坊的培訓，

中心人員將選擇一個適當的評估方法。評估系統完成後，還需透過培訓人員確保 評估的一致性和效率；此外，工作人員還需了解研究的道德原則，包括問題的保 密、知情同意，以及參與評估對受試者權威地位潛在的影響等。總之，中心人員 參與評估方法的選擇與運用是至關重要的，因為應用 SEF 最終的目標是該組織能 自行實施、管理、維持和使用評估系統（Powell et al., 2010）。

(三) 理論導向評估(theory-driven evaluation)

Suchman(1967)曾形容評估研究的過程如同完成嚴密且完備的科學目標，有 理論依據才能發展出具備信、效度的研究工具（引自 Powell et al., 2010）。例如，

梁明煌等人（2006）在其研究中提到的，由於社區林業政策與社區組織的計畫單 位在規劃發展階段，規劃者依據某些理念來設計其執行步驟與設定計畫目標，因 此在評估研究時，有許多學者都會強調應該將背後的核心理論再次建構，以做為 引導整個計畫的評量方法的設計。在 SEF 中，理論導向有助於確保評估方法的邏 輯合理性，賦予評估一個以「客觀」為優先的取向，它是以概念為基礎、有根據

的、有可靠的管理方式和嚴格的評估程序，這樣的評估對於方案的設計和改進是 非常重要的。

理論導向評估的步驟首先是要規劃出包含組織的宗旨和目標之邏輯模式 ( Norland et al., 2004)。經由建構邏輯模型的過程，參與的中心人員將創建一個全 面的概念模式來反映他們的評估系統中的目標、目的。除了細心的建構邏輯模型，

以確定組織目標和目的之外，嚴謹的文獻回顧能提高對於組織使命的關鍵主題概 念，找出可達成邏輯模式的合適指標和測量方法。

文獻回顧和邏輯模式的發展直接影響了資料收集工具的設計概念，諸如調查 問卷和訪談大綱。評估系統的整體設計方法，最終取決於邏輯模式、因變量選擇 和實際情況的考量。如果評估目標是為了解消費者的滿意度與特定程序，那麼一 個簡單的跨部門調查或採訪就足夠了。但是，如果評估目標是想知道環境教育方 案對學生的自然史知識、環境管理、行為意圖的影響而進行的量化調查，那麼像 針對參與方案前後的改變這類實驗設計的方法可能更為恰當。

(四) 消費者導向評估(consumer-based evaluation)

為了提高大眾在認知方面的實用性和研究結果的有效性，研究人員還可以採 用以消費者為基礎的評估方法，此方法也有助於提升組織和關鍵利害關係人之間 的信任和支持（Bledsoe & Graham, 2005）。以環境學習中心為例，其消費者包括 中心職員和行政人員，還有活動參與者、夥伴組織、贊助者等，以及該社區其他 民眾成員等利害關係人。

周儒（2009）也認為在我們創造與建構環境學習中心機制的時候，必須同時 思考要如何讓這種服務與使用者充分結合的議題；能讓消費者充分了解環境學習 中心的優質服務可能與滿足其需求的專業品質，亦是促進環境學習中心良性優質 發展的重要因素。因此，在系統設計過程中將對目標消費者的關切和利益結合納

入評估，以確定系統的有效性、是適當的和透明的。雖然有人可能會懷疑組織本 身所收集的資料是否有效，但經由文獻回顧與範例的使用，清楚的、嚴謹的評估 工具發展過程，則可消減這種疑慮（劉思岑，2010）。

在 SEF 的評估系統發展之前和發展期間，針對組織的利害關係人訪問可提供 關鍵資料，在目標設定和邏輯模式建構工作坊時列入其中。在預試階段，則請參 與的工作人員提供回饋。在 SEF 過程中，這種持續的投入是必不可少的，因為工 作人員和其他關鍵利害關係人對該組織的任務和日常工作的運作在不同方面有 著不同程度的熟悉，這部分則是使用外部評估方式通常無法獲知的。

三、 使用 SEF 的好處

Powell 等人（2006）還針對參與的中心人員進行調查，以瞭解實施 SEF 的 成效和實施過程的優、缺點。調查問卷使用李克特式五點量表，以及開放式的問 題，除此之外，再加上與其他工作人員的訪談，調查結果發現除了建立一個可靠 的、高適應性的、可持續性發展的制度之外，該架構的實施結果還有包括澄清組 織目標（Goal Clarification）、提昇工作人員組織承諾的態度（Attitudinal

Organizational Commitment,簡稱 AOC）和專業發展（Professional Development）

等好處，並為環境教育組織的經營管理提供了一種新的思維。

(一) 澄清組織目標：

在調查中所有中心人員都認為實施 SEF 是有益的或有極大幫助的，例如所 有中心人員對 GSMIT 的宗旨一致認同，但同時也提出了對於這些宗旨的關鍵主 題－地方感，多樣性和環境管理工作－的不同解釋；目標設定工作坊提供機會給 工作人員討論這些指標，和提出對其共同理解的解釋，將組織的各個使命透過方 案的特定觀點具體的呈現出來。而當一個組織能確認其組織使命、目標和宗旨時，

則表示該組織完成了以下五個任務(Ham, 2003; Kohen & Sikoryak, 2001;

Margoluis & Salafsky, 1998；引自 Powell et al., 2006)：

1、強化組織本身。

2、確認組織的使命。

3、清楚地與員工和客戶溝通組織的目標。

4、為方案的規劃和發展提供支持的目標。

4、為方案的規劃和發展提供支持的目標。