永續評估架構的功能與應用

從前一節了解到大山環教場所已經具備一個環境學習中心必備的四大組成 要素，但是，環教場所若要長期穩定經營的話，必須要有一個能夠協助它改善管 理和持續良好發展的方法或工具。為了協助大山環教場所發展內部評估以追求自 我改善的能力，透過本研究團隊的輔導工作把國外學者 Powell、Stern 和 Ardoin (2006)所提出的「永續評估架構」應用到大山環教場所，使場所成員能過學會自 我評估的方法。在此，本節共細分三個部分，依序介紹「建立環境學習中心的評 估機制」、「永續評估架構的功能」、「永續評估架構的實行步驟」。

一、建立環境學習中心的評估機制

1970 年代「評鑑學」在歐美先進國家已發展成一項專業學門，並且持續將實 務應用到生活中的各種廣泛領域，包括：教育學、心理學、管理學、健康醫療、

人力服務、社區發展、環境科學、法律等各相關領域，而且，其未來發展會朝向 更專業和國際化、科技整合……以及協助組織發展（使評鑑成為組織的內建機 制、實施更多內部評鑑等）（蘇錦麗，2005）。潘慧玲（2002）每個組織都有組織 既定的目標，不論目標大小、長期或短期，為達成這個目標，其過程或結果都應 該透過評鑑來進行了解，並加以改進。任何計畫的推動與執行，都必須進行評鑑，

以確保組織目標之達成，所以任何單位、組織，包括本研究的大山環教場所，為 了達到更好的運作績效，實行組織、方案的評鑑必不可缺。

目前，由於「評估」與「評鑑」在學理上是具有相同的意涵，Assessment 與 Evaluation 兩名詞也常互用，學界對其區分未有明確的共識，在運用上，差別在 各自慣用於不同領域或場合：「評估」較側重某一特定層面的衡量（如需求評估、

績效評估）；「評鑑」較屬綜合、全方位的衡量（曾淑惠，2004）。基於以上，研 究者為尊重原文作者意思，內文中除了參考引用會完全保留原文「評鑑」或「評 估」用字，但本研究視兩字通用，為求內文統一、避免混淆讀者，後面及其他章

節統一用「評估」來表述。

隨著世界環境行動潮流的影響，各地環境學習中心的管理及其服務品質也已 逐漸受到重視，且多位學者認為以環境教育課程規劃和實行的角度來看，評估工 作是其中最基本而持續的一環，且透過評估更能讓大眾看到環境學習中心服務的 成效（Engleson & Yockers, 1994；周儒、張子超、黃淑芬譯，2003；周儒，2011）。

而透過參與者的回饋，可以修正課程方案，並且可以作為中心改善的依據 (Evans

& Chipman-Evans, 1998)。由於環境學習中心是提供專業環境教育服務的機構，而 評鑑則是健全專業服務中最基本的一構成要素（張德銳，2006），因此更應該把 評鑑納入中心內部的管理機制。

過去也有多位學者一致肯定評估對一個組織發展的重要性：評估 (evaluation) 是活動能持續成長的重要步驟 (Posavac & Carey, 1997)；周儒、何森元（2004）

認為評鑑機制的建立與落實對於環境學習中心的建立是非常重要；姜永浚（2007）

也在針對優質環境學習中心應有的特質裡提到：環境學習中心應該透過制度的設 計，長期且公開客觀地對其人員、設施、活動方案及經營管理等進行持續的評鑑 與改進。可見評鑑在環境學習中心裡占有一席之地，不僅活動方案需要評鑑，整 體的環境學習中心都需要評鑑。

評鑑固然重要，但實際上，當各種機構組織知道「評鑑」的價值與重要性之 後，卻不見得就會針對一個組織、一個計畫或是一個方案去進行評估，原因在於 往往遇到諸多執行難度上的挑戰而停擺。以過去許多環境學習組織的經驗為例：

很少有中心進行系統性且有實質助益的評鑑制度，因為評估是耗時費力，又需要 技術經驗的一項任務 (Powell et al., 2006)。就算願意進行評估，想執行評估的環 境學習組織通常聘請外部顧問進行單次或定期的評鑑，所需要的高額費用就常讓

備的專業知能對中心的課程、服務與發展來說絕對重要，所以中心組織應以持續 提升人員專業能力的長遠觀點來學習評估，以追求未來給予大眾更好的服務品質 為其營運目標（周儒，2011）。

然而，綜合過去研究整理，國內針對環境學習中心評估方面相關的研究非常 有限，多侷限於環境學習中心的發展歷程，或針對單方面的成效評估，或是研究 探討環境活動方案對參與者的影響（許世璋、吳明勳，2010）；即使在國外已有 許多探討環境活動方案對參與者的影響之研究，但這些仍舊缺乏好的理論模式和 有效的評量工具 (Johnson & Manoli, 2008)，對於環境學習中心的整體成效評估，

大都偏以利害關係人的滿意度去研究，而非從考量內部組織的需求作為研究重 點。過去針對社區型環境學習中心的研究，也多半停留在探討其發展規劃（周儒，

2000；周儒、林明瑞、蕭瑞棠，2000；林明瑞，2006a）。

由於目前，國內尚無透過外部專業機構輔導環境學習中心發展內部評估工具 的相關研究，即使國外也少有研究針對環境學習中心的整體運作進行成效探討

（劉思岑，2010；Erickson & Erickson, 2006）。既然，中心內部人員有無足夠的 能力完成評估是一未知數，若藉由引進外部專業機構來輔導，執行一套擁有實務 理論依據的方法，協助環境學習中心建構一內部評估的機制，讓人員增能以提升 信心、能力，讓其產生未來有持續評估的意願與能力，應是值得加以探討。

二、永續評估架構的功能

針對以上，未解決中心有內部自我評估之需求及擔心能力不足之窘境，本研 究參考國外過去經驗，引進國外學者 Powell、Stern 和 Ardoin 在 2006 年發展的

「永續評估架構」 (Sustainable Evaluation Framework, SEF)。永續評估架構是一 套輔助工具，一種主要為了協助環境學習中心進行自我評鑑而設計出的工具；該 架構的運用，可以由透過專業機構的輔導，讓環境學習中心的員工建立內部評 鑑。永續評估架構是 Powell 等（2006）學者輔導位於美國東部大煙山國家公園內，

at Tremont (GSMIT)時，所發展出來的自我評鑑系統，當時實施的效果良好。

該架構在執行上，透過外部的專業輔導團隊給予輔導，SEF 直接針對評鑑使 用者的需求及資源來設計，並且在每個發展及執行的步驟皆授權給組織員工，使 之成為這個系統的主要動力。此架構所要達到的目的，並非只是著重在看遊客對 教育活動的滿意度，更重要的是中心人員要能對中心作長期性、系統性、整體性 地評估。利用這種永續性的評估才能得知一個環境學習中心發展成功與否的關鍵 到底為何 (Margoluis & Salafsky, 1998)。

最重要的，SEF 不再是靠傳統外界顧問進行的評估，而是透過此架構的進行，

評估系統會逐漸內化成為中心內部文化的一部份，更能反應出中心的實務面、有 彈性和資料專屬權。透過參與整個架構施行的過程，中心的人員還會因此建立歸 屬感以及評估的技能。如此的轉變最終將可達到中心永續不停的評估目標 (Powell et al., 2006)；該研究發現：永續評估架構藉由有系統的蒐集資料，及使用 這些資料去評鑑、改進和再修正中心人員的執行工作，以確保達到環境學習中心 的目標和任務。

在以上永續評估架構的特質中，包含四種取徑方法 (Evaluation Approaches) 而能讓中心的評估達到多重效益：應用導向、內部參與、理論導向及消費者導向 (Powell et al., 2006)，分別說明如下（圖 2-6）：

（一）應用導向 (utilization-focused evaluation)

應用導向是根據中心本身的需求和實用性 (Patton, 1996)，在實際的 SEF 中 包括前端分析與活動觀察，主要是為了能瞭解中心本身的特性及利害關係人員有 何需求；從瞭解中心人員的需求面，由輔導人員帶領中心內部人員往下執行評鑑 的工作，以確保評鑑是實際可行的，並達到符合中心的需要。以應用導向為主的

（輔導團隊）才能對中心的活動、組織文化、現況和目標消費者等重要資訊完全 了解 (Patton, 1986；Powell et al., 2006)。

（二）內部參與 (participatory evaluation)

在這部份，SEF 的實際活動是利用：目標設定、評估方法選定及員工訓練，

這些必須靠內部參與的工作。SEF 是透過這些階段性的培力，讓中心員工漸漸能 夠不依靠外部顧問，來達到實施自我評鑑。內部參與是著重在培力內部人員的態 度與能力 (King, 1998)，並且透過這些階段性任務，帶領中心人員從發現問題、

尋找解決方法、共同討論來獲得相關能力。不僅能讓員工具有評鑑技能，也確保 員工彼此達成內部共識，和決定出合適的評估方法。在完成評估系統後，會再訓 練員工，以確認他們已懂得應用此評估系統並遵循評估的倫理。所以，這種訓練 能讓中心成員參與到評估的所有過程 (Powell et al., 2006)。

（三）理論導向 (theory-driven evaluation)

理論導向在 SEF 中的實際方法有：邏輯模式、文獻回顧、評估設計及評估工 具發展。它是運用像實驗設計等量化研究的方式，才能客觀地證明成員有達成目 標 (Rossi & Freeman, 1993; Weiss, 1998)。Suchman (1967)形容評估研究的過程如 同完成嚴密且完備的科學目標，有理論依據才能發展出具備信、效度的研究工 具。Norland 和 Marcinkowski (2004)指出理論導向的評估步驟，首先須規劃出含 有組織方案的宗旨、目標和其驗證指標的邏輯模式 (logic model)，再透過文獻回 顧找出所有可達成邏輯模式的合適指標和測量方法。

（四） 消費者導向 (consumer-based evaluation)

消費者導向則是考量中心利害關係人的需求意見，這些關係人不止中心職員 和行政人員，還有活動參與者、夥伴組織、贊助者等，當然也包括該社區其他民 眾成員 (Bledsoe & Graham, 2005；Bryk, 1983)。在 SEF 裡的實際活動包括：系統 試行及與關係人訪談，兩者目的是希望藉消費者參與評估的過程可以提升組織和

消費者導向則是考量中心利害關係人的需求意見，這些關係人不止中心職員 和行政人員，還有活動參與者、夥伴組織、贊助者等，當然也包括該社區其他民 眾成員 (Bledsoe & Graham, 2005；Bryk, 1983)。在 SEF 裡的實際活動包括：系統 試行及與關係人訪談，兩者目的是希望藉消費者參與評估的過程可以提升組織和