永續評估架構的介紹

SEF是由Powell等人(2006)在2004年時，協助特里蒙特大煙山學院(簡稱大煙 山學院)在特里蒙特大煙山國家公園(簡稱大煙山國家公園)所發展出的一套協助 環教場所自我評估的系統。大煙山學院在操作SEF的十個步驟後發現，SEF可建 立一個具有可靠性的評估系統，此架構對於自我操作評估的環教場所，也就是當 時的大煙山國家公園，是具有適應性且易於上手的，並且是一個可持續性發展的 制度。

一、 永續評估架構的步驟

Powell等人(2006)在其研究中，說明了他們在2004年時，大煙山國家公園聘 請Powell等三位學者作為外部輔導團隊，其角色是去協助大煙山學院建立一套自 我評估的系統，其評估系統即為本研究中所稱的「SEF」。SEF是讓環教場所以外 的外部專家學者或輔導團隊，去輔導某個欲發展自我評估系統的環教場所，跟隨 此架構的十個步驟運行下，該場所可學習如何發展其自評工具。以下分別說明SEF 十個步驟的執行方式。表2-1為SEF執行步驟。

表 2-1 永續評估架構的步驟表(Powell et al., 2006) 永續評估架構實施步驟

1. 前端分析和關係人訪談 (Front-end assessment and stakeholder interviews) 2. 活動觀察 (Program observation)

3. 目標設定工作坊 (Goal-setting workshop) 4. 邏輯架構工作坊 (Logic modeling)

5. 評估方法選定 (Evaluation methods selection) 6. 文獻回顧 (Literature review)

7. 評估工具發展 (Instrument development) 8. 系統試行 (Pilot testing of system)

9. 系統修訂 (Revision of system) 10. 員工訓練 (Staff training)

(一) 第一步驟─前端分析和關係人訪談

外部輔導團隊必須事先透過相關文獻，如縣市刊物、網際網路搜尋環教場 所介紹，以對該場所有基本瞭解與認識，因外部的輔導團隊，並非服務於此環 場所，對其演變歷程與現況並不熟悉，所以得需要透過文獻的方式，去分析現 況問題後，藉以瞭解其特性與現況發展。瞭解其現況後，輔導團隊將與環教場 所的重要關係人進行訪談，訪談對象可能包括主任、專職老師、資深志工等，

除了這些訪談或文獻分析外，若環教場所有舉辦環教活動，外部輔導團隊須投 入活動中觀察。

(二) 第二步驟─活動觀察

外部的輔導團隊應該對環教場所所舉辦的活動進行做觀察，以瞭解該環教 場所辦了哪些環教活動或活動進行的情形，並做紀錄。

(三) 第三、四步驟─目標設定、邏輯架構工作坊

Powell等人(2006)當初是將三、四步驟是合併一起執行的。目標設定工作 坊是透過工作坊形式，讓環教場所的人員再一次去重新檢視他們發展的目標，

或是原本沒有訂定好精確的目標，在工作坊中，讓環教場所人員共同決議訂定，

未來想發展的目標 。

此步驟中是教導環教場所人員如何應用邏輯架構，讓環教場所未來在發展 評估時，透過邏輯架構(Norland, & Marcinkowski, 2004)中的投入、產出、成果，

這樣的邏輯去思考，在辦理項活動前，會投入哪些人力、材料等資源，並且共 同討論出會產生哪些活動等問題，再去設計出自我評估工具，帶環教場所的評 估工具發展完成後去試行。

(四) 第五、六、七步驟─評估方法選定、文獻回顧、評估工具發展

五、六、七步驟其實是可以合併在一起執行的，由外部的輔導團隊和環教 場所人員共同去選定想要評估的面向，譬如是針對方案或是人員等面向，在決 定要評估哪個面向之後，外部輔導團隊與環教場所人員再共同一起尋求評估的 方法。外部輔導團隊可能會提供一些文獻，讓環教場所透過參考文獻方式去設 計出自我的評估工具，待評估工具發展完成後去試行。

(五) 第八、九步驟─系統試行、系統修訂

在評估工具試行後，外部輔導團隊與環教場所人員共同檢視評估結果後，

會發現自評工具可能存在著什麼樣的問題，像是題意不清或問項沒有問到想要 得知的答案，外部輔導團隊與將場所人員再共同討論後修訂 。所以五、六、

七、八、九步驟是可以不斷的循環，也可以評估不同的主題，所產生的評估工 具自然會不同。

(六) 第十步驟─員工訓練

最後再由輔導團隊去進行第十個步驟-員工訓練，以工作坊的形式去訓練 參與發展自評系統的這些人員，讓該場所人員去分享他們經歷整個評估過程中 所學習到的技能，或改變了哪些思維等，再一次的訓練環教場所人員回顧，如 何去執行評估步驟，而外部輔導團隊在此工作坊中會完成一套評估手冊，讓未 來該場所的人員在外部輔導團隊離開後，場所還是可以運用這些手冊去發展自 我的評估工具。

二、 永續評估架構的特質

SEF是一個引導環教場所自我發展評估系統的過程，必須由環教場所重要關 係人去參與其架構的十個步驟，遵循這些步驟之下，可以發現SEF具有四項的特 質(Powell et al., 2006)，在以下分述說明:

(一) 應用導向

由外部輔導團隊去收集該環教場所的相關文獻，以對場所的組成要素、組 織文化、實際情形、目標的消費者等方面有所了解後，並實際參與觀察環教場 所的環教活動、環教場所的大小會議等，藉以瞭解環教場所人員的實際需求及 具體的需要，並評估環教場所發展自評的可行性，這就是所謂的應用導向。

(二) 內部參與

環教場所在SEF十步驟的執行過程中，參與對象身分可能為場所內的主任、

專職老師、志工等，且也由上述這些人員與外部輔導團隊聯繫、溝通，並自行 去發展其評估工具，這也就証實了SEF具有內部參與的特質。

(三) 理論導向

一般對環教場所的評估大多是以遊客滿意度做調查，但是因為場所人員不 會自我評估，因此也不曉得什麼是邏輯架構，經由SEF的十個步驟執行下，外 部的輔導團隊去教導環教場所的人員何謂邏輯架構，因為剛開始在發展評估工 具時，會搜尋多方文獻作為參考依據，所以環教場所在發展自我評估系統的過

程中，都是具有理論依據的。

(四) 消費者導向

以外部輔導團隊去鼓勵環教場所的人員，盡可能的以消費者(遊客、學校 師生)的角度去思考，而且勉勵其設計的評估工具是針對消費者來問的，而環 教場所評估工具的受測對象，都是以學校師生、遊客或社區民眾，這就是所謂 的消費者導向。

圖2-2 永續評估架構的特質圖(Powell et al., 2006)

遵循SEF這些步驟便可確保環教場所完成一個具有:(1)持續性;(2)實用性;(3) 內化等特點的自我評估系統(Powell et al., 2006):

(一) 持續性

非由外部專家幫環教場所做評估，而是由其人員學會了自我評估後，即使 輔導團隊離開環教場所，倘若日後環教場所有需要做評估，還是會繼續的發展 其評估工具。

(二) 實用性

環教場所人員自行思考需要評估什麼東西，什麼才是環教場所最去需要評 估的，否則由外部專家去設定評估某一次的活動，但是環教場所認為該活動並 不具代表性，或者只是單次性的活動，未來也不會再執行，環教場所也不需要 評估此活動，所以讓環教場所人員自行去設定欲評估的項目或活動，對環教場 所而言自我評估是相當具實用性的。

(三) 內化(改變場所人員的信念、態度與價值觀)

外部的專家來評估環教場所，可能被評估的場所會有被批判的感受，倘若 是由場所自己去設定評估目標，在自我檢視後去自我評估，環教場所就會覺得 備受尊重，就會產生自我改善的信念與動力，而達到內化的效果。

讓評估從一開始就成為環教場所的一部份，相對的場所人員可以提升SEF在 應用方面之相關性、靈活性和掌控權等特性。雖然在SEF的發展初期，仍需要藉 由用外部輔導團隊去協助發展整個自我評估的過程，但最終的實施、維護和分析 的責任仍是落於場所本身。SEF除了提供發展一個可靠且具有效的一套評估系統，

透過場所人員的參與，來發展出自我評估的方法和工具，再加上外部的輔導團隊 密集式的與場所人員不斷溝通、培訓下，逐漸地可減輕聘用外部輔導團隊的需要，

並使其人員漸進地對該場所更具有歸屬感依附感(Powell et al., 2006)。

研究者以外部輔導團隊的角色協助綠色營地完成自我的評估制度，探討其發 展評估系統的過程中，場所人員在不斷的自我檢視後，是否因應用SEF的操作下，

而對綠色營地在「資源設施」、「人員」、「方案」、「營運管理」等主次要組成要素 產生影響。