環境學習中心評鑑指標之發展

本研究利用專家問卷以發展評鑑指標的層級架構，並經由模糊層級分析法建 構環境學習中心評鑑指標之權重。然而於模糊層級分析法進行中，層級為系統結 構的骨架，用以研究階層中各要素的交互影響，以及對整個系統的衝擊 (鄧振源，

2005)，分析時應注意以下各點：1.最高層級代表最終目標；2.儘量將重要性相近 的要素放在同一層級；3.層級內的要素不宜過多，依 Satty 的建議最好不要超過 7 個；4.層級內的各要素，力求具獨立性(鄧振源、曾國雄，1989a)。由上述可知，

分析的過程中指標的發展是相當重要的，有了評鑑指標後才能進行後續權重的建 構。

在過去，部分的學者會運用德爾菲法來進行指標的建構；德爾菲法特性在於 採用匿名方式使群體共同參與決策，讓專家們可以不受干擾的表達自己的意見 (Rowe & Wright, 1999)。但因為問卷的施測需要反覆數回，易使蒐集專家意見耗 時日久，不但成本高且問卷回收率低，在求取專家意見一致過程中，容易扭曲專 家意見，亦即會系統性的削弱對手的意見與抑制不同的想法(徐村和，1998)。綜 合考量上述各因素後，本研究決定採用類似德爾菲法的精簡流程，由各學者專家 針對問卷中之指標進行審查並提供意見，進而發展環境學習中心之評鑑指標。

於該階段本研究採用專家問卷(如附錄二)，問卷內容包含研究說明與問卷填 寫說明，問卷採封閉式與開放式進行調查，封閉式部分採適合、修正後適合、不 適合之三點量表，給予專家們進行勾選指標之適切性；開放式部份則是詢問專家 各指標的修正意見、需要增列之指標及指標之整體意見。問卷發放採郵寄方式，

於發放前先以 email 徵詢學者專家的同意後，再行專家問卷發放，專家問卷發放 期間為 2011 年 1 月 18 日至 2011 年 3 月 13 日，共計回收 9 份。

一、 評鑑指標之內容效度

發展評鑑指標則需要仰賴專家們對指標內容適切性的評斷；判斷結果之間的 一致性可用單一指標加以表示，該指標即為內容效度指標(余民寧，1993)，

Aiken(1980)提到社會科會方面的研究者很少注意到內容效度的決定，通常以多數 專家同意或專家意見未能達成一致的說法來衡量一份工具能否測量到它所欲測 量目的的有效程度；甚至企圖僅以一個指標做為整份工具的內容效度，而忽略了 個別詴題的內容效度，因此我們需要一個能夠方便計算與解釋的量化指標(余民寧，

1993)。

因此本研究為確保評鑑指標的內容效度，故依據 Aiken (1980; 1985)提出的內 容效度係數來評定每個指標的內容效度。經計算結果，可發現評鑑指標的內容效 度介在 0.39 至 0.94 之間(詳見表 11)，經 9 位學者專家針對問卷內容之適合度給 予評估，以三點量表對各個題項的適切性進行衡量，分別為「適合」、「修正後 適合」、「不適合」，經查表，內容效度係數頇達 0.78 以上，才會達 P 值<0.032 的顯著水準。而內容效度未達顯著水準之問項，後續亦經題意修正與專家意見增 減題項成為環境學習中心評鑑指標之模糊層級分析法問卷(如附錄四)，故修正後 之評鑑指標具備良好的內容效度。

表11 環境學習中心評鑑指標內容效度與修改說明

面向 原評鑑指標 內容

效度 說明 整體關切 依設立目的及資源特色發展環境教育目標 0.89 修正語詞

軟硬體設計與參訪者的背景經驗連結 0.61 指標修改 軟硬體規劃與管理以人身安全為優先 0.89 未修改

持續進行評鑑與改進 0.78 修正語詞

場域設施 具環境資源特色的場域 0.78 修正語詞

硬體設施依中心的願景規劃 0.72 指標修改

設施能反映當地的特色 0.56 指標修改

考慮身心障礙者的學習權利 0.67 增至面向一 經營管理 主動與在地組織或個人連結 0.61 併入下一指標

廣泛發展伙伴關係 0.83 指標修改

考慮當地遊憩承載量 0.94 未修改

有中長期財務計畫與尋求財務支持 0.78 修正語詞

訂定行銷目標與策略 0.78 修正語詞

監測自身環境及資源狀況 0.72 修正語詞 專業人員 具備環境素養與永續發展的理念 0.72 修正語詞 團隊人數及專業職能可支持中心運作 0.83 未修改 具備熱情、好奇、創新等人格特質 0.5 指標修改 具備環境教育專業的全職工作人員 0.83 指標修改 具備環境教育的專業能力 0.39 併入上一指標 辦理或支持工作人員專業成長及終身學習 0.72 修正語詞 軟體方案 具啟發、互動、親身體驗等特質 0.83 修正語詞 能反映環境關懷及當地資源特色 0.89 修正語詞 能協助參訪者發展環境素養 0.67 指標修改 能針對不同參訪者提供多元的活動方案 0.89 修正語詞 能推陳出新以吸引參訪者回流 0.94 修正語詞 能彌補學校環境教育的不足 0.61 指標修改 能使參與者體驗與履行對環境友善的承諾 0.89 修正語詞

二、 評鑑指標之增列意見

本研究問卷設計為開放式題項，以徵詢學者專家認為應該增加之評鑑指標，

如表 12。

(一) 整體關切面向：學者專家認為應加入「中心定期發表年報，將中心營運、

績效、公開」，本研究認為此指標和整體關切面向中的「能持續進行評 估與改進」之內涵「環境學習中心應透過制度上的設計，公開且客觀的 對其人員、設施、活動方案及經營管理等進行持續的評鑑(evaluation)與 改進」相似，故不增加該指標。

(二) 場域設施面向：學者專家提到此面向應加入「設施設計的生態自然度、

可及性、親和力、安全性與舒適(寧適)性」、「設施興建、維護及使用衝 擊的減輕影響策略及實施」，然而於整體關切面向中之「軟硬體規劃與 管理以人身安全為優先」中已涵蓋「安全」的概念，而「生態自然度」

與「設施興建、維護及使用衝擊的減輕影響策略及實施」之概念以含括 於場域設施面向中「場域設施能反映當地的特色並考量節能設計與教育 意涵」及經營管理面向中「定期對中心的環境及資源進行監測、管理與 汙染防制」，因此本研究將不另行酌列上述指標。

(三) 專業人員面向：學者專家建議應增列「擬定工作人員聘任及專業考評的 標準與機制」、「是否有取得政府環境教育人員認證者」，本研究已採 納學者專家的建議，將上述意見融入本面向「聘任具環境教育人員認證 的專職工作者」之指標中，然而關於工作人員考評標準與機制方面，已

於整體關切面向中「能持續進行評估與改進」該指標之內涵「…對其人 員、設施、活動方案及經營管理等進行持續的評鑑(evaluation)與改進」

呈現，是故，不納入評鑑指標中。

(四) 軟體方案面向：學者專家提及可增列「活動方案本身的科學正確性」、

「方案內容能充分運用在地特色，尊重多元參與者權利，強調人與自然 互動的倫理規範，強調物種間的正義、環境正義」，由於本研究認為環 境學習中心之方案擬定上並無科學正確性之問題，且並非本研究軟體方 案面項指標之核心，因此未將科學正確性的概念列入指標當中，而整體 關切面向中「依設立目的及資源特色發展環境教育使命與目標」及強調充分 運用在地特色，整體關切面向中「考慮身心障礙者的學習權益」也說明 了尊重多元參與者權利，本面向「方案能協助參訪者發展環境教育的內 涵」之指標內涵已強調「…培養環境倫理…」，因此不另外提列相關指標。

表12 環境學習中心評鑑指標之增列意見

面向 能力指標

整體關切 中心定期發表年報，將中心營運、績效、公開

場域設施 設施設計的生態自然度、可及性、親和力、安全性與舒適(寧適)性 場域設施 設施興建、維護及使用衝擊的減輕影響策略及實施

專業人員 擬定工作人員聘任及專業考評的標準與機制 專業人員 是否有取得政府「環境教育人員」認證者 軟體方案 活動方案本身的科學正確性

軟體方案 方案內容能充分運用在地特色，尊重多元參與者權利，強調 人與自然互動的倫理規範，強調物種間的正義、環境正義

三、 評鑑指標之發展

運用專家問卷調查，原題項共有 5 個面向與 27 個指標，經內容效度之檢定 後，內容效度機率值達 0.78 之部份題項僅針對語詞做些微修正，未達之題項參酌 學者專家意見進行指標修改與增刪，最終發展環境學習中心評鑑指標共有 5 個面 向與 25 個指標，如下表：

表13 環境學習中心評鑑指標之發展

面向 評鑑指標

整體關切 依設立目的及資源特色發展環境教育使命與目標

軟硬體設計應與參訪者的需求、背景經驗連結並與中心教育目標 產生共鳴

軟硬體規劃與管理以人身安全為優先 能持續進行評估與改進

考慮身心障礙者的學習權益

場域設施 具環境學習特色的資源、設施與場域

中心的硬體設施依願景規劃設置並滿足活動方案之需求 場域設施能反映當地的特色並考量節能設計與教育意涵 經營管理 積極結合在地組織發展夥伴關係共同落實地域發展

考慮當地遊憩承載量 有健全的財務規劃與支持

依據資源特色及服務對象訂定並落實行銷目標與策略 定期對中心的環境及資源進行監測、管理與汙染防制 專業人員 人員具備環境素養與永續發展的理念

團隊人數及其專業職能可支持中心的運作 人員具備積極正向的人格特質

聘任具環境教育人員認證的專職工作者

辦理或支持人員參與專業成長及終身學習的活動 軟體方案 方案具啟發、互動、親身體驗等特質

方案能反映環境關懷及當地資源特色

方案能反映環境關懷及當地資源特色