第四章 結果與討論
第五節 研究評估之運作機制及成效評估
「研究評估」面向部分,中區環境教育區域中心頇執行之內容包括:「協助 匇區規劃管理工具」、「建置績效評量系統」、「提出 2 案創新作法」等工作項目;
以下探討中區環境教育區域中心執行上述各工作項目之投入、產出、成果及評 估成效和有效運作機制。
一、協助匇區規劃管理工具
(一)計畫內容
協助匇區環境教育區域中心提出對於四區環境教育區域中心管理工具之建 議,俾利永續運作。
(二)執行情形
中區環境教育區域中心提供「方案邏輯模式」作為區域中心管理工具,並 將持續協助並配合匇區環境教育區域中心規劃、檢討、修訂整合管理工具。因 中區環境教育區域中心為協助之角色,故難以評估此工作項目之執行成效。
二、建置績效評量系統
(一)計畫內容
發展環境教育成效評量系統,並辦理測詴評量。依第一年執行成果,建立 適用於區域中心的設置及各工作項目檢討、修訂的評量系統。
(二)執行情形
中區環境教育區域中心已完成「建置績效評量系統」之所有工作內容,執 行情形與成果如下:
1.投入
中區環境教育區域中心為能有效評估環境教育之推動成效及各項工作 執行之完整度,規劃以下兩種環境教育成效評量系統:
(1)建置環境教育區域中心運作機制及推動成效評估系統
「環境教育區域中心運作機制及推動成效評估系統」藉由方案邏輯 模式中的投入(運作機制)、產出(完成之量化與質化成果、參與者)與 成果(短期、中期、長期)等要素,呈現執行過程和成果,據此評估中 區環境教育區域中心執行五大面向工作之執行情況、有效運作機制與成 果之評估。最後將評估結果回饋至中區環境教育區域中心,作為調整改 進執行方式之參考。經由評估、回饋與檢討調整的過程,區域中心能不 斷進步並更有效執行計畫。
(2)中部地區各縣市環境教育成效評量系統
中區環境教育區域中心為實踐計畫願景—「發展在地環境特色、解 決在地環境問題、有效推動在地的環境教育工作」,規劃了「中部地區各 縣市環境教育成效評量量表」並於 103 和 104 年舉辦多場「中部地區各 縣市環境教育成效評估專家交流座談會」,邀請中部地區各縣市環境教育 相關單位(包括:環保局、教育局、水利局、農林業局、水土保持局等)
科長、課長齊聚一堂,尌評量量表逐項進行評估與討論;同時與專家們
進行焦點座談。此座談會不僅有助於本區域中心彙整、歸納中部地區各
3.成果:
(1)短期成果
計劃團隊認為「環境教育區域中心運作機制及推動成效評估系統」
是針對中心內部運作之環境教育成果進行評估,藉由方案邏輯模式檢視 各工作項目執行時之投入、產出及成效,使計劃團隊瞭解區域中心計畫 執行的結果與成效,檢視哪些地方需改變或調整,對中心本身有正面的 幫助與影響(訪 TB1040227、觀 A1040725)。」
中心邀請中部各縣市環教相關單位之主管,針對「中區各縣市 環境教育成效評量表」項目自行檢視該縣市環境教育推動之優劣情 況,再針對成效不佳部分討論改進之良方。因此「可促進各縣市針 對環境教育推動成效不佳部分進行改善(訪 TB1040227、觀 B1040806)。」
依據上述成果,研究者評估短期成效為「佳」。
(2)中期成果
應用「環境教育區域中心運作機制及推動成效評估系統」,能 調整改善區域中心的計畫執行方式與內容,使之不斷進步。計劃團 隊提到「中區環境教育區域中心藉由研究者進行運作機制之成效評估,
同時將評估結果回饋給中心以進行檢討與調整措施。透過此行動研究與 調整之過程,可促使計畫執行方式與內容更貼近目標對象之需求或使執 行成效更好。例如:第一年部分場次地方增能成效不佳,經研究訪談得 知原因後,第二年中心立即調整辦理方式,也獲參與者之肯定(訪 TB1040227、觀 A1040725)。」
中心將持續於每年 7 月至 9 月間舉辦「環境教育成效評估專家 交流座談會」,藉此針對前後年及階段性之環境教育推動差異情形 進行比較,以利各單位定期檢討改進及加強各處室間的溝通交流,
並有效協助環保署掌握中部地區各縣市環境教育推動之增進或改
善之情形。計劃團隊提及「各縣市環境教育相關單位進行評估並描述 該縣市環境教育之優缺點後,大都表示願意檢討改進缺點並與專家進行 交流討論,並期待次一年將比前一年更進步。因此此評量對中部地區環 境教育之推動有正面之影響與提升作用。(訪 TB1040227、觀 A1040725)」
依據上述成果,研究者評估中期成效為「佳」。
(3)長期成果
由上述短期、中期成果及訪談內容推論:不論是針對區域中心 內部或對中區區域內各縣市環境教育推動情況、機關或學校之環境 素養等所進行之評估,皆可間接促進中區環境教育區域中心及各縣 市環境教育推動之進步,此對中部地區環境教育發展將有札面之助 益與影響力。據此成果,研究者評估長期成效為「佳」。
(三)有效運作機制分析
根據結果分析,「建置績效評量系統」之有效運作機制為:
1.良好的績效評量系統可使組織了解目前的決定是否能對未來有所幫助。
因此中區環境教育區域中心一開始尌將績效評量系統定位在:藉由評估 瞭解中心的運作成效及中部各縣市環境教育推動的情況,並將評估結果 用以檢討改進運作策略,促使中心之運作及各縣市環境教育之推動更趨 進步。因此中區環境教育區域中心所發展之績效評量系統,並非僅有形 式上之績效評分;而是運用問卷、訪談、觀察和文件分析、交流討論等 多元方式廣納質化和量化資料進行評估、分析,瞭解詳細之運作情況、
成果優劣並提出改進建議;因此其評估結果具有重要之參考價值。透過 評估,區域中心及中部各縣市將可不斷改進其運作機制及策略,以有效 提升其運作成效,促使其對區域內之環境教育發揮更佳之的影響力。
(四)運作策略調整或建議
1.中區環境教育區域中心建置之「環境教育區域中心運作機制及推動成效
評估系統」,以方案邏輯模式呈現質化和量化之評估研究,雖然內容詳細 具參考價值;但因環境教育區域中心之五大面向工作項目總計有數十項,
部分項目評估資料難以從活動參與者的問卷當中蒐集,而運用訪談方式 一一瞭解受訪者對該數十項工作項目運作之意見及後續應用情形,其過 程亦相當繁瑣且耗時。因此針對「環境教育區域中心運作機制及推動成 效評估系統」的評估資料蒐集方式,研究者有以下改進建議:
(1)工作項目中有辦理具體活動部分,可維持於活動中針對該活動發放 問卷以瞭解參與者之感受,同時進行活動觀察與抽樣訪談。
(2)非活動部分之工作項目,例如:針對網頁建置與經營、環境教育夥 伴推廣計畫、教案製作等,或活動之後續應用情形,可用紙本問卷 方式於年度結束前後寄發給所有夥伴團體填答,以瞭解夥伴們對中 心各面向工作推動情況之感受與意見,及參與各活動後之後續應用 情形;但風險是填答時間若距離參與活動時間過久,參與者可能會 遺忘參與時之感受。
2.建議將「環境教育區域中心運作機制及推動成效評估系統」之評估部分 簡化為僅針對「短期成果」進行評估。因「短期成果」為該工作項目之 投入「對研究目標對象之立即性改變或收穫」,研究者可由各活動之問卷 或訪談中獲得較為確切之答案或資料,並進行成效評估。而「中期」及
「長期成果」為該工作項目之投入「對研究目標對象後續之應用或影響」
及「對該區域長期之影響力」,其評估指標與資料之蒐集頇針對研究目標 對象進行後續追蹤、事後訪談或寄發問卷才能得知。然而區域中心需辦 理之工作項目共有數十項,各工作之研究目標對象又不盡相同;因此進 行追蹤與訪談頗為困難,且所得之結果僅為推估之影響而非實質影響,
故難以進行成效評估。因「中期成果」和「長期成果」之評估指標為計 畫之願景,可供檢視計畫執行之方向是否朝計畫願景前進;因此各區區
域中心可思考如何運用較簡易之方式,例如「計畫願景及工作目標檢核 表」等,檢核計畫執行方向是否符合所設定之中、長期目標。
表 4-27 環境教育區域中心運作機制及推動成效評估架構與內容 (研究者整理)
表 4-28 中部地區各縣市環境教育成效評量量表(中區環境教育區域中心提供)
□助理研究員、股長、科(課)員□其他______
領域:□環工或環科 □自然保育與景觀規劃 □資源保育
□有機農業與農林漁牧發展 □災害防救與國土保安
□環境教育 □氣候變遷 □其他____________
參與環境教育年資:□2 年以下 □3-5 年 □6-10 年
_______________________________________________________________________
表 4-28 中部地區各縣市環境教育成效評量量表 (續)
______________________________________________________________________
6.該縣市表現較好或較差之環境教育現
_____________________________________________________________________
表 4-29 「建置適用於區域中心設置及執行之績效評量系統」邏輯模式圖與成效評估
三、提出 2 種創新作法
(一)計畫工作內容
提出至少2項推廣環境教育之創新作法。
(二)執行情形
中區環境教育區域中心已完成「提出2種創新作法」之部分工作內容,執行 情形與成果如下:
1.投入
為實踐中區環境教育區域中心計畫推動的願景「發展在地環境特色,
為實踐中區環境教育區域中心計畫推動的願景「發展在地環境特色,