第三章 研究方法
第三節 永續評估架構的執行
Powell, Stern 和 Ardoin(2006)三位學者提出,應用「永續評估架構」的十個 步驟來協助環教場所自行發展出評估系統,而永續評估架構是由外部的專家去輔
表 3-2 輔導小組名單
人員 服務單位及職稱 研究者 臺中教育大學
科廣系環境教育及管理碩士班 研究生 研究生 A 彰化縣綠色環境學習營地 專職老師
SEF 是由外部專家輔導欲發展自我評估工具的環教場所,事前本研究團隊與 研究場域─綠色營地人員經由多次會議討論達成共識後,由研究團隊協助輔導綠 色營地人員來發展自我評估工具。
在 2011 年 11 月研究團隊進入綠色營地場域內,以瞭解四大組成要素的運作 情形,營地的專職老師同時也表示,希望藉由本團隊的協助下,發展一套屬於自 我評估系統,因此,研究團隊即與綠色營地雙方取得意願,達成合作共識後,即 開始展開 SEF 一系列的輔導工作,以下依本團隊推動 SEF 過程(2010 年 11 月至 2012 年 5 月),分別闡述說明:
一、 第一步驟─前端分析與關係人訪談
研究者收集綠色營地過去相關文獻後,接著擬定環境教育設施場所(簡稱環教 場所)四大組成主次要素之訪談大綱,並與專職老師進行兩次訪談預試,結束後將 預試題目修正後,即進行個別正式訪談。此次訪談屬前測資料,施測時間為 2010 年 3 月至 4 月,訪談對象計有六人,前測訪談主要是為了瞭解綠色營地在未經由 研究團隊進入場域輔導,協助其發展自評系統前,四個組成要素的現況。
研究者在前測訪談過程中曾碰到一些問題,像是某幾位受訪者提到次要素的 內容或活動,因當時所參與觀察活動次數並不多,所以研究者在前測訪談事先以 筆記方式記下後,事後再進行觀察或詢問營地的其他重要關係人,藉以瞭解受訪 者在訪談時所提出的問題與內容。
二、 第二步驟─活動觀察
研究者並進一步觀察綠色營地所舉辦的各項活動,同時加入綠色營地成為志 工一員,實際地參與綠色營地的志工隊時發現,營地的志工夥伴們會很樂意及踴 躍地提供相當多,關於綠色營地的過去、現在與未來場域內之相關活動訊息讓研 究者知道,這些資訊可幫助更深入瞭解場域內的組成要素之運作架構與各項活動 實際實施情形,藉此機會與營地人員建立彼此間的互信關係。研究者參與觀察項 目包括學校或社會團體預約導覽解說、綠色營地每周六的生態探索、志工的專業 培訓、幹部會議、志工隊大會、場域內的環境管理與維護等各項活動,研究者觀 察多種類型的活動,藉以佐證訪談資料前測、中測、後測之結果,以求得研究結 果客觀性與準確性。
在執行步驟時,輔導小組與綠色營地重要關係人開會討論,提議營地人員可 組成一自評系統推動小組(以下簡稱推動小組),以利綠色營地後續在發展評估系 統過程中,有一組織結構成員可互相討論後,修訂自評系統,輔導小組成員身分 有營地專職老師、志工小隊長、資深志工等人,計有十二名。
三、 第三、四步驟─目標設定、邏輯架構工作坊
SEF 中的第三、四步驟是合併執行的,是以一次的工作坊來達成,即為本團 隊在 2011 年 5 月 7 日所辦理的第一次工作坊。在此次工作坊中,研究團隊規劃 綠色營地培訓課程有六大項,一為何為「優質環境學習中心」,讓綠色營地人員 認識其它環教場所的優點,藉由分享過程中,來自我檢視綠色營地優劣勢之處;
二是「瞭解 SEF 實施的意涵」,以簡易敘述方式,讓綠色營地人員明瞭 SEF 的後 續執行過程與方式;第三是介紹「評估的種類和方法」,使其認識評估的種類及 適用的對象和場合;第四則為「邏輯架構的應用」,利用本團隊設計的邏輯架構 表(附件二),使綠色營地人員清楚明白在發展自評系統前,需投入哪些人力、材 料?會產生哪些活動等,預期會得到哪些結果;第五部分是「活動評估指引」,讓 參與工作坊人員知道在發展評估系統前,必須組成推動自我評估小組,一起共同
去設定欲評估的面向、對象與評估方法選擇等事項;最後在第六部分是「參訪社 區型的環教場所」─苗栗縣後龍鎮大山社區(簡稱大山社區),參訪地點包括大山火 車站、松樹林、野百合、後龍濱海遊戲區、石滬巡禮等地。
在第一次工作坊結束後,研究者進行中測訪談,中測施行時間為 2011 年 6 月至 9 月,採個別正式訪談,訪談對象共計六人,中測主要是要瞭解研究團隊在 執行 SEF 第一至四步驟的過程結束後,對綠色營地在四個組成要素中是否已產生 哪些間接影響或其人員有哪些思維上的改變。
四、 第五、六、七步驟─評估方法選定、文獻回顧、評估工具發展
第五、六、七步驟是合併執行的,首先營地人員決定自我評估的方法後,再 找尋並挑選適用於綠色營地的相關文獻,接著進行評估工具問項的修訂,這些過 程就是 SEF 中的「評估方法選定、文獻回顧、評估工具發展」。
在 2011 年 5 月,輔導小組與推動小組開會討論「評估方法」,決議出綠色營 地評估的面向為他們的課程方案,評估方法為問卷調查法,評估對象是國小四至 六年級學生。因為綠色營地自評系統的推動小組成員身份背景大多是社區民眾,
且對環境教育的專業領域並不熟悉,當然也不太明瞭何謂環境教育的五大目的,
所以小組成員在收集相關文獻的評估資料時也不知該如何下手與從何分析,因此 考慮以上種種原因後,輔導小組成員共同決議,在「文獻回顧」此步驟主要是由 輔導小組來負責搜尋數份問卷後,再與營地的推動小組開會決定出綠色營地的問 卷參考範例,接著營地的推動小組即開始設計出屬於他們的「評估工具」,首先 從選中的問卷中來修改增刪問項後,以做為綠色營地自評工具的初稿。但問卷初 稿中僅有知識性的問題,因此輔導小組建議加入環境素養、滿意度及重遊意願等 內容。從一開始的評估方法選定,到搜尋評估工具的文獻回顧,接著是評估工具 的發展,這三個步驟是從發現問題中,進而解決問題的過程,讓綠色營地人員進 而從發展自評工具的循環歷程中,不斷地學習與持續改進。
另外,推動小組考量到志工們在帶隊解說上,常依照自己的喜好類別或參訪 遊客的團體性質,來為參訪民眾導覽解說,像是某些志工在進行導覽解說時,是 依照自己的興趣來做介紹,或者是有國小教師環教研習活動,營地志工們則是介 紹學校校園內常見的動植物等物種。因此,推動小組開會議論,決定請營地的專 職老師來編製簡單的解說準則,使志工們在解說上有一定的架構,解說品質也會 趨於穩定,且營地自我發展的問卷,施測結果也比較有可信度。
在設計評估方法的同時,由於綠色營地的志工不曾設計環境教育方案活動,
因此輔導小組尋求臺中教育大學(以下簡稱中教大)研究生、台南鳥會、高雄鳥會 的教師等三人協商,希望進入綠色營地場域內來指導志工們設計環境教育活動,
最後於 2011 年 8 月 20 日,三位夥伴投入營地教導志工們如何著手設計環境教育 的教材教法,並應用生物多樣性概念設計戶外活動課程,例如當天課程中曾進行 的救救鳥寶寶和青蛙歷險記等遊戲;三個多月後,於 2011 年 12 月 3 日,研究團 隊更進一步將綠色營地人員帶領至雲林縣古坑鄉華山社區,期望藉由戶外觀摩取 其優點或經驗,進而激勵綠色營地人員在參訪過程中(參訪行程見表 3-3 所示),
碰撞出更多與原本不一樣的想法。
表 3-3 參訪華山社區行程表 時間 行程
上午 社區資源─打石文化、土厝(造紙過程)導覽 土石流教育園區導覽
下午 華山老街巡禮 文學步道巡禮 回饋分享
五、 第八、九步驟─系統試行、系統修訂
綠色營地人員發展出評估工具後,便開始實行他們的評估工具「系統試行」, 於今年 3 月(2012 年)實施第一次的自評工具施測後發現,問卷結果顯示環境知識 的部分有明顯提升,而環境素養方面的分數不增反減,輔導小組與推動小組開會 審議問卷內容,洞悉到環境素養的題目與志工們帶隊教學的課程內容沒有太大的 相關性,而輔導小組從此次會議中也發現,綠色營地推動小組成員並不太瞭解環 境素養的定義及面向,因此輔導小組在下個月的 4 月 11 日為推動小組成員說明 環境教育五大目的,讓綠色營地人員慢慢地自我思考,如何將帶隊解說與活動內 容,融入環境素養的問項中。待問卷內容「系統修訂」後,於 2012 年 4 月 14、4 月 15 兩天,再進行綠色營地的第二次問卷施測,結果顯示整體的環境素養有提 升,代表著營地的推動小組已經學會自行修訂與設計問卷的能力。
綠色營地人員從 2011 年 5 月開始著手設計評估方法的規劃,至 2012 年 4 月 正式完成其自評系統建置,共歷經 11 個月時間,從兩次循環的「評估方法選定、
文獻回顧、評估工具發展」等步驟,再實行兩回的「系統試行、系統修訂」迴圈 反覆步驟後,綠色營地人員達成了自評系統的發展。
六、 第十步驟─員工訓練
研究團隊在此步驟中是辦理第二次,亦是最後一次的工作坊,日期是 2012 年 4 月 28 日,此次工作坊教導綠色營地人員如何規劃方案活動,讓遊客願意再 一次的重遊並參與活動;在此課程中授課教師以量表的方式,使營地人員們從量
研究團隊在此步驟中是辦理第二次,亦是最後一次的工作坊,日期是 2012 年 4 月 28 日,此次工作坊教導綠色營地人員如何規劃方案活動,讓遊客願意再 一次的重遊並參與活動;在此課程中授課教師以量表的方式,使營地人員們從量