• 沒有找到結果。

第二章 文獻回顧

第二節 何謂評鑑指標

評鑑是針對特定的人、事、時、地、物進行系統化的資料收集與評估,

並做出其價值的判斷,提供回饋的程序。在評鑑中,需要指標來提供受評 的單位成就與價值的依據,也是蒐集和處理資料的指引(李隆盛,2012)。

評鑑指標運用的很廣,如經營管理評鑑指標、大學評鑑指標、休閒農 場的評鑑指標等等(黃文卿,2002;林勇信,2000;張鈿富,2012),但 本研究主要探討的是環境教育設施場所評鑑指標,故研究者針對此方面相 關的文獻進行搜尋並整理。本節探討何謂評鑑,以及指標在其中扮演的角 色。

一、評鑑指標的定義

評鑑指標的運用很廣泛,而評鑑指標追根究底還是評鑑,指標只是在 評鑑過程中,能夠指引受評單位資料收集和處理,以及最後有一個價值的 依據。而評鑑的定義,曾淑惠(2000)指出評鑑是一個比較系統化的過程,

從受評者開始時就是評鑑的過程,探討其社會、經濟、外在環境條件、內 部發展環境、產生成果等相關問題,並描述、收集、分析以及報告以供決 策,最後再來判斷受評者優缺點、價值、品質、有效性或重要性,以利後 續的改善。Schalock 和 Thornton(1988)認為評鑑是透過比較與對照而來的,

不管是和單位、時期、人、目標去比對,並經由比對來產生價值的判斷。

陳彥伶(2009)將評鑑的定義,依照不同角度分成四種類型,分別為資料 收集分析並進行價值判斷、實際表現及理想目標互相比較、協助決策在各 種可能途徑中進行決定、評鑑者與被評鑑者協商合作的歷程。

對於評鑑的定義,雖然有眾多的看法以及定義,而在本研究中環境教 育設施場所評鑑指標其主要的目的歸納後,就是透過評鑑的過程後,能夠 給受評單位一個結果、價值,且給予後續改善的依據,朝向更好的發展。

12

指標的部分,張鈿富(1999)指出指標是一種統計的測量,能夠反映 出重要層面的現象,且能對相關層面進行加總分,以達到研究分析之目的;

Hart(1995)認為一個好的指標能在發生問題時提出警訊,並協助如何確認與 解決問題的存在,即應具備說明、預警、檢討回顧以及決策引導等四種功 能(引自張益誠,2001);高翠霞、高慧芬(2004)說明完整指標系統是 由各層級所構成的,各個層級的概念或者意義為在研究的歷程中逐漸被清 楚的定義。

研究者以目前國內發展較完全的教育指標做為參考,以大學評鑑指標 舉例來說,臺灣的大學上百所,而每個學校各有其發展特色,而大學與環 教場所的共通點,都是提供教育、研究、學習的場所,以此來做參考也能 夠有相當大的收穫。張明華(2012)調查大學的校長觀點認為,多元化的 指標應精簡、不宜狹隘、因地制宜、保留共通指標自訂特色指標、質性指 標為主量化為輔等;蔡小婷(2012)認為評鑑指標以量化指標來檢視會造 成發展齊一化,李隆盛(2012)則認為評鑑指標應有核心與特色指標、量 化與質性指標、回顧與前瞻指標、產出與影響指標、直接與間接指標等,

可以發現要制定評鑑指標是相當複雜且不容易的,其考慮的要點相當的 多。

綜合上述,評鑑能夠透過其過程來給予受評的單位一個具有價值性的 結果,且提供後續改善的回饋,而在評鑑中,也利用了指標的特性,如層 級分明、決策引導、資料收集的指引等功能,讓整個評鑑的過程能夠更加 的清楚以及分明,且受評單位也能夠清楚了解須朝什麼樣的方向去邁進。

13

二、 指標建構方法

指標的建構方法根據郭昭佑(2001)指出質性評鑑指標建構方式,可透 過文獻探討法、專家判斷法、專業團體模式、提名小組、焦點團體法、德 懷術等。其中(詳見表 2-1):

(一)文獻探討法:主要是收集國內外的文獻經整理、分析、歸納後建構 指標的方式,需使用文獻收集來建構指標的時候,此指標的研究應 廣為研究並有相當的文獻供收集。

(二)專家判斷法:在指標建構時,可能礙於時間因素,透過專家座談或 會議的方式彼此討論、溝通與意見交換,來訂定指標,但此方法的 缺點乃是所制定的標準只反映專家的偏見,而未必反映方案的實 質。

(三)腦力激盪法:是團體思考的一種方法,此法特點在於運用集體智慧,

而非個別專家意見,不強調邏輯上的一致性,主在尋求共識,但缺 點是有些意見可能會受到抑制,而難以呈現。

(四)專業團體模式:基於專業服務的需求,透過學會組織、專家學者,

採取諮詢會和公聽會的群體決定歷程,建立共識的指標,此法的缺 點是非常耗時,也需龐大經費,通常在訂定全國性的指標才會採取 此模式。

(五)提名小組:此法主要使用在時間和經費不允許的情況下,透過群體 溝通取得一致意見或觀點時所採用,主要是以書面方式提出各自觀 點或意見,並呈現、討論以及澄清,最後在無記名的方式列出個觀 點的優先順序,但此法因其限制下,方式較為簡陋也容易受研究者 影響。

(六)焦點團體法:此法主要透過焦點團體的參與,針對研究的議題作互 動和對話,藉此取得資料和共識,一般來說此法會考量到焦點團體

14

的組成,包含了人數、位置的安排、主持人角色、資料分析到最後 結果的決策提供,但此法的主要限制在於同性質的討論團體,在專 業上有其信度,卻捨棄了不同意見交流的機會,原則上透過此法的 探究可取得較具體的可行指標。

(七)德懷術:針對會議討論之缺點而設計,把原本面對面,改為匿名的 溝通方式,讓所有的參與者在無威脅的情況中表達自己的意見,並 參考其他人的意見來考量是否修正自己的意見,且為求取一致性,

此法的缺點在於方法時間過長,都以書面溝通缺乏當面交換驗證的 機會。

指標的建構可透過多種方法來建構,且每個建構方法都有其優缺點,

如文獻探討法可以透過先往的研究來提供建構指標的參考依據,當作初步 的探討;專家判斷法可以透過專家的討論來得到一些專家的意見和回饋,

但缺點則是這些指標可能會偏於專家的意見中;專業團體模式為基於某些 需求透過學會組織、專家學者等,辦理會議最後建構指標,但此法需要龐 大的經費和時間,依照美國教育評鑑標準的程序整個歷程約五年的時間,

是個時間消耗非常大的研究方法;焦點團體法可以藉由會議的方式來進行 討論,藉由不同的參與者來互相激起想法,充分討論,且在參與的人的性 質以及人數可以依照指標建構的用途和目的來進行挑選;德懷術則是針對 會議形式的缺點做設計,可以以匿名的方式來進行建構指標,這些方法都 是建構指標的方法,並沒有說哪個方法好哪個方法不好,而是按照在建構 指標時的需求來判斷建構指標時所需要用的是哪一些方法。

而在本研究中所採用的研究方法為文獻探討法以及焦點團體法,初步 的架構採文獻探法的方式來進行,可以從過往的文獻中來建構指標,之後 則是運用了焦點團體法的主要原因,是因為在本研究中所稱的環境教育設 施場所,是融合了各種類型的場所,且在後續評鑑中他們也是最直接的利

15

16

含了九個項目,層級三中有 36 個指標。或者是針對環教場所內某個要項,

例如:邱馨緻(2012)建構林務局自然教育中心環境教育教師評鑑指標,

環境教育教師之評鑑架構為四大面向「教學解說」、「經營管理」、「宣傳推 廣」及「自我成長」,包含十三個層面及五十五項指標。在這些評鑑指標 中比較沒有像本研究中所要訂定的評鑑指標,不過在這些研究中卻也能夠 給予研究團隊在建立指標時一個參考方向。一方面研究者也搜尋到有關於 環教場所認證時的認證指標,認證指標為評鑑指標實施前的指標,也是提 供研究團隊建立評鑑指標的參考方向之一。

17

表 2-2 環境教育設施場評鑑指標及認證指標相關文獻

評鑑指標相關文獻

相關文獻 文獻來源 相關內容 建構方法

建構林務局自然教育中心環境教 育教師評鑑指標之研究

邱馨緻(2012) 建構林務局自然教育中心環境教育教師評鑑指標,環 境教育教師之評鑑架構為四大構面、十三個層面及五 十五項指標,根據結果提供林務局評鑑環境教育教師 的相關建議及未來研究之參考。

德懷術

臺灣地區國家公園永續經營管理 指標之研究-以玉山國家公園為例

黃文卿、林晏州

(2002)

建議我國國家公園主管機關和學術界能重視永續指標 之量化特質及功能,除了持續鼓勵學術研究外,並能 將該評量機制納入作為各國家公園行政管理績效評估 之參考。

文獻分 析、AHP 層級分析 法

建構社區博物館衡量指標之研究-以北投溫泉博物館為例

官美慈(2008) 建構社區博物館衡量指標,提供國內博物館及社區經 營管理方面一些引導與助益。

文獻分 析、德懷 術

應用模糊層級分析法發展環境學 呂天琦(2011) 發展環境學習中心之評鑑指標,以利後續評鑑使用。 專家問

18

Summary of Learning Iutside the Classroom(LOtC) Quality Badge Indicators

19

委員会(2010)

認證指標相關文獻 北京市環境教育基地評選條件 中國北京市經濟技

術開發區環保局

(2012)

為北京市在認證環境教育基地時所使用的認證指標,共 分成五個面向,24 項條件,包含了「環境管理」、「生

為北京市在認證環境教育基地時所使用的認證指標,共 分成五個面向,24 項條件,包含了「環境管理」、「生

相關文件