第二章 文獻回顧
第四節 重點指標 (headline indicator)
每個保護區在評量上的需求、目標和情況是多樣的。這種多樣性的方面包括:
(1) 不同的評量目的和目標對象;(2) 不同的評量範圍和頻率;(3) 不同能力 (機構、
收集個案 背景及圖 層資料
資料 彙整
與承辦人 進行訪談 或工作坊
獲致整 體評量 結果
結果匯 入經營 管理計
畫
管理者和其他參與者參與的能力有所不同);(4) 不同的參與者。這種多樣性導致很 難有單一的經營管理評量系統能夠滿足所有的需要和情況。出於此原因,發展出 IUCN-WCPA 框架,該框架可以根據特定的目的、能力等需求,開發出符合的評量 系統,同時仍保留一套共同的基本邏輯,擁有相通的標準 (Leverington et al., 2010)。
不過,多元的評量系統會限制互相比較和了解的能力,也難以看出保護區經營管理 效能在國家、區域和全球的趨勢。眾多的評量方法,需要可以對話的系統,讓方法 之間可以交叉分析。因此,Leverington et al. (2010) 從數個評量方法中,依照經營 管理循環的六大元素,彙整出 45 項的重點指標 (headline indicator),進一步發展出 一套含有 14 項指標的「通用報告格式」。
重點指標的發展過程如下:
1. 獲取資料
在全球 100 個國家,運用超過 50 種評量方法,得到有超過 8,000 筆經營管理 效能評量的資料。彙整這些資料的方法和使用的指標。其次,盡可能對完整的原始 資料作分析,因部分數據持有人不願意公布可能受爭議的資訊,整理後從 3,038 個 保護區中,由 14 種不同的評量方法得到 4,092 筆可用資料。第三,回顧和分析 50 篇使用各種評量方法的研究報告。這些報告綜合一個地區或國家的研究結果,並詳 述脈絡和詮釋,相較於原始數據,有時候能提供更多有用的資訊。
2. 分析資料
經過分析和編碼超過 1,800 個在保護區經營管理效能評量方法中用到的指標,
建立一組能夠包含多樣的評量議題和指標且可管理的「重點指標」,可以將不同評 量方法的指標進行分組和歸納。
3. 轉換為通用比例
大部分的方法用分數或評級來定義一項指標 (通常由最低 0 或 1 分,到最高 3、4、10 或 100 分) 實現理想進展的程度;有些資料是定量的比例數據 (通常為
「最佳估計值」) ,例如人們估算一個保護區需要的資金量,然後計算這筆資金有 多少的比例是可用的。然而得到的數據僅是一個順序,以便從低到高給予分數評級,
但不同分數間的差別並不是完全均勻一致的,且常常難以量化。為了使不同系統不 同尺度的分數能做有效的使用而不會失去原來的效用,因此,將評分系統改為 0 到 1 的評級,0 分代表最低的情況,而 1 分則是最佳。
4. 將個別保護區經營管理效能評量方法的指標和重點指標連結
接著將各方法的個別指標交叉對應到重點指標項目。多數指標是容易進行配 對的,但部分指標因為其題項措辭,或包含兩個重點指標項目而較難歸類。當配對 完成時,由他人進行交叉檢查,以確保合理性,甚至請方法的發展人校驗配對結果。
一般一個評量方法中會有多個指標對應到一個重點指標的狀況,這時將組成 的指標平均,使其對應的重點指標得到 0~1 之間的分數。然而有些情況,某一項指 標明顯較其他的重要,尤其是其中的關鍵指標,所以不同指標對於重點指標有不同 的權重。計算方法如下:總共有 n 項指標,每項指標的得分為 Sj,分配 0~1 的權重 (Wj),總權重和為 1,所有指標總分為 I,如圖 4 所示。
I = ∑ 𝑆𝑗𝑊𝑗
𝑛
𝑗=1
圖 4 重點指標計算公式 (資料來源:Leverington et al., 2010)
不同評量方法的指標對應到的重點指標也有相當大的差異。沒有一種方法是 可以對應到所有的重點指標,但有些重點指標是常出現的 (如:經營管理計畫),有
些則只有在一、兩個方法中出現 (如:員工士氣)。
5. 分析數據
經過轉換過程,將所有的數據集中到通用報告平台,並且建立一個用於後續分 析的資料庫。由於平均分數是根據重點指標給予 0 到 1 之間的評分,它們反映了 從完全沒有管理到高度管理的連續狀態。最低的三分之一 (0.33 以下) 表示整個保 護區的管理是不夠的。0.33 到 0.67 之間的分數意味著,雖然基礎的經營管理已經 到位,但仍有相當大的改善空間。由於大部分的得分介於這之間,因此進一步將其 分為 0.33 到 0.5 (基本,但有重大缺陷) 和 0.5 到 0.67 (基本,但有小缺陷)。一般經 營管理健全的水平約在三分之二處 (0.67),在此以上表示有相對較好的經營管理。
這些分界點與常見的評量方法吻合。
6. 重點指標和平均值之間的相關性
為了查明哪些經營管理因素對整體效能的聯繫是最緊密的,採用皮爾生相關 係數 (Pearson’s Correlation Coefficient) 來分析數據,測試個別重點指標和經營管 理效能的整體平均得分之間相關性的強弱。也計算與成果指標(保育價值的現狀和 保護區對社區的影響)的相關性。此外,對於 264 個重複的研究 (在一個保護區中 已經進行過兩次或更多的評量),比較第一次和最後一次評量的平均分數,以調查 保護區歷年經營管理的變化程度。
7. 分析報告
為了補充原始數據的解讀,在回顧過所有可用報告後,對經營管理的優勢和弱 勢做總結。
8. 限制
這項研究的過程和結果,不可避免的有部分限制,需要謹慎的解釋。分析資料
是由已在進行中的研究得來,但報告所評量的保護區不可能代表世界上所有的保 護區類型。大多數報告中的訊息是用定性的評量方法,其中得分可能會因評量者的 知識和觀點而有所不同。原始數據轉換成通用報告格式以進行交叉分析,難免會導 致大量數據的遺失,特別是從詳細研究中獲得的信息。重點指標的信息含量變化非 常大:有些方法在一個廣泛的主題會詢問多個問題,然後將其合併為一個重點指標,
然而有的方法在這個主題上只有一個相關問題。這也意味著,這些方法的原始加權 系統通常不會反映在後續的分析上。要分析不同方法所得到的結果,最好能結合和 交叉分析數據,但事實上從不同方法收集到的數據可能是保護區不同面向的呈現。
圖 5 通用報告格式發展過程 (資料來源:譯自 Leverington et al., 2010)8
本研究也試著將兩份評量問項對應到重點指標的項目,使兩套不同的工具轉 換到相同的架構,再根據上述的計算方式,比較兩者在重點指標上呈現分數的異同,
進一步從題目敘述、影響給分的因素,分析造成差異的原因。最後,從改變各指標 的權重和刪減導致重點指標得分和個別得分有落差的題目兩大方向著手,期望能 建立將兩評量方法結果轉換的系統。
8 世界保護區資料庫 (World Database on Protected Areas, 簡稱 WDPA);生物多樣性指標夥伴關係 (Biodiversity Indicator Partnerships, 簡稱 BIP)。