第二章 文獻探討
第三節 非營利組織的評估
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
想的達成程度化為績效指標,然後設法結合人力、物力,有效地達成理想中的境 界(鄭讚源,2004:21)。
在多元社會中,不同使命類型的非營利組織可發展出不同的績效評量構面與 指標,進行評估。徐木蘭、黃美華(2005:2)認為,國內非營利組織實證文獻 存在共通性的績效評估向度,包括顧客面、財務面、學習與成長面、內部流程管 理面、外界關係等,而顧客面及財務面為最重要的二大向度;且認為非營利組織 應依組織特性及使命不同,訂定特殊性的績效評估指標。
本研究所稱績效指標採整合績效管理途徑,由內部管理(財務管理、組織管 理與服務品質)與外部影響(網絡關係與政府互動)等構面,探究非營利組織之 績效指標。
第三節 非營利組織的評估
由於非營利組織需回應各類不同利益關係人所關心的議題,因此,其評估較 具難度及複雜度,更需小心謹慎。
壹、評估(evaluation)的意義、類型與策略
一、評估的意義
評估最早被應用在商業生產上,主要被廣泛應用於組織績效的評鑑。Carol Weiss ( 1998 : 4 ) 將 評 估 定 義 為 :「 評 估 是 根 據 一 組 顯 性 或 隱 含 的 標 準
(standards),有系統地衡量一項政策或方案的執行與(或)成果,其目的是 經由此項工具的使用來改善政策或方案品質」(涂瑞德譯,2008:19)。吳定
(2004:345)從公共政策角度觀點認為「評估是指運用研究技術衡量某一特 定方案的過去績效,尤其是該方案對欲解決的問題或欲改善情境的影響狀況,
目的在改進方案的執行技術、程序、及其他運作事項,以達成政策目標」。它
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
和衡量(measurement)、評量(assessment)、評鑑(appraisal)的概念是相通 的。
績效導向是營利組織的目的,而非營利組織無法完全以獲利能力衡量其績 效,通常轉化為所謂的責信度的方式。在責信關係中,瞭解評估的層次是相當 重要的。根據 James Cutt and Vic Murray 在「非營利組織的責信與績效評估」
(2001)所指出,評估可分為以下幾個層次(鄭讚源,2005:6):
(一)個人(individual):重點在個人工作表現和工作目標的達成。
(二)方案、組織單位或功能(program, unit, or function):重點在組織 的構成(方案、組織單位……)的表現、方案是否成功,以及治 理功能的影響……等。
(三)組織(organization):重點在於組織整體所能達成、總體的宗旨 和目標。
(四)社會體系(Social system):評估不同的利益團體在匯集社會議題 上的影響,較不注重組織對議題的處置,而較重視議題本身對社 會體系整體的影響。
二、評估的類型
Scriven(1967)是最早將評估分為形成性評估(formative evaluation)與 總結性評估(summative evaluation)。形成性評估的目的在於支持改善的過程,
強調確認方案的優勢與缺失。是以改善政策方案執行情況為目的所進行的評 估;以協助在方案執行階段之前或執行中,作必要的決定,以增進方案的執行 績效。而總結性評估則是想要瞭解方案的成效與影響,進而決定方案是否持 續,是在方案週期或是整個方案完成後才進行的評估。其目的是要檢視方案的 效果與成效,進而決定方案是否繼續。評估類型詳如表 2-8。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表 2-8 評估的類型
形成性評估 總結性評估
關心對象 方案管理者/實務工作者 決策者、贊助者、社會大眾
資料蒐集重點
釐清目標、執行的過程、確認 結果
執行的問題 結果測量
評估者角色 互動 獨立
方法論 同時使用質量,但偏重視質化 重視量化
資料蒐集頻率 持續追蹤 有限的次數
報告過程 非正式的團隊討論與會議 正式報告
報告頻率 整個過程 評估完成
資料來源:Herman et al.,1987,引自張英陣(2008)。邏輯模式的省思:209。
此外,官有垣(2008)在「非營利組織評估講座-認識非營利組織評估」
中,對非營利組織為何要進行方案評估(program evaluation),提出以下說明:
1. 非營利組織的行政領導者,需要知道他們所推動的方案與執行的活 動,是否具有效益?如何有效益?以及這些方案內容應如何修正,才 能改善方案的產出結果?
2. 非營利組織的方案目標,通常比較主觀與抽象,因而要回答上述問題,
絶非立即、簡易之事。
3. 方案評估能提供有關非營利組織方案與活動執行效果的資訊。而這些 資訊,對方案在未來是否繼續推動或是如何進行是非常有用的。
4. 一般而言,政府及立法監督機關經常透過評估工作以瞭解政策的執行 成效。一般決策者經常注意這類的數據資料,以作為未來提供資源的 參考。
5. 方案評估作為研究的方法可定義為:「一個社會研究的過程,對於政治
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
6. 方案評估為社會研究的應用,一方面是去陳述方案整體之表現,另一 方面則是找到一些指標,以判斷方案表現的成效。
另外,評估的類型如依時間序列,又可分為前評估或需求評估(needs assessment)、過程評估(process evaluation)、結果(成果)評估(outcome evaluation),茲說明如下:。
(一)前評估或需求評估:計畫實施前的評估,提供決策者修正計畫,確 認需求與資源的可及,與目標的可達成程度,具管理的功能。
(二)過程評估:計畫實施中的評估,瞭解方案執行過程中的相關事項,
據以調整偏差或修正。成果是由於被評估者的過程和行動所造成的 結果,因此某些評估主要在測量行動的產生和聚焦,過程評估也可 以發現工作過程中的問題與事先為思及的盲點。(鄭讚源,2005:7)。 過程評估的目的在於瞭解組織的現況以推論組織的執行與目標達成 的因果關係,有監督、控制的意含(教育部,2005:7)。監督
(monitoring)是指持續或定期的對政策方案或計畫的執行狀況,評 估與原訂標準是否相符的一種活動;控制(controlling)是一個人、
團體、或機關行使職權、管制、監督、限制、命令等方式,操控公 共政策制定、執行與評估的權力。機關或人員可透過不同方法進行 控制,但如缺乏控制的能力,必將使執行遭遇極大的困難(吳定,
2003:28、358)。
(三)結果(成果)評估:計畫實施完畢的評估,實施重點為產出評估及 影響評估,提供計畫執行完畢之效果、判斷績效與生產力。吳定
(2003:359)指出結果評估係指評估人員對方案的執行結果進行評 估之意,包括產出評估(output evaluation)與影響評估(impacts
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
evaluation)。前者著重於評估執行機關對標的人口從事了多少次的服 務、給予多少數額的金錢補助、生產多少數量的產品,偏重於「數 量」的計算;而後者則是評估它對標的人口究竟產生何種有形的或 無形的、預期的或非預期的影響,較偏重於「品質」的衡量。
Owen 和 Rogers(1999)很重視影響評估的幾個主要研究途徑,官有垣、
王仕圖(2008:174-175)指出,產出評估主要是針對方案活動的結果進行量化 的統計分析,反之,影響評估是檢視方案執行的結果,著重在執行的成果表現,
瞭解參與方案的對象,在參與期間或結束後所獲得的受益狀況。換言之,影響 評估是「以結果為基礎的評估」(outcome-based evaluation)。廣義而言,它所 關懷的議題包含:(1)判定方案結果達成至何種的程度。(2)判定方案是否如 預期般的被執行,以及執行如何影響到最後的結果。(3)提供資助者、資深管 理人,以及政府機構首長關切方案資源配置已達成的程度。(4)提供決策相關 的資訊,以利未來方案複製或延伸的參考。影響評估之內涵摘要如表 2-9。
‧
資料來源:Owen and Rogers,1999:265,引自官有垣(2008)。非營利組織的方案影響評估:176。
三、評估的策略
針對如何進行評估,鄭讚源(2004:12)指出評估過程至少要思考四個策
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
略問題,包括:
(一)設計評估體系:為什麼要評估?(是「形成性」或「總結性」評估);
評估標的為何?(是評估方案、功能、組織或體系);何種評估模型?
(結果、過程或成本評估模型);何時和何人評估?(包括內在評估、
外在評估)。
(二)選擇資料收集方法:選擇量化(計量、問卷調查)或質化(會談、
焦點團體、觀察法、個案研究)方法。
(三)發展評估標準:考量評估結果所代表意義;什麼是成功或失敗?問 題存在的指標為何?
(四)解釋與使用:為何出現這種結果(是缺乏訓練、資金或管理?情況 超出控制?)能加以改進的部分?(該改變、中止、或更多投資?)
以功能層面來說,績效評估(performance evaluation)係指一個組織試圖達 成某項目標、如何達成與是否達成的系統化過程;績效評估的對象並不是個人 的績效,而是以組織績效為主。依此,有學者指出:「基本上,績效評估是任何 利用追蹤與評估組織績效的過程」。以實踐的觀點而言,績效評估是一種誘因機 制,用來檢驗組織效率和生產力的改變,另配合適當的獎懲措施,可強化績效 評估的激勵效果(孫本初,2006:396-399)。
貳、評估的三個構面
肯尼斯(Patrick Kenis)認為影響非營利組織評估的三個構面包括政治、衡 量及實作,並提出以下六點重要概念(涂瑞德譯,2008:18-27):
一、任何評估準則都有弱點
對企業而言,績效衡量的最佳指標是根據一般大眾是否願意支付一定的 價格來購買企業所提供的產品或服務。換句話說,企業的成功與生存取決於
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
顧客的消費決定。然而對非營利組織而言,卻因非營利部門彼此之間追求不 同且甚至是彼此矛盾的議題與目標,致使增加非營利組織評估的難度與複雜 度。
二、没有所謂最佳的評估準則,因為按其定義,任何準則都具有規
範性
選擇評估準則時,指標必須合理與適切,評估問題也必須是可以回答的。
不同的評估準則各有其優點與重要性,在某段期間內,一些評估準則有可能 會比其他準則變得更為重要。
三、用來評估非營利組織的工具不等同於評估準則
有人倡議評估非營利組織時,也應謹慎選用正式的績效衡量工具,如「全 面品質管理」(total quality management)、「作業規劃」(operational planning)、
「標竿」(benchmarking)以及「績效成果行為法」(performance and resultsacts)
的運用等。但同時也必須謹慎於「何時」(when)以及「如何」(how)選用 與使用他們。
四、指標必須符合一些方法學的標準
準則帶有政治性,但指標本身卻是與衡量的議題有關。因此,指標必須 兼顧方法學與科學標準。根據 Weiss(1998)的研究指出,選擇評估指標須考
準則帶有政治性,但指標本身卻是與衡量的議題有關。因此,指標必須 兼顧方法學與科學標準。根據 Weiss(1998)的研究指出,選擇評估指標須考