• 沒有找到結果。

績效衡量與指標設計:方法論上的討論

N/A
N/A
Protected

Academic year: 2021

Share "績效衡量與指標設計:方法論上的討論"

Copied!
32
0
0

加載中.... (立即查看全文)

全文

(1)

民97年12月 頁61-91 國立政治大學公共行政學系

績效衡量與指標設計:

方法論上的討論

*

莊 文 忠

**

《摘要》

隨著公共管理思潮的流行,績效管理運動亦大行其道,無論是公部 門、私部門、抑或是第三部門,目前均籠罩在追求績效的氛圍之中。究竟 這一切努力只是化為一種煙霧和口號,或是具有實質的策略意涵(尤其是 以提供公共服務為目的公部門),實有待吾人投入更多的注意力,從方法 論的觀點,更深入的剖析績效衡量與績效指標設計的相關課題,檢視績效 管理的概念化和操作化過程中影響績效資訊有效性的潛在因素,並思考可 能的解決方法。 本研究由研究方法的角度切入,著重在績效管理相關概念與衡量操作 的討論,並以實例作為輔助說明。在文章的結構鋪陳方面,本文首先檢析 績效衡量的發展趨勢,以掌握整體的演變脈絡;其次,本文從指標概念的 操作化過程,析論績效指標的不同類型與意涵;最後,本文利用衡量誤差 和非衡量誤差的觀念,分別探討指標設計與績效衡量過程中可能影響績效 資訊品質的因素,並提出若干相對應的解決策略。 [關鍵字]:績效管理、績效衡量、績效指標、指標設計、公共管理 投稿日期:95 年 8 月 4 日;接受刊登日期:97 年 9 月 29 日。 * 本文初稿發表於二○○五年五月二十六日至二十七日由世新大學行政管理系主辦之「兩 岸學術研討會:市場經濟與政府管理」。誠摯感謝匿名審查委員提供寶貴的修正意見, 一切文責由作者自負。 ** 世新大學行政管理學系助理教授,e-mail: [email protected]

(2)

壹、前言

「沒有衡量就沒有績效,沒有績效就沒有管理」,這句話可以說是描述績效管 理運動的最佳開場白。事實上,這句話也揭露了幾個有關績效管理的訊息:(1) 管理的目的乃是為了提升組織的績效,若組織可以不重視績效,則沒有管理必要; (2)組織需要訂定一套評量資源運用與成員表現的標準(或指標),缺乏這一套 標準,便無從認定組織的績效水準;(3)凡是無法衡量的事物,就不會成為組織 績效的一部分,亦即績效衡量偏重於組織內可以測量的有形標的,無形的成果(如 組織文化、合作精神、組織形象、顧客品牌意識等)很少也很難具體反映在績效報 告上;(4)績效衡量的結果會影響管理者的策略訂定,錯誤或不當的績效衡量結 果,可能對管理者產生誤導的作用,嚴重者導致錯誤的決策後果。這些訊息大致描 繪出績效衡量與指標設計對現代組織經營管理的重要性。

大抵言之,自 Peter Drucker 在一九六○年代提出目標管理(MBO)的概念

後,企業界在一九七○年代掀起一波新的管理革命。雖然有關績效衡量的做法並非 始於此波浪潮之中,不過,績效衡量確實是在目標管理運動中大行其道,可以說是 目標管理(MBO)的具體化作為,也為日後的「標竿學習」(benchmarking)概念 奠下基礎。申言之,績效衡量的第一步即是確認組織的目標,再將這些目標轉化成 可衡量的指標。是以,組織目標的設定愈清晰,愈有助於指標的設計與衡量。再 者,目標管理重視個人對目標達成的承諾,績效衡量成為實現承諾與否的最佳檢驗 工具。另一方面,透過組織績效指標的設定與衡量,可以搜尋相同領域內表現優異 的標竿對象,以其績效水準作為組織努力達成的標的,同時,經由監測組織在這些 指標上的改進程度,可確實掌握組織的優劣之勢何在。誠如 Pollitt 等人(1994: 11)所言,一個沒有績效指標的標竿學習將淪為理論操演或紙上談兵,無法形成完 整的「學習圈」。 由此觀之,績效衡量構成組織管理的基礎,而指標設計則為績效衡量之依據。 績效衡量與指標設計對促成組織的「良善治理」(good governance)有其重要性和 必要性。但是,檢視相關文獻時亦不難發現,推展績效管理運動的兩大問題厥為: 績效來自哪裡(where do performances come from)?如何評估這些績效(how to evaluate those performances)?換言之,多數人雖然知道績效管理的正面效益,然 而,不是組織內所有的方案或活動均與績效的創造有關;即使有其關聯,也不是全

(3)

都具有可衡量的基礎。如 Hatry(2006: 75-76)即指出有些方案或活動的衡量有其 困難性: 一、 預防性方案:諸如犯罪防制、防範青少年藥物濫用、疾病防治等方案,需要極 為複雜和昂貴的方案評估設計,因此,在大部分的績效衡量中僅能推測在沒有 這些方案的情況下可能的結果是什麼,很難獲得客觀、具體的結果資訊。 二、 基礎研究和長期的規劃活動:此類型的方案或活動需要很長的時間才能看到預 期結果,在例行的績效衡量中難以呈現,更令人困擾的問題是,在這段期間內 可能有其它因素介入,對預期結果造成影響,增加因果關聯上的複雜性。 三、 為不特定服務對象的方案:有些方案或活動係針對不特定對象所提供的服務, 尤其是一些公益性質的活動,在無法確認服務對象的情況下,顧客滿意度等績 效衡量等都可能失真,無法真正反映組織的表現。 四、 為少數特殊事件設計的方案:有些方案雖然僅適用於少數個案之上,但其所彰 顯的意義卻非常重大,「以量論價」有例公允。例如司法院大法官會議的釋憲 案雖然係針對具體個案所做的解釋,件數亦不多,但對國家和社會的影響卻是 非常大,無法單從件數衡量其績效,甚至每件釋憲案的重要性亦不相等。此 外,有些針對緊急事件而設計的方案,亦無法利用例行性的績效衡量方式予以 評估。 五、 為處理問題的某一部分而設計的方案:從宏觀的角度來看,有些方案係針對問 題的其中一部分而設計的,並非企圖解決整體問題,例如在處理青少年未婚懷 孕問題中,主管教育機關在管轄權和資源有限的情形下,可能僅能以學校學生 為對象設計方案,對此方案的績效衡量可能會受到整體問題解決程度的影響。 六、 組織內部的支援服務:組織內部的活動中有些雖然與使命或目標的達成沒有直 接的關聯,但卻是不可或缺的,此以幕僚單位或技術單位所從事的活動最為常 見,如設備維修、人事業務、會計業務、資訊系統等,這些支援性活動在績效 衡量上亦有其困難之處。 有論者即指出,社會科學背景的學者(尤其是公共行政學者)早已體認到績效 的衡量並不是一件簡單的事,即使進入績效衡量階段,績效指標的建立與選擇是非 常專斷的(Meyer, 2002: 2),而績效資訊的呈現與詮釋更有可能不是一個客觀、 中立的,而是受到行動者本身的立場所影響(Moynihan, 2008: 2)。這雖然點出績 效衡量的複雜與困難之處,但並不表示毫無可取之處,事實上,應用績效管理模式 而獲致成功的個案亦不在少數。換句話說,在績效管理運動方興未艾之際,個人深

(4)

切以為,若績效管理要能成為帶動組織進步的動力,而不流於形式主義的樣板,應 有必要就方法上進行根本性和系統性的解析與重構,檢視並釐清績效衡量與指標設 計的意涵,始能提升績效管理的技術與效能。基於此一認知,本文之目的在於就績 效管理中有關績效衡量與指標設計的相關議題提出討論,指出值得投入更多關注的 面向和焦點,創造深度探索和廣泛對話的契機,以收到拋磗引玉之效。 在章節安排方面,以下先析探績效衡量的發展趨勢,藉以掌握整體的演變脈 絡;其次,本文將從指標概念的操作化過程,析論績效指標的不同類型與意涵;最 後,本文利用衡量誤差和非衡量誤差的觀念,分別探討指標設計與績效衡量過程中 可能影響績效資訊品質的因素,並提出若干相對應的解決策略。

貳、績效衡量的發展趨勢

從研究方法的視角來看,「概念」(concept)的出現或許是一種偶然機遇, 但是,概念的發展與成熟,卻是需要時空環境的支持與孕育,績效衡量這個概念自 亦不例外。如許士軍(2000)在《績效評估》一書的導讀中指出,由於社會型態的 改變(後工業社會或知識社會取代工業社會),導致組織與管理的基礎發生根本改 變,進而催化出新的績效評估制度,此一制度具有以下的特色(高翠霜 譯, 2000:6):(1)以追求顧客滿意度為基本導向,要求經理人採取顧客觀點來界說 績效標準。(2)將績效評估提升到策略層次,要求組織的高階管理者必須參與標 準的訂定和評估結果的詮釋與決策。(3)採取整體觀點以考慮績效,打破傳統的 功能部門觀點,不僅為了避免不同功能間的本位主義,而且藉此消除由於部門觀點 所造成的繁複而多餘的活動。(4)更進一步擴大到不同組織間價值活動鏈的整 合,這樣才能配會目前所謂「供應鏈」(supply chain)或「依訂單生產」(Build-to-Order, BTO)的趨勢。 就績效管理理論發展的趨勢來觀察,近幾年,公共行政研究聚焦於績效管理的 討論和衡量指標的建構上,與公共管理的崛起實有密不可分的關係,1 此由諸多有

1 公共行政(public administration)與公共管理(public management)之間的區辨一直困擾

著行政學者,有些學者堅持二者在概念意涵與指稱範圍上有極大的差異,有些學者則致 力模糊化二者的界線。事實上,公共行政與公共管理之間並非對立的,而是關注面向與 重視價值上的強弱之分,諸如:(1)公共行政追求理念的闡述與發展,公共管理追求策 略的制定與執行;(2)公共行政強調公平正義的價值,公共管理強調經濟效率的原則;

(5)

關公共管理的學術論著中均闢有專章討論績效管理議題即為明證(孫本初,1998; 詹中原,1999;Golembiewski 等人,1999;林鍾沂、林文斌 譯,1999;吳瓊恩等 人,2001)。要言之,公共管理雖然是以經濟學和管理學作為理論建構與邏輯推演 的基礎,但更重視在實務面提出問題解決的策略,強調以具體行動來改變傳統官僚 體制的僵化和無效率,Osborne 和 Gaebler 於一九九二年所著的《新政府運動》 (Reinventing Government)一書即為典型代表。 回歸到績效管理發展脈絡的探索上,綜合相關文獻可以發現,績效管理運動的 發展具有幾個較為明顯的趨勢:由建構量化指標到建構質化指標、由評估財務指標 到評估非財務指標、由注重基層投入到注重高層投入、由衡量投入層面到衡量結果 層面、由強調個人績效到強調組織績效等,以下分別敘述之。

一、由建構量化指標到建構質化指標

績效管理的研究途徑因其所強調的重點不同,主要可分為三種(黃一峰, 2003):(1)傳統的績效管理途徑,強調的是「事」的績效評估,評估重點在於 「是否把事情做好」,在管理上屬於「效率」觀點,研究方法偏向「量化」的研 究,績效指標偏向量化基礎;(2)修正傳統的績效評估途徑,開始注意到「人」 的因素,評估重點漸漸轉向「做對的事情」,在管理上屬於「效能」的觀點,研究 方法偏向「質化」的研究,績效指標偏向質化基礎,品質觀念的萌生為其代表; (3)整合的績效管理途徑,同時強調人與事,指標的建構同時注意到量化與質化 指標的建構及其意義,重視「顧客導向」、「顧客滿意」等措施可為其代表。 深究言之,對私部門企業來說,營利無疑是首要目標,只有在達成這個目標的 前提下,其他的目標才會被考慮。因之,吾人可以發現,私部門的績效評估指標主 要都是建立在與獲利率有關的量化指標上,諸如投資報酬率、資產負債比、市場佔 有率、產品不良率等。然而提供公共服務的政府部門和第三部門而言,績效的評估 經常找不到相對應且合理的量化標準,因此,消極者率而主張提供此類服務性質的 組織難以適用績效管理制度,抱持著抵制的態度;不過,仍有些積極者認為既然社 會事件或社會現象都是可以用量化或質化的方式加以研究,公共服務固然多無量化 (3)公共行政與政治學的關係較為親近,公共管理與經濟學的關係較為密切;(4)公 共行政以民主為本,公共管理以市場為師;(5)公共行政堅守法律制度的規範,公共管 理善用法律制度的彈性。從治理(governance)的角度而言,二者實可以相輔為用,相 輔相成。

(6)

指標可用,與其排斥它,不如接受此一事實,積極發展可以測量質化績效的評量指 標(林文燦,2004:6),職是之故,有不少的研究者紛紛投入質化指標的討論與 開發。2

二、由評估財務指標到評估非財務指標

長久以來,由於會計制度的周全性與便利性,無論是在公部門或私部門,利用 財務資訊作為績效指標的情形並不少見,如成本效益分析、投資報酬率等即是明 例,根據投入成本與產出效益的比值當作組織的績效結果。然而,越來越多的人注 意到以財務性指標作為唯一績效指標的不完整性與偏差性,尤其是當人類的生產活 動有愈來愈高的比例屬於非實體性產品時,財務面的績效衡量更顯得左支右絀。如 Niven(2003: 7-8)即指出,在邁入知識經濟時代後,過度依賴財務指標會造成許 多的限制,包括: 1. 與今日的企業實況不一致:有形資產(如廠房、設備、土地、現金等)不再 是評估企業價值的唯一來源,員工能力、顧客關係、創新和變革的文化等, 均可以為企業創造大量的價值,而這些均是企業內無形的資產,無法具體陳 現在財務報表上。

2. 看後視鏡開車(driving by rear view mirror):這是典型的批評之一,即財 務報表所顯示的是過去的績效,無法對未來的績效提供指引作用。要言之, 與財務面有關的指標乃屬於落後指標(lag indicators),罕具有預測組織未 來表現的功能。 3. 增強功能性窠臼的傾向:傳統的科層組織重視功能分析,但在任務型導向的 組織中,合作是達成目標最重要的事,需要的是合作無間的團隊,然而,財 務報表並無法掌握到這種跨功能的相互依賴性,而是依功能別編制而成。 4. 犧牲長期效益的考量:為了節省成本支出,員工的訓練與發展等不具短期效 益的支出經常是優先刪減的項目,甚至裁員以減少虧損,這些做法雖具有正 2 Brinckerhoff 指出,評估制度雖有量化的需求,但若全然用數字或比率來評估排序是錯誤 的,而且數字若是無法和環境系絡相連結的話,就會失去意義,其他人也很難解讀數字 背後所代表的意義,因此,Brinckerhoff 主張,最好能有文字性的評估,即使是使用量表 的格式,也應該加上一些判斷說明(江明修 譯,2004:131-132)。在績效衡量報告 中,除了提供量化指標的資訊外,亦應該提供被評估對象陳述其方案或活動中,僅能用 質化指標形式呈現之績效資訊的空間,因為「不是所有重要的東西都是可以衡量的(not everything that is important is measurable)」(Hatry, 2006: 78)。

(7)

面的短期效益,不過,卻很有可能因此而斬斷最有價值的長期優勢來源。 5. 財務衡量與組織內許多層級無直接關聯的:財務報表的性質是非常抽象的, 經過一層層地往上層滙整後,績效數字加總後就逐漸喪失原來的意義。換言 之,愈往上層就愈抽象,直到最上層時,許多層級的經理人和員工已經無法 辨識報表上所呈現的資訊,無助於後續決策和採取行動。此與管理的目的相 違背,蓋所有層級的員工所需要的績效資訊是對其行動有用的,是以,這些 資訊必須是和其日常活動有關聯性的。 歸結言之,財務績效衡量雖然有上述的缺點,但並不能武斷地推論說財務面向 不重要,不需要成為績效評估的項目,而是提醒績效評估不應該只有財務面向的指 標。換言之,學術界與實務界有越來越多的人要求增加非財務構面的績效衡量指標 (Kaplan & Norton, 2000; Meyer, 2002;陳燕錫等人,2001),例如品質管理運動 可 以 說 是 最 早 推 動 非 財 務 指 標 衡 量 的 動 力 , 而 美 國 商 業 部 所 設 立 的 Malcolm Baldrige 品質獎即鼓勵企業評估員工的士氣、生產品質和顧客滿意度(Meyer, 2002: 42),Kaplan 和 Norton(1996a, 1996b)的平衡計分卡制度尤為明顯,財務表現僅 是績效衡量的四大構面之一。

三、由注重基層投入到注重高層投入

績效評估強調應與組織的使命與願景相互結合,對非營利組織而言,此一發展 尤其特別強調。就作用上而言,使命是一個組織存在的理由,也是組織能為環境創 造的價值或貢獻,組織的目標和策略會改變,但使命卻是持久的。任何組織的成 立,最先陳述的是使命為何,對使命有了根本性的瞭解,才能訂出未來的努力方向 和具體的行動計畫。另一方面,Niven(2002: 84)指出,願景陳述宛若描繪出一張 發展藍圖,勾勒出組織在未來五年、十年或十五年,所要達成的模樣。申言之,願 景的陳述雖然是依循著使命和價值所構築而成,但不應像使命或價值那麼的抽象或 深奧,應該具體地描述出組織的期待,和達成此一期待的步驟化策略,吸引成員在 組織內一起打拚。 一般而言,組織的高層領導者對使命與願景的掌握,應該是比基層人員更為深 入,因此,績效評估制度的建立若沒有高層管理者的參與,很難在指標上反應組織 所重視的價值。再者,領導者本身擁有政策執行的權力,沒有他們的支持與授權, 績效評估制度的推展勢必阻力重重。因此,許多管理顧問和政策分析人員所提出的 建議之中,幾乎都會指出取得高層管理者支持的重要性。如 Niven(2002)、Hatry

(8)

(2006)等人即指出,對組織內任何重大的新活動或新方案,高層的支持是眾所皆 知的必要條件,績效的衡量亦不例外,高層管理者的堅定支持是任何組織或單位有 效推動績效衡量過程的充分要件。在推動績效衡量的過程中,需要高層管理者支持 的兩個主要目的是(Hatry, 2006: 32):(1)確保能夠取得高層給與充分的時間和 資源的承諾,以便妥適地發展、執行和操作績效衡量的過程;(2)確保組織管理 階層對績效管理工作的興趣,及提高衡量所得的績效資訊被善加利用的可能性。

四、由衡量投入層面到衡量結果層面

在公共管理的潮流下,強調以結果導向的績效評估取代投入導向的績效評估。 過去,行政機關習慣將預算編列、人力配置、法規修訂等視為組織的績效,較少關 注到這些投入和活動到底達成什麼結果;直到近十多年來,才開始強調結果績效 (Morley et al., 2001; Hatry, 2006),諸如破案率、死亡人數、空氣污染指數等結果 指標逐漸被納入績效衡量項目之中。要言之,此一轉變凸顯出目標的達成比程序的 管理更為重要,因為顧客(公民)的滿意與否來自於對最後結果的感受多於對過程 的關注。這個趨勢具體反映在組織由重視效率轉向追求效能的實現,蓋效率是以投 入與產出的比率來衡量,著重在內部運作的程序,較強調技術面的改進;效能則代 表一系統產出所達成預定目標之程度,因此,一系統之效能大小,乃受所預定目標 內容及程度之影響(吳瓊恩等人,2001)。 此一轉變亦象徵著組織由重視內部績效向重視外部績效移動。較早的績效管理 運動主要是強調效率、效能和經濟等減少成本和增加生產力的概念,期望以最少的 投入達到最大的產出,不但是一種企業經營的概念,也反映出對組織內部管理績效 的重視。及至一九八○年代開始強調品質、顧客滿意度等價值時,績效的意涵就不 再侷限於由組織本身的立場來思考,而進一步探討組織與所處環境的互動關係,績 效表現的水準必須置於環境系絡中思考(黃建銘,1999:71)。由績效指標設計的 演變過程亦可發現,自一九五○和一九六○年代的注重財務和經濟面向的衡量,到 一九八○和一九九○年代的注重品質和顧客面向的測量,其背後的哲學思維有如進 行一場典範變遷的革命,由重視科學法則與客觀方法的邏輯實證論,逐漸轉變為強 調人性價值和主觀方法的後實證論觀點(黃建銘,1999:77)。「為顧客提供最好 的品質」已經成為許多組織的典型使命宣言,從顧客的觀點來設計績效指標,正好 反映組織以顧客優先的價值觀。以英國為例,英國政府在一九九一年提出「公民憲 章」(Citizen’s Charter),其目的即是開放更多的管道讓民眾參與政策的訂定與執

(9)

行,在績效指標的設上積極回應民眾對政府施政的要求。

五、由強調個人績效到強調組織績效

組織之所以存在,其目的在於透過集合個人的力量來完成共同的目標,因此, 對組織績效的衡量,若單獨強調個人績效的評估,可能陷入「見樹不見林」的泥淖 之中。因此,愈來愈多的人相信,即使個人的績效再好,若組織的績效無法達成, 也是徒勞無功。如 Sluyter 將組織績效定義為:「機構透過系統化的努力,不斷提 昇有效處理顧客需要的能力,以滿足每個組成機構份子的需要時,所展現的整體效 能」(劉曉春 譯,1999:21)。在科學管理時代,科學方法主要是利用在個人產 能的改進上,雖然個人績效獲得提升,但由於管理階層與基層員工的緊張對立關 係,孤立的勞動模式,組織的整體績效增加有限,在專業分工與互動密切的今日, 惟有合作才能發揮「一加一大於二」的效果,組織績效才能顯現。 以企業為例,組織的營運表現與否主要是看組織的年度財務報表,必須是組織 整體的獲利是正數的前提下,股東與員工才有可能分配股利與獎金。每位員工應該 分配到多少獎金,再比較組織內各部門的績效水準,其次才是個人的績效表現。以 義大利飛雅特公司為例,該公司 16 個部門各有一位經理人,根據其獎酬制度的規 定,若該年度整個公司的營運目標無法達成的話,即使有部分的人已經達成目標, 全部的經理人仍拿不到獎金,藉此培養出各部門在總體目標下既競爭又合作的關 係,有效避免各自為政而傷害了企業整體績效目標的達成(袁世珮 譯,2003: 151-152)。 在此值得闡釋的是,無論是個人績效或是組織績效的衡量,所討論的焦點是: 個人或組織的行為對績效結果會造成什麼影響,這也是大部分有關績效衡量的文章 所關切的議題,思索如何將個人或團體的行為轉化成績效衡量的指標,再進行資料 蒐集與統計分析的工作,在方法論上,這是典型的實證論(positivism)觀點,即 假定個人和組織的行為具有可觀察性,有一群客觀的指標存在那裡(out there), 只要發現這些指標,就可以做很好的測量。不過,目前出現討論另一個問題的聲 音:績效衡量的結果會對個人和組織的行為造成什麼影響?即績效衡量結果又如 何?績效衡量結果是否會對個人或組織的行為造成負面效應?有哪些做法可予以化 解?主張績效衡量是管理的工具,而非管理的目的,這是批判論(criticism)的觀 點,不再視績效衡量為理所當然和正確無誤的做法,而是必須考慮其必要性與合理 性,因為在績效衡量浮濫的情境下,許多測量指標的變異程度(range of variance)

(10)

愈來愈小,因而喪失傳達績效好壞訊息的功能。 歸結這些發展趨勢,吾人可以發現,績效評估指標體系的建立,必須考慮到許 多因素,包括:量化與質化的測量方式、財務性指標與非財務性指標的比例、基層 與高層的區隔、投入指標與結果指標的比重、個人績效與組織績效的辨別等,由此 可知,以單一指標衡量績效的方法顯然並無法滿足此一需求,必須思考設計多元化 的指標體系,才能與整個績效評估的潮流相互結合,與此相對地,在多元化的指標 體系下,勢必在方法論上衍生更多值得深思與處理的議題,而這也是本文後段所探 討的焦點。

參、績效指標的概念化

再從研究方法的觀點來看,任何概念的定義必須清楚才有衡量的可能。舉例言 之,當吾人對政治貪腐的內涵與態樣無法明確界定時,對此一概念的衡量便很可能 陷入「一個概念,各自表述」的困境,在缺乏交集的前提下,研究的成果難以對話 和累積,尤其是跨國性的貪腐行為比較分析,由於各國的民情文化不一,構成貪腐 的行為要件存在著法律上和認知上的落差,統計數字與排名順序的客觀性便令人質 疑。 「績效」一詞主要是現在或過去的活動表現的觀察與衡量,相對於組織的承諾 (promise),它不是未來導向的。換言之,績效衡量乃是對組織所提供的服務或 方案進行例行性或專案性的衡量,其先決條件乃是發掘或設計能夠忠實反映組織表 現的標準。雖然學者們對績效指標有不同的分類方式,舉例言之,如 Niven(2002: 115-116)以發生時間的先後,將績效指標分為「落後指標」和「領先指標」。兩 者的區辨是:落後指標呈現的是之前所採取之行動所獲致的結果,是某一段時間內 的最後結果衡量,一般是屬於歷史性績效,本質上未能反映目前的活動狀態和缺乏 預測力;領先指標則是導致或驅動達成落後指標數據的衡量,一般是衡量中間的過 程和活動,本質上具有預測力,組織可依據衡量結果做必要的策略調整,但在認定 和掌握上較為困難,通常是新的衡量指標,在組織內沒有歷史可尋。舉例言之,銷 售量和市場佔有率屬於落後指標,銷售量是受花在顧客身上的時間所驅動,市場佔 有率則和顧客的品牌意識有關,因此,花在顧客身上的時間和品牌意識即為領先指 標。 Kaplan 和 Norton(1996a, 1996b)由企業組織經營的觀點,將績效指標分成四

(11)

大構面,命名為「平衡計分卡」(Balanced Scorecard):(1)財務構面:所有的 企業活動乃是實現獲利之因果關係的一部分,經由投資在顧客、供應商、員工及創 新而產生的未來價值。財務績效是任何組織均必須重視的面向,但不應是唯一的面 向,尤其是對知識經濟時代下的組織而言,財務績效無法完全呈現組織的績效水 平。(2)顧客構面:企業達成財務目標的首要之務就是致力於滿足顧客的需求與 欲望,因為唯有顧客滿意才能創造企業的獲利率,是以,企業應積極經營顧客關 係,投入於顧客的價值、滿意度和忠誠度的維繫。從顧客的觀點,管理者必須回答 兩個重要的問題(Niven, 2003: 17):誰是我們的標的顧客(target customers)?我 們能為他們創造什麼價值?(3)內部流程構面:企業致力於生產過程、產品週期 與產品品質的改善,以確定提供一個包含現在、未來顧客的需求,以及問題解決能 力的內部完整價值鏈。(4)學習與成長構面:此構面是上述三個構面能成功產出 的趨力,包括員工的能力和技巧、資訊系統的建立和組織氣候與文化等屬於此一構 面的要素,是以,財務績效的達成、顧客滿意的提升和內部流程的改善等都會受到 此一構面的影響。由此可知,此一構面的要素是組織最寶貴的無形資產,可保持組 織求新求變的精神,有利於組織目標的實現。 除了上述的分類區辨外,事實上,亦有不少學者結合政策過程的概念,將績效 指標分為幾種類別(Carter et al., 1992; Hunn, 1994; Baker, 1994; Hatry: 2006;丘昌 泰 ,2000 ) : 投 入 ( inputs ) 、 過 程 ( process ) 、 產 出 ( outputs ) 、 結 果 (outcomes)、影響(impacts)、及輔助(auxiliary)等指標,分別說明如下,並 輔以圖一有關廉政績效指標為例作一說明。 一、 投入指標:指組織為了生產財貨或提供服務所投入的資源總量,包括資金(預 算)、人力、設備等。此類型的資訊與產出和結果的計算有所關聯,可以得到 效率和生產力的指標。舉例言之,在廉政績效衡量中,包括法規的修定、業務 計畫的擬定、人力與預算的配置等均屬之。 二、 過程指標:諸如工作量(workload)或活動方案。工作量或活動等過程資訊雖 然不一定與產出有直接的關聯,但對管理者而言,是非常重要的參考資訊,可 以掌握人力調配與工作負荷的狀況,避免勞役不均或工作延宕影響組織的產 出。例如在廉政績效衡量中,推行反貪宣導與教育、舉辦肅貪講習與訓練等均 屬之。 三、 產出指標:指傳送的財貨或服務,係組織內部活動所獲致的最後成品。產出資 訊本身無法說明此一結果是如何達成的。就此一定義而言,與組織內部活動無

(12)

直接聯結或涉及到組織外部人員共同努力的結果不宜歸為組織的產出,而以歸 為結果為宜。在廉政績效測量中,各項活動的參與人數、學習成效等,均為產 出指標的類型。 四、 結果指標:組織內部所進行的活動和方案,或所提供的財貨或服務對外所造成 效應,包括事件(events)、意外(occurrence)、或情勢(condition)等,這 些效應對顧客或服務對象有直接聯結。即結果與整個方案或活動的目標和使命 的達成程度有關,結果是方案或活動存在的理由。結果指標之一即是事件發生 的總量或次數,服務品質也包括在此一類別之中。就績效衡量而言,結果指標 的測量比產出指標的測量更為困難,不過,結果指標比產出指標更能反映出組 織的真正績效。舉例言之,政府官員參與反貪活動的人數屬於產出指標,減少 政府官員貪腐行為則為結果指標,後者雖然在認定上較有爭議,但比前者更能 代表政府的績效。有關結果的資訊包括正面和負面,正面結果係指組織的方案 或活動意圖達成的目標,負面結果則是非意圖的或不可欲的副作用。換言之, 任何的決定都有可能同時產生利益或造成損害,這些正面和負面的資訊都是衡 量組織績效時必須同時關注的面向。事實上,有關結果的衡量可再細分為: 1. 中介結果(intermediate outcomes):指此一結果本身並非最終的目的,而 僅是被預期能導致可欲目的的中間結果,例如回覆顧客詢問的速度僅是中介 結果,本身並不是目的,最終的目的是顧客是否得到滿意的答案。又如在廉 政績效衡量中,政風人員接受完整肅貪訓練的比例僅是中介結果,此一訓練 是為了更有效執行廉政政策所需要的步驟,訓練本身並不是目的。 2. 最終結果(end outcomes):任何活動或方案所企求的最後結果,例如犯罪 率的降低、火災次數的減少、減少貧窮人口數、顧客滿意度等。任何一個活 動或方案都可能有一個以上的最終結果。最終結果的資訊蒐集較為困難,所 涉及的時間亦較長,甚至可能必須等待好幾年才能蒐集到。舉例言之,在廉 政績效衡量方面,民眾對廉能政風的滿意程度、政策執行成本的降低等,均 為此類型的指標。 五、 影響指標:指推估某一方案導致特定結果的程度。不過,由於從績效衡量系統 所獲得的結果資訊很少顯示出該方案產生特定結果的貢獻大小,甚至在因果關 聯上顯得有點模糊,因此,有關影響的資訊更難加以確認,若能夠明確認定與 衡量的話,自應放入績效報告之中。例如,在廉政績效衡量方面,國際社會評 價的提高、跨國企業投資比例的增加等,均屬之。

(13)

六、 輔助指標:這類型指標主要協助說明前述五種指標的背景資訊和作為指標轉換 的標準,又可細分為幾種類型: 1. 效率與生產力:效率係指任一活動或方案的投入與產出(或結果)之間的比 率(ratio);倒過來計算,任一活動或方案的產出(或結果)與投入之間的 比率為即生產力。 2. 人口統計學和其他工作量方面的特徵:在完整性的績效衡量中應該包括生產 過程中其他相關的資訊,諸如組織所屬的產業特性、規模、地點等,就好比 在衡量醫院的績效時,也必須瞭解病人在接受診療前的患病嚴重程度和其他 病歷特徵,才能對醫院的治療績效做出適當的解釋。同樣地,各行政機關本 身的規模大小不一,所服務的標的人口屬性有所不同,在績效的評量上必須 將這些基本特性納入考慮。 3. 解釋性資訊:在績效報告中有些是屬於解釋性的資訊(量化或質化),幫助 讀者對績效資料做出適當的詮釋。這些資訊可能包括組織具有相當程度控制 的內部因素(如資金來源增加或重要成員離開),和組織無法操控的外部因 素(如經濟情勢的改變、不尋常的氣候條件),對於瞭解組織績效的起伏變 化有極大幫助。 此種分類方式的優點是,指標的先後順序清晰,決策者可以從組織的觀點,採 取逆向思考的途徑,先設想組織所想要達成的結果是什麼及可能的影響為何,再選 擇提供最能迎合此一結果的財貨或服務(產出),然後再分配生產這些財貨或服務 所需要的資源(投入)。值得一提的是,在這些不同類別的績效資訊中,一般較常 被當成績效指標的類別包括投入、產出、結果、效率和生產力。最少成為績效衡量 標的的則是影響指標(Hatry, 2006),其因為此類型的指標在認定上和測量上所遭 遇到的問題較為複雜,衡量結果的爭議性較大。 此外,雖然吾人將指標區分為上述六種類型,不可否認地,有些績效指標的屬 性在歸類上有模稜兩可的特性,以顧客(公民)的參與率為例,究竟是組織的產出 或是結果?在判定上有其困難之處。若顧客的參與是義務性強制性,Hatry 認為此 一指標可視為組織的產出;反之,若顧客的參與是自願性,則應視為組織的中介結 果,因為顧客的參與與否是受方案的吸引力所影響;若顧客樂在參與之中是方案的 主要目標,那麼,參與就是該方案的最終結果(Hatry, 2006: 24)。

(14)

投 入 產 出 中介結果 最終結果 過 程 修訂廉政 法規 擬訂業務 計畫 編列業務 預算 配置人力 規模 提倡防貪 教育 舉辦肅貪 講習 推行反貪 宣導 民眾參與 人數 官僚出席 人數 學員完成 課程 民眾檢舉 意願 查肅貪污 案件 官僚貪污 案件 民眾滿意 程度 公共政策 成本 社會反貪 文化 國際聲望 投資環境 影 響 基本特徵 組織年齡 成員素質 組織位階 解釋性資 訊 組織過去 績效 組織人事 更迭 整體經濟 情勢 … … 效率與生 產力 效率 = 投入 /產出 生產力 = 產出 /投入 圖一 廉政 機關績 效衡量相 關資訊 資 料來源 :本研 究。

(15)

最後,Meyer(2002: 6)指出,在整個績效衡量制度的設計方面,一個好的績 效衡量制度應該符合五項要求,茲陳述並補充說明如下: 1. 簡要性(parsimony):雖然單一指標有其侷限性,多元指標較能提供完整 的資訊,但指標的數目亦不宜太多,否則會超出個人的認知極限,無法將注 意力集中在重要的資訊上,當然指標資訊的蒐集成本也會隨之增加。如何滿 足此一要求,方法上可以藉用統計技術加以檢驗,例如當指標之間有很高的 相關性(包括正相關和負相關)時,顯示指標所提供的資訊很有可能是重複 的,不需要全部納入績效衡量,以符合指標簡化的要求。 2. 預測力(predictive ability):非財務性的指標應該可以預測後續的財務表 現,不具有此一功能的非財務性指標應該捨棄,除非它們是組織必須追求的 目標。此一要求對企業而言尤為重要,蓋成本與利潤乃企業生存競爭的根 本,然而,在公部門中,機關所追求的價值並非以財務為導向,應不需將指 標的預測力建立在財務表現上,但可以考量以民眾的滿意度為預測標的,據 以掌握施政表現與民意趨向的變化。 3. 普遍性(pervasiveness):績效指標應該適用於整個組織,具有普遍性的指 標可以對組織提供三個優點,一是由下而上層層匯總得到組織的整體績效表 現,讓員工瞭解到個人的努力結果與組織的績效有何關聯;二是績效資訊可 以向下分解,提供高階管理者深入探索的可能性,得知績效優異或不佳的根 源;三是可以做跨單位的水平比較,塑造競爭的組織文化,有助於整體績效 的提升。 4. 穩定性(stability):績效衡量體系一旦建立之後,雖然有適時檢討其有效 性的必要,但變動不宜過於頻仍,漸進式的調整與更換才能讓員工對組織的 長期目標有所認知,並維持其行為的一致性,尤其是在公部門中,政策往往 具有延續性,指標的替換頻率太高,難以追蹤實際的績效。 5. 與報酬結合(applicability to compensation):在衡量之後,員工應該能夠透 過這些指標所呈現的績效水平,獲得適當的回報,藉此激勵員工更加重視組 織績效的提升。至於績效應該如何轉換成報酬,則應當視各個組織的性質與 條件來設計,此乃屬於另一個值得討論的議題,本文就此略過不提。 綜合言之,在強調績效管理的年代,績效指標的概念化建構乃是拼湊出組織績 效圖像的第一步,涉及到各項指標所欲測量的標的,背後也隱含了管理者對組織發 展的期待。對公共管理者而言,其所採取之政策作為的正當性不但需要從效率面加

(16)

以檢視,也必須對其結果面負責(Moynihan, 2008: 3),因之,從公共政策的過程 論觀點,針對組織的運作與活動設計並挑選出具有代表性的指標,不僅可以幫助決 策者檢視政策制定與執行過程的合理性,也可以作為組織與社會大眾溝通的依據。 此外,為了確切掌握績效指標所傳達的資訊是否一如管理者預期,以下分別就績效 指標衡量所可能遭遇到的衡量誤差(measurement errors)與非衡量誤差(non-measurement errors)作一討論。

肆、績效衡量與指標設計的衡量誤差(measurement

errors)

指 標 通 常 是 以 量 化 的 形 式 表 示 , 諸 如 「 數 量 (number ) 」 、 「 次 數 (frequency ) 」 、 「 百 分 比 ( percentage ) 」 、 「 比 率 ( ratio ) 」 、 「 比 例 (proportion)」等,都是設計指標時常見的衡量單位,也是非常具體的刻度,透 過這些衡量單位蒐集有關組織治理績效的資訊。然而,總還是有組織經營者會抱 怨,投下不少心力和成本在績效資料的蒐集上,但是這些資訊有時還是無法讓他們 清楚地瞭解組織運作情形。究其原因之一在於,我們想衡量的和我們能夠衡量的之 間存 在一 道難 以跨 越的 溝渠 ,尤 其是 在愈 複雜 的組 織中 ,此 種情 形更 為嚴 重 (Meyer, 2002: xii)。事實上,這就涉及到績效衡量與指標設計的效度問題。基於 研究方法的觀點,一個缺乏效度的績效衡量體系不但會模糊問題的焦點,甚至可能 導致錯誤的決策。因此,本文認為,除了對績效衡量與指標設計的概念定義必須清 楚明確外,亦必須正視衡量的效度,才能確保績效資訊的品質3 和提升資訊的可用 性。 舉例言之,Morley 等人(2001: 2)指出,公部門組織在追求改善方案結果和 提供有效能和有效率的服務時,不可避免地會面臨到幾個問題:(1)公部門組織 缺乏真實的競爭壓力,沒有競爭就沒有創新和改善產品或服務的動力;(2)公部 門組織到底達成什麼成果既難以確認,亦難以向外界溝通,無法創造出公共責信 (public accountability)的意識;(3)公部門組織中有關何種工作可以達成有意義 3 事實上,影響績效衡量資訊的品質的因素應該包括效度和信度在內,本文在此僅先討論 效度問題的原因是,信度係指重複測量相同標的的穩定程度,涉及到多次測量和時間的 因素,囿於本文篇幅有限及避免模糊本文的討論重點,本文暫不處理信度的問題。

(17)

結果的實質研究非常有限。這些問題的存在造成公部門的績效衡量與指標設計嚴重 地缺乏效度,因而貶損了績效資訊的可信度,也削弱了人民對政府的信任。 職是之故,本節將從績效衡量指標體系的建構過程中,在目標與指標的轉化、 衡量單位的選擇、因果關係的連結、及多元指標的整合等各個階段可能會威脅到衡 量效度的因素作一歸納與分析,並提出回應的策略。

一、目標與指標的轉化

績效指標的設計與衡量所面臨的第一個挑戰即是:如何將組織的方案或活動轉 換成可衡量的指標?績效管理者在處理此一問題時,首要之務乃是確認哪些方案或 活動對組織使命或目標的達成是有貢獻的,才有衡量的必要,這是屬於「回溯性的 選擇」(retrospective selection);或是確認哪些方案或活動與提升顧客滿意度有關 的,才有衡量的價值,這是屬於「前瞻性的選擇」(prospective selection)。在選 定有價值的方案或活動後,才進入轉換的流程。簡言之,此一階段的挑戰在於,為 什麼這些績效指標的衡量對組織是十分重要的,管理者必須對此提出具體說明和明 確解釋。 由此可知,與此一挑戰有關的問題有二:第一,同一個方案或活動可能有二個 以上適用的衡量指標,以老人照顧議題為例,社福機構提出一項照顧方案時,在評 估對老人生活品質的改善程度時,至少有二項指標來源:一是接受此一服務的老人 中,有多少比例的人自認在接受此一服務後生活品質有所改善;二是接受此一服務 的家 戶中 ,有 多少 比例 的人 發現 家中 老人 在接 受此 一服 務後 生活 變得 更愉 快 (Hatry, 2006)。兩者的調查對象有所不同,前者以接受服務對象為標的,後者係 以接受服務對象的親友為標的,社福機構可以選擇其一,亦可二者同時採用。 第二,由什麼觀點來界定某一方案或活動的績效,亦即組織內部和外部的觀點 可能是不一致的,甚至組織內部的成員亦會有不同的認知,而組織外部不同類型的 顧客,也會有不一樣的期待(Pollitt et al., 1994: 13)。以前述老人照顧為例,有些 成員可能會以照顧人數的多寡為衡量指標,有些成員則認為接受服務後的滿意比例 為衡量指標,前者為客觀指標,後者則是主觀指標。另以以道路養護為例,交通主 管機關會以路面的平坦比例和翻修次數為績效指標;民眾可能是以適合騎行的狀況 或發生意外件數為績效指標。在這兩個例子中,究竟不同觀點的指標應該並列,抑 或擇一衡量之,有時反而可能不是技術上的決定,而是政治上的決定。 在這個階段中,績效衡量的設計者必須注意的是,組織是否只挑選容易達成目

(18)

標作為測量指標,而故意忽略或放棄困難度較高目標,以美化書面上的數據。解決 的對策除了評估者應設定指標選擇的標準外(如表一所示),尚包括擴大績效指標 的來源,例如:(1)有關組織使命與價值的文件;(2)組織的計畫報告書,包括 長期計畫、中期計畫和年度計畫等;(3)組織成員的訪談紀錄,包括領導階層、 管理階層和基層員工等;(4)專家顧問的研究報告或診斷報告;(5)標竿組織的 績效指標。另一個對策建議則是,給予達成困難度較低的目標較小的權值,達成困 難度較高的目標較大的權值,藉此反映兩者對組織績效的貢獻程度,有關權值的問 題將在下文再做一討論。 表一 指標設計的原則 作 者 指標選擇原則 Carter 等人(1992) 1.可靠的 2.清晰的 3.可理解的 4.有用的 吳定(1995) 1.清晰性 2.一致性 3.廣博性 4.有效性 5.可靠性 6.合時性 7.客觀性 8.操作性 9.獨特性 10.功能性 Meyer(2002) 1.簡要性 2.預測力 3.普遍性 4.穩定性 5.與報酬結合 Niven(2002) 1.與策略連結 2.定量的 3.可取得性 4.易於理解的 5.衡平的 6.相關聯的 7.一致定義 邱吉鶴、黃宏光(2004) 1.資料容易取得 2.易於瞭解 3.具攸關性 4.具可靠性 5.具動態性 洪永泰等人(2005) 1.重要性 2.可取得性 3.可比較性 4.時效性 Hatry(2006) 1.關聯性 2.重要性 3.可理解性 4.有影響性 5.可行性 6.蒐集成本 7.獨特性 8.可操縱性 9.廣博性 資料來源:本研究。

二、衡量單位的選擇

威脅衡量效度的第二個因素乃是如何選擇「有意義」的衡量單位?尤其是不同 組織績效相互比較時,組織的屬性、組織的規模、成員的多寡、顧客的數量等,都 會影響到指標的可比較性,其重要性不言可喻。4 詳言之,在確定衡量指標之後, 4 無論是組織內、組織間或標靶式的績效結果比較,必須小心的是各項指標的定義是否一 致,若出現不一致的情形,如去年是以申請服務人數為衡量基準,今年是以接受服務人

(19)

不同指標資訊的呈現方式包括以下數種(Morley et al., 2001: 61-66): (一) 原始數據(raw data)的陳述:每項指標的數據依其所蒐集的格式排列,不 經過任何統計方法的計算和分析,此為絕對數據的呈現,通常屬於各個組織 特有的方案或活動,或是解釋性的指標較適合用此一方式表達。 (二) 計算平均數(average)和標準差(standard deviation):此為相對數據的呈 現,此一方式的缺點是易受到資料中的極端值所影響,導致平均數的失真和 標準差的擴大,在此情況下,中位數(median)有時反而是較佳的選擇。 (三) 根據各項指標的數值將組織排名(rank):此亦是絕對數據的呈現,此一方 式的缺點是未考慮到組織在各項指標上的真實差距,亦即每一個名次之間的 差距可能不是等距尺度;另一方面,利用組織在各項指標的排名計算總排 名,等於是設定各項指標的最大差距範圍均為1 到 N(例如有 10 個組織評 比,兩個組織間在每項指標的最大差距均不會超過 10),可能無法反映組 織間的真實差距。 (四) 針對每項指標的性質設定等級(grade):其作法為每一個等級之間設定不 相重疊的區間(range),將落在同一區間的組織歸為同一等級。至於區間 的設定可以由專家決定、根據過去的表現水準或計算標準差等方式,每一種 設定方式各有千秋。此亦為絕對數據的呈現,其缺點與排名的方式相似。 (五) 利用前一年度的數值為基期,計算變化率(change):最常見的資訊如趨勢 分析、成長率等。此一方式是將絕對數值轉換為相對數值的作法,為相對數 據的呈現,其缺點是前期的數據會影響變化率。 (六) 利用人文區位總體資料(aggregate data)作為比較的基準:此一方式亦為將 絕對數值轉換為相對數值的作法,可以打破組織的界限,利用一些重要的人 口變數(如族群、收入、年齡、性別等)作為參照的對象,當組織的規模大 小不一時,此一轉換可提高比較的公平性。 (七) 加總組織在各項指標的得分(scores),取得整體的績效指數(index):此 為相對數據的呈現,其麻煩之處在於如何決定各項指標的權重,最簡單的做 法是將每項指標的重要性視為相等,但在現實世界中可能極為不合理,因為 組織內各種方案或活動對組織的目標的達成有不同的貢獻度。 在這些「絕對」數據與「相對」數據之間,績效的管理者或評估者必須做一取 數為衡量基準;有的組織以千人為單位,有的以百人為單位;員工身分的界定標準不同 等,所蒐集的指標資料便不具有可比較性,必須予以統一或轉換。

(20)

捨,否則,可能無法傳達組織的真實訊息。舉例言之,A 組織舉辦 5 項活動,參與 人數總計為1 萬人;B 組織舉辦 2 項活動,參與人數總計為 8 千人,無論是以活動 次數(絕對數據)或參與人數(絕對數據)為指標,A 組織的績效顯然都比 B 組 織好,但若以平均值(相對數據)來看,B 組織的績效顯然較佳。事實上,類似的 矛盾結果在績效衡量中屢見不鮮,在解決的對策方面,將各項指標依據組織的基本 屬 性 予 以 常 態 化 (normalization ) 或 依 據 變 數 的 變 異 量 予 以 標 準 化 (standardization)是一可行的作法。所謂「常態化」,即是以組織的規模、成員 的多寡、顧客的數量等作為母數的指標,將績效指標除以此一指標,獲得相對數據 (如同第6 種);所謂「標準化」,即是根據指標本身在各個組織間的變異情形, 計算出以0 為中心點的相對位置,將各項指標的單位去除掉,各組織均以標準差為 比較基準。 此外,有些學者認為,光是找到適合的衡量指標是不夠的,必須審度情勢,為 指標設定明確的目標值,作為比較的基準點,如此一來,指標衡量的結果才有意 義,若非如此,無法得知組織的努力是否達到可接受的水準,充其量只是提供一半 的資訊(Niven, 2002: 62)。就此而言,設定目標值則是一件非常具有挑戰性的工 作,可考慮的做法則是參酌組織過去的表現、員工意見的回饋、未來趨勢的預測、 或標竿組織的表現等等,作為目標值設定的依據。

三、因果關係的連結

在處理前二個階段的衡量誤差之後,第三個階段必須面對的問題是指標數據高 低與組織績效的因果關聯為何?績效的管理者或評估者必須釐清各項指標與組織績 效間關係,知道數據高是代表好的績效或是不好的績效,反之亦然(Niven, 2002: 154),並對此提出合理化的論述。就此而言,如同多數人對組織資源的配置各有 主張一樣,組織內各階層的人員與其他利害關係人對指標數據的高低所代表之績效 意涵,可能會存在不一致的看法,當彼此間的歧異愈大時,績效衡量結果在決策上 的參考價值愈低,因為最後可能出現各自解讀或各取所需資訊的情形,無益於組織 整體績效的提升,此一績效指標的適用性值得考量,這或許是績效衡量的問題中價 值涉入最深的部分。 換言之,雖然大部分的衡量指標均能找到與組織表現間的因果關聯,但有些指 標則是具有爭議性,就理論層面而言,其原因有二:一是指標表現和組織績效並非 是線性相關,當指標的數值超過某一水準時,可能出現關係反轉的情形,例如政風 單位查賄的案件數愈多,表示選風日見改善,抑或是選風日益敗壞;二是指標與其

(21)

他績效面向之間存在反向關係,例如,法院審理案件的速度加快,雖然表示效率提 高,但卻也可能導致裁判品質下滑。欲解決此一因果聯結的難題,除了經由重新思 考組織所追求之核心價值,來強化指標表現與組織績效的論述理由外,吾人亦可考 量從不同績效面向建構多元的指標來衡量組織表現,以降低單一指標測量的風險與 困境。 的確,很少有一套績效衡量制度可以滿足組織內部不同管理階層或不同部門人 員的需求,而衡量指標與績效之間不同的因果連結方向,則會引導管理者或員工往 不同的方向努力,是以,一套績效衡量制度必須能夠將組織的主要方案和活動所涵 蓋的目標和策略,反映和聯結成在一組具有內部一致性的指標上,並就其與組織績 效間的關係提出具有說服力的論述或統計上的檢定結果,5 至於那些與組織績效的 關係模稜兩可、難以認定的衡量指標,則應該自績效指標體系中割捨不同,如此一 來,此一績效指標衡量體系的效用才可能增加。

四、多元指標的整合

在建構績效衡量指標體系最後一個階段的挑戰則是,如何將這些指標結合在一 起?其中包括指標的重複衡量和指標的「權值」(weighting)問題。在重複衡量方 面,如同前文所述,絕大部分的組織不太可能祗用單一指標來評斷組織的整體績 效,利用多元指標衡量的優點則是可以避免單一指標衡量時顧此失彼,難以權衡組 織整體績效,有效減少衡量偏誤。與此一問題相對應的解決策略之一是,當我們同 時將這些指標放在衡量清單上時,應該優先檢視指標間的內部關聯和取捨(trade-off)關係,亦找出哪些指標間存在高度相關,無論是高度的正相關或是負相關, 反映出完全相同或相反的變化模式,例如營業額與獲利力、品質與成本等,均顯示 出這些指標間傳遞相同的績效資訊(Meyer, 2002: 3),再來決定是否要同時放入 衡量清單或是該挑選哪一個指標,當然,無論最後如何取捨,都是令人頭痛的決 定。 在指標的權值方面,主要用以判定各項指標的相對重要性,蓋組織的各項方案 或活動雖然與使命或目標的達成有所關聯,然影響度或貢獻度未必等同,以平衡計 5 Morley 等人認為,組織的內外在變數對組織績效的影響程度可利用統計方法加以檢驗, 例如利用迴歸分析檢查家庭所得與檢調機關降低犯罪率之間的關係,利用「判定係數」 (coefficient of determination)瞭解家庭所得可以解釋犯罪率變異的比例,當此一比例愈 高時,表示家庭所得可能是造成犯罪率有所差異的因素(Morley et al., 2001: 71)。

(22)

分卡為例,雖然 Kaplan 和 Norton 兩位作者明確地指出績效衡量的四大構面,並清 楚地發展出構面與構面之間、及構面與組織整體績效之間的因果連結,不過,美中 不足的是,他們並未進一步指出這四大構面及其指標如何以其重要程度結合成一個 指數,作為組間相互評比的項目。因此,評估者除了尋找與確立績效指標之外,最 好能夠精確的(accurate)和衡平的(fairly)將每個指標的影響程度或重要程度予 以標示。要言之,當我們挑選的指標愈多樣化時,權值分配的考慮愈有其必要性, 同樣地,如何分配的困難度也就愈高。 在 對 策 方 面 , 實 務 上 , 有 關 權 值 的 決 定 主 要 有 兩 種 方 式 : 一 是 主 觀 權 值 (subjective weight)的分配,由績效評估者自行判定,或是利用座談方式邀集內部 主管或專家學者等方式共同判定,舉例言之,Sluyter 根據某一家醫院的服務特 性,列舉重要的績效項目,每一個項目依其重要性給予不同的比重,並將表現水準 分為五個等級:A=4 分,B=3 分,C=2 分,D=1 分,F=0 分。再就醫院在這 些項目的表現予以評分,其績效水準如表二所示(劉曉春 譯,1999:49)。二是 客觀權值(objective weight)的分配,績效評估者可根據過去蒐集到相關績效指標 的資訊,利用迴歸分析、因素分析、結構方程模式(SEM)等統計方法,決定各個 指標的相對影響力,據此決定其權值大小,此因涉及諸多統計原理的說明,囿於文 章篇幅,本文暫略而不述,有興趣的讀者可參關多變量分析的專書,應可獲取相關 的應用知識。 表二 病人家屬對醫院服務績效的評估表 評估項目 權重 (1) 表現等級 (2) 分數 (3) 實際得分 (1)×(3) 可能總分 (1)×4 會見醫療人員的管道 5 D 1 5 20 護理人員的敏銳度 5 F 0 0 20 工作人員的關心程度 4 F 0 0 16 病人的病情資料保護 5 D 1 5 20 候客室的舒適性 5 C 2 10 20 鄰近停車場的使用性 5 B 3 15 20 使用電話的難易 4 C 2 8 16 餐廳的便利性 4 A 4 16 16 洗手間的便利性 5 A 4 20 20 醫院地圖標示 4 C 2 8 16 總分 87(47.3%) 184(100.0%) 資料來源:劉曉春 譯(1999:54)。

(23)

總而言之,績效的管理者或評估者若能妥善處理上述威脅效度的問題,即可大 幅地降低衡量誤差。接著,便可以實際進行績效指標相關資料的蒐集工作,再利用 資訊科技與統計方法做妥適的整理和分析。至於蒐集資料的工具則包括以下幾種 (洪永泰等人,1991;Hatry, 2006): (一)工作紀錄/行政日誌:組織可能會利用人工或機器記錄日常活動的情形,包 括人力投入、資源配置、服務人次、交易金額、顧客資料、投訴件數等,甚 至提出完整的書面報告或統計資料。這些資訊的蒐集,都可以轉化成指標的 資訊,作為績效衡量之用。基本上,透過此種方法所蒐集到的資訊絕大多數 是屬於客觀指標的範疇,初期的格式規劃較為困難,但後續的資料蒐集工作 就簡單許多。 (二)問卷調查:此係主觀指標資訊的蒐集,調查對象包括顧客、員工、主管或供 應者。調查內容主要是以個人的認知和感受為基礎,如行為動機、滿意度、 效能感、服務態度等。此一方法所隱含的溝通邏輯是:重要的不是組織傳達 了什麼訊息,而是對方接收到什麼訊息。換言之,政府提供再多的服務,若 人民無法接收到服務或感到滿意,那麼,就不能算是有績效;同樣地,企業 生產再好的產品,若消費者沒有購買意願,企業毫無利潤可得。一如其他性 質的問卷調查所遭遇到的問題,題目的設計與樣本的抽取方法均會影響資料 的可信度。 (三)觀察員評比:由接受過訓練或具有相關專業背景的人員提供有關組織績效的 指標資訊,係透過第三者的眼睛、耳朵等感官功能,對組織各種方案和活動 予以評等,在當觀察員有二位以上時,衡量結果即可能具有相對客觀性。通 常此一方法仍需被衡量組織的配合,包括相關紀錄和文件的提供、相關人員 的徵詢、開放實地訪查等。組織的配合程度愈高,績效指標資訊的蒐集就會 愈完整。此一方法亦經常應用在街道整潔、道路狀況、公共設施條件、及食 物品質的衡量上。 (四)特殊儀器測量:有些指標資訊無法以人為的方式來蒐集,必須藉助儀器的判 讀,例如空氣污染程度、水質污染程度、噪音大小等。此一方法的精確度最 高,且最不受個人主觀因素的影響,不過,其蒐集的成本亦可能隨著儀器的 精密程度而增加。 當然,這些資料蒐集方法並不是互斥的,各有其優缺點,6 評估者在選擇蒐集 6 有關這些蒐集方法的優缺點討論,可以參考 Hatry(2006)在其書中第七章的討論。

(24)

方法時可考慮成本、可行性、精確度和信度、可理解性及公信力等作為選擇標準 (Hatry, 2006: 113)。當然,組織也可以同時採取二種以上的方法來蒐集指標的資 訊,以減少依賴單一方法產生偏頗的風險。

伍、指標設計與績效衡量的非衡量誤差(non-measurement errors)

由於績效衡量的結果往往是組織資源未來配置的重要參考資料,因此,管理者 在做此一決策之前,必須先瞭解績效不佳的原因是由何因素所造成的,以企業為 例,顧客不願意購買或接受企業所生產的財貨或服務的理由,主要可能有以下幾 種:(1)不知道此一財貨或服務的存在;(2)財貨或服務提供的時間不具有便利 性;(3)財貨或服務提供的地點不具有便利性;(4)接收有關財貨或服務的品質 不佳的訊息;(5)過去有不好的個人使用經驗;(6)對此一財貨或服務沒有需 求;(7)沒有使用此一財貨或服務的時間(Hatry, 2006: 168)。透過不同績效指 標的衡量,便可以幫助企業發掘問題的根源,釐清經營責任的歸屬,才能為日後的 資源配置做出決策。 不可否認地,績效衡量的目的乃是在於瞭解組織的表現水平,發掘阻礙組織進 步的因素,據以設計策略和分配資源,為達到此一目的,本文前一節即已就組織如 何有效執行指標設計與績效衡量做一詳細的討論。不過,正是由於績效衡量結果往 往涉及到責任歸屬的認定和有限資源的分配,因此,在實際的績效衡量過程中,除 了注意衡量誤差(measurement errors),如衡量工具的尺度、資料蒐集的範圍與時 間、問卷調查的樣本數等,仍有一些非衡量誤差的因素存在,明顯地或潛在地干擾 績效衡量的結果,以下便針對績效衡量時經常遭遇的非衡量誤差列舉探討之。 一、指標的次佳化效應(suboptimization effect):有些組織在設計績效衡量指標時 係基於便利為考量,以組織現有資料作為選擇指標的基礎,或是以特定對象當 作調查標的,而不是以指標或對象對達成組織使命或目標的重要性為考量,導 致指標衡量結果無法真正反映組織的績效,成為例行公事。舉例言之,許多組 織在評估顧客的滿意度時,都是以既有的顧客為調查範圍,計算滿意和不滿意 的比例。事實上,蒐集潛在消費者或無消費意願者的意見,有時對組織的績效 表現和未來策略訂定更具有參考價值,很顯然地,在資料蒐集成本考量,此一 做法的成本較前一做法高出甚多,造成績效評估者望之怯步。

(25)

二、少數指標的月暈效應(halo effect):指標資訊的蒐集可能非常多元,涵蓋組 織各個面向的方案或活動,但是,績效衡量報告在組織中層層呈閱時,愈高層 的管理者所看到的指標數據愈少,或者傾向只固定檢視數個指標,對組織的表 現缺乏整體的圖像,可能產生「以偏概全」的印象。較為理想的做法是,將完 整的績效衡量報告送到各個使用者的手上,以摘要或特別標示的方式顯示具有 優先參考價值的指標。 三、拋棄穩定指標效應(abstention effect):即組織經常將一些連續數次測量結果 非常穩定的指標捨棄,認為沒有變化性和不具參考價值而不再繼續蒐集相關資 訊,這不一定是適當的做法,如果這些指標仍具有重要性,就應該繼續累積指 標的資訊,更何況沒有人可以確保指標在未來不會出現變化,是以,仍有監測 的必要。另一個極端的情形則是,有些組織視績效指標為永久性的管理工具, 即使組織的內外在環境已經有了重大的變革,仍然沿用既有指標作為衡量績效 的工具,殊不知這些指標已經喪失區辨組織績效的功能,實有必要另外發展與 組織目標一致的新指標取代之,確保指標衡量的動態性。 四、指標學習的效應(learning effect):指標也可能在使用一段時間之後,由於衡 量對象的相互學習效果造成變異程度(range of variance)縮小而失去區辨的效 果,即產生衡量分數趨同化(convergence)的現象,評估者必須另尋合適的 指標替代之。舉例言之,以公文處理天數作為效率衡量的指標時,在前幾次的 衡量中,各單位的處理天數可能由二天到十天不等,但經過一段時間後,由於 各單位努力將天數降低,致使各單位的處理天數集中在二天以內,變異程度變 得很不明顯,效率高低的差距不大。此一效應的存在,亦意味著既有績效衡量 指標會有耗損現象(running down),績效管理者必須不斷地開發新的衡量工 具。 五、選擇比較對象的效應(selecting effect):在許多組織績效評比當中,雖然所使 用的指標衡量相同,並不保證各個組織是立於相同基準點。舉其要者,在激烈 競爭的環境中,能夠存活的組織必定有其適應力,存活愈久的組織在各方面的 表現愈穩定,而新成立的組織則會出現較大的變動性,因此,將新舊組織放在 一起比較,可能會忽略因為組織年齡因素所造成的差異。再者,然而,在大部 分的情況下,除非是採取強制性的績效衡量,否則,有意願進行績效衡量的組 織通常是在所有組織中表現接近平均水準以上的組織,這些組織的績效衡量結 果往往無法代表整體的表現,甚至有高估的情形。至於那些沒有意願進行績效

(26)

衡量的組織反而可能是績效表現較差的一群,而這些組織在相關指標資訊的蒐 集與整理上較缺乏系統,更增加績效衡量上的困難。 六、不當應用的效應(effect of misapplication):績效衡量雖有其必要性,但管理 者也必須瞭解績效衡量亦有其限制(Hatry, 2006: 5-6)。首先,績效資料本身 無法說明為什麼會發生這樣的結果。就好比說,我們可以從比賽的最後得分高 低知道球隊和球員的表現,但得分高低本身無法告訴我們為什麼會得到這個結 果,必須觀看比賽錄影帶或參與賽後檢討會議才能瞭解。因此,管理者除了瞭 解組織的績效水準外,也必須知道產生此一結果的過程和細節。其次,有些結 果無法直接衡量,只能用其他的指標來替代。最明顯的例子即是預防某些不可 欲的事件發生,由於事件最後並未發生,因此無法衡量其結果,這些替代指標 的契合度有待檢驗。舉例言之,消防單位宣導民眾注意防範火災,減少火災發 生件數,自然看不出消防隊員搶救民眾生命與財產的貢獻,僅能從火災意外減 少的件數來推測宣導政策的成效。最後,績效衡量的資訊僅是決策者所需要的 資訊來源之一,而非全部。換言之,決策者尚必須參考其他的資訊或是政治判 斷。舉例言之,績效衡量所提供主要是過去的資訊,決策是為未來訂定行動方 向,必須參考一些有關預測未來趨勢的資訊。 綜合上述的討論不難發現,指標設計與績效衡量原本就不是一件容易的事,除 了上一節所述有關衡量誤差的問題外,本節所列舉的各種非衡量誤差的效應亦無時 無刻地威脅著績效衡量的結果,且有時比衡量誤差更難以觀察和解決,績效管理者 必須對此類型的誤差來源保持更高的敏感度,才能避免辛苦蒐集的績效資訊遭到棄 置或誤用。

陸、結論

在公共政策社群中,相信大部分的人都會同意「有好的構想不必然能設計出好 的政策,好的政策不必然能夠產生好的結果」這句話。祗是,多數人沒有注意到的 是,將構想、政策及結果聯結在一起的元素實際上就是衡量指標,無論是用質化或 量化、落後或領先的指標,都有助於我們判斷理想與現實之間的距離,及發現箇中 的問題所在,因此,本文從方法論的角度,重新整理與審視績效衡量與指標設計的 效度問題,盼能喚起更多人的關注與討論。 績效管理本身即是透過策略規劃和定期的績效衡量獲取績效資訊,作為決策之

(27)

參考(Moynihan, 2008: 5),尤其時至今日,無論是在公部門、私部門或是第三部 門中,組織績效衡量已經成為釐清責任歸屬和決定資源配置的管理工具,而有效的 指標設計與衡量則是落實責信機制的先決要件,Meyer(2002: 4)所言:「若你無 法衡量你想衡量的東西,那麼你就無法得到你想得到的東西(if you cannot measure what you want, then you will not get what you want)。」因此,績效衡量提供一個有 關投入、過程、產出和結果的基準點,幫助組織瞭解過去的狀況和現在的處境,亦 誠如 Hatry(2006)所言:「如果你不知道自己身處何處,又怎麼決定自己該往哪 裡走呢?」所以,組織不應該輕視績效衡量的重要性,更不應該將之視為表面文 章,掩飾或刪除可能會衡量到不利於組織表現的績效指標,雖然隱藏或拋棄不利的 指標,短期而言可能有美化組織績效水準的利益,但長期而言,反而可能對組織的 未來發展造成致命性的傷害。管理者應該將績效衡量結果作為擬訂改善策略的參 考,幫助組織在未來的環境中有更大的競爭力。 綜合本文的討論可以歸納出以下幾點初步的結論: 一、績效指標是用以衡量組織實際表現和預期水準之間的一致程度,作為策略溝通 的工具,驅使組織成員向目標邁進的動力,以達到價值創造的效果。 二、結合公共政策的觀點,績效指標可以分為投入、過程、產出、結果、影響及輔 助等指標,各項指標可再細分出次指標,提供了衡量組織不同階段表現的機 會。 三、組織的規模愈大,分工愈是複雜,整體的績效衡量就愈困難。多元的衡量指標 雖然愈能完整地描繪出組織表現的圖像,但其代價則是資料蒐集成本較高及不 同指標之間的結合較為困難,可能導致衡量誤差的擴大。 四、績效指標數據本身不具有任何意義,必須經過詮釋的過程才會被賦與特定的意 義,因此,指標數據的詮釋者或使用者必須將指標數據置於環境系絡之中,才 能做出正確的解讀和判斷,降低非衡量誤差的干擾。 五、執行績效管理的策略,除了績效衡量結果的呈現外,另一個重要的任務是如何 將資訊回饋到員工的工作上,讓員工除了知道自己的表現如何之外,還會知道 接下來該怎麼做,即設法將績效資訊轉化成未來的行動策略。 六、績效衡量是衡量組織過去一段時間的表現,所使用的是過去的資訊。因此,衡 量結果僅是管理者訂定未來發展策略的資訊來源之一,管理者仍必須蒐集其他 有關未來環境變化的預測性資訊。

(28)

參考文獻

Golembiewski, R. T.、孫本初、江岷欽編(1999)。公共管理論文精選(初版)。 台北:元照。 丘昌泰(2000)。公共管理—理論與實務手冊(初版)。台北:元照。 江明修(譯)(2004)。非營利標竿管理(P. C. Brinckerhoff 原著)。台北:智 勝。 吳定(1995)。公共行政論叢(第五版)。台北:順達。 吳瓊恩、李允傑、陳銘薰(2001)。公共管理(初版)。台北:智勝。 林文燦(2004)。實施績效獎金制度之實務操作技術分析。發表於行政機關績效管 理暨績效獎金制度學術研討會,行政院人事行政局與國立政治大學公共行 政學系主辦,台北。 林鍾沂、林文斌(譯)(1999)。公共管理的世界(初版)(O. E. Hughes 原 著)。台北:韋伯文化。 邱吉鶴、黃宏光(2004)。企業績效評估實務之探討。載於行政院研考會(編), 政府績效評估(初版)(23-60 頁)。台北:行政院研究發展考核委員 會。 洪永泰、余致力、陳俊明、莊文忠、林嘉隆、蘇毓昌、龍韋良、黃玉華(2005)。 公共管理績效評估:城市廉政指標的建立。發表於第一屆兩岸四地公共管 理學術研討會,北京人民大學主辦,北京。 洪永泰、余致力、劉坤鱧、李長晏(1991)。台中市政府施政指標制度建立之研 究。行政發展,第2 期,頁 59-82。 孫本初(1998)。公共管理(再版)。台北:智勝。 袁世珮(譯)(2003)。執行力組織:落實企業策略執行力的組織設計要領(初 版)(J. A. Brickey 原著)。台北:麥格羅希爾。 高翠霜(譯)(2000)。績效評估(初版)(P. F. Drucker, T. G. Cucuzza, A. Davila, R. G. Eccles, R. S. Kaplan, C. Meyer, J. A. Ness, D. P. Norton, & R. Simons 原著)。台北:天下文化。

許士軍(2000)。走向創新時代的組織績效評估。載於高翠霜(譯),績效評估 (初版)(P. F. Drucker, T. G. Cucuzza, A. Davila, R. G. Eccles, R. S.

參考文獻

相關文件

Developmentally Appropriate Practice in Early Childhood Programs.. Washington, DC: National Association for the Education of

Professor, Department of Industrial Engineering and Technology Management.

 学校能考虑教育发展趋势 注三

學校的 ESDA 共有七個主要功能模組,分別為:系統工具(ST), 用戶管理(UM) 、調查 管理(SA)、填寫問卷 (DS)、數據輸入(DI)

1) Ensure that you have received a password from the Indicators Section. 2) Ensure that the system clock of the ESDA server is properly set up. 3) Ensure that the ESDA server

School year setting is designed for defining current school year of the system. School should update this information at the beginning of each school year before importing

To facilitate the Administrator to create student accounts, a set of procedures is prepared for the Administrator to extract the student accounts from WebSAMS. For detailed

{Assess business performance from a range of accounting ratios in terms of profitability,. liquidity, solvency and management efficiency