國 立 交 通 大 學
管理學院(工業工程與管理學程)碩士班
碩
士
論
文
政府科技機關績效考評探討
—以核能研究所為例—
Performance Evaluation Study in a Governmental Science and Technology Institution - A Case of Institute of Nuclear Energy Research (INER)-
研究生:徐永福
指導教授:李榮貴 博士
政府科技機關績效考評探討
—以核能研究所為例—
Performance Evaluation Study in a Governmental Science and Technology Institution - A Case of Institute of Nuclear Energy Research (INER)-
研 究 生:徐永福 Student:Yung-Fu Hsu 指導教授:李榮貴博士 Advisor:Dr. Rong-Kwei Li
國 立 交 通 大 學
管 理 學 院
工業工程與管理學系
碩 士 論 文
A ThesisSubmitted to Department of Industrial Engineering and Management College of Management
National Chiao Tung University In partial Fulfillment of the Requirements
For the Degree of
Master of Business Adminstration In
政府科技機關績效考評探討
—以核能研究所為例—
學生:徐永福 指導教授:李榮貴博士 國立交通大學管理學院碩士在職專班工業工程與管理組中文摘要
不論是機關或企業組織,績效考評之最終目的是在於永續經營,透過績效 評估之結果,可以瞭解其資源運用的效率與效能,並進一步利用其結果,來釐 定未來的努力方向。 近年來,政府為持續有效提昇我國科技發展之水準,有效運用科技研發的 資源,已針對政府所屬各研究機關或單位要求其實施績效評鑑,並責由國科會、 研考會及經濟部等機關,配合完成相關績效考評制度之訂定。但由於研究發展 工作,有相當高的不確定性。這是從事研發工作之政府機構與其它單位間最大 的不同,且不同之機關有其不同的研發屬性。績效考評制度無法一體通適於所 有從事研究發展之機關或單位。 核能研究所為國內從事原子能科技研究與應用之政府機關,必須執行政府 政策。除遵照研訂完成符合機關需求之績效考評制度外,並已於 92 年度起實際 運作執行。本論文主要目的,是尋找最適核研所之績效考評制度,並予以建構, 以及將實做經驗,回饋到制度之改良,並希望作為政府其他科技機關或單位, 規劃前或執行時之參考或借鏡。 本論文之主要內容分為二部分:第一為理論探討,以及蒐集、分析和比較 國內外各種績效考評制度之經驗與現況;第二為建構一種最適合於政府科技機 關之績效考評制度及實例驗證。最後,並提出一些結論與建議,以便作為後續 研究之參考。 關鍵字:科技機關、績效考評、績效指標Performance Evaluation Study in a Government Science and Technology Institution - A Case of Institute of Nuclear Energy Research (INER)-
By
Student:Yung-Fu Hsu Advisor:Dr. Rong-Kwei Li
Department of Industrial Engineering and Management Graduate School Management College
National Chiao Tung University
ABSTRACT
The final purpose of performance evaluation is for sustainable operation of government or business. By the results of performance evaluation, people can realize the efficiency and effect of resources allocation and make the decision of future direction.
Recently, in order to raise the development level of science and technology, Taiwan government has a standard measurement system for follows. However, the research and development contain large amount of uncertainly, which may depend on case-by-case of research and development categories. Therefore, The standard performance evaluation cannot satisfy all the needs of different organizations.
INER is a governmental nuclear R&D institute in Taiwan and must obey the government policy. INER has established an evaluation system for the institute and the system have active since 2003, however, several problems are still existed. Therefore, the main purpose of this thesis is to evaluate the system and modify it according to the criteria of a good performance measurement system. The research results can serve as a guide for other government R&D institutions for developing their own performance evaluation system.
誌 謝
服務公職迄今已二十餘年,心中一直希望能重回學校再學習,非常感謝交 大工工管所給我學習與實現自我的機會,尤其感謝指導教授李榮貴博士,一直 給予我在學習過程中啟發與指導,讓我在工作專業上更有新的思維與突破,且 在百忙中仍能給予督促與指導本論文之撰研與付梓。其次,更感謝系裡大家長 唐主任麗英教授及專班組長洪瑞雲教授,以及協助口試鑑定審核與指導之蘇朝 墩教授、蔡志弘教授、張盛鴻教授及杜瑩美教授等,不吝匡正和提供寶貴資料 及意見,謹此致上由衷的謝忱! 接著再次感謝服務單位繆研究員延武、祁研究員昭輝、嚴研究員翔智、張 副研員訓志博士及莊主任俊博士等長官之長期提攜、協助本論文之審閱和指 正;直屬長官陳主任秘書勝朗、葉組長陶然、施組長建樑及黃科長華泰等之鼓 勵、諒解與支持;以及張怡和先生、張進丁先生及董家榆小姐等伙伴們,除提 供績效考核管理系統上許多概念與問題之諮詢及釋疑外,亦分勞我大部分之業 務與協助;另外,諸親友及兒子的乾爹乾媽等之關懷與幫忙,藉此也一併致上 最深的謝意! 最後,感謝一路上支持我、照顧我、更分擔我居家的工作,摯愛內人簡秀 杏女士,以及愛兒徐豪均,使我得以有較多時間和精神順利完成此篇論文,謝 謝您們的包容與奉獻!!更將這份小小榮耀與成就,獻給我最心痛、最懷念, 來不及分享已逝在天之父母。 徐永福 謹誌於核研所 June 2004目 錄
頁次中文摘要 ... i
英文摘要 ... ii
誌 謝 ... iii
目 錄 ... iv
圖目錄 ... v
表目錄 ... vi
一、緒論(研究背景、動機及目的)... 1
二、文獻回顧... 4
2.1 績效評估之意涵與類型 ... 4
2.2 國內外科技機關績效評估制度 ... 8
2.3 國內外科技機關績效評估經驗 ... 35
2.4 國內外科技機關績效評估綜析 ... 42
三、核能研究所研發績效評估案例探討... 44
3.1 核研所簡介 ... 45
3.2 核研所績效考評制度 ... 49
3.3 核研所績效考評產出結果... 77
3.4 核研所績效考評檢討與分析... 83
四、結論與建議... 86
參考文獻 ... 91
圖目錄
頁次
圖 1.1 研究架構... 3
圖 2.1 我國科技組織績效評鑑八項衡量構面圖 ... 22
圖 2.2 我國科技組織績效評鑑之指標架構內容 ... 24
圖 3.1 核研所現行矩陣組織架構圖 ... 46
圖 3.2 核研所人力與研究預算分配圖... 47
圖 3.3 核研所研究發展重點架構圖 ... 47
圖 3.4 核研所研究發展定位架構圖 ... 48
圖 3.5 以「投入產出因果觀」看政府科技機關核研所績效考評系統
... 53
圖 3.6 核研所績效考評制度體系構面... 54
圖 3.7 核研所績效考評作業流程 ... 55
圖 3.8 核研所績效考評實際細部作業流程圖 ... 66
圖 4.1 企業經營成功的八大要素 ... 90
表目錄
頁次
表 2.1 美國「政府績效與成果法」之架構... 11
表 2.2 美國「政府績效與成果法」要求之報告內容 ... 12
表 2.3 荷蘭的大學與各研究機構體系的研究績效觀察指標 ... 14
表 2.4 中國科學院知識創新工程試點單位評估方案指標架構... 20
表 2.5 我國科技組織績效評鑑之指標架構意涵 ... 23
表 2.6 經濟部單位層次績效考評重大效益指標 ... 33
表 2.7 國內科技機關之評鑑制度比較表... 41
表 3.1 核研所績效考評量/質化指標權重比例配置 ... 56
表 3.2 核研所績效考評量化指標權重比例配置 ... 57
表 3.3 核研所績效考評質化指標項目... 58
表 3.4 不同類別人員之權重值 ... 58
表 3.5 各單位績效指標排序落點之對應得分 ... 61
表 3.6.1 各計畫基本資料表 ... 67
表 3.6.2 各計畫參與人力輸入表 ... 68
表 3.6.3 各計畫量化績效產出表 ... 69
表 3.6.4 各計畫質化績效產出表 ... 70
表 3.6.5 各計畫績效指標管理表 ... 71
表 3.6.6 各計畫訪查紀錄表 ... 72
表 3.8 核研所 92 年度各計畫權重分配結果 ... 78
表 3.9 核研所 92 年度各計畫量/質指標績效值計算結果 ... 79
表 3.10 核研所 92 年度各計畫績效點各單位分配表 ... 81
一、緒論(研究背景、動機及目的)
任何組織或主管都希望有一個更有效地管理工具,來完整地衡量機關 之績效表現,也希望能有一套管理系統,可以解決所面臨之問題。一般而 言,績效考評制度係源自於一般企業之營運管理,但隨著時代的進步,以 及政府資源分配與施政成效之考量下,政府及接受政府資源之研究機構, 亦陸續逐步制訂相關之績效考評或是組織評鑑之工作。績效考評最終目的 在於永續經營,如企業是以營利為目的,以檢視其營運收入與獲利情況, 來衡量其營運績效。反觀政府部門及其所屬機構皆因政策而存續。因此, 在檢視機關之績效上,較無法完全用量化的指標來評斷。同樣的,無論政 府公部門(如公務機關)或私部門(如財團法人機構)所轄之研究發展機關, 其成立之目的多以從事相關行業之研究發展為主,尤其研究計畫的成果, 又充滿了不確定的因素,加上研究機構之直接客戶,並非一般消費者,因 此沒有一個客觀的市場監督機制,如何考評或研究機構績效評估之建構, 是近幾年國內外陸續探討的問題(周霞麗,2003)。 另外,科技計畫或預算之績效評估,近年來亦成為經濟合作暨發展組 織(Organization for Economic Cooperation and Development;OECD)國家科 技創新政策重點之一。主要是因為各國之科技預算逐年緊縮,以致於稀少 公共科技預算的分配,更須強調其合理性。同時,在以創新而非只是科技 為主的政策趨勢中,科技相關計畫或預算的成果評量或呈現,益顯現其重 要 性 。 且 透 過 績 效 評 估 , 科 技 政 策 的 制 訂 , 也 會 趨 向 於 權 責 相 符 (Accountability)、透明化和減少扭曲性干預。一般而言,相對於「科技評 估」(Technology Assessment)的「事前」(Ex Ante)性質,科技績效評估 (Performance Evaluation)是以事後(Ex Post)的成效為評估重點,但是仍應 與科技決策與預算分配,可形成回饋和聯繫的機制(陳信宏、王健全、承 立平、蘇顯楊、莊俊、陸煇雄,2002)。行政院研考會於九十年十二月發布了『行政院所屬各機關施政績效評 估作業手冊』(研考會,2001),要求行政院所屬各部會署,自九十一年度 起,辦理各機關之績效評估,其中含策略績效評估與年度績效評估。其後,
核能研究所(以下簡稱核研所)為政府出資從事原子能科技研究與應 用之唯一專責機關,其研發成果或效益,必須接受政府之監督及衡量。且 為配合政府組織再造,核研所可能朝向行政法人化轉型之考量,現在和未 來,有必要預先厚植研發能量,以向政府爭取經費外,也要賺更多的錢, 以因應法人化後經費自給自足。因此,核研所為提升全所研發績效,除厚 植爭取所外經費能力外,更期能永續發展,分別於 92 年 2 月 12 日,提出 「核能研究所研發績效考評原則」(楊昭義,2003),經核研所內部相關同 仁之討論、補充及彙整,修訂相關資料,並參考原能會 92 年 4 月版之「行 政 院 原 子 能 委 員 會 及 所 屬 各 機 關 施 政 計 畫 評 核 作 業 要 點 」 ( 原 能 會 , 2002),以及國科會九十一年版之「政府科技計畫績效評估作業手冊」(國 科會,2002)及「中華民國科技組織績效評鑑作業手冊」(國科會,2002), 並於 92 年 5 月舉行公開之「核研所績效考評作業原則說明」(謝得志,2003) 等。目前,核研所之研發績效考評,業已就前述之原則及規定訂定完成, 而且在實施之中。 本論文主要目的,是尋找一種最適合於核研所之績效考評制度,並予 以建構,以及將實做經驗回饋到制度之改良,並希望作為政府其他科技機 關或單位規劃前或執行時之參考與借鏡。主要內容可分為二部分:第一為 理論探討,以及蒐集、分析和比較國內外各種績效考評制度之經驗與現況 (benchmark);第二為建構最適政府科技機關之績效考評制度及實例驗證。 最後,提出結論與建議,以便作為後續研究之參考。其研究架構如圖 1.1 所示。 全文細分為五個章節,以漸進方式,先行探討績效評估的意涵與類 型,以及國內外相關研究機構現行制度與分析,並說明核研所實做現況與 經驗等。其中第一章說明本研究之背景、動機及目的;第二章為一般文獻 之回顧整理,並分析及評析國外如美國、荷蘭、法國、德國、中國,以及 我國的國科會、研考會與經濟部等研究機構之績效評估制度與經驗;第三 章討論個案核研所研發績效考評制度之研訂、執行現況與經驗等,分別就 其評估原則、系統建構、評估方法及評估結果等,以及實做經驗後之檢討 與分析;第四章結論與建議,則對於政府科技機關或單位實施績效評估制 度之作法,提出作者的看法與建議。
建 構 制 度
國內外對照
先進國家 制度與經驗 我 國 制度與經驗 理論 依據 國內外現況 評 析 評估對象 ‧ 計畫 ‧ 單位 ‧ 個人 評估機制 ‧ 評估單位 ‧ 評估流程 ‧ 評估系統 ‧ 評估方法 評估指標 ‧ 量化 ‧ 質化 ‧ 共同指標 ‧ 重點指標 制度研訂與驗證政府科技機關核研所
尋找最適績效考評制度
二、文獻回顧
本節利用文獻回顧方式,來說明績效評估之意涵與類型,尤其是在政 府科技研發機關(構)之績效考評之思維架構趨勢與運作準則等方面,亦多 有著墨。另外,蒐集、分析及比較目前國內外(如美國、荷蘭、法國、德國、 中國、研考會、國科會及經濟部等)科技機關之績效評估制度與執行經驗, 包括其評估目的、評估指標及評估方法等,並同步評析其現況,以作為政 府科技研發機關及單位,研訂績效考評制度及作業之參考。2.1 績效評估之意涵與類型
2.1.1 績 效 評估之意涵
「績效評估」(Performance Evaluation)這一概念,最早是來自企業 管理。管理學大師杜拉克(Peter F. Drucker)認為,績效乃是企業的目 的,也是企業之所以存在的理由。換言之,管理的目的在提高組織的 績效,而政府從事績效評估的目的,即在確保有限的資源,得以獲得 最佳的利用。 所謂績效,通常包含效率(Efficiency)與效能(Effectiveness)兩個層 次的意義。效率是以產出與投入的比率來測量。詳言之,效率與效能 的根本區別在於:前者係指達成目標所需之人力、費用、成本及產出, 以數量化(通常是幣值)的形式作一比較;而後者係指目標達成的程 度,亦即將實際成果與原訂預期效果所做之比較。此二者的衡量,前 者 是 成 本 利 益 分 析 (Cost-Benefit Analysis) ; 後 者 是 成 本 效 能 分 析 (Cost-Effectiveness Analysis)。所謂成本利益分析,是指針對政策運作 的 全 部 投 入 與 產 出 的 貨 幣 成 本 和 利 益 計 算 得 出 的 淨 利 益 (Net Benefit);而成本效能分析的設計,則在彌補有些政策利益無法用市場 幣值加以表達的情況,而採用計畫達成相同目標的單位成本或相同單 位成本達成目標的效能程度。 一般說來,企業較易使用效率來衡量績效,譬如銷售量、盈餘、 產量、營運成本等,皆可量化或貨幣化;但政府機關或機構,尤其是 科技機關之績效,更不易量化,大部分以效能來衡量(吳瓊恩、李允傑、 陳銘薰,2001)。 另外,有關「績效」定義繁多。由減少成本到收益增加,都可以 當作評估組織績效表現的標準。但本論文將政府「績效」界定為「政府投入資源用以政策產出績效的表現」。由此引申出兩項意涵:其一, 「政府必須投入資源以換取政策產出,因此政府績效應包含投入成本 面」(Inputs);其二,「政府投入資源的主要目的,在於換取政策產出, 因此績效應包含投入成本所轉換的效益」(Outputs&Outcomes)。 雖然上述定義與一般私人企業之績效定義大同小異,但若細究其 內涵,則可發現政府與企業在本質上的差異。以「投入成本」面而言, 企業投入的成本主要是仰賴企業過去的收益、業主與投資人對企業營 運能力評價後的「增資」(如透過董事會或買股票等),以及轉換自「公 共領域」的社會成本投入。無論投入的內容為何,企業都需經過評價 後,決定投入資源的程度與用途。 政府在投入面雖以「當年度計畫」及「前年度決算」為基礎,在 考量各種經濟指標因素後,編制年度預算,決定公共政策投入成本。 雖然機關績效表現多少會影響下年度預算,但兩者並無強烈的相關 性。 比較企業與政府在投入面的差異,吾人可以發現,企業的績效表 現將直接影響企業未來能夠投入的成本,然而政府的績效表現卻未必 影響未來投入的成本,甚至在保障對「基本服務水準」的前提下,政 府還可藉以擴張預算。 其次,就產出面而言,企業的績效表現可以透過市場交易轉換為 貨幣,不僅可作為量化比較的標準,更可將績效換算為市場價值,以 判斷企業目標的達成度。反之,政府績效雖可透過量化方式表達,但 因缺乏比較基準而無法估計真正績效的價值。 由於績效評估機制無法或短期內真正評估產值或經濟、社會效 益,因而無法作為政府下一階段施政參考,也迫使政府必須以「投入 成本」的執行率,作為衡量政府績效的標準,導致政府在編制預算投 機與執行時浪費(劉昭博,2003)。 因此,定期的績效評估,對於一個現代化的企業組織或政府科技 研究發展機關(構),均甚為重要。因為它可以了解一個組織或機關(構)
2.1.2 績效評估的類型
目前政府科技研究發展機關(構)之績效評估,大致可以分為下列 幾種(劉昭博,2003): 一、若以預算執行程序做分類依據,可分為「事前」、「事中」及「事 後 」。 事 前 評 估 多 配 合 單 位 預 算 與 前 年 度 機 關 績 效 考 評 同 時 進 行,目的在方便決策者排定資源配置的優先順序;「事中」評估 則是為控制重要政策執行情形而做評估,以期即早發覺問題;「事 後」評估則是針對計畫效益及執行績效做評估,通常會伴隨審計 單位的決算審查,也各機關最重視的評估之一。 二、若以計畫為分類基準,則可分為「計畫績效評估」與「機關業務 評估」。「計畫績效評估」為顧及計畫完整性,將重要計畫自規劃 到完成,以及完成計畫需用之所有資源,皆納入評估範圍的績效 評估機制,以計畫達成「政策目標」為評估基礎,確保計畫的完 成;「機關業務評估」則是針對機關一般性例常業務的績效評估, 目的在確保機關確實執行業務。 三、以財務為分類標準,則可分為「歲出執行績效評估」、「歲入執行 評估」及「財務運用績效評估」三類。「歲出執行績效評估」最 為常見,主要是以「預算執行率」及「決算審查」兩項評估方式 為主;「歲入執行評估」則是針對機關執行歲入能力的評估,通 常以「漏稅率」、「行政罰鍰執行率」最為常見,R&D 機關大部分 則以智慧財產權如專利使用收入等,以及技轉或技服收入等;「財 務運用績效評估」,則是新興的財務型績效評估,目的是針對機 關是否針對收入與公積做最有效的財務運用做評估,希望提高機 關對財務管理的重視,以增加公庫收入,目前以公立醫院及公營 事業單位的「基金績效評估」最為常見。 四、以機關和個人來分,可分為「機關考評」跟「個人考績」。前述 的各種績效評估,都是以「機關」為考評對象,皆可列入「機關 考評」的項目;「個人考績」則是以公務人員個人的績效表現為 考核標的。 五、以績效評估的基準,可分為「單一年度計畫評估」與「經常性績 效 評 估 」。 單 一 年 度 計 畫 是 為 因 應 年 度 新 增 計 畫 所 作 之 績 效 評 估。因該計畫屬新增業務,並無前案作為比較基準,不過多採專案評估方式辦理;「經常性績效評估」則針對各機關執行業務情 形做「時間回朔式」的比較分析,以掌握機關執行業務時有無做 持續的改善,目前以事業單位的績效評估最為常見。 六、以績效評估從事的人員,可分為「委員會制」與「部內制」。機 關為求績效評估的專業與客觀,邀集外界專家學者組成評估小 組,即屬「委員會制」;若由機關內部組成督導小組,或由獨立 評估機關從事評估工作,即屬「部內制」。採「部內制」的理由, 在於機關為確保業務機密,兼顧考核效率與專業性;至於採「委 員會制」的用意,則是針對一些專業性過高,或者政治爭議性較 大的案件,邀集外界專業人士參與,以兼顧專業及客觀公平,唯 評估工作可能沒有效率,甚至有「洩密」之嫌。 七、若以服務對象為分類依據,可分為「服務品質獎」與「經營績效 評估」兩大類。「服務品質獎」主要是結合「標竿學習」及「使 用者滿意度」的精神,針對基層人員在面對不特定服務對象時之 表現所作的績效考核;「經營績效評估」考核則是評估公營事業 對消費者所提供之服務品質。 上述分類方式,只是方便政府所轄之研究發展機關(構)的主要績 效評估種類。政府研究機關實際從事績效評估時,多半採用混合式的 績效評估,混合多種評估方法,以因應政策目標及機關業務特性之需 要。
2.2 國內外科技機關績效評估制度
國內外也有許多實際執行的研發成果績效評估或評鑑的制度,不 過就如經濟合作暨發展組織(Organization for Economic Cooperation and Development,OECD)(1997)所作的分類說明1,這許多制度未必只 針對機構層次的評鑑制度,而且各個制度進行評鑑或評估的目的,也 不完全相同。本節將以已具完整的、範圍大且具規模的績效評估制度 與執行經驗之國內外科技機構為對象。國外包括美國、荷蘭、法國、 德國及中國等。國內則包括:管考全國行政單位之行政院研考會;自 民國五十八年起就實施且不斷改進之施政績效評估作業,另為全國科 技發展政策把關及資源分配的行政院國科會;亦於九十一年度推出之 科技組織績效評鑑作業,以及為掌管產業科技研發方向的經濟部技術 處;並已辦理四年的執行科技專案之研發機構績效考評作業。分別針 對其進行評鑑或績效評估的背景與目的、觀察的指標,以及評比的方 法等進行介紹及說明,值得未來建立科技機構績效考評制度或作業的 啟示(研考會,2004)(林欣吾,2002)。 一、美國 (一)背景與目的 1993 年 美 國 為 強 化 政 府 部 門 績 效 和 提 升 民 眾 對 政 府 行 政 的 信 心,在兩黨及柯林頓政府的支持下,美國國會通過一項政府行政革新 法案-「政府績效與成果法」(Government Performance and Results Act),GPRA)。此次行政革新與過去最大的不同,在於它是由國會立 法要求行政部門執行的法案,對於行政部門具有強制性。另外,GPRA 對於行政革新的要求,直接針對政府施政與服務的實質成果上,讓國 會能監督這些施政與服務成果,並能同時在進行預算審查時,對施政 方向與服務實績有所要求。此一法令採漸進改革方式,先就部分單位 試行,規定在 1997 年以後,政府部門各單位才逐步全面實施,並到 了 2001 年,才執行完畢整個法案所要求的完整循環。在此一完整的 績效評估經驗後,美國國會與各研究機構,也開始共同檢討這幾年 來,對於研究發展專案績效評估的作法。表 2.1 為 GPRA 之基本架構。 (二)觀察的指標 就績效評估而言,GPRA 是美國當前科技計畫及政府部門績效評 估的重要指針,其最大特色是採用自我檢視的分權式評估精神,即授
權行政單位自訂符合其組織任務、組織特色等面向之策略目標與評估 指標,而不是以一套制式的標準全體適用。再者,對於達成績效目標 的單位,GPRA 也給予一些誘因回饋,即可免除某種行政程序要求或 管制之訴求(例如員額、薪資限制、預算科目流用等),但應詳述放寬 管制之效益,並以量化方式呈現因此所能改善之預期績效。對此一訴 求,白宮預算管制局(Office of Management & Budget, OMB)仍然握有 行政的裁量權。
就 GPRA 對 於 執 行 研 究 發 展 機 構 的 運 用 而 言 , 國 會 總 審 計 處 (General Accounting Office,GAO)的執行重點,可分為機構定位與績 效衡量兩方面來看。前者是在檢視各個研究發展機構,在時空環境變 遷過程中,組織調整乃至於存續等議題。就績效評估本身而言,GAO 的先期研究提出幾個原則性的規範,並先試行幾個單位,並據此歸納 出以下幾個對於績效評估指標的共通性原則: 1.必須依照單位的組織層級,分別列出相關的組織目標與所需資源, 而且各層級必須列出與目標相關的績效指標; 2.績效指標必須能反映出單位達成目標的程度,特別是必須能反映出 目標與績效達成水準間的差距; 3.績效指標只要能涵蓋幾個重要關鍵面向,能協助單位判斷其成就, 進行決策即可。各層級可以有不同的績效指標,但到了越高的層 級,則依其重要性而可以有所篩選; 4.必須能提供誘因讓單位主管同時考量成效的品質、成本、客戶滿意 度、以及利害關係人等面向; 5.必須直接與所執行 的計畫相連結,如此才能使計畫經理人在 執 行 時,隨時能注意到其績效; 6.必須蒐集、正確且一致的資料,以作為提供績效相關文件的證明, 並支援相關的決策(GAO,1996;間接引自林欣吾,2002)。
(三)評比的方法
美國聯邦政府所屬機構,必須定期提出三種報告:長期策略規劃 (Strategic Plans)、年度績效規劃(Annual Performance Plans)、和年度績 效成果報告(Annual Performance Reports)。長期策略規劃,責成政府部 門,每三年提出其長期營運願景、未來數年的營運目標、影響目標達 成的關鍵因素、衡量其績效的方法、及未來衡量績效的規劃等。行政 部 門 在 研 擬 長 期 策 略 規 劃 時 , 必 須 事 先 與 國 會 及 利 害 關 係 人 (Stakeholders)等對象諮商,以期內容能確實符合顧客需求。同時,長 期策略規劃中所提出的目標必須符合客觀、可量化、與可衡量等條 件,但若無法以量化的指標,來表達部門目標時,可在白宮預算管制 局認可的前提下,以其他方式為之。 年度績效規劃報告,則是配合中長期策略規劃的目標,政府部門 每年作業目標與施政計畫之事前規劃。在年度績效規劃中,每個單位 必須提出組織內各層級的「成果(Outputs)」與「成效(Outcomes)」目 標,這些目標的相關績效指標,以及達成這些目標所需的資源投入與 方法。而且 GPRA 所要求的目標,是以成效為主,成果為輔。 年度績效報告,則是政府部門每年對於前一年度績效規劃的自我 檢討與回顧,必須說明年度績效規劃中所提出的成果與成效目標達成 的情形,並解釋未能符合其原定目標的原因(詳見表 2.2)。這些由單位 所 提 出 的 自 評 報 告 , 經 過 彙 整 後 , 會 由 國 會 總 審 計 處 (General Accounting Office,GAO)或 OMB 定期由專家評審,尤其是針對執行 研究發展的機構而言。
表 2.1 美國「政府績效與成果法」之架構
策略計畫
績效計畫 績效報告 一、整體任務 二、與成果有關之各項 施政計畫目標 三、如何達成目標(應 載 明 所 需 運 作 過 程、技能、人力、 資訊、預算;影響 達 成 度 之 外 在 因 素;如何訂定目標 及未來期程) 四、策略目標與績效目 標之關聯性 一、績效目標(訂定方式以客 觀 、 量 化 、 可 衡 量 為 原 則,採其他方式訂定者, 應經預算管理局核准) 二、績效指標(訂定目的在 衡 量 各 計 畫 之 工 作 產 出、服務程度與成果) 三、績效衡量應考慮之問題 (如績效目標與計畫成果 之比較基礎;驗證評估成 果的方法與工具;以其他 方式訂定績效目標者,其 未 達 成 績 效 與 成 功 達 成 績 效 之 可 能 情 形 或 其 他 更 能 正 確 判 斷 執 行 情 形 之表達方式) 四、達成某系績效目標,即 可 免 除 某 種 行 政 程 序 要 求或管制之訴求(例如員 額、薪資限制、預算科目 的流用等,但應詳述放寬 管制之效益,並量化預期 績效能改進多少,此一訴 求 預 算 管 理 局 可 逕 為 準 駁決定) 一、依所定績效目標列出 執行績效,並與績效 目標作比較 二、列出前三年之績效 三、檢討年度績效達成度 (在作法上,除根據以 上 年 度 績 效 檢 討 本 年度績效計畫,並將 各 計 畫 評 估 結 果 納 入,解釋績效未達成 之原因及改進建議) 資料來源:陳信宏、王健全、承立平、蘇顯楊、莊俊、陸煇雄(2002)表 2.2 美國「政府績效與成果法」要求之報告內容
報告類型
重要內容
備註
長期策略規劃 (Strategic Plan) 一、每 3 年之長期營運願景 二、未來之營運目標、達成目 標的策略與方法 三、影響目標達成之關鍵因素 四、衡量績效的方法 五、未來衡量績效的規劃 一、目標須符合客觀、可 量 化 和 可 衡 量 等 條 件,惟經 OMB 認可, 可用其他方式表示 二、行政部門須和國會、 利害關係人、及可能服 務對象諮商協調 年度績效規劃 (Annual Performance Plan) 一、達成長期策略規劃,所需 之日常作業目標與詳細計 畫 二、績效規劃須包涵組織內各 層 級 之 成 果 與 成 效 、 目 標、達成目標所需資源與 方法 一、GPRA 所要求的目標 是以成效為主,成果為 輔 二、未要求與利害關係人 諮商,與年度預算一致 即可 年度績效報告 (Annual Performance Report) 一、前一年度績效規劃之檢討 報告 二、說明年度績效規劃中所提 產出與成效目標達成情形 三、解釋未能符合原定目標的 原因 一、未要求與利害關係人 諮商 資料來源:陳信宏、王健全、承立平、蘇顯楊、莊俊、陸煇雄(2002)二、荷蘭 (一)背景與目的 荷蘭的研發評鑑制度,分成三個層次。包括對研究機構、對研究 計畫,以及不同學門研究成果對社會的影響等。其中,政府對於研究 機構的評鑑,目的不在於藉由評鑑結果進行研發基金分配,也不在於 評 估 各 研 究 機 構 是 否 達 成 其 應 有 的 目 標 , 而 是 扮 演 一 個 「 監 督 (House-Keeping)」的角色,期許各研究機構能有較佳的營運體質。對 於機構的評鑑責任,多由各研究機構自行承擔。由於荷蘭除了大學之 外,仍有多個研究機構或體系。所以大學及各研究機構體系的評鑑制 度均分別各自獨立進行。對於評鑑結果,由於各研究機構也體認到研 究品質的重要性,而都會以其評鑑結果為基礎,對研究機構的營運策 略及方向作適當的調整。 (二)觀察的指標
除了大學體系 VSNU(Association of University in the Netherlands) 外,還包括 NWO (Netherlands Organization for Scientific Research)、 研究學校(由 The Education and Career Opportunities System , ECOS 進 行 評 鑑 )、 TNO (Netherlands Organisation for Applied Scientific Research),以及其他大型技術研究機構等。茲將各個體系的觀察指標 簡單整理如表 2.3。從表中的結果可以發現,除了所關心指標大致可 分成:願景達成情形、管理制度、研發績效等幾個部分,而研發績效 部分則與其機構性質的相關性極高,例如學校除重視研究的品質以 外,還關心研究與教育間的關係;研究機構除關心研究品質外,還關 心其研究成果的落實情形。 (三)評比的方法 雖然各個體系或機構的觀察指標有稍許的不同,但在評比的方法 上則大致相同,多由各機構先行填寫相關指標,然後由專家(多包涵 外部專家,甚至有來自國外的專家)給予評分。評分的等級,在 VSNU 是依各個面向,由專家在實地參訪後,參考指標分成五個等級主觀地
表 2.3 荷蘭的大學與各研究機構體系的研究績效觀察指標
體系或機構
指標方向與內容
VSNU 科學的品質:論文與著作的品質、研究的原創性、對相關學 門發展的貢獻、在國際或國家的地位,以及取得 NWO 基金 支援的比重。 科學生產力:研究產出,以及研究人力與其他投入的關係。 相關程度:對於相關學門貢獻的顯著程度、對於相關的社會 發展與技術水準的貢獻程度。 願景達成情形:實際結果與願景目標間相符情形。 機構長期發展:研究機構的規模、基礎設施,以及相關方向 的研究競爭能力 NWO 願景、目標、機構的定位、科學成果的品質、人力資源及財 務管理、機構研究計畫的銜接情形、基礎設施、過去評鑑結 果的修正情形等面向的指標。 ECOS 教育與研究間的關連程度、組織管理情形、財務管理情形、 願景與目標達成情形。 TNO 強調研究成果的應用情形與品質,其評估結果與其策略發展 方向緊密結合。包括組織、基礎建設以及研究成果的科學程 度、社會影響(與市場的相關性)與作業流程的品質。 大型研究機構 評估的目標與 1991 年的科技預算目標結合在一起。 指標考量: 科學品質:科學與技術研究的原創性及品質。 社會品質:機構願景、研究成果的實際落實情形。 作業品質:作業流程的管理品質、效率。 資料來源:OECD(1997)、VSNU(2001)三、法國 (一)背景與目的 1945 年,在法國的國家科技研究中心(Centre National De La Rescherche Scientifique,CNRS)成立的同時,就成立一個基礎研究 的成果評鑑委員會,專門對法國共 12,000 位研究人員及 1,200 個研究 機構與實驗室進行評鑑。主要是分成 40 個學門領域,採專家評審的 方式進行評鑑。其評鑑的結果,對個人是作為升等的基準,對機構則 是為了判斷其研究成果在國家或國際間的水準,有時則是作為其機構 存在與否的參考(OECD, 1997;http://www.cnrs.fr/sgcn/accueil.html)。 (二)觀察的指標 觀察指標的採用,隨著學門的差異而有所不同,但仍有些共同參 考指標與面向,包括著作的發表情形、受邀參與國際會議情形、與國 際組織或產業共同研究的情形,以及在國家或國際的地位等等。除了 以上科技成果方面的指標外,依不同領域還會參考人員的流動情形、 與私營企業間的互動情形、成果移轉情形,實施教育訓練情形以及基 礎科學知識的宣導情形等等。 (三)評比的方法 各個學門的評鑑標準,均依各學門委員會一個學門的發展情形自 行建立。為了方便各學門委員會瞭解該學門的發展情形,CNRS 訂有 一個共同分析架構,提供各學門委員會參考,以分析該學門的知識生 產狀況、擁有的資源狀況、與其他領域或組織間的交流情形,以及未 來發展的可能趨勢等。 每個學門的委員會,均針對該學門內的相關機構相對發展情形進 行評比,目的在於確保各研究機構研究成果的品質或符合 CNRS 的目 標要求。另外,如果有些研究人員或機構的研究,屬於跨學門時,則 同時由相關學門的委員會進行評鑑。
四、德國
(一)背景與目的
在 1994 年,由於兩德統一的緣故,使得德國境內的研究機構數 目,從 48 個暴增成為 82 個。為了確保這些研究機構的研究品質,並 維持列入藍色清單(Blue List Institutes)的彈性,德國聯邦政府要求其 科學委員會(Science Council)進行評鑑。這些列入清單的機構,其領 域涵蓋人類學(16 個)、經濟與社會科學(16 個)、生命科學(21 個)、數 學與科學(20 個)及環境科學(9 個)等。而其中有 16 個機構,除了從事 研究外,還包括服務的功能(如資訊提供及專業圖書館)。 (二)觀察的指標 所觀察的指標,可分成品質及科技政策兩個層次。在品質方面, 必須考慮其服務及研究成果的品質;在科技政策部分則共分成 13 個 面向的考量: 1.機構在主要科學領域中,與其他國家或國際機構的整合情形。 2.研究計畫間的整合情形。 3.具水準的著作發表情形,例如在國內或國際發表具有審查制度的著 作發表情形。 4.外部基金的支援情形,特別是具有專家審查制度的資金來源。 5.定期接受科技顧問評估的情形。 6.研究人員的水準與長期契約情形。 7.與大學及其他研究機構的合作研究情形。 8.與大學共同接受學術性任務的情形。 9.參與大學教學活動及支援培訓博士及博士後研究的情形。 10.曾經在大學獲任教授資格的情形。 11.獲邀在重要的國家或國際研討會發表學術性演說的情形。 12.獲邀到其他國家學術機構進行研究的情形。 13.邀請其他學術研究機構研究人員來進行研究的情形。 (三)評比的方法 由相關專家及政府代表組成委員會,對個別的研究機構進行評估。 進行評估前,先由研究機構提供相關資料,然後再進行實地訪視。完成 評鑑報告後,將報告呈交藍色清單委員會,進行綜合評鑑。 評鑑結果的採用過程為:首先針對品質水準進行評鑑,如果通過, 則繼續進行以上 13 個科技政策面向指標的評估;如果科技政策評估結
果亦通過,則該研究機構將可以繼續名列藍色清單,接受政府基金的資 助,否則將會併入一般大學的補助體系;如果品質水準的評鑑不通過, 則直接排除在藍色清單的補助之外。
五、中國 (一)背景與目的 中國科學院,在 2000 年成立評估研究中心。目前該中心的主要 業務,在於執行「國家知識創新工程」的各項評估工作,同時也接受 委託進行政府與業界的評估工作。其中,在機構評鑑的層次,目前正 對知識創新工程試點單位進行評估。根據石兵與連燕華(2001)的說 明,這項針對單位層次的評價的目的和作用,促使知識創新工程任務 的達成,以及建立良好的基礎,亦即在於: 1.推動各創新工程研究機構以國家知識創新工程總體目標為導向,全 面完成各項工作任務。 2.創新工程研究機構評價,也是提高管理水平,建立與中國社會主義 市場經濟相適應的國立科研院所制度的需要。包括:保證進入創新 工程的試點單位,提出高標準、高水準的發展目標,又保證目標的 可實現性;透過評價掌握有關政策措施的實施情況,根據實踐成果 調整已有政策;建立健全新型的監督評估制度,並與領導體制、預 算撥款制度、新的用人制度等相聯繫;行程動態與資源優化配置的 新機制,也就是通過評價引導試點單位瞄準國家目標,同時將評價 結果與經費調整作為提高科研效率、增強發展後勁。 3.借助評價所體現的價值,促進一批高水準的國家知識創新基地、一 支有很強創新能力的隊伍和一批有顯示度的重大創新成就的形成。 (二)觀察的指標 所觀察的指標體系架構,包括所謂的目標完成度及三性貢獻(科 學事業發展的貢獻、對經濟建設的貢獻以及對社會進步的貢獻)兩 類,而最後的評價結果,以目標完成度及三性貢獻指標的相關性為依 據,其架構如表 2.4。在指標架構中,目標評價是中國科學院對進入 創新工程的研究機構實現工程目標的完成度檢查,亦即在事前各受評 單位即有簽訂相關的工作目標,而三性貢獻,則是按各類科技工作不 同的價值導向而分別設定的指標。 在科技目標的研究工作貢獻一項中,主要是依學科分類進行評 估,學科分類可分成三大類:1.基礎研究:側重研究工作的創新程度, 強調科學的原創性及國際地位;2.高技術類:側重研究工作的社會經 濟效益,強調戰略性和創造高經濟效益;3.資環類:側重研究工作的 社會影響及意義以及在社會公益性事業中的貢獻,強調對社會長遠發
展、全面進步的影響及意義。 (三)評比的方法 在評比的方法方面,由於各項指標,不論是目標完成度或三性貢 獻指標,均在進行評估前,已經擬定相關的得分標準,當某項實際數 據超過標準時,即可在該項指標得分。然後再依評價內容的差異,採 取不同的評價方法,包括以管理專家為主的工作監督評價,以國內外 統計資料為主的定量分析評價,以國際同行的專家評價(Peer Review) 為主的定性評價,以心理學專家為主進行心理問卷調查評價,以及各 種評價方法的綜合使用。分別針對各個指標下的得分情形進行加總, 即得各研究單位的年度評鑑成績。
表 2.4 中國科學院知識創新工程試點單位評估方案指標架構
大項
中項
內容
比重
科技目標 科技目標完成度的評估 研究工作的貢獻 與軍工相關的科技目標 40 管理目標 人力資源:平均年齡、45 歲以下研究員比 重、管理人員、兼任與專職、新聘人員等 比例 經費:院撥與對外爭取比例、創新專項使 用率、人員經費強度、設備建設投入比 政策貫徹情形 40 領域前導 領域前導部署經費投入比重 領域前導部署人才投入比重 領域前導部署質量 10 目 標 完 成 度 (目標評價) 創新文化 園區環境與形象 行為規範與制度建設 價值導向與精神氛圍 10 三性貢獻(非 設定目標) 導向指標 承擔重大科技任務 高質量科學論文 重要國際學術會議特邀報告 重大社會經濟效益(成果移轉、企業孵 化、重大諮詢、優秀實驗室、專利數等) 人才培養(院士、科技顧問、國際組織 任職、優秀青年獎等) 科技獎勵(發明獎、進步獎等) 不佔 比重 資料來源:中國科學院(2001)六、國科會 (一)背景與目的 政府根據行政院第六次全國科技會議「研究發展應另訂適合之採 購規範」之決議,並配合科學技術基本法第六條第一項「政府補助、 委辦或出資之科學技術研究發展,應依評選或審查方式決定對象,評 選或審查應附事由。」之規定,訂定政府機關辦理研究發展計劃採購 作業要點。政府各單位得組成審查委員會,對科技計劃的執行單位, 作研究能量和績效的評鑑,以選擇出最適合的執行單位。因此,國科 會成立科技組織績效評鑑委員會,在 2002 年 3 月提出一套科技組織 績效評估指標與評估模式(國科會,2002)。 除落實科技基本法之規定,對承接公務機關科研計劃須做組織評 鑑之目的外,亦可建立我國科技組織之績效認可制度。科技組織績效 評鑑委員會強調其所構建之我國組織績效評鑑重「品質(Quality)」, 而非重「聲望(Reputation)」;評鑑強調「To Improve」,而非強調「To Prove」,並且達到評科技機構自我管制(Self-Regulation)、自我評鑑 (Self-Study)之境界,增進科技組織品質、效能與效率。 (二)觀察的指標 以八項衡量構面(如圖 2.1)構成中項評鑑指標。其中,創新能力與 聲譽認可等二項評鑑指標,目前暫列為參考項。其餘六項中項評鑑指 標整合成計劃發展、管理制度、人力資源、研究績效四項大項評鑑指 標。此一指標架構的意涵與內容,請見表 2.5 及圖 2.2。另外,由於 考量科技組織性質多樣性之事實,我國科技組織績效評鑑委員會,依 組織任務、功能與性質差異性,區分為三大類科技組織評鑑:基礎研 究型組織、應用研究型組織及技術發展型組織。 由於各受評單位,其任務與發展方向各異,或其因應的內部資源 配置不同,故各指標權重亦有不同。為確保評鑑制度之公平性與各受 評單位之權益,本評鑑制度除共通性項目採固定權重(包括發展計 畫、管理制度以及人力資源績效)外,其餘指標權重自訂。
圖 2.1 我國科技組織績效評鑑八項衡量構面圖
資料來源:行政院國家科學委員會(2002) 科技組織績效 人力資源 管理制度 發展計劃 聲譽認可 智慧財產 合作發展 創新能力 技術價值表 2.5 我國科技組織績效評鑑之指標架構意涵
大項指標 中項指標 構面
指標意涵
發展計劃 發展計劃 計劃 衡量組織目標與策略之前瞻規劃能力,並評 量其定位與發展之適合程度與可行性。 管理制度 管理制度 管理 以 ISO 品質管理系統為依據,審視是否有具 體規章與制度管理其科技與服務品質。 人力資源 人力資源 人資 衡 量 團 隊 現 有 研 發 與 技 術 人 員 之 密 度 與 素 質,以及研究人力資源永續更新之速度。 合作發展 合作 衡量組織知識與技術累積存量,亦表潛在轉 換為市場價值之潛力。 智慧財產 智財 衡量組織創新知識之速度與能力之能力,並 評量其知識與技術之前瞻能力。 研究績效 技術價值 價值 衡量組織開發技術與知識能力與潛力,亦表 其與外界合作發展之能力。 創新能力 創新 衡量組織推廣與擴散其知識與技術能力,亦 表其與產業界密切程度。 現列為 參考指標 聲譽認可 聲譽 衡量組織國際知名度與國際化程度,以及衡 量其技術與知識受到國際重視程度。 資料來源:行政院國家科學委員會(2002)圖 2.2 我國科技組織績效評鑑之指標架構內容
資料來源:行政院國家科學委員會(2002) 發展計劃 管理制度 人力資源 研發績效 人力 素質 新進 人力 智慧 財產 技術 價值 合作 發展 共十項評鑑指標 共十 六 項評鑑指標 研究人員資 歷 研究人員學 歷 研究人員 年 資 三 年 內新進人員 各國專 利數 著作權 數 論 文發表 數 技術購買 專 利 權購買 專 利 權賣出收入 技術服務收入 專 利 權使用收入 內涵技術收入 企業委託計劃 金 額 政府委託計劃 金 額 合作計劃 金 額 外人投資計劃 金 額 向外投資 金 額 組織績效(三)評比的方法 除發展計畫及管理制度,由專家審查相關資料,主觀分別依各細 項指標評分3 ,然後依照所有受評單位所得分數之總平均及標準差, 區分出評等外,其餘項目的評估均由量化資料直接轉換成最後的評 分。其中,人力資源部分均採類似如下的公式計算細項指標評分: 正教授〈正研究員〉*3+副教授與助理教授〈副研究員〉*2+講師〈助 理研究員〉*1+博士生*1+碩士生*0.5 博士*2+ 碩士*1+博士生*1+碩士生*0.5 然後再將所得的分數,分別予以標準化〈Normalization〉,即以 評鑑項目最高分數者轉換為 100 分,其他受評者則以此為標準,線性 轉換為對應分數。依序用細項層級與中項層級權重結合後,而得到各 受評單位在人力資源大項指標上之得分。該得分除以受評單位研究與 技術人員數,即得受評機構研究與技術人員的平均素質分數。最後, 依照所有受評單位所得分數之總平均及標準差,以區分出評等。
---
3 分成五個等級: 「無(0 分)」:目前無紀錄可查知、尚未訂定相關辦法、尚未規劃、未能界定。 「差(1 分)」:目前雖然訂定相關辦法或規劃,但辦法品質不良、或徒具形式未見實施。研發成果績效部分,則將細項層級與中項層級的權重相乘,得到 各受評單位在各評鑑項目業務上之資源配比,乘上受評單位年預算,則 計算出受評單位該年度在項目上所花費經費,再用此經費數除已受評單 位在項目成效〈如有幾件專利、有多少之收入等〉,則得到受評單位在 評鑑項目的每單位產出所需經費,予以標準化,即以評鑑項目最高分數 者轉換為 100 分,其他受評者則以此為標準,線性轉換為對應分數,再 予以加總,而得到各受評單位在研發績效指標上之得分。最後,找所有 受評單位的總平均值〈μ〉與標準差〈σ〉,再轉換為評等。 四個部分的評等分類,均採如下列的標準區分: μ-σ~μ 範圍,評等為〝☆〞 μ~μ+σ 範圍,評等為〝☆☆〞 μ+σ~μ+2σ 範圍,評等為〝☆☆☆〞 μ+2σ~μ+3σ 範圍,評等為〝☆☆☆☆〞 μ+3σ~以上 範圍,評等為〝☆☆☆☆☆〞 由前述程序,得到各受評組織在發展計劃、管理制度、人力資源、 研發成效大項評鑑指標下之星數評等。依科技組織績效評鑑委員會第一 次會議之決議,受評單位認證通過之條件為: 1.頒發甲級認證通過證書 (1)四項大項評鑑指標均有三顆星評等以上。 (2)四項大項評鑑指標星等平均值大於四〈含〉顆。 2.頒發乙級認證通過證書 (3)四項大項評鑑指標均有二顆星評等以上。 (4)四項大項評鑑指標星等平均值大於三〈含〉顆。 3.頒發丙級認證通過證書 (5)四項大項評鑑指標均有一顆星評等以上。 (6)四項大項評鑑指標星等平均值大於二〈含〉顆。
七、研考會 (一)背景與目的 行政院為因應社會發展、國際化腳步,及全面提升施政效率和高水 準服務品質,以提升國家競爭力的訴求,特建立一個與時俱進、更具前 瞻性的績效管理方式及運作架構,由行政院研究發展考核委員會(以下 簡稱研考會)於九十年五月頒布之「行政院所屬各機關施政績效評估要 點」,統籌辦理政府機關施政績效評估之規劃、執行及考核作業。接受 評估的單位包括行政院所屬之各部會署,考評結果除可作為行政院衡量 各機關施政績效良窳及獎勵之客觀準據外,並作為各機關執行施政業務 改進之參考,同時對於所屬機關及相關人員辦理獎懲之依據。上述研考 會頒布之「行政院所屬各機關施政績效評估要點」,其邏輯架構原則上 即是根據美國 GPRA 而來。 (二)觀察的指標 研考會執行之施政績效評估,分為策略績效目標及年度績效目標之 評估。其中策略績效目標,係指各機關依據其組織功能執掌及業務推展 之需求,預期達成之中程(以四年為期程)施政目標;年度績效目標, 則指各機關為達成其策略績效目標,每年所訂定之具體性目標。由於各 部會署之業務及功能不同,因此各機關自訂衡量指標,以評估策略績效 目標及年度績效目標,唯衡量指標之訂定,應包括具體評估方式及衡量 標準。 (三)評比的方法 研考會所辦理之績效評估作業分兩大步驟進行: 1.績效目標與衡量指標之提報與審議 各機關自行訂定策略績效目標與衡量指標後,配合中程施政計畫 作業時程,擬定中程施政計畫草案送交行政院。研考會於一個半月內, 邀集相關機關完成審議,各機關根據審議結果,再次修正中程施政計 畫內容,並將結果報送行政院;年度績效部分,則配合年度施政計畫
政府會計年度執行結束一個月內,各機關應由機關首長主持年度 績效檢討會議。目標檢測部分應依原訂績效評估方式及衡量指標,檢 討當年度執行績效。績效考評作業得邀集學者專家參與,或委請民間 團體,進行客觀評量,可採書面審查或實地查證方式進行。績效考評 結果,需於次年三月十五日前提送研考會。研考會接受各機關之績效 考評結果後,先行書面審查、實地查訪,以及組成考評委員會,進行 考評之作業,考評結果於四月十五日前報送行政院。 研考會所執行之績效考評結果,將根據年度績效目標達成度,核 算機關整體績效,並核算出機關之績效分數,行政院則根據研考會提 供之績效評估結果,頒發團體獎項,以及相關主管及執行人員之敘功 作業;各機關應依年度績效目標達成情形及行政院核定之考評意見, 對其所屬機關及相關人員辦理獎勵。各項獎勵作業,需於績效報告送 交行政院核定後一個月之內完成。
八、經濟部 (一)背景與目的 經濟部對於研究機構的評鑑制度,可以區分成三個部分:管理制 度、績效考評制度及智慧財產管理制度。這三個制度研擬及實施的時間 與背景,均不相同。管理制度是在 84 年經濟部頒布「科技專案管理辦 法」後,為要求各研究機構應具備管理條件而訂定;績效考評制度是在 第三屆立法院的經濟與預算委員會聯席審查時,要求嚴格規範財團法人 研究機構等執行政府專案計畫之績效後,在 87 年成立「經濟部科技專 案計畫績效考評委員會」,並逐步建立相關的制度;而智慧財產管理制 度,則是為配合「科學技術基本法」之施行,敦促財團法人建立良好的 智慧財產管理制度,以達到政府補助財團法人研發之本意(經濟部技術 處,1999&2001)。 (二)觀察的指標 1.管理制度 以各機構之整體運作制度為評鑑重點,可劃分為三大部份:第一 部分就組織定位與未來發展為主;第二部份則就計畫管理、人事管理、 財產管理、會計管理及內部稽核等組織運作管理方面,依制度面與執 行面進行評估;第三部分則評估組織整體運作計畫專案之成效。茲就 各部分內容簡述如下: (1)組織定位與未來發展 此部份包含各機構之設立目的及使命、目前發展目標、組織 未來發展方向、組織架構與人員分工、專長定位、主要業務範圍 及董監事會整體運作狀況等,同時評估組織分工與功能是否與其 他機構有重疊現象。另外,在技術提昇方面包含在研究發展及廠 商輔導工作上所投入的工作量比例、經費分配比例,以及在技術 研究上之發展成果和其重要性。 (2)組織運作管理
-執行面:根據制度面之各項執行結果來評鑑。 B.人事管理: -制度面:包括計畫人事管理之範圍與原則、人事管理之組織 與職掌、人力分析與規劃、人力之招募與甄選、任 用、異動、薪給、福利、考勤與控制、訓練與發展、 請假與休假、出差、代理與交接、績效評估與獎懲、 計畫人事管理制度能否配合科技專案計畫執行之 需求。 -執行面:根據制度面之各項執行結果來評鑑。 C.財產管理: -制度面:包括財產管理之範圍、財產管理之組織與職掌、財 產之分類、編號、登記、列帳及保管等規定、財產 之採購及驗收、財產之預算及增置、財產之維護、 財產之保險、財產之調撥、財產之閒置及盤點、財 產之計價、折減與重估、財產之減損、報廢、財產 之變賣、捐贈、交換及衍生收益處理、財產之租借、 財產之損害賠償。 -執行面:根據制度面之各項執行結果來評鑑。 D.會計作業管理: -制度面:包括會計作業管理之範圍、會計作業管理之組織與 職掌、會計憑證、會計簿籍、會計報告、會計科目、 會計政策與會計原則、普通會計事務之處理、出納 會計事務之處理、經濟部科技專案業務之處理、採 購及營繕工程會計事務之處理、預算與決算事務之 處理、內部審核之處理。 -執行面:根據制度面之各項執行結果來評鑑。 E.內部稽核: -制度面:包括是否具有內部稽核職能、是否設置專任內部稽 核單位或人員、內部作業計畫與執行情形、內部稽 核作業報告事項、內部稽核作業品質、內部稽核作 業記錄保管、內部稽核作業記錄保管。 -執行面:根據制度面之各項執行結果來評鑑。
(3)組織整體運作成效 針對財團法人組織專長定位、組織架構及實際管理制度運作 方式做評估審查之後,將以整體性的觀點再做評估。不僅可瞭解 財團法人管理制度運作的執行成效,更可藉此評估組織整體配合 之實施成效,並對於過去整體專案執行成果做評估,以助於對整 體運作有通盤的認識。 2.績效考評制度 首先由受評的研究機構提出該單位工業技術研究與服務中的定位 與功能的說明,並自行分辨這項定位與功能,在推動創新前瞻、提升核 心/關鍵技術,以及環境建置等三個基本定位方向的比重。除了這三個基 本政策方向之外,還可以由於單位因為執行政府額外所交與之任務,而 另外以「其他」的任務目標填入比重。 接著,根據這些定位方向分別填寫過去兩年全程結案的科專計畫成 果,填寫執行科專計畫後所產生之重大效益,要求選擇足以呈現該單位 重大效益之指標。這些指標均僅作為考評委員的參考。 表 2.6 中的指標是在科技專案績效考評委員及相關專家,所訂立的 以下原則:定量指標、多角度考量、創新思考、綠色相關指標、目標管 理、提高可信度,降低相關性等,實際訪查相關研究機構,以便符合各 研究機構的實際成果與成效後,才制訂完成。 3.智慧財產管理制度 智慧財產管理基本上包含:研發成果管理、技術移轉以及研發成 果之會計與稽核等三個部分。 (1)研發成果管理制度 A.建立研發成果管理制度之權責編制。 B.確認研發成果歸屬之管理機制、程序或文件。 C.確認研發成果發明人與創作人之管理機制、程序或文件。
H.研發成果必要資訊之管理機制、程序或文件。 I.負責研發成果管理制度協調或統合之權責單位或人員。 J.編撰研發成果管理手冊或文件載明以上所有相關規定(暫緩)。 (2)技術移轉制度 A.建立技術移轉制度之權責編制。 B.研發成果資料庫。 C.技術移轉相關資訊推廣之機制、程序或文件。 D.技術移轉程序之規劃與執行。 E.研發成果運用之評估及履約、違約處理之機制、程序或文件。 F.研發成果運用之收益分配。 G.報告研發成果運用之機制、程序或文件,包括權利金、就業機 會、投資金額等符合經濟部要求之資料。 H.對外聯繫窗口。 I.編撰技術移轉手冊或文件載明以上所有相關規定。 (3)研發成果之會計及稽核制度 A.建立研發成果之會計及稽核制度之權責編制。 B.單獨設帳之會計作業以作為區分各項研發成果收支之用。 C.定期編製收支報表以表現出各項研發成果運用之情形。 D.內部自我稽核制度。
表 2.6 經濟部單位層次績效考評重大效益指標
量化之重大效益指標 子 目 標 指標項目89
年
90
年
91
年
非 量 化 重 大 效 益 ( 請 標 明 效 益 產生之年度) 專利件數(含申請中)(件) 衍生研究發展投資(仟元) 衍生公司數(件) 衍生公司直接產值(仟元) 參與制訂國際標準件數(件) 與學界合作研究件數(件) 達成「推 動創新前 瞻」效益 目標 與學界合作研究金額(仟元) 可移轉技術件數(件) 可移轉技術平均移轉件數(件) 技術授權金與權利金總額(仟元) 促成廠商投資(仟元) 產品或技術獲得國際認證數(件) 達成「提 升 核 心 / 關 鍵 技 術」效益 目標 相關產業(品)產值國際排名前三名 (種) 執行國際認證數(種) 執行國家認證數(種) 執行品質保證數(種) 服務廠商家數(家) 服務廠商之總件數(件) 達成「環 境建置」 效益目標 產業技術與科法等報告的平均銷售 比率(%)(三)評比的方法 三種研究機構評鑑制度雖然評鑑的內容不甚相同,但是所實施的評 比方式卻大致相同,即由專家分析各研究機構所提供的資訊,綜合主觀 判斷研究機構的水準,而給予最後的評鑑結果。 至於最後的評鑑結果,管理制度是依各項制度別,由評鑑委員區分 成六個等級:優、適當、制度面須改善、制度面及執行面均須改善、須 大幅改善以及資訊不足等,然後再綜合各單位的申覆意見,由「管理能 力審核委員會」依整體性及一致性考量決議。最後的結果,研究機構必 須達到「適當」的水準,才符合科專的要求;智慧財產管理制度,則是 綜合評鑑委員意見表及申覆意見,由「管理能力審核委員會」給予「通 過」與「不通過」的判斷;至於績效評估方面,則是由獨立的「績效考 評委員會」,基於「專家為主、指標為輔」的原則,參考相關指標並實 地訪查後,共同撰寫「科技專案績效考評委員會總評報告」,內容以給 予各受評單位有關績效與改進方向的意見,並要求績效較差必須追蹤考 核的研究機構,必須向考評委員會提報改善結果。
2.3 國內外科技機關績效評估經驗
俗曰:他山之石可以攻錯,一個有效率的機關評估制度,必須經 過事先周延之規劃與評估,除了先要認清構成評估之要件外,對於評 估的原則、評估的方法,以及評估的步驟,皆須事先完整規劃。因此, 政府部門如要建立所管轄範圍之科技研究機關評估制度前,建議參考 先進國家科技機關及國內其他部會已經實施多年的各種機構評鑑作 業,可減少不必要之行政程序發生。對於已經實施績效評估作業之相 關單位,建議將評估作業之機制建立完整作業手冊,未來可因時間或 環境之變遷,逐年調整評估作業之機制,並將評鑑過程中之相關資料 建檔,除可達長期觀測機構評估之績效外,同時可建立政府部門知識 管理之功效,茲以分別以下二節說明之:2.3.1 先進國家科技機關績效評估經驗
這一節彙整先進國家科技評估之經驗(陳信宏、王健全、承立 平、蘇顯楊、莊俊、陸煇雄,2002),分述如下: 一、 就 類 型 而 言 , 先 進 國 家 的 科 技 評 估 , 可 區 分 為 事 前 、 期 中 (Interim Monitoring)、與事後評估。三者各有其目的,評估方式 也 不 同 , 但 有 趨 於 三 者 混 用 的 現 象 。 科 技 評 估 (Technology Assessment)為歐美 80 年代及 90 年代為因應未來科技發展趨勢 之新興科技管理理念。就本質而言,科技評估是一種正視新科技 正、負面影響的“事前"分析。科技評估針對引起廣泛應用技術 之前提條件及其所造成的正、負面衝擊影響,進行全面及系統化 的分析。其成果一則有助於確認因科技之應用所導致經濟、社會 衝突之層面;另一方面則致力於探討為改善科技之選擇與應用, 所應採取的最適行為或最適科技的組合。這種事前評估的模式, 在歐美也被廣為引用在重要科技計畫的研擬過程中。例如,歐聯 的架構計畫,自成一個評估週期。前一期的架構計畫的期中評 估,可作為下一期架構計畫的事前評估,以及計畫研擬的重要參二、科技績效評估有逐漸趨向於採用外部專家評估的趨勢。就執行 方式而言,自評或以客觀的指標做客觀性的評估,如文獻計量 法(Bibliometric),有其歷史淵源。但是整體趨勢卻是越來越著 重於利用外部專家評估,尤其是針對較大型與長期的「計畫」 (Programme)。因為這種「計畫」往往自成體系,故可以形成一 個完整的評估週期,而且外部專家的評估可避免自評的主觀問 題,還可以關注到比文獻計量法更廣闊的經濟社會層面。這樣 的趨勢,意味著科技績效評估有趨於專業化的現象,因此評估 專家網絡,甚至於評估「市場」必須形成。 三、科技評估牽涉到一個演進的過程。事實上 OECD 國家自 1980 年代,即開始探討科技計畫績效評估問題,並為此舉行多次的 國際座談會,但是能發現有許多待突破的瓶頸(OECD,1999)。 這一則反映出,科技計畫績效評估的困難度,尤其是就經濟社 會的影響衝擊而言;再者各國依情境差異、評估方法、評估人 才、及支援體系均有待與時俱進,故先進國家對科技計畫績效 評估,大多採用較務實的演進方式。 四、科技計畫要有量化的評量,但是又不能完全訴諸於量化。量化 可以讓我們得到一些客觀的數據,但是若完全據此引伸,可能 失之於簡化。例如,兩個科技計畫,分別衍生出 100 件與 10 件技術移轉案,但是我們往往不能據此斷定 100 件的技術移 轉,必定會比 10 件的技術移轉成效好。因此,量化指標往往被 應用在篩選一些核心指標,以作為奠定基礎的觀察,但是質化 的績效評量,其重要性卻不容忽略。 五、評估結果要能與決策有所聯繫,但是科技資源分配仍有其政治 性考量。從制度的角度來看,科技計畫績效評估是手段,不是 目的。用意在於反映相關研發單位或計畫的營運成效,並據此 產生類似於市場機制的制約力量。因此,評估結果要能與決策 有所聯繫。然而,不可諱言的是,政策決定仍然是一個政治角 力的過程,故難以避免政治性的考量。從這個角度來看,科技 計畫績效評估,可用來強化決策者的決策基礎,力求以較客觀 嚴謹的分析,以盡量減少純粹的政治角力。 六、基於科技計畫績效評估的重要性,因此先進國家越來越重視相 關制度的建制化(Institutionalization)問題。這包括相關法令基礎
的建立與配套機制的建立。因此,美國有 GPRA,歐聯有 Sound and Efficient Management 2000,而日本有「國家研發評估方 針」。就建制化的配套組織或機制而言,歐聯在第十二總署(DG XII)下,設有 Evaluation Unit,負責相關的行政支援工作,以及 建置相關資料庫;而且歐聯並成立了 SPEAR Programme,以發 展 歐 聯 內 的 評 估 專 家 網 絡 。 相 近 的 , 日 本 也 有 Evaluation Forum,而瑞典有 National Technique Development Office 的設 計。