• 沒有找到結果。

國內外科技機關績效評估制度

國內外也有許多實際執行的研發成果績效評估或評鑑的制度,不 過就如經濟合作暨發展組織(Organization for Economic Cooperation and Development,OECD)(1997)所作的分類說明1,這許多制度未必只 針對機構層次的評鑑制度,而且各個制度進行評鑑或評估的目的,也 不完全相同。本節將以已具完整的、範圍大且具規模的績效評估制度 與執行經驗之國內外科技機構為對象。國外包括美國、荷蘭、法國、

德國及中國等。國內則包括:管考全國行政單位之行政院研考會;自 民國五十八年起就實施且不斷改進之施政績效評估作業,另為全國科 技發展政策把關及資源分配的行政院國科會;亦於九十一年度推出之 科技組織績效評鑑作業,以及為掌管產業科技研發方向的經濟部技術 處;並已辦理四年的執行科技專案之研發機構績效考評作業。分別針 對其進行評鑑或績效評估的背景與目的、觀察的指標,以及評比的方 法等進行介紹及說明,值得未來建立科技機構績效考評制度或作業的 啟示(研考會,2004)(林欣吾,2002)。

一、美國

(一)背景與目的

1993 年 美 國 為 強 化 政 府 部 門 績 效 和 提 升 民 眾 對 政 府 行 政 的 信 心,在兩黨及柯林頓政府的支持下,美國國會通過一項政府行政革新 法案-「政府績效與成果法」(Government Performance and Results Act),GPRA)。此次行政革新與過去最大的不同,在於它是由國會立 法要求行政部門執行的法案,對於行政部門具有強制性。另外,GPRA 對於行政革新的要求,直接針對政府施政與服務的實質成果上,讓國 會能監督這些施政與服務成果,並能同時在進行預算審查時,對施政 方向與服務實績有所要求。此一法令採漸進改革方式,先就部分單位 試行,規定在 1997 年以後,政府部門各單位才逐步全面實施,並到 了 2001 年,才執行完畢整個法案所要求的完整循環。在此一完整的 績效評估經驗後,美國國會與各研究機構,也開始共同檢討這幾年 來,對於研究發展專案績效評估的作法。表 2.1 為 GPRA 之基本架構。

(二)觀察的指標

就績效評估而言,GPRA 是美國當前科技計畫及政府部門績效評 估的重要指針,其最大特色是採用自我檢視的分權式評估精神,即授

權行政單位自訂符合其組織任務、組織特色等面向之策略目標與評估 指標,而不是以一套制式的標準全體適用。再者,對於達成績效目標 的單位,GPRA 也給予一些誘因回饋,即可免除某種行政程序要求或 管制之訴求(例如員額、薪資限制、預算科目流用等),但應詳述放寬 管制之效益,並以量化方式呈現因此所能改善之預期績效。對此一訴 求,白宮預算管制局(Office of Management & Budget, OMB)仍然握有 行政的裁量權。

就 GPRA 對 於 執 行 研 究 發 展 機 構 的 運 用 而 言 , 國 會 總 審 計 處 (General Accounting Office,GAO)的執行重點,可分為機構定位與績 效衡量兩方面來看。前者是在檢視各個研究發展機構,在時空環境變 遷過程中,組織調整乃至於存續等議題。就績效評估本身而言,GAO 的先期研究提出幾個原則性的規範,並先試行幾個單位,並據此歸納 出以下幾個對於績效評估指標的共通性原則:

1.必須依照單位的組織層級,分別列出相關的組織目標與所需資源,

而且各層級必須列出與目標相關的績效指標;

2.績效指標必須能反映出單位達成目標的程度,特別是必須能反映出 目標與績效達成水準間的差距;

3.績效指標只要能涵蓋幾個重要關鍵面向,能協助單位判斷其成就,

進行決策即可。各層級可以有不同的績效指標,但到了越高的層 級,則依其重要性而可以有所篩選;

4.必須能提供誘因讓單位主管同時考量成效的品質、成本、客戶滿意 度、以及利害關係人等面向;

5.必須直接與所執行 的計畫相連結,如此才能使計畫經理人在 執 行 時,隨時能注意到其績效;

6.必須蒐集、正確且一致的資料,以作為提供績效相關文件的證明,

並支援相關的決策(GAO,1996;間接引自林欣吾,2002)。

(三)評比的方法

美國聯邦政府所屬機構,必須定期提出三種報告:長期策略規劃 (Strategic Plans)、年度績效規劃(Annual Performance Plans)、和年度績 效成果報告(Annual Performance Reports)。長期策略規劃,責成政府部 門,每三年提出其長期營運願景、未來數年的營運目標、影響目標達 成的關鍵因素、衡量其績效的方法、及未來衡量績效的規劃等。行政 部 門 在 研 擬 長 期 策 略 規 劃 時 , 必 須 事 先 與 國 會 及 利 害 關 係 人 (Stakeholders)等對象諮商,以期內容能確實符合顧客需求。同時,長 期策略規劃中所提出的目標必須符合客觀、可量化、與可衡量等條 件,但若無法以量化的指標,來表達部門目標時,可在白宮預算管制 局認可的前提下,以其他方式為之。

年度績效規劃報告,則是配合中長期策略規劃的目標,政府部門 每年作業目標與施政計畫之事前規劃。在年度績效規劃中,每個單位 必須提出組織內各層級的「成果(Outputs)」與「成效(Outcomes)」目 標,這些目標的相關績效指標,以及達成這些目標所需的資源投入與 方法。而且 GPRA 所要求的目標,是以成效為主,成果為輔。

年度績效報告,則是政府部門每年對於前一年度績效規劃的自我 檢討與回顧,必須說明年度績效規劃中所提出的成果與成效目標達成 的情形,並解釋未能符合其原定目標的原因(詳見表 2.2)。這些由單位 所 提 出 的 自 評 報 告 , 經 過 彙 整 後 , 會 由 國 會 總 審 計 處 (General Accounting Office,GAO)或 OMB 定期由專家評審,尤其是針對執行 研究發展的機構而言。

表 2.1 美國「政府績效與成果法」之架構

表 2.2 美國「政府績效與成果法」要求之報告內容

報告類型 重要內容 備註

長期策略規劃 (Strategic Plan)

一、每 3 年之長期營運願景

(Annual

Performance Plan)

一、達成長期策略規劃,所需

(Annual Performance Report)

一、前一年度績效規劃之檢討

二、荷蘭

(一)背景與目的

荷蘭的研發評鑑制度,分成三個層次。包括對研究機構、對研究 計畫,以及不同學門研究成果對社會的影響等。其中,政府對於研究 機構的評鑑,目的不在於藉由評鑑結果進行研發基金分配,也不在於 評 估 各 研 究 機 構 是 否 達 成 其 應 有 的 目 標 , 而 是 扮 演 一 個 「 監 督 (House-Keeping)」的角色,期許各研究機構能有較佳的營運體質。對 於機構的評鑑責任,多由各研究機構自行承擔。由於荷蘭除了大學之 外,仍有多個研究機構或體系。所以大學及各研究機構體系的評鑑制 度均分別各自獨立進行。對於評鑑結果,由於各研究機構也體認到研 究品質的重要性,而都會以其評鑑結果為基礎,對研究機構的營運策 略及方向作適當的調整。

(二)觀察的指標

除了大學體系 VSNU(Association of University in the Netherlands) 外,還包括 NWO (Netherlands Organization for Scientific Research)、

研究學校(由 The Education and Career Opportunities System , ECOS 進 行 評 鑑 )、 TNO (Netherlands Organisation for Applied Scientific Research),以及其他大型技術研究機構等。茲將各個體系的觀察指標 簡單整理如表 2.3。從表中的結果可以發現,除了所關心指標大致可 分成:願景達成情形、管理制度、研發績效等幾個部分,而研發績效 部分則與其機構性質的相關性極高,例如學校除重視研究的品質以 外,還關心研究與教育間的關係;研究機構除關心研究品質外,還關 心其研究成果的落實情形。

(三)評比的方法

雖然各個體系或機構的觀察指標有稍許的不同,但在評比的方法 上則大致相同,多由各機構先行填寫相關指標,然後由專家(多包涵 外部專家,甚至有來自國外的專家)給予評分。評分的等級,在 VSNU 是依各個面向,由專家在實地參訪後,參考指標分成五個等級主觀地

表 2.3 荷蘭的大學與各研究機構體系的研究績效觀察指標

體系或機構 指標方向與內容

VSNU

科學的品質:論文與著作的品質、研究的原創性、對相關學

門發展的貢獻、在國際或國家的地位,以及取得 NWO 基金 支援的比重。

科學生產力:研究產出,以及研究人力與其他投入的關係。

相關程度:對於相關學門貢獻的顯著程度、對於相關的社會 發展與技術水準的貢獻程度。

願景達成情形:實際結果與願景目標間相符情形。

機構長期發展:研究機構的規模、基礎設施,以及相關方向 的研究競爭能力

NWO

願景、目標、機構的定位、科學成果的品質、人力資源及財 務管理、機構研究計畫的銜接情形、基礎設施、過去評鑑結 果的修正情形等面向的指標。

ECOS

教育與研究間的關連程度、組織管理情形、財務管理情形、

願景與目標達成情形。

TNO

強調研究成果的應用情形與品質,其評估結果與其策略發展 方向緊密結合。包括組織、基礎建設以及研究成果的科學程 度、社會影響(與市場的相關性)與作業流程的品質。

大型研究機構 評估的目標與 1991 年的科技預算目標結合在一起。

指標考量:

科學品質:科學與技術研究的原創性及品質。

社會品質:機構願景、研究成果的實際落實情形。

作業品質:作業流程的管理品質、效率。

資料來源:OECD(1997)、VSNU(2001)

三、法國

(一)背景與目的

1945 年,在法國的國家科技研究中心(Centre National De La Rescherche Scientifique,CNRS)成立的同時,就成立一個基礎研究 的成果評鑑委員會,專門對法國共 12,000 位研究人員及 1,200 個研究 機構與實驗室進行評鑑。主要是分成 40 個學門領域,採專家評審的 方式進行評鑑。其評鑑的結果,對個人是作為升等的基準,對機構則 是為了判斷其研究成果在國家或國際間的水準,有時則是作為其機構 存在與否的參考(OECD, 1997;http://www.cnrs.fr/sgcn/accueil.html)。

(二)觀察的指標

觀察指標的採用,隨著學門的差異而有所不同,但仍有些共同參 考指標與面向,包括著作的發表情形、受邀參與國際會議情形、與國 際組織或產業共同研究的情形,以及在國家或國際的地位等等。除了 以上科技成果方面的指標外,依不同領域還會參考人員的流動情形、

與私營企業間的互動情形、成果移轉情形,實施教育訓練情形以及基

與私營企業間的互動情形、成果移轉情形,實施教育訓練情形以及基

相關文件