• 沒有找到結果。

第四階段

第四階段第四階段:::政府科技專案產業輔導績效評量架構:政府科技專案產業輔導績效評量架構政府科技專案產業輔導績效評量架構實用化政府科技專案產業輔導績效評量架構實用化實用化 實用化

根據前三階段所建立之績效評估架構,為了實用性的考量,本階段擬訂評 估架構由計畫提案開始至期末審查績效評估的操作流程與制度。本研究團隊建議 以前階段完成之架構,根據不同的產業輔導計畫類型,針對現行之產業輔導計畫 進行實證研究,藉以進一步擬定包含評估架構中各項指標的選擇與權重分配,以 及相關預警機制的建置,並進行績效評估架構的實際驗證。針對其驗證結果,加 以修訂完善此績效評估系統。

第四節、預期研究成果

本研究根據國科會所訂定之研究範圍,依據過去經濟部科技研究發展專案計 畫及工業局主導性新產品開發計畫績效追蹤驗證評估等各項科技發展計畫相關 執行成效評估之實際執行經驗,並考量政府各部會協助各機構法人推動研究發展 計畫之特性需求,透過專家會議等方式,確立產業輔導計畫之分類方式,並藉由 SMART原則制定適合由院列管之政府科技發展計畫績效評估之指標,將研究成 果做為未來科專計畫繼續辦理之參考,建立適當之績效評量模式。承上述研究背 景與動機,本研究訂定共四項主要研究目標,分述如下所示:

((

((一一一一)))) 分析現行政府科技發展計畫類型及分析現行政府科技發展計畫類型及分析現行政府科技發展計畫類型及分析現行政府科技發展計畫類型及其執其執其執行績效指標項其執行績效指標項行績效指標項目行績效指標項目

蒐集國內外相關文獻並進行分析檢討我國現行科技研究計畫與輔導補助計 畫之整體執行狀況與可能發生之問題(含科專主要執行機構及概況),並分析各研 究計畫之執行績效評估模式及目前政府科技發展計畫之分類方式,了解其績效評 估指標與計畫分類之目的,檢討現行科技發展計畫績效評估制度之優缺點。

((

((二二二二)))) 研發專案計畫分類研發專案計畫分類研發專案計畫分類研發專案計畫分類

分析並探討國內外科技發展計畫績效評估模式之計畫類型,參考其分類方式 與可能發生之問題,研擬兼具實用性、易用性、公平性並適合現行政府科技發展 由院列管計畫之分類系統。

(三三三三)))) 科技專案計畫績效評估指標科技專案計畫績效評估指標科技專案計畫績效評估指標科技專案計畫績效評估指標

因應目前政府部會科技預算執行方向逐漸側重於產業輔導及產業創新,並配 合科技專案計畫績效評估之需求,結合產、官、學、研之學者專家共同集思廣益,

並運用專家學者座談會,建置相關績效評估系統,設計可適用於偏重產業輔導類 型之院列管計畫,提升整體政府計畫執行之效益。依據整體研究成果,針對現行

科技研究計畫與補助輔導計畫之績效評估指標與系統提出政策面及執行面之調 整建議。

(四四四四)))) 預警制度預警制度預警制度預警制度控控控制時控制時制時點制時點

比較分析國內外現行之科技發展計畫績效評估制度,建立適用於長期計畫,

可因應產業環境及其他外部因素變化,具備預警、追蹤執行進度效果的政府科技 發展計畫績效預警制度,提升政府計畫之執行效率。

第 第 第

第二 二 二章 二 章 章、 章 、 、文獻回顧 、 文獻回顧 文獻回顧 文獻回顧 第一節、科技計畫評估指標發展現況

一、國科會的科技計畫評估機制

國科會於 2002 年訂頒「政府科技計畫績效評估作業手冊」,據以辦理科技計 畫成效的評估作業,謹簡述本項作業機制如下:

1. 評估對象

依據國科會的界定,凡運用政府科技經費從事研究發展之計畫,均納入本項 績效評估的對象。依據計畫的性質不同分為:「基礎研究類」、「應用研究類」、「技 術發展類」、「宣導、推廣及管理類」等四種。

2. 績效評估量表

本項計畫績效評估係採「指標評量」方式進行,為兼顧計畫「質」與「量」

平衡要求,本機制的評量指標也因此分為「量化」及「非量化」兩部分。其中,

非量化指標部分包括「學術成就」、「技術創新」、「經濟效益」及「社會影響」四 類指標,量化指標部分則包括三項子指標系統,諸如:

(1)計畫成果指標系統:包含「學術成就」、「人才培訓」、「技術產出」及「知 識服務」等四構面,其下再區分「期刊論文發表數」、「研討會論文數」、「著 作權數」、「研究助理培訓人數」、「碩士培訓人數」、「博士培訓人數」、「發 明專利申請數」、「新型新式樣專利申請數」、「新技術/品種引進項數」、「研 討會/說明會次數」及「研究報告數」等指標。

(2)技術擴散與服務指標系統:包括「專利授權」、「技術移轉」及「專業諮詢 服務」等指標。

(3)衍生效益指標系統:包括「合作廠商配合款金額」、「合作廠商參與計畫人 數」及「相關經濟效益」等指標。

二、主要評估指標與模式

我國歷年來所採用之科技專案計畫評估模式,主要採用以下三種:1. 研究 專案對產業影響追蹤分析模式(IRCE模式);2. 大型工業技術研發績效評估模 式(IRON模式);3. 科技專案計畫追蹤驗證評估模式(IROT模式)。上述幾種 評估模式皆曾被經濟部技術處所採用,做為評量科技專案績效之指標或參考。現 就此三種績效評估模式說明如下:

1. 研究專案研究專案研究專案對研究專案對對對產業影響產業影響產業影響產業影響追蹤追蹤追蹤追蹤分析模式分析模式分析模式分析模式((((IRCE 模式模式模式模式)))

民國76年,工研院工經中心之「工研院歷年來研究專案對產業影響之追蹤與 分析」研究中提出IRCE模式,該模式主要針對大型工業研發成果之績效評估。

其模式程序可分為研發活動投入(input)、成果運用(result)、擴散通路(channels)及 經濟效益(effects),屬於半數量型績效評估模式。本模式顯示經濟部重視成果之 擴散,經由擴散而產生其目標效益本模式以貨幣及非貨幣的角度表達最終效益,

並說明能使業界增加效益才是研發活動的價值。但是對於研發活動的投入及產出 各項說明不足,對研發投入、研究結果及擴散通路等構面如何評估(量或質)未 有解釋,且無法用以評估研發活動本身,是此分析模式的缺點。

圖2、IRCE模式

資料來源:何雍慶,工研院歷年來研究專案對產業影響之追蹤與分析,工業技術 研究院,民國76年。

2. 大型工業技術研究發展成果績效評估模式大型工業技術研究發展成果績效評估模式大型工業技術研究發展成果績效評估模式(大型工業技術研究發展成果績效評估模式(((IRON 模式模式模式模式)))

國立台灣工業技術學院於民國79年在「大型工業技術研究發展成果績效評估 之研究」中提出IRON模式。該模式建議對研發績效的評估,應從研發活動投入 (input)、研究成果(results)、成果運用(operation)及重視效益(notice-effects)四個階 段予以全程評估,屬於半數量型績效評估模式。此模式的特色是將效益分為一般

效益及潛在效益,並計算研究專案總效益以評估專案的最終價值,其優點是詳盡 的說明投入、產出、成果運用以及效益,重視技術的發展階段、國家競爭地位及 潛在效益,並可以計算總效益以評估整個科技專案的價值;缺點是重視最終效 益,不易察覺各階段資源的使用過程是否有效運用,以便提早調整資源運用。

圖3、IRON 模式

資料來源:葉勝年,大型工業技術研究發展成果績效評估之研究,經濟部科技顧 問室,民國79年。

3. 科技專案計畫科技專案計畫科技專案計畫追蹤科技專案計畫追蹤追蹤追蹤驗證評估模式驗證評估模式驗證評估模式驗證評估模式((((IROT 模式模式模式)模式)

民國80年,國立台灣工業技術學院在「科技發展專案計畫追蹤驗證評估模式 之研究」中,針對IRON模式之缺失修正後,提出IROT評估模式,將研發專案區 分為投入因素(Input)、研究成果(Result)、成果運用(Operations)、階段效益

( Time-phased effects)等四階段。該模式的特色是修正IRON模式中的潛在效益 使其具體化,並強調階段效益(Time-Phased Effects),亦即根據不同時點追蹤 評估,採產品生命週期觀念,將研究成果分為運用階段與時程效益,並根據不同 時間點,將效益區分為有形效益與無形效益,分析其實質效益的變化情形,並兼 顧技術擴散、人才擴散及技術移轉,屬於半數量型績效評估模式,評估結果可提 供後續專案計畫參考。

圖 4、IROT 模式

資料來源:葉勝年、劉代洋等,科技專案計畫追蹤驗證評估模式之研究,經濟部 科技顧問室,民國 80 年。

研究中將追蹤驗證評估的內容分為研究成果、以實現效益、未來可實現效益 三部份,並將未來可實現效益細分為成果擴散能力與未來潛在效益。為使評估要 因要素能夠適切反應各類型專案的目標與績效,將專案分為產品/技術研究開發 類、技術推廣類、經營管理類與資訊服務類。亦採用德菲法,以問卷方式對審議 專家進行多回合調查,以求出各類專案之評估要素與權重。民國80年經濟部科技 發展專案計畫追蹤驗證評估模式之研究中,執行單位以可實現效益(S)作為擴散 能力(O)與未來潛在效益(T)之乘積,並以可實現效益做為分析專案計畫是否有必 要繼續追蹤驗證評估之主要依據。其優點為完整的歷經投入、研發成果、成果應 用及階段效益,並經由有形及無形效益來計算科專計畫總效益,使易於瞭解與評

研究中將追蹤驗證評估的內容分為研究成果、以實現效益、未來可實現效益 三部份,並將未來可實現效益細分為成果擴散能力與未來潛在效益。為使評估要 因要素能夠適切反應各類型專案的目標與績效,將專案分為產品/技術研究開發 類、技術推廣類、經營管理類與資訊服務類。亦採用德菲法,以問卷方式對審議 專家進行多回合調查,以求出各類專案之評估要素與權重。民國80年經濟部科技 發展專案計畫追蹤驗證評估模式之研究中,執行單位以可實現效益(S)作為擴散 能力(O)與未來潛在效益(T)之乘積,並以可實現效益做為分析專案計畫是否有必 要繼續追蹤驗證評估之主要依據。其優點為完整的歷經投入、研發成果、成果應 用及階段效益,並經由有形及無形效益來計算科專計畫總效益,使易於瞭解與評