(1)1. 科技計畫績效指標之訂定概念 羅愛雁 科技政策研究與資訊中心 副研究員 2013年12月16、17日.
(2) 評審委員對科技計畫績效評估之意見 意見大類. 意見筆數 正向. 負向. 占全部 意見百 分比. 1.資源投入. 21. 40. 4.9%. 2.計畫內容及執行措施. 40. 392. 34.8%. 287. 92. 30.5%. 4.目的/目標/指標及評量. 3. 146. 12.0%. 5.報告撰寫. 3. 158. 13%. 46. 15. 4.9%. 3.產出、效益及影響. 6.其他. 2. 資料來源：徐玉梅、鄭惠君(2012)。100年度政府科技計畫績效評估意見分析。國實院科技政策研究與資訊中心。.
(3) 科技計畫績效指標常見問題 主責機關. 各計畫所寫量化資料可能計算方式不 同，加總使用可信度將受質疑。. 部會署計畫 撰寫人員. 找不到可用之指標，很難適當的表達 成效。. 執行機構. 在主責機關所公布的指標中找不到合 適可用的項目。. 學者專家. 目標、指標與達成情形之間的關聯不 夠具體，亦缺乏同質計畫間之比較。. 3. 指標定義 與計算方式. 指標訂定概念. 資料來源：林博文、徐玉梅 (2013)。我國科技計畫評估制度分析。.
(4) 課程大綱 •指標基本概念 •績效指標訂定概念 •現行績效指標之使用介紹. 4.
(5) 5. 指標基本概念.
(6) 科技計畫績效評估 •定義：運用科學方法、標準和程序，對計 畫的成就和實際作為，盡可能準確衡量 –事前(ex-ante)評估：審查計畫目標是否正確； 計畫內容是否能達成目的 –事後(ex-post)評估：檢測計畫結果是否已達成 預期目的，並檢討反饋(feedback)與改進. •目的：了解計畫表現水準，發掘問題，據 以進行決策與分配資源. 6.
(7) 政府科技計畫績效評估的功能 提供科技政策 的辯護. 協助科技資源 的分配. 政府科技計畫 績效評估功能. 滿足社會民意 的要求. 7.
(8) 指標 vs. 績效指標 指標. 8. 績效指標. 包含單一性或組合性的資料所 產出的價值，用來描述一個體 系或過程. 60 Kg. VS.. 用來衡量組織現在或過去活動 表現的資訊，以了解目標是否 達成. 目標： 穿上漂亮衣服 (50Kg). 60 Kg.
(9) 績效指標特點 •績效指標必須與目標扣合 •同一目標可以有多種績效指標 •績效指標的選擇與目標值設定很重要 •績效指標是追蹤管制目標是否達成的工具. 9.
(10) 10. 績效指標訂定概念 •績效評估流程 形成目標 選擇指標 設定指標目標值 追蹤與收集績效資訊 評估與報告績效資訊.
(11) 現行科技計畫制度 11 規劃 中程個案計畫書 第一部分 第二部分 壹、計畫緣起 貳、計畫目標 參、前期或相關計畫之 過去成果或績效 肆、執行策略及方法 伍、預期效益及主要績 效指標（KPI） 陸、有關機關配合事項 及其他相關聯但無 合作之計畫 柒、就涉及公共政策事 項，是否適時納入 民眾參與機制之說 明 捌、其他補充資料. 檢討. 年度綱要計畫 書(中程個案第 二年). 年度綱要計畫 書(未提中程個 案). 第一部分 第二部分 壹、預期效益及主 要績效指標 （KPI） 貳、中程個案計畫 原規劃之差異 說明 參、前期計畫或相 關計畫主要績 效及成果 肆、其他補充資料. 第一部分 第二部分 壹、總目標及說明 貳、分析方法 參、預期效益及主 要績效指標 （KPI） 肆、計畫內容說明 伍、近3年主要績 效說明 陸、其他補充資料. 成果效益報告 壹、科技施政重點架構圖 貳、基本資料 參、計畫目的、計畫架構 與主要內容 肆、計畫經費與人力執行 情形 伍、計畫已獲得之主要成 果與重大突破 (含量 化成果output) 陸、主要成就及成果之價 值與貢獻度(outcome) 柒、與相關計畫之配合 捌、後續工作構想之重點 玖、檢討與展望.
(12) 現行科技計畫KPI格式. 12. 中程個案計畫書. 年度綱要計畫書. 參、預期效益及主要績效指標（KPI）：KPI格式參見B002至 B003，每計畫至少列出3項以上，如參考表內無適用指標，亦 可自訂適合本計畫之指標。.
(13) 績效評估流程. 13. 中程個案計畫書 年度綱要計畫書(中程個案第二年) 年度綱要計畫書(未提中程個案). 成果效益 報告. 執行. 規劃 1. 2. 形成 目標. 3. 選擇 指標. 4 設定指標 目標值. 追蹤與收 集績效資 訊. 檢討 5 評估與報告 績效資訊.
(14) (1)形成目標. 問題樹、目標樹. 14.
(15) (2)選擇指標. 邏輯思考 執行策略. 15 指標. 衡量方式. 總目標. 影響指標. 「效益」對社會、經濟或環境 所產生的長期且顯著的影響. 分項目標. 效益指標. 達成某些「產出」促使利益關係人 產生行為、狀態、條件之改變. 產出. 產出指標. 由計畫直接產生的產品或服務. 活動. 過程指標. 使用「投入」以產生「產出」 與「效益」的工作或行動. 投入. 投入指標. 為產生「產出」所投入的資源 總量.
(16) (2)選擇指標. 投入指標與過程指標. 16. •投入指標： –衡量計畫投入資源的指標，常見的資源包括人、 儀器設備、經費等. •過程指標： –衡量執行過程中所進行的活動。也常用里程碑 表示.
(17) (2)選擇指標. 產出指標與效益指標. 17. •產出指標： –衡量計畫最直接且立即的產品與服務，服務接 受者或顧客數也算在內. •效益指標： –衡量計畫產出對利益關係人產生的技術、態度、 行為等的改變.
(18) (2)選擇指標. 不同性質計畫之產出指標. 18. 科技計畫性質. 環 境 建 構 與 改 善. 基 礎 研 究. 應 用 與 技 術 發 展. 服 務 與 推 廣. 產 業 開 發 輔 導. 人 才 培 育 與 課 程 開 發. 調 查 研 究. 政 策 及 制 度 之 規 劃 與 制 訂. 其 他.
(19) (2)選擇指標. 不同性質計畫之產出指標. 19. 1. 環境建構與改善：著重於基本硬體面之建置與維 運的計畫 • 實驗室數 • 研究中心數 • 資訊平台數 • 資料庫數 • 觀測、監控、控制、預警系統數 • 監測站數 • 認證中心數 • 園區數.
(20) (2)選擇指標. 不同性質計畫之產出指標 2. 基礎研究：計畫執行之內容若屬理學或科學基礎 之探討，歸此類 • 期刊論文/研討會論文數 • 專書著作數 • 研究報告數 • 合作團隊數 • 碩博士培育數 • 辦理學術活動數 • 形成教材/手冊/軟體數. 20.
(21) (2)選擇指標. 不同性質計畫之產出指標 3. 應用與技術發展：凡技術與產品之研究、開發與 應用，如照明系統節能技術開發應用，歸此類 • 專利數 • 品種權數 • 期刊論文/研討會論文數 • 雛形開發數 • 技術報告數 • 研究報告數 • 參與/舉辦技術活動數 • 新產品/工具數 • 通過測試、符合標準/認證數 • 獲得獎項數 • 建置平台數 • 示範/測試產品數 • 碩博士培育數. 21.
(22) (2)選擇指標. 不同性質計畫之產出指標. 22. 4. 服務與推廣：係指與計畫有關之系統化服務活動，利用不 同的宣傳方式，促使其了解計畫概念與目的，並有助於計 畫內涵之傳播與應用，使計畫功效得以發揮者，歸此類。 • 共通/檢測技術服務數 • 建立試驗設施數 • 通過認證機構數 • 資訊服務數 • 技術服務數 • 教材/手冊/軟體數 • 科普知識推廣與宣導次數 • 資訊服務數 • 諮詢服務數 • 開設課程數 • 說明會數 • 服務平台數. • 服務/操作人員培訓.
(23) (2)選擇指標. 不同性質計畫之產出指標. 23. 5. 產業開發輔導：含產業之開發輔導及技術移轉，如加 強協助專利與技術轉移、技術開發成果移轉導入產業， 歸此類。 • 協助申請計畫數 • 技術媒合案 • 技術移轉及智財授權數 • 促成廠商或產業團體投資 • 創新產業或模式建立 • 創業育成數 • 促成與學界或團體合作研究數 • 促成智財權資金融通 • 研究報告數 • 行銷輔導諮詢 • 促成策略聯盟數 • 進駐廠商數.
(24) (2)選擇指標. 不同性質計畫之產出指標 6. 人才培育與課程開發：舉凡與科技人才(或人力或人 員)之延攬、培育、訓練、輔導、媒合相關之計畫， 如生技創業之專業經理人培育，歸此類。 • 協助/參與國際調查 • 規劃舉辦課程/活動數 • 教材/手冊/軟體數 • 獎勵機制 • 人才培育/訓練/延攬/媒合數. 24.
(25) (2)選擇指標. 不同性質計畫之產出指標 7. 調查研究：目的明確之研究調查、資料蒐集、背 景資料分析屬此類。 • 期刊論文/研討會論文數 • 專書著作數 • 調查成果 • 決策依據 • 資料庫 • 研究分析報告 • 評估報告 • 調查方法與模式 • 資訊服務 • 作業程序 • 教育宣導材料 • 示範區域. 25.
(26) (2)選擇指標. 不同性質計畫之產出指標. 26. 8. 政策及制度之規劃與制訂：舉凡計畫之執行與機制、 法規、規範、辦法、標準、政策、體系、制度、作業 標準之制訂，皆屬此類。 • 研究報告 • 期刊論文/研討會論文數 • 專書著作數 • 規範/標準或政策/法規草案制訂 • 公民參與 • 議題倡導 • 教材/手冊/軟體數 • 法律、標準、政策等諮詢服務 • 成效評估報告 • 資料庫 • 交流平台.
(27) (2)選擇指標. 效益指標. 27. •對科技計畫而言效益(outcome)是最常用的指標。 社會經濟影響(impact)往往需較長時間方能檢視， 通常在十數年後用專案評估 •確立直接利益關係人，並訂定預期的改變是設計 效益指標的必要條件.
(28) (2)選擇指標. 產出指標與效益指標關係 投入 經費與人力. 產出. 效益. 製作教材 諮詢服務 人員培訓 開課場次. 28. 學員滿意度. For/ With 利益 關係 人. 學員了解程度 學員應用程度.
(29) (2)選擇指標. 效益層級 長期. 29 長期/ 狀態效益. 短期. 目標對象如何因計畫而改 變其生活 •價值、態度、立場. 中介/行為效益. 特定的行為改變 •實踐、決策、政策、社會 行動. 立即/學習效益. 立即/學習效益 •知識、態度、技能、期望、 意見、意願、動機. 反應. 利益關係人如何回應? •滿意程度. 資料來源:Othieno, J.(2011). Outcome Based Evaluation: Planning, Process & Implementation.
(30) (2)選擇指標. 利益關係人分析 •誰決定高階目標 •解決誰的問題 •誰是目標對象 •誰是合作夥伴 •誰是團隊成員 在計畫週期各階段，誰會改變. 30.
(31) (2)選擇指標. 效益指標的導引列表. 31 檢測方法 預期改變. 利益關係人 產出 • 論文 • 技術 • 資料庫 • 作業系統 • 品種 • 材料 • ………. 目標對象 • 研究人員 • 目標企業 • 技術使用者 • 資訊使用者 工作夥伴 • 團隊成員 • 研究生 • 合作成員. • 作業方式 • 概念改變 • 增加投資 • 訓練員工 • ………. • 成本降低 • 技術移轉 • 引文人數 • 新產品規劃 • 市場佈局 • ……….
(32) (2)選擇指標. 績效指標制定原則 明確 (Specific) 可衡量性 (Measurable) 可達成性 (Attainable) 相關性 (Relevant) 即時性 (Timely). 32. • 指標須明確且具體，能清楚界定衡量 • 確保衡量對象、衡量方法與使用之資料無模糊不清之處 • 無論誰來衡量，都能清楚的操作 • 指標所需的資訊是能得到的 • 指標所衡量的改變與目標相關. • 指標應以成本有效性的觀點界定其欲達成期間或頻率.
(33) (3)設定指標目標值. 目標值功能. •幫助計畫目標具體化 •指引與激勵 •幫助了解進度. 33.
(34) (3)設定指標目標值. 如何設定目標值. 34 找出趨勢 了解目標對象 期望. 找出基準值. 設定目標值 與執行機構 討論. 標竿其他計畫. 過去研究資料. 尋求專家意見.
(35) (4)追蹤與收集績效資訊. 指標資訊蒐集 指標類型 影響指標 效益指標 產出指標 過程指標 投入指標. 指標項目 與定義. 35 資料來源. 資料蒐集 方法. 蒐集頻率. 負責蒐集 人員.
(36) (4)追蹤與收集績效資訊. 指標資訊蒐集特性. 36. 指標類型. 資料蒐集 方法. 蒐集頻率. 負責蒐集 人員. 影響指標. 普查或調查、 國家統計. 多年. 政府、主管機關. 效益指標. 調查、快速評鑑 方法、諮詢. 每年. 主管機關、執行機構. 產出指標. 計畫記錄. 每季或半年. 過程指標. 計畫記錄. 每周或每月. 計畫記錄. 每周或每月. 投入指標. 執行機構 執行機構 執行機構.
(37) (4)追蹤與收集績效資訊. 資訊蒐集之考量 效度 (Validity). • 能否能測量到想測量的東西？. 信度 (Reliability). • 測量結果是否可靠？. 時間 (Timeliness). • 資料蒐集或測量的時間是否能配合決策者的需要？. 成本 (Cost). • 資料蒐集或測量的成本是否可以負荷？. 37.
(38) (4)追蹤與收集績效資訊. 資訊蒐集方式. 38 小組調查. 重點資訊訪談 正式審 查記錄 （管理 資訊系 參與者觀察 統和管 社區性訪談 理數據）. 與相關人事 的對話. 一次性調查 直接觀察. 普查. 焦點團體訪談 實地訪查. 非正式和較少結構化的方法. 問卷調查. 田間試驗. 正式和更結構化的方法. Source : The World Bank (2004) .Ten steps to a results-based monitoring and evaluation system : a handbook for development practitioners..
(39) (5)評估與報告績效資訊. 資訊分析. 分析績效資訊 運用不同的軟體、工具與技能來分析量化與質化兩種不同 的資料型態， 並加值應用與說明. 使用結果時，請再次確認： 1. 針對每個分析結果， 試問自己「結果告訴我們什麼？ 」 2. 如果結果是正面的並符合計畫成果，解釋他們如何支持 該計畫目標 3. 如果結果是否定、矛盾的，就要解釋他們為何不符合計 畫的期望和應該採取什麼而有不同的結果. 39.
(40) (5)評估與報告績效資訊. 資訊分析. 40. 分析績效資訊來協助決策者進行必要的計畫改善 績效資訊結果可以作為知識分享與學習回饋的來源 深入瞭解績效 問題所在. 瞭解目標達成之進度 績效資訊的 應用. 監督資源運用情況. 界定新出現的問題 (影響目標達成).
(41) 41. 現行績效指標之使用介紹 •國科會現行指標格式 •審查委員意見.
(42) 績效指標規劃表 執行策略. 指標. 總目標. 影響指標. 分項目標. 效益指標. 產出. 產出指標. 活動. 過程指標. 投入. 投入指標. 42. 衡量方式.
(43) 中程個案計畫書. 執行 策略. 指標. 總目標. 影響指標. 分項目標. 效益指標. 產出. 產出指標. 活動. 過程指標. 投入. 投入指標. 衡量 方式. 參考. 填回. 43.
(44) 年度綱要計畫書. 44. 參、預期效益及主要績效指標（KPI）：KPI格式參見B002至B003，每計畫至 少列出3項以上，如參考表內無適用指標，亦可自訂適合本計畫之指標。 執行 策略. 指標. 總目標. 影響指標. 分項目標. 效益指標. 產出. 產出指標. 活動. 過程指標. 投入. 投入指標. 衡量 方式 參考 填回.
(45) 現行績效指標列表_1 屬 性. 績效指標 A.論文. 學術成就 科(技基礎研究. B.合作團隊養成 C.博碩士培育 D.研究報告 E.辦理學術活動. 初級產出量化值. 效益說明. 45 重大突破. 論文發表數量、國內外期 論文發表在國際上重要研 刊 發 表 數 量 、 重 要 期 刊 討會或期刊（篇數）、被 （SCI、SSCI、EI、AHCI、引用次數及影響係數、論 文獲獎（次數） TSSCI等）發表數量等 系內、校內跨領域、跨校 形成研究中心、實驗室數 或跨組織合作團隊數目 目 參與計畫執行之碩士研究 研究生畢業後從事之相關 產值(薪資) 生及博士研究生數量 行業人數. ). 數量 辦理國內、雙邊或國際之 研討會workshop、學術會 議symposium、學術研討 會conference、論壇forum 次數。出版論文集數目 F.形成教材/手冊/軟 製作教材或自由軟體授權 體 釋出教材（件數） 其他. 引用 辦理主要之國際研討會場 次. 引用次數、其他個人或團 體之加值利用次數.
(46) 現行績效指標列表_2 技術創新 科(技技術創新. G.專利(智慧財產). 申 請 、 獲 得 國 內 或 國 應 用 、 引 用 、 移 轉 產值(形成產業) 外 之 專 利 與 品 種 權 （授權金、權利金） （件數）. H.技術報告. 數量. I.技術活動. 發 表 於 國 內 或 國 外 研 發表於主要之國際研 討會（場次） 討會（場次）. 授權使用（授權金） 授權金. ). J. 技 術 移 轉 及 智 財 可 移 轉 技 術 （ 件 數 ） 、技術移轉（移轉金、 產值(形成產業) 授權 先 期 技 轉 （ 項 數 、 家 授權金、權利金）、 數 、 金 額 ） 、 釋 出 軟 應用、引用、技術獲 體 執 行 檔 、 自 由 軟 體 得國際認證數 授權（項數、家數）、 引進技術（件數） S.技術服務(含委託 技 術 服 務 （ 項 數 、 家 金額 案及工業服務) 數、金額）、委託案 及工業服務次數 其他. 46.
(47) 現行績效指標列表_3. 47. L.促成廠商或產業 研發投資（件數、金額）；生產投資（件 產品上市(項數、產量、金額)、量產( 團體投資 數、金額）；投資新創事業（家數、金額）產量、產值)、智財權授權(件數金額). 經 濟 效 益 （ 經 濟 產 業 促 進）. M.創新產業或模式 成立營運總部（家數）；衍生公司家數、 增加台灣產業運籌電子化擴散面積；衍 建立 或 參 與 產 業 團 體數 ； 創 新 模 式衍生 產 品 生公司（生產投資金額、研發投資金額、 （上市項數、產量、產值）；建立產業發 產值）；衍生產品（品項數、產量、產 展之環境或體系、營運模式件數 值）；環境改善或體系建立；提高產品 競爭力，促進產業發展 N.協助提升我國產 業全球地位 O.共通/檢測技術 服務. 建立國際品牌排名、相關產業產品世界排 相關產業（品）產值國際排名前三名 名 輔導廠商或產業團體（品質保證、技術標 個人獲得相關專業證照（人次）、衍生 準認證、實驗室獲得認證數、申請與執行 之國家/國際證照（項數）、提升專業 主導性新產品及關鍵性零組件等件數、家 能力、產業競爭力國內二級校正衍生數 數、配合款）；技術操作教育訓練（次數、 人次）作業準則之技術服務、輔導、講習 （ 次 數 、 人 數 ）； 提 供 國 家 級校正 服 務 （件數） T.促成與學界或產 合作研究件數、研究配合款金額、媒合與 產品上市（項數、產量、銷售總金額）、 業團體合作研究 推廣活動辦理次數 降低成本金額（件數、金額）、提升產 品附加價值（件數、金額） U.促成智財權資金 輔導診斷、案源媒合（家數） 協助中小企業取得融資及保證（家數、 融通 金額） AC.減少災害損失 開發災害防治技術與產品數、示範區域數 其他.
(48) 現行績效指標列表_4 社 會 福 祉提 升. AB.科技知識普及 P.創業育成. 科普知識推廣/宣導次數 家數. 廠商研發投資、生產投資. Q.資訊服務 R.增加就業. 設立網站、提供客服 人數. 訪客人數、人次 降低失業率，提昇國民生產毛額. W.提升公共服務. 旅行時間節省(換算為貨幣價值). 運輸耗能節省金額;減少二氧化碳 排放量. 社會影響. X. 提 高 人 民 或 業 者 受益人數、金額 收入 XY.性別平等促進 性別平等促進活動場次. 受益人數、增加收入（金額） 性別或弱勢族群的受益比例. 環 境 保 護安 全. 其他 O.共通/檢測技術服 輔導廠商或產業團體（品質保證、 個人獲得相關專業證照（人次）、 務 技術標準認證、實驗室獲得認證數、 衍生之國家/國際證照（項數）、 申請與執行主導性新產品及關鍵性 提升專業能力、產業競爭力國內二 零組件等件數、家數、配合款）； 級校正衍生數 技術操作教育訓練（次數、人次） 作業準則之技術服務、輔導、講習 （次數、人數）；提供國家級校正 服務（件數） V.提高能源利用率 技術或產品之能源效率提升百分比 技術或產品上市銷售帶動節約能源 量；減少二氧化碳排放量 Z.調查成果 調查結果圖幅數、面積、調查點筆 1.調查面積與精密度 數、資料量、影像資料量筆數 2.即時映像環境可輔助決之準確度 其他. 48.
(49) 現行績效指標列表_5 其他效益（科技政策管理及其它. K.規範/標準或政 參與制訂政府或產業技 採用標準之廠商家數、 策/法規草案制訂 術規範/標準（件數）、 產品種類等；制定或建 共同發表政府或產業技 立政府或產業技術、標 術規範/標準(件數)、參 準；訂定或完成政策或 與政策或法規草案之訂 法規標準之規定 定(件數) 新建資料庫（資料庫數 目、資料筆數、資料 量）；新建資料庫關聯 數量、使用人次與好評 數. 1.資料庫整合服務加速 （分鐘） 2.資料庫之資料量與查 詢介面方便度. AA.決策依據. 新建或整合流程、重大 1.流程整合之效益數目 統計訊息與政策建議、 2.重大統計訊息 決策支援系統及其反應 3.節省公帑數目 加速時間、節省經費. ). Y.資料庫. 其他. 49. 國人使用相關產品數 量估計；撰寫之規範/ 標準被採納為國際標 準.
(50) 審查委員意見. 50. 1. 選擇指標： –績效指標應能充分呈現計畫目標和預期效益的達成情形 –績效指標不一定要很多，應具關鍵性. 2. 設定指標目標值： –績效指標之逐年成長應有合理之規劃 –應參考前期計畫之實際績效，建立合理的績效指標估算基準. 3. 追蹤與收集績效資訊：. – 應有科學性估算及計量績效指標達成情形的機制，尤其是效 益性的績效指標. 4. 評估與報告績效資訊： –績效指標的陳述與計畫目標和各重點工作項目應能直接對應 資料來源：郭耀煌(2010)，如何提升政府科技發展計畫書撰寫品質.
(51) 51. THANK YOU FOR ATTENTION!.
(52) 參考文獻. 52. • 郭耀煌(2010)。如何提升政府科技發展計畫書撰寫品質，政府科技發展計畫研擬及 績效指標訂定及實作研習會 • 莊文忠(2008)。績效衡量與指標設計，公共行政學報，29，頁61-91 • 徐玉梅、鄭惠君(2012)。100年度政府科技計畫績效評估意見分析。國實院科技政策 研究與資訊中心。 • 林博文、徐玉梅(2013)。我國科技計畫評估制度分析。公共治理季刊，1(2)，頁1827 • Jody Zall Kusek and Ray C. Rist (2004). Ten steps to a results-based monitoring and evaluation system, retrieved from http://wwwwds.worldbank.org/servlet/WDSContentServer/WDSP/IB/2004/08/27/000160 016_20040827154900/Rendered/PDF/296720PAPER0100steps.pdf • Annette Binnendijk (2000). Results based management in the development cooperation agencies a review of experience, retrieved from http://www.oecd.org/development/evaluation/1886527.pdf • Joan Othieno (2011). Outcome based evaluation: planning, process & implementation, retrieved from http://www.healtorture.org/sites/healtorture.org/files/Outcome%20Based%20 Evaluation%20final_0.pdf 52.
(53)
(2) 評審委員對科技計畫績效評估之意見 意見大類. 意見筆數 正向. 負向. 占全部 意見百 分比. 1.資源投入. 21. 40. 4.9%. 2.計畫內容及執行措施. 40. 392. 34.8%. 287. 92. 30.5%. 4.目的/目標/指標及評量. 3. 146. 12.0%. 5.報告撰寫. 3. 158. 13%. 46. 15. 4.9%. 3.產出、效益及影響. 6.其他. 2. 資料來源：徐玉梅、鄭惠君(2012)。100年度政府科技計畫績效評估意見分析。國實院科技政策研究與資訊中心。.
(3) 科技計畫績效指標常見問題 主責機關. 各計畫所寫量化資料可能計算方式不 同，加總使用可信度將受質疑。. 部會署計畫 撰寫人員. 找不到可用之指標，很難適當的表達 成效。. 執行機構. 在主責機關所公布的指標中找不到合 適可用的項目。. 學者專家. 目標、指標與達成情形之間的關聯不 夠具體，亦缺乏同質計畫間之比較。. 3. 指標定義 與計算方式. 指標訂定概念. 資料來源：林博文、徐玉梅 (2013)。我國科技計畫評估制度分析。.
(4) 課程大綱 •指標基本概念 •績效指標訂定概念 •現行績效指標之使用介紹. 4.
(5) 5. 指標基本概念.
(6) 科技計畫績效評估 •定義：運用科學方法、標準和程序，對計 畫的成就和實際作為，盡可能準確衡量 –事前(ex-ante)評估：審查計畫目標是否正確； 計畫內容是否能達成目的 –事後(ex-post)評估：檢測計畫結果是否已達成 預期目的，並檢討反饋(feedback)與改進. •目的：了解計畫表現水準，發掘問題，據 以進行決策與分配資源. 6.
(7) 政府科技計畫績效評估的功能 提供科技政策 的辯護. 協助科技資源 的分配. 政府科技計畫 績效評估功能. 滿足社會民意 的要求. 7.
(8) 指標 vs. 績效指標 指標. 8. 績效指標. 包含單一性或組合性的資料所 產出的價值，用來描述一個體 系或過程. 60 Kg. VS.. 用來衡量組織現在或過去活動 表現的資訊，以了解目標是否 達成. 目標： 穿上漂亮衣服 (50Kg). 60 Kg.
(9) 績效指標特點 •績效指標必須與目標扣合 •同一目標可以有多種績效指標 •績效指標的選擇與目標值設定很重要 •績效指標是追蹤管制目標是否達成的工具. 9.
(10) 10. 績效指標訂定概念 •績效評估流程 形成目標 選擇指標 設定指標目標值 追蹤與收集績效資訊 評估與報告績效資訊.
(11) 現行科技計畫制度 11 規劃 中程個案計畫書 第一部分 第二部分 壹、計畫緣起 貳、計畫目標 參、前期或相關計畫之 過去成果或績效 肆、執行策略及方法 伍、預期效益及主要績 效指標（KPI） 陸、有關機關配合事項 及其他相關聯但無 合作之計畫 柒、就涉及公共政策事 項，是否適時納入 民眾參與機制之說 明 捌、其他補充資料. 檢討. 年度綱要計畫 書(中程個案第 二年). 年度綱要計畫 書(未提中程個 案). 第一部分 第二部分 壹、預期效益及主 要績效指標 （KPI） 貳、中程個案計畫 原規劃之差異 說明 參、前期計畫或相 關計畫主要績 效及成果 肆、其他補充資料. 第一部分 第二部分 壹、總目標及說明 貳、分析方法 參、預期效益及主 要績效指標 （KPI） 肆、計畫內容說明 伍、近3年主要績 效說明 陸、其他補充資料. 成果效益報告 壹、科技施政重點架構圖 貳、基本資料 參、計畫目的、計畫架構 與主要內容 肆、計畫經費與人力執行 情形 伍、計畫已獲得之主要成 果與重大突破 (含量 化成果output) 陸、主要成就及成果之價 值與貢獻度(outcome) 柒、與相關計畫之配合 捌、後續工作構想之重點 玖、檢討與展望.
(12) 現行科技計畫KPI格式. 12. 中程個案計畫書. 年度綱要計畫書. 參、預期效益及主要績效指標（KPI）：KPI格式參見B002至 B003，每計畫至少列出3項以上，如參考表內無適用指標，亦 可自訂適合本計畫之指標。.
(13) 績效評估流程. 13. 中程個案計畫書 年度綱要計畫書(中程個案第二年) 年度綱要計畫書(未提中程個案). 成果效益 報告. 執行. 規劃 1. 2. 形成 目標. 3. 選擇 指標. 4 設定指標 目標值. 追蹤與收 集績效資 訊. 檢討 5 評估與報告 績效資訊.
(14) (1)形成目標. 問題樹、目標樹. 14.
(15) (2)選擇指標. 邏輯思考 執行策略. 15 指標. 衡量方式. 總目標. 影響指標. 「效益」對社會、經濟或環境 所產生的長期且顯著的影響. 分項目標. 效益指標. 達成某些「產出」促使利益關係人 產生行為、狀態、條件之改變. 產出. 產出指標. 由計畫直接產生的產品或服務. 活動. 過程指標. 使用「投入」以產生「產出」 與「效益」的工作或行動. 投入. 投入指標. 為產生「產出」所投入的資源 總量.
(16) (2)選擇指標. 投入指標與過程指標. 16. •投入指標： –衡量計畫投入資源的指標，常見的資源包括人、 儀器設備、經費等. •過程指標： –衡量執行過程中所進行的活動。也常用里程碑 表示.
(17) (2)選擇指標. 產出指標與效益指標. 17. •產出指標： –衡量計畫最直接且立即的產品與服務，服務接 受者或顧客數也算在內. •效益指標： –衡量計畫產出對利益關係人產生的技術、態度、 行為等的改變.
(18) (2)選擇指標. 不同性質計畫之產出指標. 18. 科技計畫性質. 環 境 建 構 與 改 善. 基 礎 研 究. 應 用 與 技 術 發 展. 服 務 與 推 廣. 產 業 開 發 輔 導. 人 才 培 育 與 課 程 開 發. 調 查 研 究. 政 策 及 制 度 之 規 劃 與 制 訂. 其 他.
(19) (2)選擇指標. 不同性質計畫之產出指標. 19. 1. 環境建構與改善：著重於基本硬體面之建置與維 運的計畫 • 實驗室數 • 研究中心數 • 資訊平台數 • 資料庫數 • 觀測、監控、控制、預警系統數 • 監測站數 • 認證中心數 • 園區數.
(20) (2)選擇指標. 不同性質計畫之產出指標 2. 基礎研究：計畫執行之內容若屬理學或科學基礎 之探討，歸此類 • 期刊論文/研討會論文數 • 專書著作數 • 研究報告數 • 合作團隊數 • 碩博士培育數 • 辦理學術活動數 • 形成教材/手冊/軟體數. 20.
(21) (2)選擇指標. 不同性質計畫之產出指標 3. 應用與技術發展：凡技術與產品之研究、開發與 應用，如照明系統節能技術開發應用，歸此類 • 專利數 • 品種權數 • 期刊論文/研討會論文數 • 雛形開發數 • 技術報告數 • 研究報告數 • 參與/舉辦技術活動數 • 新產品/工具數 • 通過測試、符合標準/認證數 • 獲得獎項數 • 建置平台數 • 示範/測試產品數 • 碩博士培育數. 21.
(22) (2)選擇指標. 不同性質計畫之產出指標. 22. 4. 服務與推廣：係指與計畫有關之系統化服務活動，利用不 同的宣傳方式，促使其了解計畫概念與目的，並有助於計 畫內涵之傳播與應用，使計畫功效得以發揮者，歸此類。 • 共通/檢測技術服務數 • 建立試驗設施數 • 通過認證機構數 • 資訊服務數 • 技術服務數 • 教材/手冊/軟體數 • 科普知識推廣與宣導次數 • 資訊服務數 • 諮詢服務數 • 開設課程數 • 說明會數 • 服務平台數. • 服務/操作人員培訓.
(23) (2)選擇指標. 不同性質計畫之產出指標. 23. 5. 產業開發輔導：含產業之開發輔導及技術移轉，如加 強協助專利與技術轉移、技術開發成果移轉導入產業， 歸此類。 • 協助申請計畫數 • 技術媒合案 • 技術移轉及智財授權數 • 促成廠商或產業團體投資 • 創新產業或模式建立 • 創業育成數 • 促成與學界或團體合作研究數 • 促成智財權資金融通 • 研究報告數 • 行銷輔導諮詢 • 促成策略聯盟數 • 進駐廠商數.
(24) (2)選擇指標. 不同性質計畫之產出指標 6. 人才培育與課程開發：舉凡與科技人才(或人力或人 員)之延攬、培育、訓練、輔導、媒合相關之計畫， 如生技創業之專業經理人培育，歸此類。 • 協助/參與國際調查 • 規劃舉辦課程/活動數 • 教材/手冊/軟體數 • 獎勵機制 • 人才培育/訓練/延攬/媒合數. 24.
(25) (2)選擇指標. 不同性質計畫之產出指標 7. 調查研究：目的明確之研究調查、資料蒐集、背 景資料分析屬此類。 • 期刊論文/研討會論文數 • 專書著作數 • 調查成果 • 決策依據 • 資料庫 • 研究分析報告 • 評估報告 • 調查方法與模式 • 資訊服務 • 作業程序 • 教育宣導材料 • 示範區域. 25.
(26) (2)選擇指標. 不同性質計畫之產出指標. 26. 8. 政策及制度之規劃與制訂：舉凡計畫之執行與機制、 法規、規範、辦法、標準、政策、體系、制度、作業 標準之制訂，皆屬此類。 • 研究報告 • 期刊論文/研討會論文數 • 專書著作數 • 規範/標準或政策/法規草案制訂 • 公民參與 • 議題倡導 • 教材/手冊/軟體數 • 法律、標準、政策等諮詢服務 • 成效評估報告 • 資料庫 • 交流平台.
(27) (2)選擇指標. 效益指標. 27. •對科技計畫而言效益(outcome)是最常用的指標。 社會經濟影響(impact)往往需較長時間方能檢視， 通常在十數年後用專案評估 •確立直接利益關係人，並訂定預期的改變是設計 效益指標的必要條件.
(28) (2)選擇指標. 產出指標與效益指標關係 投入 經費與人力. 產出. 效益. 製作教材 諮詢服務 人員培訓 開課場次. 28. 學員滿意度. For/ With 利益 關係 人. 學員了解程度 學員應用程度.
(29) (2)選擇指標. 效益層級 長期. 29 長期/ 狀態效益. 短期. 目標對象如何因計畫而改 變其生活 •價值、態度、立場. 中介/行為效益. 特定的行為改變 •實踐、決策、政策、社會 行動. 立即/學習效益. 立即/學習效益 •知識、態度、技能、期望、 意見、意願、動機. 反應. 利益關係人如何回應? •滿意程度. 資料來源:Othieno, J.(2011). Outcome Based Evaluation: Planning, Process & Implementation.
(30) (2)選擇指標. 利益關係人分析 •誰決定高階目標 •解決誰的問題 •誰是目標對象 •誰是合作夥伴 •誰是團隊成員 在計畫週期各階段，誰會改變. 30.
(31) (2)選擇指標. 效益指標的導引列表. 31 檢測方法 預期改變. 利益關係人 產出 • 論文 • 技術 • 資料庫 • 作業系統 • 品種 • 材料 • ………. 目標對象 • 研究人員 • 目標企業 • 技術使用者 • 資訊使用者 工作夥伴 • 團隊成員 • 研究生 • 合作成員. • 作業方式 • 概念改變 • 增加投資 • 訓練員工 • ………. • 成本降低 • 技術移轉 • 引文人數 • 新產品規劃 • 市場佈局 • ……….
(32) (2)選擇指標. 績效指標制定原則 明確 (Specific) 可衡量性 (Measurable) 可達成性 (Attainable) 相關性 (Relevant) 即時性 (Timely). 32. • 指標須明確且具體，能清楚界定衡量 • 確保衡量對象、衡量方法與使用之資料無模糊不清之處 • 無論誰來衡量，都能清楚的操作 • 指標所需的資訊是能得到的 • 指標所衡量的改變與目標相關. • 指標應以成本有效性的觀點界定其欲達成期間或頻率.
(33) (3)設定指標目標值. 目標值功能. •幫助計畫目標具體化 •指引與激勵 •幫助了解進度. 33.
(34) (3)設定指標目標值. 如何設定目標值. 34 找出趨勢 了解目標對象 期望. 找出基準值. 設定目標值 與執行機構 討論. 標竿其他計畫. 過去研究資料. 尋求專家意見.
(35) (4)追蹤與收集績效資訊. 指標資訊蒐集 指標類型 影響指標 效益指標 產出指標 過程指標 投入指標. 指標項目 與定義. 35 資料來源. 資料蒐集 方法. 蒐集頻率. 負責蒐集 人員.
(36) (4)追蹤與收集績效資訊. 指標資訊蒐集特性. 36. 指標類型. 資料蒐集 方法. 蒐集頻率. 負責蒐集 人員. 影響指標. 普查或調查、 國家統計. 多年. 政府、主管機關. 效益指標. 調查、快速評鑑 方法、諮詢. 每年. 主管機關、執行機構. 產出指標. 計畫記錄. 每季或半年. 過程指標. 計畫記錄. 每周或每月. 計畫記錄. 每周或每月. 投入指標. 執行機構 執行機構 執行機構.
(37) (4)追蹤與收集績效資訊. 資訊蒐集之考量 效度 (Validity). • 能否能測量到想測量的東西？. 信度 (Reliability). • 測量結果是否可靠？. 時間 (Timeliness). • 資料蒐集或測量的時間是否能配合決策者的需要？. 成本 (Cost). • 資料蒐集或測量的成本是否可以負荷？. 37.
(38) (4)追蹤與收集績效資訊. 資訊蒐集方式. 38 小組調查. 重點資訊訪談 正式審 查記錄 （管理 資訊系 參與者觀察 統和管 社區性訪談 理數據）. 與相關人事 的對話. 一次性調查 直接觀察. 普查. 焦點團體訪談 實地訪查. 非正式和較少結構化的方法. 問卷調查. 田間試驗. 正式和更結構化的方法. Source : The World Bank (2004) .Ten steps to a results-based monitoring and evaluation system : a handbook for development practitioners..
(39) (5)評估與報告績效資訊. 資訊分析. 分析績效資訊 運用不同的軟體、工具與技能來分析量化與質化兩種不同 的資料型態， 並加值應用與說明. 使用結果時，請再次確認： 1. 針對每個分析結果， 試問自己「結果告訴我們什麼？ 」 2. 如果結果是正面的並符合計畫成果，解釋他們如何支持 該計畫目標 3. 如果結果是否定、矛盾的，就要解釋他們為何不符合計 畫的期望和應該採取什麼而有不同的結果. 39.
(40) (5)評估與報告績效資訊. 資訊分析. 40. 分析績效資訊來協助決策者進行必要的計畫改善 績效資訊結果可以作為知識分享與學習回饋的來源 深入瞭解績效 問題所在. 瞭解目標達成之進度 績效資訊的 應用. 監督資源運用情況. 界定新出現的問題 (影響目標達成).
(41) 41. 現行績效指標之使用介紹 •國科會現行指標格式 •審查委員意見.
(42) 績效指標規劃表 執行策略. 指標. 總目標. 影響指標. 分項目標. 效益指標. 產出. 產出指標. 活動. 過程指標. 投入. 投入指標. 42. 衡量方式.
(43) 中程個案計畫書. 執行 策略. 指標. 總目標. 影響指標. 分項目標. 效益指標. 產出. 產出指標. 活動. 過程指標. 投入. 投入指標. 衡量 方式. 參考. 填回. 43.
(44) 年度綱要計畫書. 44. 參、預期效益及主要績效指標（KPI）：KPI格式參見B002至B003，每計畫至 少列出3項以上，如參考表內無適用指標，亦可自訂適合本計畫之指標。 執行 策略. 指標. 總目標. 影響指標. 分項目標. 效益指標. 產出. 產出指標. 活動. 過程指標. 投入. 投入指標. 衡量 方式 參考 填回.
(45) 現行績效指標列表_1 屬 性. 績效指標 A.論文. 學術成就 科(技基礎研究. B.合作團隊養成 C.博碩士培育 D.研究報告 E.辦理學術活動. 初級產出量化值. 效益說明. 45 重大突破. 論文發表數量、國內外期 論文發表在國際上重要研 刊 發 表 數 量 、 重 要 期 刊 討會或期刊（篇數）、被 （SCI、SSCI、EI、AHCI、引用次數及影響係數、論 文獲獎（次數） TSSCI等）發表數量等 系內、校內跨領域、跨校 形成研究中心、實驗室數 或跨組織合作團隊數目 目 參與計畫執行之碩士研究 研究生畢業後從事之相關 產值(薪資) 生及博士研究生數量 行業人數. ). 數量 辦理國內、雙邊或國際之 研討會workshop、學術會 議symposium、學術研討 會conference、論壇forum 次數。出版論文集數目 F.形成教材/手冊/軟 製作教材或自由軟體授權 體 釋出教材（件數） 其他. 引用 辦理主要之國際研討會場 次. 引用次數、其他個人或團 體之加值利用次數.
(46) 現行績效指標列表_2 技術創新 科(技技術創新. G.專利(智慧財產). 申 請 、 獲 得 國 內 或 國 應 用 、 引 用 、 移 轉 產值(形成產業) 外 之 專 利 與 品 種 權 （授權金、權利金） （件數）. H.技術報告. 數量. I.技術活動. 發 表 於 國 內 或 國 外 研 發表於主要之國際研 討會（場次） 討會（場次）. 授權使用（授權金） 授權金. ). J. 技 術 移 轉 及 智 財 可 移 轉 技 術 （ 件 數 ） 、技術移轉（移轉金、 產值(形成產業) 授權 先 期 技 轉 （ 項 數 、 家 授權金、權利金）、 數 、 金 額 ） 、 釋 出 軟 應用、引用、技術獲 體 執 行 檔 、 自 由 軟 體 得國際認證數 授權（項數、家數）、 引進技術（件數） S.技術服務(含委託 技 術 服 務 （ 項 數 、 家 金額 案及工業服務) 數、金額）、委託案 及工業服務次數 其他. 46.
(47) 現行績效指標列表_3. 47. L.促成廠商或產業 研發投資（件數、金額）；生產投資（件 產品上市(項數、產量、金額)、量產( 團體投資 數、金額）；投資新創事業（家數、金額）產量、產值)、智財權授權(件數金額). 經 濟 效 益 （ 經 濟 產 業 促 進）. M.創新產業或模式 成立營運總部（家數）；衍生公司家數、 增加台灣產業運籌電子化擴散面積；衍 建立 或 參 與 產 業 團 體數 ； 創 新 模 式衍生 產 品 生公司（生產投資金額、研發投資金額、 （上市項數、產量、產值）；建立產業發 產值）；衍生產品（品項數、產量、產 展之環境或體系、營運模式件數 值）；環境改善或體系建立；提高產品 競爭力，促進產業發展 N.協助提升我國產 業全球地位 O.共通/檢測技術 服務. 建立國際品牌排名、相關產業產品世界排 相關產業（品）產值國際排名前三名 名 輔導廠商或產業團體（品質保證、技術標 個人獲得相關專業證照（人次）、衍生 準認證、實驗室獲得認證數、申請與執行 之國家/國際證照（項數）、提升專業 主導性新產品及關鍵性零組件等件數、家 能力、產業競爭力國內二級校正衍生數 數、配合款）；技術操作教育訓練（次數、 人次）作業準則之技術服務、輔導、講習 （ 次 數 、 人 數 ）； 提 供 國 家 級校正 服 務 （件數） T.促成與學界或產 合作研究件數、研究配合款金額、媒合與 產品上市（項數、產量、銷售總金額）、 業團體合作研究 推廣活動辦理次數 降低成本金額（件數、金額）、提升產 品附加價值（件數、金額） U.促成智財權資金 輔導診斷、案源媒合（家數） 協助中小企業取得融資及保證（家數、 融通 金額） AC.減少災害損失 開發災害防治技術與產品數、示範區域數 其他.
(48) 現行績效指標列表_4 社 會 福 祉提 升. AB.科技知識普及 P.創業育成. 科普知識推廣/宣導次數 家數. 廠商研發投資、生產投資. Q.資訊服務 R.增加就業. 設立網站、提供客服 人數. 訪客人數、人次 降低失業率，提昇國民生產毛額. W.提升公共服務. 旅行時間節省(換算為貨幣價值). 運輸耗能節省金額;減少二氧化碳 排放量. 社會影響. X. 提 高 人 民 或 業 者 受益人數、金額 收入 XY.性別平等促進 性別平等促進活動場次. 受益人數、增加收入（金額） 性別或弱勢族群的受益比例. 環 境 保 護安 全. 其他 O.共通/檢測技術服 輔導廠商或產業團體（品質保證、 個人獲得相關專業證照（人次）、 務 技術標準認證、實驗室獲得認證數、 衍生之國家/國際證照（項數）、 申請與執行主導性新產品及關鍵性 提升專業能力、產業競爭力國內二 零組件等件數、家數、配合款）； 級校正衍生數 技術操作教育訓練（次數、人次） 作業準則之技術服務、輔導、講習 （次數、人數）；提供國家級校正 服務（件數） V.提高能源利用率 技術或產品之能源效率提升百分比 技術或產品上市銷售帶動節約能源 量；減少二氧化碳排放量 Z.調查成果 調查結果圖幅數、面積、調查點筆 1.調查面積與精密度 數、資料量、影像資料量筆數 2.即時映像環境可輔助決之準確度 其他. 48.
(49) 現行績效指標列表_5 其他效益（科技政策管理及其它. K.規範/標準或政 參與制訂政府或產業技 採用標準之廠商家數、 策/法規草案制訂 術規範/標準（件數）、 產品種類等；制定或建 共同發表政府或產業技 立政府或產業技術、標 術規範/標準(件數)、參 準；訂定或完成政策或 與政策或法規草案之訂 法規標準之規定 定(件數) 新建資料庫（資料庫數 目、資料筆數、資料 量）；新建資料庫關聯 數量、使用人次與好評 數. 1.資料庫整合服務加速 （分鐘） 2.資料庫之資料量與查 詢介面方便度. AA.決策依據. 新建或整合流程、重大 1.流程整合之效益數目 統計訊息與政策建議、 2.重大統計訊息 決策支援系統及其反應 3.節省公帑數目 加速時間、節省經費. ). Y.資料庫. 其他. 49. 國人使用相關產品數 量估計；撰寫之規範/ 標準被採納為國際標 準.
(50) 審查委員意見. 50. 1. 選擇指標： –績效指標應能充分呈現計畫目標和預期效益的達成情形 –績效指標不一定要很多，應具關鍵性. 2. 設定指標目標值： –績效指標之逐年成長應有合理之規劃 –應參考前期計畫之實際績效，建立合理的績效指標估算基準. 3. 追蹤與收集績效資訊：. – 應有科學性估算及計量績效指標達成情形的機制，尤其是效 益性的績效指標. 4. 評估與報告績效資訊： –績效指標的陳述與計畫目標和各重點工作項目應能直接對應 資料來源：郭耀煌(2010)，如何提升政府科技發展計畫書撰寫品質.
(51) 51. THANK YOU FOR ATTENTION!.
(52) 參考文獻. 52. • 郭耀煌(2010)。如何提升政府科技發展計畫書撰寫品質，政府科技發展計畫研擬及 績效指標訂定及實作研習會 • 莊文忠(2008)。績效衡量與指標設計，公共行政學報，29，頁61-91 • 徐玉梅、鄭惠君(2012)。100年度政府科技計畫績效評估意見分析。國實院科技政策 研究與資訊中心。 • 林博文、徐玉梅(2013)。我國科技計畫評估制度分析。公共治理季刊，1(2)，頁1827 • Jody Zall Kusek and Ray C. Rist (2004). Ten steps to a results-based monitoring and evaluation system, retrieved from http://wwwwds.worldbank.org/servlet/WDSContentServer/WDSP/IB/2004/08/27/000160 016_20040827154900/Rendered/PDF/296720PAPER0100steps.pdf • Annette Binnendijk (2000). Results based management in the development cooperation agencies a review of experience, retrieved from http://www.oecd.org/development/evaluation/1886527.pdf • Joan Othieno (2011). Outcome based evaluation: planning, process & implementation, retrieved from http://www.healtorture.org/sites/healtorture.org/files/Outcome%20Based%20 Evaluation%20final_0.pdf 52.
(53)
