第二章 文獻檢閱
第四節 電子治理計畫評估面向
前 面 三 節 主 是 針 對 各 國 在 實 務 經 驗 上 , 在 規 劃 、 執 行 、 評 估 的 流 程 中 如 何 實 際 操 作 的 說 明。但 是 在 整 個 審 議 的 過 程 中,除 了 流 程 之 外,
也 必 須 兼 顧 評 估 指 標 的 面 向 , 本 節 主 要 先 從 期 刊 文 獻 中 整 理 出 評 估 指 標 的 相 關 說 明 , 同 時 引 用 我 國 科 技 計 畫 的KPI指 標 作 為 對 照 , 最 後 整 理 出 我 國 近 年 來 各 計 畫 所 使 用 的 指 標 進 行 分 析 討 論 。
一 、 評估指標理論
公 共 政 策(計 畫)的 品 質 會 影 響 到 政 府 施 政 成 果 , 執 行 後 的 效 益 更 會 影 響 到 整 個 國 家 整 體 競 爭 力 。 目 前 各 國 政 府 皆 逐 漸 加 重 對 電 子 化 政 府 政 策(計畫)績 效 的 評 估 , 相 關 文 獻 分 為 三 部 份 :(一)電 子 化 政 府/電 子 治 理 相 關 國 際 重 要 評 估 指 標(包括國家與計畫評比);(二)各類電子化 政 府/電子治理比較分析理論模型;及(三)顧客導向的網路服務模型討 論 , 以 期 對 評 估 方 法 論 提 出 更 新 整 合 方 向 。
(一) 電 子 化 政 府 /電 子 治 理 相 關 國 際 重 要 評 估 指 標 (包 括 國 家 與 計 畫 評 比)-代表研究有 Economist Intelligence Unit (EIU)與 IBM 合作出 版 的 「 電 子 化 準 備 度 (E-readiness) 」 、 世 界 經 濟 論 壇 (World Economic Forum) 與 INSEAD 合 作 發 表 的 「 網 路 準 備 度 指 數 (Networked Readiness Index, NRI)」、日本早稻田大學電子化研究 所(Waseda University Institute of e-Government)從亞洲觀點提供的 電 子 化 政 府 評 比 、Brown University 公 共 政 策 研 究 中 心 (World Market Research Center)的政府網站評估(West, 2008)等。這些指標 用 以 評 估 各 國 基 礎 資 訊 通 訊 設 施 的 準 備 度 、 政 府 網 站 功 能 和 綜 合
性,表 7 綜合呈現國際評比,可發現國際評比皆強調基礎建設(科
技、法 令、制 度 等)、ICTs 使用、線上服務與應用,而發展趨勢主 要 為 電 子 參 與 。
表 7:電子化政府國際重要評估指標
1、 Heeks (2006)電子化政府價值鏈(value chain)-描述電子化政 府 計 畫 由 運 作 、 投 入 到 成 果 的 一 系 列 過 程 ; 分 為 四 大 階 段 , 分 別 為 準 備(readiness)、 可 得 性(availability)、 運 用(uptake)及 影 響(impact),根據以上四階段又分類出電子化政府計畫的階 段 性 過 程 , 分 別 由 前 置 作 業(precursors)、 投 入 (inputs)、 中 介 (intermediates)、產出(outputs),影響(impacts)到成果(outcome);
2、 DeLone & McLean (2003)資訊系統成功模型(IS Success Model)
- 指 出 資 訊(information)、系統(system)與服務(service)三類品 質 , 將 影 響 資 訊 系 統 使 用 意 願 與 滿 意 度 , 同 時 使 用 意 願 與 滿 意 度 與 資 訊 系 統 對 個 人 與 組 織 影 響 的 淨 利 益(net benefits)間 有 影 響 與 回 饋 影 響 的 關 係 ;
3、 印 度 智 慧 政 府 國 家 研 究 院 (National Institute of Smart Government)的 Gupta (2007) 提出評估電子化政府績效的「成 果–促動 (Result-Enabler)」模式;
4、 歐盟資訊社會與媒體處電子化政府組(eGovernment Unit, DG Information Society and Media, European Union)提出電子化政 府 計 畫 的 衡 量 架 構 模 式 (eGovernment Economics Project,
eGEP, 2006a & 2006b),主張強調效率(政府內部財務和組織的 價 值)、效能(各服務對象的價值)和民主(政治體系的價值),總 共 建 立 9 個影響構面和 92 項參考指標三個重要驅動力,回應 不 同 利 害 關 係 人 所 追 求 的 公 共 價 值 的 公 共 價 值 ;
5、 施 能 傑(2010)依 據 平 衡 計 分 卡(Balanced Scorecard, Kaplan &
Norton, 2001, 2004)理論,提出以財務、顧客、內部流程、人 力 資 本 四 個 面 項 來 衡 量 電 子 化 政 府 績 效 ;
6、 Esteves & Joseph (2008)的計畫綜合性架構(EAM)-提出三大 交 互 影 響 面 向(評估、電子化政府不同階段的角色與利害關係 人)與六大組計畫評估對應指標;
7、 Millard & Shahin (2006)的電子化政策影響評估架構,除了投 入 、 產 出 、 成 果 和 影 響 外 , 尚 以 四 階 段 之 間 的 中 介 層
8、 網 路 服 務 品 質 衡 量 工 具 的 介 紹 與 討 論 , 包 括 E-SERVQUAL (Parasuramen, Zeithaml & Berry, 1985, 1988) 、 WebQual (Loiacono, Watson & Goodhue, 2000)、eTailQ (Wolfinbarger &
Gilly, 2003)、SITEQUAL (Yoo & Donthu, 2001)等。
(三) 政 府 網 路 服 務 品 質 /民 眾 滿 意 度 衡 量 工 具 - 類 似 企 業 網 站 服 務 品 質 模 型 與 實 證 研 究 , 各 國 政 府 網 路 服 務 品 質 與 民 眾 滿 意 度 模 型 與 衡 量 工 具 亦 蓬 勃 發 展 , 包 括 美 國 電 子 化 政 府 顧 客 滿 意 指 標 (egov-ACSI)、 韓 國 電 子 化 政 府 顧 客 滿 意 指 數 (g-CSI)、 EGOVSAT (Horan, Abhichandani & Rayalu, 2006)等。
本 計 畫 綜 合 文 獻 , 將 相 關 指 標 依 分 為 以 下 六 大 構 面 :
1、 基 礎 建 設 (infrastructure)- 包 括 資 料 系 統 (電 子 化 整 備 度 )、 法 規 與 制 度 、 人 力 資 源 等 ;
2、 投入(input)-包括經費、工作人力、政治支持、策略等;
3、 過程(process)-包括推廣、教育訓練、管理、整合等;
4、 產出(output)-包括服務特徵量、服務使用、感受品質與線上 服 務;態 度 改 變 指 標、行 為 改 變 指 標、淨 利 益 與 計 畫 穩 定 性 ; 5、 影響(impact)-包括服務特徵量、服務使用、感受品質與線上
服 務 ;
6、 成果(outcome) -G2B 面向包括行政公開化、使用者中心、經 濟 競 爭 力 與 保 護 性 價 值 ;G2C 面向則以整體生活品質來替代 經 濟 競 爭 力 指 標 。
而 各 面 向/階段的定義及指標的範例如表8:
表 8:G2B 計畫評估架構階段之定義
此 階 段 則 包 含 主 客 觀 性 質 指 標 , 例 如 產 出 階 段 包 括 有 衡 量 網 頁 使 用 人 數 的 指 標(客觀),也有包含如對網頁服務品質衡量的感受指標(主觀)。
根 據 此 階 段 架 構 , 各 階 段 指 標 尚 能 因 應 不 同 的 計 畫 評 估 方 法 搭 配 使 用,例 如 投 入 階 段 中 經 費 投 資 的 角 度,結 合 影 響 階 段 的 淨 利 益(比方 政 府 財 務 節 省),進行成本效益分析、或是了解投入金額與服務提供的 範 圍 與 程 度 ; 也 能 從 影 響 評 估 的 角 度 , 從 企 業 產 出 階 段 的 服 務 感 受 品 質 , 測 量 企 業 所 改 變 的 行 為 與 態 度 樣 貌(例如計畫滿意度)等等。
同 樣 的 指 標 也 可 能 同 時 以 主 客 觀 的 途 徑 來 衡 量 , 例 如 影 響 階 段 的 計 畫 透 明 度 , 可 以 從 網 頁 設 計 的 透 明 程 度 或 可 追 蹤 性(客 觀)及 企 業 或 內 部 使 用 者 的 感 受(主觀)得知(朱斌妤等,2011)。
整 體 來 說,上 述 文 獻 從 不 同 面 向(像是從流程、系統、服務品質、
績 效 評 估 本 質 等)提供電子化政府計畫與系統績效評估架構與準則,整 體 來 說 , 指 標 眾 多 , 但 部 分 指 標 實 務 上 因 資 料 蒐 集 限 制 有 而 有 執 行 上 的 困 難 , 如 實 際 上 為 人 民 節 省 下 的 時 間 , 且 並 未 同 時 涵 蓋 電 子 治 理 方 案 提 供 者(圖1的P)、 方 案 與 政 策 管 理 者(圖1的M)與 接 受 者(圖1的C),
這 三 類 型 利 害 關 係 人 之 間 的 網 絡 互 動 與 管 理 面 向 也 沒 有 納 入 。
此 外,電 子 化 政 府/計畫涵蓋基礎ICTs建設、服務與應用等,各類 計 畫 影 響 層 面 擴 及 整 個 社 會 , 所 需 投 入 與 其 他 政 府 計 畫 相 較 較 為 複 雜 , 總 體 效 益 也 較 難 以 評 估 和 衡 量 。 因 此 各 國 政 府 在 發 展 電 子 化 政 府 時,面 對 資 源 配 置 正 當 性 挑 戰 多 引 進 企 業 評 估 方 法,一 般 分 為:(1)非 經 濟 性 評 估 - 包 括 關 鍵 績 效 指 標(Key Performance Indicators)、標竿管 理(Benchmarking)、能力檢驗(Capacity Check);(2)經濟性評估-包括 收 支 平 衡 分 析(Break-Even Analysis) 、 成 本 效 益 分 析 (Cost-Benefit Analysis) 、 內 部 投 資 報 酬 率 (Internal Rate of Return) 、 投 資 報 酬 率 (Return on Investment)、淨現值(Net Present Value)、價值評估法(Value Assessment Methods)等。OECD (2006)指出,OECD國家對電子化政府 之 評 估 根 據 經 濟 、 非 經 濟 的 評 估 方 法 而 有 所 區 分 , 但 多 採 取 成 本 效 益 分 析 、 關 鍵 績 效 指 標 、 淨 現 值 等 方 法(參見表9)。
表 9:OECD 各國電子化政府評估之方法 國 家 電 子 化
政 府 評 估
非 經 濟 評 估 方 法
經 濟 評 估 方 法
澳 洲 是 關 鍵 績 效 指 標 淨 現 值、投 資 報 酬 率、價 值 評 估 法
奧 地 利 是 標 竿 管 理
加 拿 大 是 能 力 檢 驗 價 值 評 估 法
捷 克 是 標 竿 管 理
丹 麥 是 淨 現 值
芬 蘭 是 關 鍵 績 效 指 標 成 本 效 益 分 析 德 國 是 關 鍵 績 效 指 標
義 大 利 是 成 本 效 益 分 析
日 本 是
荷 蘭 是 關 鍵 績 效 指 標
紐 西 蘭 是 關 鍵 績 效 指 標 淨 現 值 波 蘭 是 關 鍵 績 效 指 標
英 國 是 收 支 平 衡 分 析、淨 現 值、成 本 效
益 分 析
美 國 是 關 鍵 績 效 指 標 投 資 報 酬 率、淨 現 值、成 本 效 益 分 析、內 部 投 資 報 酬 率、價 值 評 估 法
資 料 來 源 :OECD (2006); 轉 引 自 朱 斌 妤 (2010), 國 科 會 計 畫 書 。
二 、 國科會科技類別計畫主要績效指標表
如 本 章 第 三 節 所 述 , 我 國 的 中 長 程 計 畫 共 分 為 公 共 建 設 、 社 會 發 展 、 及 科 技 發 展 計 畫 三 類 , 其 中 有 一 類 型 是 科 技 發 展 計 畫 , 是 由 國 科 會 負 責,而 在 其 審 查 的 過 程 中,就 有 主 要 績 效 指 標 表(KPI),並規定各 計 畫 必 須 要 依 照 計 畫 不 同 的 性 質 , 選 擇 相 關 的 指 標 來 使 用 , 並 可 以 輔 以 自 訂 的 指 標 。
而 在 科 技 計 畫 的KPI中,主要分成學術成就(科技基礎研究)、技術
類
類
別 績 效 指 標 初 級 產 出 量 化 值 效 益 說 明 經
濟 效 益
N.協助提升 我 國 產 業 全 球 地 位 或 產 業 競 爭 力
建立國際品牌排名、相關 產 業 產 品 世 界 排 名
相 關 產 業(品)產值國 際 排 名 前 三 名
資 料 來 源 : 國 科 會(2010)。
從 表10中可以看到,科技計畫建構了清楚的指標,並標示各項指
標 的 量 化 數 值 為 何 , 讓 參 與 的 各 項 計 畫 可 以 有 一 定 的 標 準 進 行 評 估 。 雖 然 這 些 指 標 中 較 沒 有 從 投 入 成 本/經費的角度去設置,同時性質上也 和 電 子 治 理 不 太 相 同 , 無 法 一 體 適 用 , 但 是 這 種 清 楚 的 指 標 架 構 , 可 以 提 供 未 來 電 子 治 理 評 估 時 的 參 考 。
而 和 科 技 計 畫 的KPI類似的,例如美國在進行TechStat會議時,也 有 相 關 的 問 題 列 表 , 在 本 章 第 一 節 有 提 及 , 共 有13個大項,內有許多 細 項 問 題 , 主 要 也 是 提 供 各 種 不 同 類 型 的 計 畫 可 以 在 這 些 問 題 列 表 中 選 擇 相 關 的 問 題 來 回 答 , 藉 由 這 些 面 向 來 評 估 計 畫 的 實 行 狀 況 , 亦 可 以 做 為 我 國 電 子 化 政 府 計 畫 的 參 考 。
三 、 電子化政府計畫評估指標
電 子 化 政 府 計 畫 目 前 屬 於 公 共 建 設 類 型 , 但 觀 察 該 類 型 的 各 種 文 件 , 卻 並 沒 有 找 到 如 同 上 述 科 技 計 畫 的 主 要 績 效 指 標 這 種 清 楚 明 確 的 指 標 建 構 ; 從 第 三 階 段 電 子 化 政 府 計 畫 的 各 項 計 畫 所 使 用 的 指 標 來 看 , 每 個 計 畫 都 是 按 照 各 自 的 計 畫 內 容 設 計 不 同 的 指 標 , 似 乎 沒 有 特 別 的 標 準 。
本 研 究 同 時 整 理 第 三 階 段 電 子 化 政 府 計 畫 各 計 畫 使 用 的 指 標 , 首 先 把 計 畫 以 服 務 對 象 分 為 對 企 業(G2B)、對民眾(G2C)、及對內部員工 (G2E)三大類,並從投入、產出、影響三個面向去分析這三大塊的指標 (參 見 附 錄 二), 在 這 樣 子 的 分 類 過 程 中 ,可 以 發 現 , 幾 乎 所 有 的 指 標
而 其 次 是 影 響 指 標(提 到 相 關 的 影 響 指 標 幾 乎 都 是 滿 意 度 調 查), 投 入 指 標 幾 乎 很 少 使 用 到(例如花費多少經費、投入多少人力、宣傳、教育 訓 練 等)。
目 前 這 種 過 度 偏 向 產 出 指 標 的 方 式 , 及 各 計 畫 自 行 訂 定 相 關 指 標 的 程 序 , 或 許 可 以 透 過 參 考 科 技 計 畫 的KPI及 美 國 問 題 列 表 的 表 達 方 式 及 區 分 面 向 , 建 立 清 楚 完 整 的 指 標 表 , 以 使 各 計 畫 在 進 行 管 考 時 , 能 夠 更 有 依 據 的 執 行 。