績效衡量指標權重之建立

一、 第二階段問卷調查指標選取

在第一階段問卷調查中，主要目的在於分析出地方政府資訊部門所重視的評估指 標，並以篩選後之指標供第二階段問卷調查時使用，以進行 ANP 分析。本研究選取在 第一階段問卷調查時 CVR 值>0.49 者，保留作為進一步研究之指標。

本研究採用 Rozann Saaty 與 William Adams 共同發展出的 Super Decisions 軟體來計 算各構面及各指標間之權重值，可以免除繁雜的計算過程，並專注於結果的分析。第二 階段績效評估指標 ANP 架構，如圖 4-1。

圖 4-1 第二階段績效評估指標 ANP 架構

二、 第二階段問卷調查專家基本資料

為求前後調查的一致性，本階段問卷發放對象仍以高雄市政府資訊中心前一次參與 填答問卷的 16 人為主，受訪者的身分如表 4-7 所示，本次問卷於 100 年 3 月 28 日發出 問卷 16 份，3 月 31 日回收問卷 12 份，回收比率 75%。

表 4-7 第二階段問卷調查背景分佈 總人數：12 人

職稱(身份) 人數

一級主管(中心主任) 1

基層主管(科/股長) 3

非主管人員 8

服務年資 人數

3 年(含)以下 7

5 至 10 年 1

10 年以上 4

學歷 人數

碩士 3

大學(專) 9

三、 第二階段問卷調查結果

(一) 建立成對比較矩陣：

本研究針對「建立地方政府資訊部門最適平衡計分卡」的目標準則和各因素之 間的評估指標做權重的確認，並利用 Super Decisions 軟體進行分析。以下僅以其中 一份問卷部分準則與因素為例，說明成對比較矩陣的建立方式。

1.在目標下，各構面之間的成對比較矩陣：

在「建立地方政府資訊部門最適平衡計分卡」的目標下，各構面的成對比 較矩陣：業務成果的重要程度為行政效率的 5 倍、組織學習的 5 倍…，以此類 推。

圖 4-2 目標「建立地方政府資訊部門最適平衡計分卡」下各構面間問卷填答結果

2.在平衡計分卡構面中，各構面間的成對比較：

在平衡計分卡構面中，各個構面間也具有內部相依的關係，所以也要完成 各構面間的成對比較矩陣：對於「業務成果」構面而言，行政效率的重要性是 組織學習 5 倍、是財務管理的 4 倍…，以此類推。

圖 4-3 就平衡計分卡中之業務成果構面而言，其他構面間問卷填答結果

3.在平衡計分卡構面準則下，各因素間的成對比較：

在業務成果構面下，各因素間的成對比較矩陣：資訊的安全及隱密性的重 要程度為系統容易使用的程度的 5 倍、是建立資訊部門的形象的 3 倍…，以此 類推。

圖 4-4 業務成果構面下，各指標間問卷填答結果

(二) 一致性檢定：

在成對比較矩陣中，可能因為答卷專家心理不一致或選定的基底不同，而造成 比重不一致(例如 A>B、B>C，所以應該是 A>C，但專家於問卷回答時卻出現 C>A 的情形)，為了克服不一致性的問題，所以必須進行成對比較矩陣一致性檢定，方 能使評估結果具備一致性。然而，當評估因子增多時，要求答卷專家的判斷達到理 論上的完全一致，這是相當困難的事情，因此，藉由一致性的檢定，以確保決策者 的判斷獲得令人滿以的一致性。Satty 建議 CI<0.1 時，具有令人滿意的一致性，但 最大可容許的誤差成度為 CI<0.2。將 CI 值依據隨機指標(RI)進行運算，會有更精 確的一致性檢定，RI 值如表 4-8：

表 4-8 隨機指標( RI )表

N 3 4 5 6 7 8 9 10 11 12 RI 0.58 0.90 1.12 1.24 1.32 1.41 1.45 1.49 1.51 1.53

(資料來源：Satty，1980)

本研究採用 Super Decision 多準則決策軟體，因此只需將各問卷數據輸入軟體

中就可進行分析，軟體將直接計算出一致性比率值(CR) ，省去了運算的時間，當 CR<0.1 時，表示各項評估的權重指標判斷差異程度在可接受的範圍中。在回收的 12 份問卷中，除了 2 份問卷未達 CR<0.1 的標準外，其餘 10 份問卷均通過一致性 比率的檢定，本研究將以這 10 份問卷進行後續權重分析。

應用決策群體進行評估時，由於每位專家對問卷的問題認知不同，故所得的成 對比較和最後得到的評估指標判斷值亦會有所不同。本研究在進行權重分析前，採 用 Satty 的建議(鄧振源，2005)，將問卷依非主管職、主管職及綜合方式完成幾何 平均值計算，也就是將各問卷的構面與評估指標成對比較強度先以幾何平均方式完 成統計(如附表 4-9、4-10)，再丟入 Super Decisions 軟體運算。

表 4-9 構面成對比較強度幾何平均值

成對比較代碼 a1 a2 a3 a4 a5 a6 b1 b2 b3

非主管職幾何平均值 1.308 1.944 2.305 1.944 2.854 1.000 2.265 2.376 1.178 主管職幾何平均值 2.943 4.729 1.278 2.403 0.955 0.372 1.316 1.000 0.604 綜合幾何平均值 1.809 2.774 1.821 2.116 1.842 0.673 1.823 1.681 0.902

成對比較代碼 c1 c2 c3 d1 d2 d3 e1 e2 e3

非主管職幾何平均值 2.542 1.979 1.201 1.201 1.570 1.513 1.201 1.817 1.944 主管職幾何平均值 3.344 2.115 0.731 2.115 0.719 0.386 1.607 3.663 2.783 綜合幾何平均值 2.837 2.032 0.985 1.506 1.149 0.876 1.349 2.405 2.244

說明：a：平衡計分卡四個構面重要性之成對比較

b：就業務成長構面而言，其他三個構面的重要性成對比較 c：就行政效率構面而言，其他三個構面的重要性成對比較 d：就組織學習構面而言，其他三個構面的重要性成對比較 e：就財務管理構面而言，其他三個構面的重要性成對比較

表 4-10 評估指標成對比較強度幾何平均值

成對比較代碼 f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 非主管職幾何平均值 1.935 2.396 1.442 1.763 1.763 2.265 0.715 0.891 1.122 0.715 1.000 0.833 1.732 1.619 0.858

主管職幾何平均值 2.236 2.590 1.778 2.449 3.344 1.495 1.257 0.452 1.414 0.669 0.841 0.841 0.931 1.000 1.414

綜合幾何平均值 2.050 2.472 1.568 2.011 2.277 1.918 0.896 0.679 1.231 0.696 0.933 0.836 1.351 1.335 1.048

成對比較代碼 g1 g2 g3 g4 g5 g6 g7 g8 g9 g10 g11 g12 g13 g14 g15 非主管職幾何平均值 1.763 1.201 1.944 2.335 1.886 1.864 1.619 2.265 2.117 0.585 1.122 1.070 1.680 1.165 1.348

主管職幾何平均值 1.778 2.000 2.943 1.732 2.590 2.115 2.943 2.943 2.943 0.485 0.904 1.565 1.861 1.732 1.414

綜合幾何平均值 1.769 1.473 2.295 2.072 2.141 1.961 2.056 2.515 2.415 0.543 1.029 1.246 1.750 1.365 1.374

成對比較代碼 g16 g17 g18 g19 g20 g21 g22 g23 g24 g25 g26 g27 g28 g29 g30 非主管職幾何平均值 1.442 1.619 2.305 1.817 1.817 1.944 1.513 1.817 2.376 1.000 1.308 1.348 1.049 1.348 1.442

主管職幾何平均值 1.316 1.316 2.783 2.213 2.783 2.115 2.000 1.682 2.213 1.732 2.590 2.060 2.449 1.732 2.449

綜合幾何平均值 1.390 1.490 2.486 1.966 2.155 2.011 1.692 1.762 2.310 1.246 1.719 1.597 1.473 1.490 1.783

成對比較代碼 g31 g32 g33 g34 g35 g36 g37 g38 g39 g40 g41 g42 g43 g44 g45 非主管職幾何平均值 1.201 1.122 1.260 1.442 1.348 1.000 0.778 0.935 1.157 1.513 1.122 1.348 1.000 1.103 1.348

主管職幾何平均值 1.565 2.213 1.565 1.565 2.213 1.000 1.495 0.740 1.968 1.524 1.732 1.732 1.000 1.565 0.955

綜合幾何平均值 1.335 1.473 1.374 1.490 1.644 1.000 1.011 0.851 1.431 1.518 1.335 1.490 1.000 1.269 1.175

成對比較代碼 h1 h2 h3 h4 h5 h6 h7 h8 h9 h10 h11 h12 h13 h14 h15 非主管職幾何平均值 1.442 1.348 1.201 1.122 1.348 1.049 1.122 1.348 1.070 1.122 1.000 1.000 1.201 1.442 1.070

主管職幾何平均值 1.210 1.144 1.732 1.158 3.344 3.201 2.783 2.115 1.607 2.115 2.783 1.456 0.841 1.495 1.189

綜合幾何平均值 1.344 1.262 1.390 1.137 1.939 1.639 1.614 1.614 1.259 1.446 1.506 1.162 1.041 1.463 1.116

成對比較代碼 h16 h17 h18 h19 h20 h21 i1 i2 i3 i4 i5 i6 非主管職幾何平均值 1.000 1.201 1.260 1.201 1.201 1.260 2.117 1.543 1.442 1.049 0.765 1.122

主管職幾何平均值 0.719 1.495 0.955 1.414 2.000 1.861 3.344 3.162 1.699 1.316 0.809 1.257

綜合幾何平均值 0.876 1.311 1.128 1.282 1.473 1.473 2.542 2.056 1.540 1.149 0.782 1.175

說明：f：就業務成長構面而言，各評估指標的重要性成對比較 g：就行政效率構面而言，各評估指標的重要性成對比較 h：就組織學習構面而言，各評估指標的重要性成對比較 i：就財務管理構面而言，各評估指標的重要性成對比較

(三) 超級矩陣計算：

為了處理評估因子間的相依關係，ANP 在計算權重時採用一種特殊的矩陣結

構，稱之為超級矩陣。超級矩陣是由許多子矩陣所組成，子矩陣所得到的成對比較 矩陣中所計算出的最大特徵值λ ，若評估因子在問卷中顯現無相關者，則子矩 陣的成對比較值為 0。經過計算後可得到未加權的超級矩陣，因為矩陣中的行列值 不符合隨機原則，所以還必須經過加權轉換之處理，即分別乘上評估構面的成對比 較矩陣所求得最大特徵值進行矩陣運算，即可得到加權超級矩陣。最後，為了使權 重化矩陣在長期均衡化下呈現收歛、穩定與一致性，將加權超級矩陣多次相乘 ( T )之後，相依關係將逐漸收斂而得到一個固定的收斂值，且極限值將固定 不變，如此可得到各評估因子之整體相對權重。

max

∞

→ klim ^2k+1

(四) 專家偏好整合

由 Super Decisions 軟體可以獲得超級矩陣極限化後的幾何平均權重，而此一權 重值相加不一定等於 1，因此本研究再使用正規化來表示最後的權重，並獲得各評 估因子的排名。本研究先區分主管職與非主管職的看法來作一比較，觀察期間是否 有所差異，再以全體人員所統計出的權重作為地方政府資訊部門最適平衡計分卡的 指標優先排名順序。

1.目標準則之間的權重

本研究依據平衡計分卡的精神，針對地方政府資訊部門的最適平衡計分卡 的目標區分出四個構面，分別為業務成果、行政效率、組織學習及財務管理等 四構面，各構面的權重大小結果，依上述原則，說明如表 4-11、4-12 及 4-13。

(1)非主管職評估之權重：

幾何平均的權重大小分別為：○1 業務成果(0.3163)、○2 行政效率(0.3068)、

○3 組織學習(0.1907)、○4 財務管理(0.1863)

表 4-11 非主管職人員評估平衡計分卡各構面間之幾何平均權重 評估指標 極限值 正規化極限值 排序

1.業務成果 0.1581 0.3163 1 2.行政效率 0.1534 0.3068 2 3.組織學習 0.0953 0.1907 3 4.財務管理 0.0931 0.1863 4

政府部門的非主管人員在考慮各構面的重要程度時，會以本身最常接觸及 最為熟悉的事物為優先考慮指標，且組織的特性與文化亦會影響其評選的 結果。基層人員由於必須面對一般的使用者，所以如何滿足使用者的需求 並提供良好的行政效率，對於他們而言是比較重要的因素，且由於基層人 員多未直接面臨財務管理的壓力，故他們對於此部份並不是特別在意。

(2)主管職評估之權重：

幾何平均的權重大小分別為：○1 業務成果(0.3319)、○2 財務管理(0.2664)、

○3 行政效率(0.2398)、○4 組織學習(0.162)

表 4-12 主管職人員評估平衡計分卡各構面間之幾何平均權重 評估指標 極限值 正規化極限值 排序

1.業務成果 0.1659 0.3319 1 4.財務管理 0.1332 0.2664 2 2.行政效率 0.1199 0.2398 3 3.組織學習 0.0810 0.1620 4

相較於非主管職人員而言，由於主管在職務上必須執行年度預算，所以除 了相當重視業務成果之外，財務管理也是主管相當重視的項目，甚至超越

了行政效率與組織學習的部份而躍升至第二名，此結果在公務機關的相關 研究中較為特殊。

(3)綜合評估之權重：

幾何平均的權重大小分別為：○1 業務成果(0.3231)、○2 行政效率(0.2798)、

○3 財務管理(0.2171)、○4 組織學習(0.1801)

表 4-13 綜合評估平衡計分卡各構面間之幾何平均權重 評估指標 極限值 正規化極限值 排序 1.業務成果 0.1615 0.3231 1 2.行政效率 0.1399 0.2798 2 4.財務管理 0.1085 0.2171 3 3.組織學習 0.0900 0.1801 4

綜合主管職與非主管職的意見後，發現組織學習的排名均較低，研究認為 可能因為地方政府資訊部門公務人員均經由高、普考及格之資訊專業人士 充任，對於資訊相關公務重點也可以掌握，且由於部門性質屬於業務配合 單位，對於新知識及新技術的學習認知，相對其他三個構面而言，並沒有 那麼重要。

2.因素指標之間的權重

本研究針對地方政府資訊部門最適平衡計分卡的績效評估指標，先由問卷 調查獲得各指標比重，並以幾何平均值計算出指標得分，再以 Super Decisions 算出極限值並予以正規化，作為各指標權重之數據，以下列出 27 項評估指標 並加以排序，如表 4-14、4-15 及 4-16 所示。

本研究針對地方政府資訊部門最適平衡計分卡的績效評估指標，先由問卷 調查獲得各指標比重，並以幾何平均值計算出指標得分，再以 Super Decisions 算出極限值並予以正規化，作為各指標權重之數據，以下列出 27 項評估指標 並加以排序，如表 4-14、4-15 及 4-16 所示。