中 華 大 學

中 華 大 學

碩 士 論 文

題目：我國大學教育評鑑方法之研究

系 所 別：經營管理研究所 學號姓名：M09119021 郭忻穎 指導教授：蔡明春 博士

中華民國 九十三 年 六 月

摘 要

評鑑是最近半個多世紀以來深受教育界普遍關注的一個重要課 題，而實施教育評鑑可瞭解高等教育是否已經達到應有的水準，及是 否充分利用教育資源。因此如何運用有限的資源，創造出更佳的教育 產出，已是各校努力以赴的方向。而根據此研究動機，本研究期望探 討一般大學教育評鑑常用之評鑑方法的運用現況，並比較分析各種常 用大學教育評鑑方法之使用方式與差異，以提供使用者作為參考之依 據。

為了達成上述之研究目的，本研究先對於目前我國大學教育評鑑 之發展進行探討，並收集相關文獻，進而分析比較大學教育評鑑之方 法包含「德爾菲法」、「平衡計分卡」、「層級程序分析法」與「資料包 絡分析法」等四個大學教育評鑑方法，將此四種方式之分析比較得出 以下幾點結論與建議。

1. 德爾菲法：運用專家意見取得彼此間的共識，進而建立評鑑的項 目與權重，但是此方法易受到人為主觀與直覺判斷的影響。

2. 平衡計分卡：是利用財務（目標的達成、社會的評價）、顧客、

內部流程、學習與成長等構面全方位的考量評鑑的項目，但此方 法之項目不易建立、評分的標準也不易統一。

3. 層級程序分析法：是利用兩兩比較的方法，藉此瞭解評鑑項目之

相對重要性。但是此方法之各層級的指標項目不宜太多，容易產 生混淆的情況使得問卷不易達到一致性。

4. 資料包絡分析法：是利用投入、產出的概念進行評鑑，其評鑑項 目的權重不受人為主觀的影響。但是此方法之投入、產出項的決 定不易。

綜合以上結果，本研究建議，若欲以不同專家之意見建立評鑑模 式，則可採用德爾菲法或層級程序分析法，甚至可以將兩者結合運 用；若希望以全方位平衡考量大學教育評鑑，則可採用平衡計分卡；

若希望以資源利用狀況來考量大學教育評鑑，則可採用資料包絡分析 法。

關鍵詞：教育評鑑、德爾菲法、平衡計分卡、層級程序分析法、資料 包絡分析法

Abstract

Evaluation is an important subject that generally pays close attention to the education circle over half a century. Education evaluation is just a good method to show the levels and the situations of resources utilized of all departments of universities. Accordingly, how to utilize limited resources to create the better output is the objective of every school. Base on the motivation, the purpose in this thesis is to study the methods of education evaluation in the general universities, and then compare these methods.

In order to complete the purpose, we survey the methods of education evaluation in the general universities, and then we compare these methods, including ‘Delphi Method’, ’Balanced Scorecard’, ‘Analytic Hierarchy Process’, ‘Data Envelopment Analysis’. After studying these four methods in the education evaluation, we have the following conclusions.

1. Delphi Method: to use expert opinions to get the common consensus, and then set up the items and weightings of the education evaluation.

This method may be influenced by the subjective intuitions of the experts.

2. Balanced Scorecard: to use financial performance, customer, inside process, studying and growing up, etc. to construct the items of the education evaluation. In this method, it is difficult to set up the items and identify the standard of grading.

3. Analytic Hierarchy Process: to compare each pair of items in the same stratum to find the relative weighting of each item. In this method,

there should not be too many items in the same stratum.

4. Data Envelopment Analysis: to use the concept of input and output to the education evaluation, the weightings do not be influenced by the subjective opinions. In this method, it is difficult to decide the input and output items.

By the conclusions, if it is to consider the expert opinions in the education evaluation, we suggest that Delphi Method, Analytic Hierarchy Process, or combining Delphi Method or Analytic Hierarchy Process are suitable to apply. If it is balanced to consider the items of education evaluation, we suggest that the Balanced Scorecard is suitable to apply.

Finally, if it is to consider the situation of resources utilized in the education evaluation, we suggest that Data Envelopment Analysis is suitable to apply.

Keywords: Education evaluation, Delphi Method, Balanced

Scorecard, Analytic Hierarchy Process, Data Envelopment

Analysis

誌謝辭

原本以為撰寫誌謝辭是件簡單的事，但是真正撰寫的時候，卻發 現沒有想像中來的容易，因為在研究所這兩年以來有著一路支持我、

鼓勵我的師友們，所以我要感謝的人實在太多。

首先我要感謝的，莫過於亦師亦友的指導教授蔡明春老師以及師 母林淑萍老師，感謝老師不厭其煩的耐心從旁協助，從論文的題目、

架構到論文的順利完成，恩師都給予最細心的指導。在論文口試期 間，承蒙中國技術學院陳哲炯老師以及本校科技管理研究所所長謝玲 芬老師，以專業的經驗給予整篇論文寶貴的建議與指正，學生於此致 上最誠摯的敬意。

在研究所期間，感謝許多老師課堂上的指導：裴文老師、張美香 老師、陳武正老師、張家春老師等，讓學生受益良多。而對於學長姐 以及許多同窗好友的幫忙與協助，真的非常謝謝你們。

最後我想感謝我的家人，謝謝他們的關心照顧與支持，也將此篇 論文獻給我最親愛的家人。

郭忻穎謹致於 中華大學經營管理研究所 民國九十三年六月

目 錄

摘 要………..i

第一章 緒論………..1

1.1 研究背景與動機………1

1.2 研究目的………2

1.3 研究流程………3

第二章 大學教育評鑑之運用現況………..4

2.1 我國大學教育評鑑之發展………4

2.2 教育部學門評鑑現況………5

2.3 大學教育評鑑之相關文獻………14

第三章 大學評鑑方法介紹………..15

3.1 德爾菲法………15

3.2 平衡計分卡………22

3.3 層級程序分析法………35

3.4 資料包絡分析法………50

3.5 比較分析………65

第四章 結論與建議………..67

4.1 結論………67

4.2 建議………68

參考文獻………..70

圖目錄

圖 1.1 研究流程圖………..3

圖 3.1 平衡計分卡提供轉化策略為營運的架構圖………...24

圖 3.2 企業內部流程構面之價值鏈圖………...27

圖 3.3 AHP 完整層級架構圖………..41

圖 3.4 部分關係的 AHP 層級架構圖……….………41

圖 3.5 系所評鑑層級架構圖………47

圖 3.6 Farrell 效率前緣圖………52

表目錄

表 2.1 量化部份之評鑑項目……….7

表 2.2 各公私立大學學門自我評鑑指標……….11

表 2.3 學門自我評鑑方法……….13

表 2.4 大學教育評鑑之相關文獻……….14

表 3.1 德爾菲法用於教育評鑑之相關文獻……….20

表 3.2 財務面之策略主題………25

表 3.3 平衡計分卡用於教育評鑑之相關文獻………33

表 3.4 AHP 評估尺度………38

表 3.5 隨機指標表………..………..45

表 3.6 層級程序法用於教育評鑑之相關文獻………48

表 3.7 投入項之選取………58

表 3.8 產出項之選取………59

表 3.9 各系所投入、產出項資料………59

表 3.10 DEA 實際操作結果………..60

表 3.11 資料包絡分析法用於教育評鑑之相關文獻………..62

表 3.12 四種評鑑方法之應用比較分析……….….65

第一章 緒論

1.1 研究背景與動機

評鑑（evaluation）是最近半個多世紀以來深受教育界普遍關 注的一個重要課題。所謂「教育評鑑」（educational evaluation）

便是在這股浪潮下應運而生的一個觀念。若干進步國家，泰半都 是由於政府的大力推動，和部分教育工作者的積極投入，而創造 了非凡的成就。七十年代到八十年代，美國在教育評鑑的實施更 是表現得多采多姿，風起雲湧般，形成了所謂的「教育評鑑時代」

（evaluation-of-education era），影響遍及全世界【2】。所以追 求大學的卓越與多元，是國際上高等教育界共同的呼聲。因此，

各先進國家莫不重視其高等教育的品質；另外實施教育評鑑可瞭 解 高 等 教 育 是 否 已 經 達 到 應 有 的 水準 ， 及 是 否 充 分 利 用 教 育 資 源。換言之，大學評鑑乃是提昇大學教育品質的重要途徑之一。

在教育部高教司提出的「大學管理學門評鑑規劃與實施計畫 評鑑手冊」【17】中提到教育是百年大計，也是一個國家強盛的 必備條件，為了使我國高等教育品質達到先進國家的水準，教育 部於民國六十四年便開始進行大學系所的評鑑，希望藉由評鑑制 度的結果督促大學建立自我評鑑的機制，提升教育品質，並提供 學生、企業界、社會大眾依據評鑑的結果，作為選校、選才獲捐 助教育事業之參考。因此建立學校辦學指標，重點輔導發展學校 特色，定期公布評鑑結果，引導正確的理念與作法，使每個學校 都成為辦學績優、各具特色的知名學校。

因此，在學校運作過程中，評鑑實佔了極重要的地位。在學 校運作時，若能妥善運用所擁有的資源，創造出更高的產出，對 機構來說，不啻是一件好事。因此如何運用有限的資源，創造出 更佳的教育產出，勢必是各校努力以赴的方向，因此本研究希望 能藉由大學教育評鑑方法之探討，瞭解目前大學教育評鑑方法之 運用現況及其使用程序，進而比較各方法間之差異，提供使用者 作為大學教育評鑑之參考依據。

1.2 研究目的

根據上述之研究背景與動機，本研究建立了以下研究目的：

1. 探討一般大學教育評鑑常用之評鑑方法的運用現況。

2. 比較分析各種常用大學教育評鑑方法之使用方式與差異，提供 使用者作為參考之依據。

1.3 研究流程

本研究流程如圖1.1所示，首先先確認研究之主題，也就是 藉由研究動機來確立研究之方向，而後建立研究之目的，並經由 相關文獻的收集，進一步將資料彙整、介紹、實例分析與比較分 析，最後根據結果給與結論與建議。

確認研究主題

收集相關文獻

大學教育評鑑運用現況

大學教育評鑑方法介紹

大學教育評鑑方法之比較分析

結論與建議

圖 1.1 研究流程

第二章 大學教育評鑑之運用現況

2.1 我國大學教育評鑑之發展

教育評鑑（educational evaluation）係指對於教育現象或活 動，透過有系統和客觀的方法來蒐集、整理、組織和分析各項教 育資料，並進行解釋和價值判斷，以作為改進教育缺失，謀求教 育健全發展的歷程。【5】

我國大學評鑑始於民國六十四年，但到了民國八十三年大學 法修正公布施行後，大學評鑑始有一個明確的法源依據。大學法 第四條第三項規定：「各大學之發展方向及重點，由各校依國家 需要及學校特色自行規畫，報經教育部核備後實施，並由教育部 評鑑之」。據此，教育部乃成立諮詢委員會並著手進行大學教育 評鑑的各項工作。民國六十四年起，教育部開始逐年著手辦理各 校院之評鑑。因此，首次我國學校評鑑的實施，可說是開始於民 國六十四年，教育部為提高大學教育水準，所辦理的大學教育評 鑑工作。評鑑對象首先由大學院校之數學、物理、化學、醫學系 及研究所開始，民國六十五年又擴大辦理農、工、醫等學院的評 鑑，民國六十六年辦理商學院評鑑，民國六十七年辦理文學院評 鑑、師範學院評鑑，至此教育部先後完成了我國大專院校各系所 初次評鑑工作。評鑑內容包括師資、課程、教材、教學方法、教 學設備、教學及研究成果、學生畢業後就業及繼續深造等。從民 國六十四年起到八十二年間，評鑑的工作可概分為三個階段：第

一階段從六十四年到七十一年止，以全面評鑑為主；第二階段從 民國七十二年到民國八十年，採重點式學門評鑑之方式；第三階 段為民國八十一年後的委託學術機構試辦學門評鑑。【8】

在教育評鑑過程中，設計適當評鑑工具，至為重要。因此，

有關教育評鑑指標的訂定，必須顧及到正確性、可靠性、有效性 和實用性，才能使評鑑發揮功能。所以，未來的教育評鑑，包括 校長評鑑和教師評鑑等評鑑，其中教育指標的設計與訂定，應該 是教育評鑑過程中最重要的工作之一【5】。因此，本研究將針 對大學教育評鑑指標建立與方法進行介紹與比較之分析。

2.2 教育部學門評鑑現況

根據教育部民國九十一年七月與九十二年六月修正之「大學 管理學門評鑑規劃與實施計畫」報告【17】，開始進行各大學管 理學門評鑑：此計畫之評鑑對象為商學院校管理學門相關系所以 及未列於商管學院之管理學門相關所為評鑑對象。評鑑實施的方 法主要包括兩部分，一是由受評學校進行自我評鑑，另外則由評 鑑委員前往受評學校進行實地訪評。自我評鑑係由受評學校所提 報之院系所全體教職員及相關群體代表（包括學生、家長、校友）

對學校之效能診斷，其主要目的在檢討學校之缺失，進而尋求改 進方針，此為管理學門評鑑的核心工作。實地訪評係由此計畫所 組 成 的 評 鑑 委 員 會 之 評 鑑 委 員 依 據學 校 提 供 的 自 我 評 鑑 相 關 資 料進行書面審查，並前往受評學校以了解商管學院組織運作及系

所發展重點、特色，同時進行雙向溝通。此計畫之評鑑項目、指 標說明如下：

此計畫評鑑項目為符合國際品質及配合國內教學現況，參考 美國AACSB管理學門評鑑、八十六學年度大學綜合評鑑試辦計 畫、私立大學校院中程校務發展計畫以及教育部相關規定為規劃 依據，再經由規劃委員會及專家座談會，擬定評鑑項目及指標、

自我評鑑資料表、訪評表。

評鑑項目計有十三項：1.簡述自我評鑑之過程，2.發展目標、

特色，3.師資，4.教學資源，5.輔導，6.課程，7.教學品質，8.研 究，9.推廣服務，10.教師提供服務，11.行政，12.學術交流，13 整體印象。

自我評鑑資料表包含自評表及基本資料表，自評表係以質化 表格為主，是此次評鑑重心，共有十二張表，包含上述十二個評 鑑項目之表現。基本資料表係以量化表格為主，共有十四張表，

包含配合評鑑項目所需之表件及受評學校之基本資料。各項表件 中有填表說明及註解，提供受評學校參考填寫，各受評學校可視 需要自行調整表格內容、附相關細目資料，以供評鑑委員參考。

評鑑指標中有關量化資料，係依據自我評鑑資料表之基本資料表 加以統計，共有二十一項，如下表所示。

表2.1 量化部份之評鑑項目 評 鑑 項 目 評 鑑 指 標

1. 加 權 生 師 比

＝ 學 生 加 權 總 數 /專 任 教 師 總 數 2. 專 任 助 理 教 授 以 上 所 占 比 例

＝ 專 任 助 理 教 授 以 上 人 數 / 專 任 教 師 總 數

3. 專 任 教 師 中 教 授 所 占 比 例

＝ 專 任 教 授 人 數 /專 任 教 師 總 數

師 資

4. 專 任 教 師 中 博 士 學 位 所 占 比 例

＝ 專 任 教 師 中 具 博 士 學 位 人 數 / 專 任 教 師 總 數

行 政 5. 學 生 與 行 政 人 力 比

＝ 學 生 總 數 /行 政 人 力 總 人 數

6. 專 兼 任 教 師 實 際 授 課 時 數 與 學 生 數 之 比 例

＝ 專 兼 任 教 師 實 際 授 課 總 時 數 / 學 生 總 數

7. 平 均 每 位 專 任 教 師 每 週 授 課 時 數

＝ 專 任 教 師 每 週 授 課 時 數 總 數 / 專 任 教 師 總 數

教 學

品 質

8. 平 均 每 位 兼 任 教 師 每 週 授 課 時 數

＝ 兼 任 教 師 每 週 授 課 時 數 總 數 / 兼 任 教 師 總 數

評 鑑 項 目 評 鑑 指 標 9. 平 均 每 位 學 生 儀 器 設 備 經 費

＝ 儀 器 設 備 經 費 /學 生 總 數

10. 平 均 每 位 學 生 圖 書 （ 包 含 光 碟 ） 期 刊 經 費

＝ 圖 書 （ 包 含 光 碟 ） 期 刊 經 費 /學 生 總 數 11. 平 均 每 位 學 生 院 (或 系 所 )經 費

＝ 院 (或 系 所 )總 經 費 /學 生 總 數 12. 平 均 每 位 學 生 圖 書 冊 數

＝ 圖 書 總 冊 數 /學 生 總 數

教 學

資 源

13. 平 均 每 位 學 生 專 業 期 刊 總 冊 數

＝ 專 業 期 刊 總 冊 數 /學 生 總 數

14. 平 均 每 位 專 任 教 師 發 表 論 文 (TSSCI 、 SCI、 SSCI 期 刊 論 文 )

＝ 專 任 教 師 發 表 論 文 總 數 (TSSCI、SCI、

SSCI 期 刊 論 文 )/專 任 教 師 總 數

15. 平 均 每 位 專 任 教 師 發 表 論 文 ( 其 他 有 審 稿 制 度 之 期 刊 論 文 及 研 討 會 論 文 )

＝ 專 任 教 師 發 表 論 文 總 數 ( 其 他 有 審 稿 制 度 之 期 刊 論 文 及 研 討 會 論 文 )/ 專 任 教 師 總 數

研 究

16. 專 任 教 師 獲 獎 率

＝ 獲 獎 總 人 數 /專 任 教 師 總 數

評 鑑 項 目 評 鑑 指 標

17. 平 均 每 位 專 任 教 師 研 究 計 畫 金 額

＝ 專 任 教 師 研 究 計 畫 總 金 額 / 專 任 教 師 總 數

18. 平 均 每 位 專 任 教 師 研 究 計 畫 件 數

＝ 專 任 教 師 研 究 計 畫 件 數 / 專 任 教 師 總 數

19. 辦 理 推 廣 教 育 之 兼 任 教 師 比 例

＝ 推 廣 教 育 之 兼 任 教 師 / 推 廣 教 育 之 專 兼 任 教 師

20. 開 課 時 數 與 正 規 教 學 時 數 之 比 例

＝ ( 推 廣 教 育 開 課 總 時 數 /18 週 )/ 專 任 及 兼 任 教 師 實 際 授 課 正 規 課 程 總 時 數

推 廣

教 育

21. 平 均 每 位 教 師 推 廣 教 育 收 入

＝ 推 廣 教 育 總 收 入 金 額 /教 師 總 數

另外，訪評表共有十三張表，包含自評表中十二個自評項目 及總評表，每一張表分為「特色與優點」及「待改進事項」，由 評鑑委員評述各受評學校的品質水準；每一張表中設有評等欄，

分為「特優、優、良好、普通、待改進」等，以提供評鑑委員勾 選。

自 我 評 鑑 之 實 施 為 受 評 學 校 得 組 成 自 我 評 鑑 委 員 會 或 小 組，負責規劃、協調及辦理自我評鑑工作，並依此計畫所擬定之 自我評鑑資料表冊進行自評及填寫資料，完成資料及相關附件裝 訂成冊寄送管科會，再由管科會轉寄評鑑委員，做為進行書面審

查及實地訪評之參考。

實地訪視之實施為進行實地訪評前，每位評鑑委員須參加實 地訪評前的說明會，其目的在使評鑑委員瞭解評鑑目的、整體計 畫實施程序及相關注意事項等，以形成共識，俾利於訪評工作之 進行。評鑑委員依據自我評鑑表等相關資料進行了解後，即前往 各校進行實地訪評，藉由訪評觀察校內院系所運作情形，與學校 師生及相關人員進行廣泛而深入的晤談，以及檢視學校場地與圖 儀設備，將訪評所發現之實際情形及建議在「綜合座談」中進行 雙向溝通說明，並於「委員會議」中相互交換意見，討論受評學 校之優缺點、待改進事項，撰寫評鑑意見表，當日將資料交給管 科會之隨行人員。

上述即為教育部九十一年七月與九十二年六月修正之「大學 管理學門評鑑規劃與實施計畫」報告。針對各學校自我評鑑的部 分，詳細說明如下：

根 據 教 育 部 公 佈 之 各 公 私 立 大 學 九 十 年 度 大 學 院 校 自 我 評 鑑 計 畫 成 果 報 告 與 本 研 究 收 集 得 到 共 13所 公 私 立 大 學 學 門 評 鑑 指標，由於部分學校之評鑑指標類似，所以在此僅列出較具代表 性的9所公私立大學來做一詳細之說明，其詳細說明如下：

表 2.2 各公私立大學學門自我評鑑指標

台灣大學 中山大學 暨南大學 海洋大學 淡江大學 資料

來源

「九十年 度大學院 校自我評 鑑計畫成 果報告」

「九十年 度大學院 校自我評 鑑計畫成 果報告」

「九十年 度大學院 校自我評 鑑計畫成 果報告」

「九十年 度大學院 校自我評 鑑計畫成 果報告」

九十年度 淡江大學 校務綜合 及學門自 我評鑑 系所

評鑑 指標

1.背景評鑑 2.輸入評鑑 3.過程評鑑 4.結果評鑑

1.研究成果 2.教學成果 3.服務成果 4.其他成果

(招生)

1.背景評鑑 2.輸入評鑑 3.過程評鑑 4.結果評鑑 5.綜合評鑑

1.背景評鑑 2.資源評鑑 3.活動評鑑 4.成果評鑑

1.目標 2.教學 3.研究 4.服務 5.行政 6.輔導 7.願景 資料來源：本研究整理

表 2.2 各公私立大學學門自我評鑑指標（續）

元智大學 東海大學 中原大學 銘傳大學 資料

來源

「九十年度大 學院校自我評 鑑計畫成果報 告」

「九十年度大 學院校自我評 鑑計畫成果報 告」

「九十年度大 學院校自我評 鑑計畫成果報 告」

「九十年度大 學院校自我評 鑑計畫成果報 告」

系所 評鑑 指標

1.整體發展 2.教學 3.輔導 4.研究 5.推廣服務 6.行政運作 7.財務會計

1.培育目標 2.課程 3.師資 4.教學 5.圖書 6.設備 7.研究

8.學生學習與 就業輔導 9.服務/推廣 10.系所發展

1.生師比 2.課程資料 3.學術研究成 果

4.空間

5.計畫擬定執 行與管考 6.教學與輔導 7.研究

8.推廣服務 9.行政 10.財政

1.行政 2.教學 3.研究 4.服務 5.發展計畫

資料來源：本研究整理

由上可表知各公私立大學主要之評鑑指標概況，大部分之公 私立學門評鑑之指標大致相同，只是對於指標的劃分、歸類有所 不同，中山、台大、暨南與海洋等大學所採用之評鑑指標是以CIPP 模式所建立的，另外由上表可發現大部分之公私立大學皆有將學 門之整體規劃、願景納入評鑑指標且教育部也針對學門之發展目

標、特色納入考量，可見整體學門之發展、願景是學門評鑑之重 要指標。

接 下 來 本 研 究 將 各 公 私 立 大 學 指 標 項 目 之 建 立 方 法 與 評 鑑 方法整理如下：

表 2.3 學門自我評鑑方法

學校 台灣大學 中山大學 暨南大學 海洋大學 淡江大學 指標

建立 方法

CIPP 法 平衡計分卡 CIPP 法 CIPP 法

全面品質管 理 評鑑

方法

校外專家人 士評鑑

校外專家人 士評鑑

校外專家人 士評鑑

校外專家人 士評鑑

校外專家人 士評鑑 資料來源：本研究整理

表 2.3 學門自我評鑑方法（續）

學校 元智大學 東海大學 中原大學 銘傳大學 指標

建立 方法

CIPP 法 平衡計分卡 自訂 自訂

評鑑 方法

校外專家人士 評鑑

校外專家人士 評鑑

校外專家人士 評鑑

校外專家人士 評鑑 資料來源：本研究整理

由上表可知，在指標建立方面主要分為CIPP、平衡計分卡、

全面品質管理與自訂等方法，評鑑方式除了量化資料外，大多採

取校外人士之評鑑。

2.3 大學教育評鑑之相關文獻

本研究彙整有關大學教育評鑑之相關文獻，包括胡瑞華【13】

的「應用平衡計分卡建構國立大學績效管理系統之個案研究」、

廖冠力【33】的「以平衡計分卡來探討績效衡量指標—以國立成 功大學學生事務處為例」、陳秀貞【19】的「會計學教學成效探 討—層級分析法應用」、潘慧靜【34】的「教育部獎補助金費對 私立大學辦學績效之研究」、黃盛凱【26】的「大學評鑑指標選 取模式之建構-考慮外部競爭環境與模糊群體決策情況」、李宜 芳【9】的「教育部補助與公私立大學辦學績效之評估」等研究，

詳細整理如下：

表2.4 大學教育評鑑之相關文獻

作者 論文題目 研究方法 研究目的

胡 瑞 華

（民 91）

應 用 平 衡 計 分 卡 建 構 國 立 大 學 績 效 管 理 系 統 之 個 案 研 究

平 衡 計 分 卡

應 用 平 衡 計 分 卡 概 念 規 劃 設 計 一 套 適 用 於 個 案 學 校 之 績 效 管 理 系 統

廖 冠 力

（民 91）

以 平 衡 計 分 卡 來 探 討 績 效 衡 量 指 標 — 以 國 立 成 功 大 學 學 生 事 務 處 為 例

平衡計分 卡

以成大學務主管 及職員的觀點建 構平衡計分卡之 衡量構面

陳 秀 真

（民 91）

會 計 學 教 學 成 效 探 討 — 層 級 分 析 法 應 用

層級程序 分析法

探討如何提升會 計學教學成效，並 藉由 AHP 建立權 重，瞭解各層級間 的相對重要性 潘 慧 靜

（民 90）

教 育 部 獎 補 助 金 費 對 私 立 大 學 辦 學 績 效 之 研 究

資料包絡 分析法

透過教育部補助 經費實施前後，探 討各私立大學改 善師資辦學績效 之差異性

黃 盛 凱

（民 89）

大學評鑑指標選取模式之 建 構 - 考 慮 外 部 競 爭 環 境 與模糊群體決策情況

五力分析 與德爾菲 法

選 取 大 學 評 鑑 指 標

李 宜 芳

（民 89）

教育部補助與公私立大學 辦學績效之評估

資料包絡 分析法

以 DEA 評估各公 私 立 大 學 辦 學 績 效 與 補 助 金 之 差 異

資料來源：本研究整理

由上述大學教育評鑑之相關文獻可以發現，大學教育評鑑方 法大致有「德爾菲法」、「平衡計分卡」、「層級程序分析法」

與「資料包絡分析法」等四種，因此本研究將針對此四種方法在 後面章節做詳細的介紹。

第三章 大學教育評鑑方法介紹

經由上述的介紹，瞭解了目前大學教育評鑑的意義與現況，

本研究將分別以大學教育評鑑方法之起源與內涵、特性、限制、

使用程序及相關文獻探討等五個部分來對於德爾菲法、平衡計分 卡、層級程序分析法、資料包絡分析法等常用的教育評鑑方法來 做介紹並進行比較分析。

3.1 德爾菲法（Delphi Method）

首先介紹的第一個教育評鑑方法為德爾菲法（Delphi

Method），德爾菲法又稱專家判斷法，屬於群體決策方法的一種，

其進行之方法是借重於專家特殊的經驗與知識，，透過不斷的問 答，而使得專家意見差異降到最低，因此當我們必須仰賴專家給 予意見時，德爾菲法是一種適當且容易使用的方法，以下將針對 德爾菲法做更詳細的介紹。

一、德爾菲法之起源與內涵

德爾菲法是RAND公司於1984年提出，其主要的目的是為輔 助團體取得共識。德菲法是依賴參與者的經驗與認知，以及直覺 和價值的判斷。為了避免參與者相互的影響，是以匿名郵寄問卷 調查方式，來獲取各個參與者的觀點。回收問卷整理後，再寄發 予每一個參與者作參考，讓每位參與者對自己先前的預測有重新 修定的機會。有嚴重衝突時，可以藉由電話或訪問的方式，以達 成進一步的溝通。德爾菲法又稱專家判斷法，屬於群體決策方法

的一種，多應用於質性研究。其進行過程乃針對某特定議題，借 重專家特殊的經驗與知識，透過數回合反覆回饋循環式問答，直 到專家間意見差異降至最低為止。【41】

二、德爾菲法之特性

德爾菲法具有以下幾點特性【18】：

（一）多元化之遴選參與者，以包容不同專業、觀點或利益分歧 之代表人士，以達到群體決策之整體性與客觀性。

（二）參與者之匿名性。在使用問卷或其它溝通管道時，可以避 免少數人具有支配權力的參與而影響到他人的決定。

（三）有系統之統計分析，可以減少參與者為了達到一致性所形 成的群體壓力。

（四）分析結果為一種保證在最後回答中，群內成員的意見皆能 被表達出來方法。

（五）德菲法技巧可應用於決策過程中之預測、分析、評估與高 階層決策之目標建立。

三、德爾菲法之限制

德爾菲法之限制有以下幾點：

（一）在評估的過程中，個人的直覺與價值判斷是不可避免的。

（二）德爾菲法之運用需依照參與者的直覺與判斷，故參與者的 選擇也是關鍵之一。

（三）在評選參與者時，需考慮其專業素養外，其對於此法之熟

悉度、經驗及相關事項判斷之可靠性也須考慮在內。

四、德爾菲法之使用程序與執行步驟

在德爾菲法之使用程序與執行步驟部分，本研究針對德爾菲 法 之 使 用 程 序 以 及 用 於 大 學 教 育 評鑑 上 之 執 行 步 驟 做 一 詳 細 之 說明，說明如下：

（一）德爾菲法之使用程序

德爾菲法通常有以下六個實施步驟【11】：

1.就相關文獻探討出問題。

2.針對所定義的問題，決定參與成員。

3.針對問題設計問卷並將問卷送至參與人員，以不具名方式 獨自成第一次的問卷調查。

4.將第一次問卷調查的結果加以分析。

5.判斷群體作答的結果是否一致。若不一致，重覆步驟三，

直到一致性為止。

6.將結果呈現給適當的決策者。

（二）德爾菲法用於大學教育評鑑上之執行步驟為：

在 此 部 份 分 為 指 標 構 面 之 建 立 與 各 單 位 在 各 指 標 之 得 分兩 個階段。

階段一：

1. 確定大學教育評鑑發展之目標與願景。

2. 收集相關之文獻，整理出大學教育評鑑指標項目。

3. 將彙整之評鑑指標項目設計問卷。

4. 由主管單位遴選相關專家作為評鑑委員，例如：系所評鑑 可選取各院代表以及校外公正之專家學者。

5. 將指標項目問卷發放給評鑑委員，進行第一次問卷。

6. 將第一次問卷之結果進行分析。

7. 判斷評鑑委員之意見是否一致。若不一致，重複步驟5，

直到一致為止。

8. 將結果呈現給決策者，訂定最後之大學教育評鑑指標項 目。

階段二：

1. 依據階段一所確立的大學教育評鑑指標項目設計評分標 準的問卷。

2. 將評分標準的問卷發放給評鑑委員，進行第一次問卷。

3. 將第一次問卷之結果進行分析。

4. 判斷評鑑委員之意見是否一致。若不一致，重複步驟2，

直到一致為止。

5. 將結果呈現給決策者，訂定最後之大學教育評鑑指標項目 評分標準。

五、德爾菲法應用於教育評鑑之相關文獻

本研究彙整德爾菲法用於教育評鑑之相關文獻，其中包括了 彭春蘭【27】的「新竹縣市國民中學教師評鑑指標建構之研究」、

李惠淑【10】的「國民中學教師教學評鑑規準之研究」、張錫輝

【 21】的 「我 國高 級職 業學校學 校效 能 指 標 與 其 權 重 之 建 構 研 究」、劉正東【35】的「國民小學校長專業素養、專業態度、專 業表現之研究」、吳佳芬【6】的「台灣地區國小師資培育評鑑 規準之研究」、蘇秋永【44】的「高中教師評鑑之研究—高中教 師自我評鑑量表之發展」、徐美惠【16】的「中等校學學教師評 鑑量表之發展研究」等研究，詳細整理如下：

表 3.1 德爾菲法用於教育評鑑之相關文獻

作者 論文題目 研究方法 研究目的

彭 春 蘭

（民 92）

新竹縣市國民中學教師評 鑑指標建構之研究

德爾菲法 建 構 新 竹 縣 市 國 民 中 學 教 師 評 鑑 指標

李 惠 淑

（民 92）

國 民 中 學 教 師 教 學 評 鑑 規 準 之 研 究

德爾菲法 建 立 一 套 適 用 於 國 民 中 學 教 師 之 教 學 評 鑑 規 準 張 錫 輝

（民 92）

我 國 高 級 職 業 學 校 學 校 效 能 指 標 與 其 權 重 之 建 構 研 究

德爾菲法 與層級程 序分析法

探 討 我 國 高 級 職 業 學 校 學 校 效 能 指 標 及 其 權 重 之 建 構

劉 正 東

（民 92）

國民小學校長專業素養、

專業態度、專業表現之研 究

德爾菲法 探 究 國 民 小 學 校 長 專 業 素 養 、 態 度、表現之指標 吳 佳 芬

（民 87）

台灣地區國小師資培育評 鑑規準之研究

德爾菲法 國 民 小 學 師 資 培 育計畫規準

蘇 秋 永

（民 85）

高中教師評鑑之研究—高 中教師自我評鑑量表之發 展

德爾菲法 建 立 高 中 教 師 自 我評鑑規準

徐 美 惠

（民 84）

中等校學學教師評鑑量表 之發展研究

德爾菲法 中 等 學 校 學 習 教 師評鑑指標

資料來源：本研究整理

由上表可以發現，在教育評鑑上，德爾菲法大多用於建立評 鑑準則與指標。

綜上所述，本研究歸納出以下德爾菲法用於大學教育評鑑上 之優點與限制：

（一）優點：

1. 專家共識，可避免不同歧見：德爾菲法是透過專家意見取 得共識，可避免不同單位的歧見。

2. 可處理非量化評鑑項目：由於大學教育評鑑項目有許多無 法完全量化，而德爾菲法多應用於非量化之研究，因此在 無法量化項目的部分可藉由德爾菲法進行評估不失為一 個好方法。

（二）限制：

1. 專家需代表各不同單位，否則公平性易受質疑：為了避 免評鑑的公平性將受到質疑，專家之選取必須代表各個 不同單位。例如：系所之評鑑，應有各學院的代表人，

如各學院院長。

2. 易受專家主觀與直覺判斷的影響：為了避免專家主觀或 直覺的判斷，應盡可能提供評鑑內容之資料，給予專家 作為參考。例如：教學評鑑可提供各系所專兼任教師之 教學滿意分數及教學改進計畫等相關資料。

3. 專家意見不易達成共識：由於各專家所認同的觀點不見 得會一致，因此要達成專家的共識可能需花費相當多的 時間。

因此，本研究認為若是能適當的選取專家、並輔以詳細之相 關資料予各專家做為評鑑之參考，則德爾菲法不失為一個建立教 育評鑑指標與準則的好方法。

3.2 平衡計分卡（The Balanced Scoredcard，BSC）

傳統的組織績效評估方法多偏重於財務面的考量，然而光是 財務面的績效已經無法滿足現在組織的需求以及未來的趨勢，為 了因應未來的趨勢、突破傳統績效評估的方式，因此 Robert Kaplan 與 David Norton 於 1990 年提出了一個全方位考量績效的 評估方法，稱為平衡計分卡（The Balanced Scorecard），以下便 針對平衡計分卡做更詳細的介紹。

一、平衡計分卡之起源與內涵

平 衡 計 分 卡 起 源 於 1990 年 ， 由 哈 佛 大 學 Robert Kaplan 及 Nolan Norton公司總裁David Norton針對美國12家企業進行一項 為期一年的「組織未來績效評估制度」研究計劃，當計劃結束後，

兩 人 並 於 1992年 在 哈 佛 企 管 評 論 （ Harvard Business Review，

Jan— Feb ） 發 表 The Balanced Scorecard— Measures That Drive Performance，並於1993年及1996年同一企管評論發表Putting the Balanced Score to work 及 Using the Balanced Scoredcard as a Strategic Management System兩篇文章，且在1996年兩人共同出 版《平衡計分卡》（The Balanced Scoredcard）一書，說明平衡 計分卡概念及學習重點，引起廣大重視。近幾年來平衡計分卡逐 漸導入企業實務界，並獲得相當大的成效，發展至今，平衡記分 卡己不再祇是一種績效評估制度而已，甚至於已成為相當實用之 策略管理制度。【72】

Kaplan & Norton【72】認為平衡計分卡中，平衡二字意義在 於：

（一）短期與長期目標之間的平衡。

（二）財務與非財務量度之間的平衡。

（三）落後指標(Lagging indicators)與領先指標(Leading indicators) 之間的平衡。

（四）外界與內部之間的平衡。

按照Kaplan & Norton的定義，平衡計分卡是「闡述組織的使 命、願景和策略，並將其轉換成具體的目標和量度，以平衡的觀 點來驅動組織績效的衡量，訴求的是企業組織內部績效短期和長 期目標之間、過去和未來量度之間、財務與非財務量度之間、客 觀及主觀之間、外界和內部績效構面之間的平衡狀態，成為一套

全方位的績效量度系統，作為策略衡量和管理體系的架構。」【72】

平衡計分卡分為以下四個構面：財務、顧客、內部流程、學 習與成長，其詳細說明如下：

圖 3.1 平衡計分卡提供轉化策略為營運的架構【72】

（一）財務構面：

財務構面的量度，反應於過去的績效，財務目標通常與獲 利能力有關，衡量標準往往是營業收入、資本運用報酬率，或 今年流行的附加經濟價值（economic value-added, EVA）【4】。

Kaplan & Norton【72】提出，雖然企業的發展可分為成長期、

維持期與豐收期，但不論在哪個時期，財務構面的策略主題都 顧客面

「為了達到 願景，我們對 顧客 應如何表現 ？」

目表 量度 指標 行動

財務面

「為了財務 成功，我們對 股東 應如何表現 ？」

目表 量度 指標 行動

學習與成長面

「為了達到 願景，我們如 何維 持改變和改 進的動力？ 」

目表 量度 指標 行動

願景

與

策略

企業內部流程面

「為了顧客 和股東，哪些 流程 必須表現卓 越？」

目表 量度 指標 行動

與「營收成長和組合」、「成本下降／生產力提高」、「資產 利用／投資策略」三者有關【22】。

1.成長期：企業的目標為開發新市場、開發新的顧客群、新的 行 銷 通 路 ， 為 了 致 力 於 企 業 發 展 ， 會 把 所 有 的 成 本 投 資 下 去，全力拓展企業，此時期的收入可能小於支出。

2.維持期：企業的目標則是維持既有的市場佔有率、適度的成 長，投資目的在於消除瓶頸，擴大產能、加強改進。

3.豐收期：企業的目標為回收前段投資，所以傾向於維持目前 產能設備。在此階段則是要成果回收，企業不再作任何重大 投資，所求的是企業的現金回收。

企業在決定依生命週期分析自身的策略之後，可依照下表 找出適合各階段財務議題的績效衡量指標。

表3.2 財務面之策略主題 策略主題

營收成長組合 成本下降/生產力提高 資產利用 事

業 單 位 的

成長期

＊ 市場區隔的 營收成長率

＊新產品、服 務、顧客佔營 收的百分比

＊員工平均收益 ＊ 投資佔營收 百分比

＊ 研發佔營收 百分比

維持期

＊ 目標顧客與 客戶之佔有 率

＊ 交叉銷售

＊ 新應用佔營 收的百分比

＊ 顧客與產品 線的獲利率

＊ 相對於競爭者的成 本

＊ 成本下降率

＊ 間接開支佔營收百 分比

＊ 營運資金比 率

＊ 主要資產的 資本報酬率

＊ 資產利用率 策

略

豐收期

＊ 顧客與產品 線獲利率

＊ 非獲利顧客 的比率

＊每個產品與交易的 單位成本

＊ 回收期

＊ 產出量

資料來源：Kaplan, R. S. & Norton, D. P【60】

（二）顧客構面：

顧客指的是企業有來往的公司、行號、或個人。核心量度 包括顧客滿意度、延續力、獲利率、新顧客爭取率等。Kaplan

& Norton【60】指出，目標顧客和市場區隔是公司財務目標的 營收來源。 在平衡計分卡的顧客構面當中，管理階層應確定 事業單位所希望爭取的顧客和市場區隔，隨時監督事業單位在 這 些 目 標 區 隔 中 的 表 現 。 其 五 大 核 心 成 果 量 度 包 括 市 場 佔 有 率、顧客爭取率、顧客延續率、顧客滿意度與顧客獲利率【4】。

1.市場佔有率：反映一個事業單位在既有市場中所佔的業務 比率。

2.顧客爭取率：衡量一個事業單位吸引或贏得新顧客或新事業 的速率，可以是絕對或相對數目。

3.顧客延續率：記錄一個事業單位與既有顧客保持或維繫關係 的比率，可以是絕對或相對數目。

4.顧客滿意度：根據價值主張中的特定績效準則，評估顧客滿 意程度。

5.顧客獲利率：衡量一個顧客或一個區隔扣除支持顧客所需的 特殊費用後的純利。

（三）內部流程構面：

Kaplan & Norton【60】認為在為企業內部流程設計績效衡 量指標之前，應先分析企業的價值鏈，即從創新流程、營運流 程及售後服務流程三方面思考如何滿足顧客的需求，並建立各 種可以達成此目標的衡量指標。即從創新流程、營運流程及售 後服務程序三個方向，思考如何滿足顧客的需求，建立各種可 以達成此目標的衡量指標。如圖3.2所示：

認識 顧客 需求

鑑別 市場

創造產 品服務

製造產

品服務 運交產

品服務

服務 顧客

滿足 顧客 需求

創新流程 營運流程 售後服務流程

圖 3.2 企業內部流程構面之價值鏈圖【60】

（四）學習與成長構面：

組織的學習與成長來自三方面：人、系統、組織程序。平 衡計分卡的財務、顧客、企業內部流程，往往會顯示人、系統 和程序的實際能力，與要達成目標之間的落差【60】。員工是 企業之資產，員工的學習與成長也等於是企業的成長，Kaplan

& Norton【60】認為服務業及製造業公司建立平衡計分卡，應 增強員工的能力、資訊系統能力及激勵、授權的一致性等三個 原則。然而員工滿意度、員工延續率與員工生產力等三項也是 所需考量之要素。員工滿意度：指員工對企業與工作的滿意程 度。員工延續率：強調員工是屬於企業的資產之一。員工生產 力：強調員工產量與製造這些產量所耗費資源之間的關係。

二、平衡計分卡之特性

根據于泳泓【1】、Chow & Haddad【48】與Kaplan & Norton

【60】等人提出對於平衡計分卡之特性與功用，彙整如下列 幾點：

（一） 作為績效衡量系統：利用策略中衡量來驅動未來績效或 領先績效指標，以彌補落後指標的不足，兼顧四個構面 以達到各個構面之間的平衡，尤其以目標值的達成率來 檢測。

（二） 作為策略管理系統：它將公司策略目標轉化為營運的具 體行動，使組織內每一成員，於日常工作中執行公司策

略，並把組織願景和策略轉化為全方位績效衡量指標，

透過對量化績效指標的控管及達成，以完成組織目標。

（三） 作為溝通工具：在平衡計分卡展開時，藉由不斷溝通，

找出學校問題關鍵所在。藉由成員策略思考討論而訂出 策略目標及績效衡量指標，在這討論過程中有助於成員 之間對策略目標的了解，進而促進彼此合作。

（四） 作為整合組織策略、架構及願景之工具：能幫助企業將 長 期 策 略 與 顧 客 價 值 等 目 標 轉 換 成 組 織 內 外 具 體 的 行 動。

（五） 彌補傳統績效的不足：除了傳統之財務面的衡量外，亦 加入了三個非財務性的績效指標構面。

三、平衡計分卡之限制

在施行平衡計分卡所遭遇的困難與限制彙整如下：

Ittner 與Larcker【59】根據Towers Perrin（1996）的調查結 果，認為實施平衡計分卡的過程中有六大問題必須解決︰

（一）需要投入的時間與費用太多。

（二）難以評估績效指標的相對重要性。

（三）需將質性資料加以量化。

（四）大量的績效指標將稀釋整體影響力。

（五）難以將目標細分給組織之基層人員。

（六）需高度發展資訊系統。

Kaplan & Norton於2000年提出推行平衡計分卡最常見的 失敗原因，原因如下：

（一）高階主管的支持與投入不足。

（二）參與人數過少。

（三）未能向下溝通。

（四）計分卡的發展過程耗時過長。

（五）將計分卡視為電腦系統專業。

（六）聘用缺乏經驗的顧問。

（七）僅為報酬制度而導入平衡計分卡。

四、平衡計分卡之使用程序與執行步驟

在平衡計分卡之使用程序與執行步驟部分，本研究針對平 衡 計 分 卡 之 使 用 程 序 以 及 用 於 大 學 教 育 評 鑑 上 之 執 行 步 驟 做 一詳細之說明，說明如下：

（一）平衡計分卡之使用程序

Kaplan & Norton【60】指出，設計平衡計分卡時應該先澄 清組織的遠景與策略，依據四大構面設計關鍵衡量指標。再就 組 織 的 策 略 及 平 衡 計 分 卡 的 精 神 規 劃 出 四 大 構 面 內 的 各 項 指 標 ， 製 作 出 詳 細 記 載 組 織 策 略 、 衡 量 目 標 與 指 標 的 平 衡 計 分 卡。其規劃階段包含六個步驟【1】：

1.為平衡計分卡規劃目標。

2.決定適合的組織單位。

3.取得管理團隊的支援。

4.建立平衡計分卡團隊。

5.規劃平衡計分卡計畫。

6.為平衡計分卡建立一個溝通計劃。

Olve et al.（1999）亦提出建立平衡計分卡的步驟，其詳細 說明如下：

1.定義所在的產業，描述產業未來的發展及公司的角色。

2.建立/確認公司願景。

3.建立各項構面。

4.將願景落實到各項構面，並陳述整體策略目標。

5.辨認關鍵成功因素。

6.發展量度、找出因果關係並維持平衡。

7.建立最上層的平衡計分卡。

8.按組織單位分解計分卡及量度。

9.訂定目標。

10.發展成行動計劃。

11.實施平衡計分卡。

（二）平衡計分卡用於教育評鑑之執行步驟：

1. 確立大學教育評鑑的發展明確目標。

2. 學校單位主管可透過相關文獻建立各個構面之指標項目，在 此部分財務構面可轉化為教學目標的達成、顧客構面可轉化

為學生對於教學的滿意度、內部流程構面可轉化為教學設備 的完善、學習與成長構面可轉化為教職員工專業的成長，例 如：教師之研究報告的篇數。以中山大學為例，中山大學於 九十學年度自我評鑑報告書中提出，其結合了企業界逐漸發 展結合策略、願景、績效的平衡計分卡。中山大學從學校的 觀點來看，將平衡計分卡之四個構面改為以下四個方向：

a.學生對於學校的看法（顧客觀點）。

b.學校的長處為何？（內部觀點）。

c.學校能否不斷的改進與創新（創新與學習觀點）。

d.社會大眾對於學校的觀感（社會評價觀點）。

3. 建立評鑑構面之指標項目後，學校單位主管可藉由相互之溝 通討論訂定出各指標項目的評分標準。

4. 藉由指標項目的建立及指標項目的評分標準進行評鑑。

五、平衡計分卡應用於教育評鑑之相關文獻

本研究彙整平衡計分卡用於教育評鑑之相關文獻，其中包括 洪榮威【15】的「平衡計分卡在國中教師教學績效考核應用之研 究」、張桂玲【23】的「以平衡計分卡觀點探討校務行政系統滿 意度研究」、曾菁天【28】的「我國小學教師工作績效評量指標 研究—平衡計分卡觀念之應用」等研究，詳細整理如下：

表 3.3 平衡計分卡用於教育評鑑之相關文獻 作者 論文題目 研究方法 研究目的 洪榮威

（民 93）

平衡計分卡在國中教 師教學績效考核應用 之研究

平衡計分卡 建立平衡計分卡 之教師工作衡量 指標

張桂玲

（民 91）

以平衡計分卡觀點探 討校務行政系統滿意 度研究

平衡計分卡 在於以平衡計分 卡觀點探討高級 中等學校實施校 務行政系統之滿 意度

曾菁天

（民 91）

我國小學教師工作績 效評量指標研究—平 衡計分卡觀念之應用

平衡計分卡 探討平衡計分卡 在我國小學教師 工作績效評量制 度上可行性

由上表可以發現，平衡計分卡除了用於建立評鑑指標之外，

也是教育評鑑常用的評鑑方法。

綜上所述，本研究歸納出以下平衡計分卡用於大學教育評鑑 上之優點與限制：

（一）優點

1. 全方位考量：可由顧客、內部流程、創新學習、財務（教 學目標或社會評價）等觀點，全方位的考量大學教育評鑑。

2. 量化計分：透過量化的計分可使得大學教育評鑑的結果更 資料來源：本研究整理

顯而易見。

（二）限制

1. 平衡計分卡項目不易建立：雖然平衡計分卡是由四大構面 所發展出來，但是各建立構面下之項目，仍需透過相關單 位溝通協調，方可取得客觀合理之評鑑項目，而此階段之 建構有其困難度。

2. 各主管評分差異大：由於大學院校包含多個不同單位，屬 性不一，，因此主管間若是不能進行事前的溝通訂定出一 套評分的標準，則會使得評鑑的結果差異性較大，無法進 行客觀的評鑑。

3. 需花費較長時間來建立評鑑指標與評分標準。

4. 需聘用具有經驗的顧問，否則不易執行。

5. 難以評估指標重要性：由於平衡計分卡是藉由四大構面間 的平衡來做為評估的方式，因此對於各指標間的重要性則 無法得知，例如若是學校主管強調創新學習（如研究），

則學校主管可能期望給予此部分較高的權重，而在平衡計 分卡下是給予相等權重視之。

因 此 若 是 決 策 者 希 望 將 學 校 帶 領 成 為 一 個 全 方 位 發 展 的 方 向，則平衡計分卡是一個可行的教育評鑑方式。但是在於指標建 立和評分方式上，必須花費較多的時間以及必須透過完整的溝通 來建立，否則平衡計分卡之執行是不易成功的。

3.3 層級程序分析法（Analytic Hierarchy Process，AHP）

在決策的過程中，由於周遭的環境充滿了不確定性，因此會 使得覺得的過程更為複雜，因此在決策分析的領域中，最常使用 的方式就是透過系統化來分析問題，在依照所排列的優先順序來 決定最適的方案，在這類的決策分析中，最受歡迎的便是於1971 年所發展出來的層級程序分析法（Analytic Hierarchy Process，

AHP）

，以下便針對層級程序分析法做更詳細的介紹。

一、層級程序分析法之起源與內涵

層級程序分析法（Analytic Hierarchy Process，AHP）是結 合定性與定量的一種多目標決策方法，由匹茲堡大學教授Saaty 在1971年所發展出來的，利用組織式架構，同時建立具有相互影 響關係的層級結構，並在這個結構下進行影響因素重要性的比 較，及替選方案評估。【39】層級程序分析法之目的是要將錯綜 複雜的問題系統化，並把各個問題的各個評估面與以層級化，並 用層級分解劃分成不同階層，以進行兩兩比較。層級程序分析法 除了可以應用在決策問題，更可以應用在分析過程上，依Saaty

【77】的經驗，AHP主要可以應用在下列十二種類型問題上：

（一）決定優先順序（setting priorities）

（二）產生替代方案（generating a set of alternatives）

（三）選擇最佳方案（choosing a best policy alternatives）

（四）決定需求（determining requirements）

（五）資源分配（allocating resources）

（六）預測結果與風險評估（predicting outcomes/risk assessment）

（七）績效衡量（measuring performance）

（八）系統設計（designing system）

（九）確保系統穩定（ensuring system stability）

（十）最佳化（optimization）

（十一）規劃（planning）

（十二）解決衝突（resolving conflict）

AHP方法的基本假設，主要包括下列九項【30】 :

（一）一個系統可被分解成許多種類(classes)或成分

(components)，並形成具有方向性的網路層級結構。

（二）層級結構中每一層級的要素均假設具獨立性 (independence)。

（三）每一階層內的要素，可以用上一層級內某些或所有要素作 為評準，進行評估。

（四）比較評估時，可將絕對數值尺度轉換成比例尺度(ratio scale)。

（五）成對比較(pairwise comparison)後，可使用正倒值矩陣 (positive reciprocal matrix)處理。

（六）偏好關係滿足遞移性(transitivity)。不僅優劣關係滿足遞移 性(A優於B，B優於C，則A優於C)，同時強度關係也滿足 遞移性(A優於B二倍，B優於C三倍，則A優於C六倍)。

（七）完全具遞移性不容易，因此容許不具遞移性存在，但需測 試其一致性(consistency)的程度。

（八）要素的優劣程度，經由加權法則(weighting principle)而求 得。

（九）任何要素只要出現在階層結構中，不論其優劣程度是如何 小，均被認為與整個評估結構有關，而並非檢核階層結構 的獨立性。

Vargas【81】提出應用AHP方法之前，其分析元素與層級必 須有以下幾點性質：

（一）對照特性：決策者進行兩兩比較時，對於元素偏好度必須 滿足倒數性質，例如：A比B的偏好程度是3倍，則B比A 的偏好程度為1/3倍。

（二）同質性：元素的比較必須有意義，並且是在一個合理的評 量尺度內。

（三）獨立性：元素之間的比較必須假設互相獨立。

（四）預期性：為使決策目標完成，關係階層必須被完整的描述，

建構關係階層集相關準則必須完整不能有所遺漏或忽略。

整個層級是由目標、準則、次準則及評比之替代方案所構 成，層級數目端視問題的性質及分析深度而定，而每層級的項 目，根據Saaty【77】的研究，在同一層級內的成對比較評估要 素，以不超過七個為限。當層級建構好之後，各層級必須以上一 個層級的準則或目標作為評估基準，進行要素間的成對比較，進

行比較時，依Saaty & Vargas建議採用九個名目評分尺度，這些 評分尺度是由五個語意細分，其詳細說明如下：

表3.4 AHP評估尺度 評估

尺度 定義 定義相對強度

1 同等重要（equal importance） 等強（equal strong）

3 稍微重要（weak importance） 稍強（moderate strong）

5 重要（essential or strong importance）頗強（strong）

7 很重要（demonstrated importance） 極強（very strong）

9 非常重要（absolute importance） 絕強（absolute strong）

2、4、

6、8 重要性介於上述數值中相鄰兩評點之間

二、層級程序分析法之特性

Saaty【77】提出AHP具有以下幾點特色：

（一）當上層級個因子的優先順序發生變動時，將會使下一層級 個因子之優先順序受到影響。

（二）上一層級個因子的目的與功能為下一層級各因子的限制條 件。

（三）分析層級結構內各階層中各因子的做法，比較直接評估整 個系統來的有效率。

（四）層級結構具有相當的彈性易於擴張且穩定。

Saaty【78】提出AHP具有以下幾點優點：

（一）提供一個有意義的整合系統，將複雜的系統轉化成簡單的 成分。

（二）清楚的說明上一層內各因子的優先權重發生變動時，將如

何清楚的影響下一層級內各因子的優先權重。

（三）將元素分成不同層級的集合，使其更易於評估，此方法比 直接評估整體系統有效率。

（四）詳細的劃分整個系統的層級結構，以便深入的瞭解層級結 構的目標。

（五）發展自然系統以層級的方式是相當方便有效的。

（六）層級具有可靠性及彈性，就是局部影響不會影響整體結構。

（七）對於人類的認知而言，層級式的關係容易被接受的，因此 具備易於溝通的特色。

三、層級程序分析法之限制

AHP的用途雖廣但仍有其運用上的限制，一般說AHP在下面 所述之四種狀況下是無法使用的：【38】

（一）有許多的評估基準但無彼此共通之尺度時。

（二）價值判斷無法或難以數值化。

（三）在無資料或難以取得資料環境下做決策時。

（四）在制定前設定各種情況預測決策制定之影響力。

通常人們在表達比較結果時，往往以大約多少或大概在那 一個範圍的方式來表達出來。所以，在探討AHP法時，採區間 估算法以區間方式陳列成對比較矩陣較為合適。然後再透過隨 機變數來處理成對比較所隱含的不確定性找出具不偏性及變 異數最小的決策屬性之相對權重估計式，並結合統計檢定程

序，來檢測成對比較矩陣的一致性。

四、層級程序分析法之使用程序與執行步驟

在層級程序法之使用程序與執行步驟部分，本研究針對層級 程 序 法 之 使 用 程 序 以 及 用 於 大 學 教育 評 鑑 上 之 執 行 步 驟 做 一 詳 細之說明，說明如下：

（一）層級程序分析法之使用程序【30】：

1.對於問題的描述：首先先決定所設定的目標，再進一步的 分析問題。

2.建立層級結構：AHP的特色就是在於將複雜的問題簡化為 易懂的層級結構，分析層級群組時應注意以下幾點：

a.最高層級代表評估的最終目標

b.盡量將重要性相近的要素放在同一層級

c.層級內的要素不宜太多，依Saaty【77】建議最好不要超 過七個，超出者可以在分層解決，以免影響層級的一致 性。

d.層級內各要素，須具備獨立性，若有相依性（Dependence）

存在時，可先將獨立性與相依性各自分析，再將兩者合 併分析。

e.最低層級的要素即為替代方案。

典型的AHP架構如圖3.3所示：

上圖為AHP的完整層級，但實際應用時常將典型關係加 以修改成為具有部分因果關係的層級結構，如圖3.4所示：

最終目標

目標 1 目標 2 目標 3

方案一 方案二 方案三

圖 3.3 AHP 完整層級架構圖

次目標 1-1

...

次目標 1-n1 次目標 2-1

...

次目標 2-n2 次目標 3-1

...

次目標 1-n3

最終目標

目標 1 目標 2 目標 3

次目標 1-1

...

次目標 1-n1 ^{次目標 2-1}

...

^{次目標 2-n2} 次目標 3-1

...

次目標 1-n3

圖 3.4 部分關係之 AHP 層級架構圖

3.建立成對比較矩陣：層級完成後，對同一層進行兩兩比較後建 立成對矩陣。假設層級內的要素為

A

₁,

A

₂ ⋅⋅⋅,

A

_n，其每一要素的權 重為

w

₁,

w

₂⋅⋅⋅,

w

_n，以此建立成對比較矩陣，矩陣每一列是由單一 要素的權重相對於其他要素的權重之比例所對應而成，A_i與

A

_j 的相對重要度以

a

_ij表示，以要素

A

₁,

A

₂⋅⋅⋅,

A

_n的成對矩陣比較矩陣 為

A = [ ] a

ij ，若

w

₁,

w

₂ ⋅⋅⋅,

w

_n為以知，則成對比較矩陣

A = [ ] a

ij 可寫成 公式（3.1）、（3.2）表示【39】：

其中

j i

ij

w

a = w

，

i j

ji

w

a = w

，

i , j = 1 , 2 ,..., n

4.找出最大特徵向量與特徵值：根據成對矩陣可以找出最大特徵 值所對應的特徵向量。將成對比較矩陣

A

乘以各準則權重所構 成的向量

w

：

w = ( w

₁

, w

₂

, ⋅ ⋅⋅ , w

_n

)

^T，公式如下：

[ ]

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢

⎣

⎡

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

=

=

n n n

n

n n

ij

w w w

w w

w

w w w

w w

w

w w w

w w

w

a A

2 1

2 2

2 1

2

1 2

1 1

1

（3.1）

（3.2）