第三章 大學評鑑方法介紹
3.3 層級程序分析法
在決策的過程中,由於周遭的環境充滿了不確定性,因此會 使得覺得的過程更為複雜,因此在決策分析的領域中,最常使用 的方式就是透過系統化來分析問題,在依照所排列的優先順序來 決定最適的方案,在這類的決策分析中,最受歡迎的便是於1971 年所發展出來的層級程序分析法(Analytic Hierarchy Process,
AHP)
,以下便針對層級程序分析法做更詳細的介紹。一、層級程序分析法之起源與內涵
層級程序分析法(Analytic Hierarchy Process,AHP)是結 合定性與定量的一種多目標決策方法,由匹茲堡大學教授Saaty 在1971年所發展出來的,利用組織式架構,同時建立具有相互影 響關係的層級結構,並在這個結構下進行影響因素重要性的比 較,及替選方案評估。【39】層級程序分析法之目的是要將錯綜 複雜的問題系統化,並把各個問題的各個評估面與以層級化,並 用層級分解劃分成不同階層,以進行兩兩比較。層級程序分析法 除了可以應用在決策問題,更可以應用在分析過程上,依Saaty
【77】的經驗,AHP主要可以應用在下列十二種類型問題上:
(一)決定優先順序(setting priorities)
(二)產生替代方案(generating a set of alternatives)
(三)選擇最佳方案(choosing a best policy alternatives)
(四)決定需求(determining requirements)
(五)資源分配(allocating resources)
(六)預測結果與風險評估(predicting outcomes/risk assessment)
(七)績效衡量(measuring performance)
(八)系統設計(designing system)
(九)確保系統穩定(ensuring system stability)
(十)最佳化(optimization)
(十一)規劃(planning)
(十二)解決衝突(resolving conflict)
AHP方法的基本假設,主要包括下列九項【30】 :
(一)一個系統可被分解成許多種類(classes)或成分
(components),並形成具有方向性的網路層級結構。
(二)層級結構中每一層級的要素均假設具獨立性 (independence)。
(三)每一階層內的要素,可以用上一層級內某些或所有要素作 為評準,進行評估。
(四)比較評估時,可將絕對數值尺度轉換成比例尺度(ratio scale)。
(五)成對比較(pairwise comparison)後,可使用正倒值矩陣 (positive reciprocal matrix)處理。
(六)偏好關係滿足遞移性(transitivity)。不僅優劣關係滿足遞移 性(A優於B,B優於C,則A優於C),同時強度關係也滿足 遞移性(A優於B二倍,B優於C三倍,則A優於C六倍)。
(七)完全具遞移性不容易,因此容許不具遞移性存在,但需測 試其一致性(consistency)的程度。
(八)要素的優劣程度,經由加權法則(weighting principle)而求 得。
(九)任何要素只要出現在階層結構中,不論其優劣程度是如何 小,均被認為與整個評估結構有關,而並非檢核階層結構 的獨立性。
Vargas【81】提出應用AHP方法之前,其分析元素與層級必 須有以下幾點性質:
(一)對照特性:決策者進行兩兩比較時,對於元素偏好度必須 滿足倒數性質,例如:A比B的偏好程度是3倍,則B比A 的偏好程度為1/3倍。
(二)同質性:元素的比較必須有意義,並且是在一個合理的評 量尺度內。
(三)獨立性:元素之間的比較必須假設互相獨立。
(四)預期性:為使決策目標完成,關係階層必須被完整的描述,
建構關係階層集相關準則必須完整不能有所遺漏或忽略。
整個層級是由目標、準則、次準則及評比之替代方案所構 成,層級數目端視問題的性質及分析深度而定,而每層級的項 目,根據Saaty【77】的研究,在同一層級內的成對比較評估要 素,以不超過七個為限。當層級建構好之後,各層級必須以上一 個層級的準則或目標作為評估基準,進行要素間的成對比較,進
行比較時,依Saaty & Vargas建議採用九個名目評分尺度,這些 評分尺度是由五個語意細分,其詳細說明如下:
表3.4 AHP評估尺度 評估
尺度 定義 定義相對強度
1 同等重要(equal importance) 等強(equal strong)
3 稍微重要(weak importance) 稍強(moderate strong)
5 重要(essential or strong importance)頗強(strong)
7 很重要(demonstrated importance) 極強(very strong)
9 非常重要(absolute importance) 絕強(absolute strong)
2、4、
6、8 重要性介於上述數值中相鄰兩評點之間
二、層級程序分析法之特性
Saaty【77】提出AHP具有以下幾點特色:
(一)當上層級個因子的優先順序發生變動時,將會使下一層級 個因子之優先順序受到影響。
(二)上一層級個因子的目的與功能為下一層級各因子的限制條 件。
(三)分析層級結構內各階層中各因子的做法,比較直接評估整 個系統來的有效率。
(四)層級結構具有相當的彈性易於擴張且穩定。
Saaty【78】提出AHP具有以下幾點優點:
(一)提供一個有意義的整合系統,將複雜的系統轉化成簡單的 成分。
(二)清楚的說明上一層內各因子的優先權重發生變動時,將如
何清楚的影響下一層級內各因子的優先權重。
(三)將元素分成不同層級的集合,使其更易於評估,此方法比 直接評估整體系統有效率。
(四)詳細的劃分整個系統的層級結構,以便深入的瞭解層級結 構的目標。
(五)發展自然系統以層級的方式是相當方便有效的。
(六)層級具有可靠性及彈性,就是局部影響不會影響整體結構。
(七)對於人類的認知而言,層級式的關係容易被接受的,因此 具備易於溝通的特色。
三、層級程序分析法之限制
AHP的用途雖廣但仍有其運用上的限制,一般說AHP在下面 所述之四種狀況下是無法使用的:【38】
(一)有許多的評估基準但無彼此共通之尺度時。
(二)價值判斷無法或難以數值化。
(三)在無資料或難以取得資料環境下做決策時。
(四)在制定前設定各種情況預測決策制定之影響力。
通常人們在表達比較結果時,往往以大約多少或大概在那 一個範圍的方式來表達出來。所以,在探討AHP法時,採區間 估算法以區間方式陳列成對比較矩陣較為合適。然後再透過隨 機變數來處理成對比較所隱含的不確定性找出具不偏性及變 異數最小的決策屬性之相對權重估計式,並結合統計檢定程
序,來檢測成對比較矩陣的一致性。
四、層級程序分析法之使用程序與執行步驟
在層級程序法之使用程序與執行步驟部分,本研究針對層級 程 序 法 之 使 用 程 序 以 及 用 於 大 學 教育 評 鑑 上 之 執 行 步 驟 做 一 詳 細之說明,說明如下:
(一)層級程序分析法之使用程序【30】:
1.對於問題的描述:首先先決定所設定的目標,再進一步的 分析問題。
2.建立層級結構:AHP的特色就是在於將複雜的問題簡化為 易懂的層級結構,分析層級群組時應注意以下幾點:
a.最高層級代表評估的最終目標
b.盡量將重要性相近的要素放在同一層級
c.層級內的要素不宜太多,依Saaty【77】建議最好不要超 過七個,超出者可以在分層解決,以免影響層級的一致 性。
d.層級內各要素,須具備獨立性,若有相依性(Dependence)
存在時,可先將獨立性與相依性各自分析,再將兩者合 併分析。
e.最低層級的要素即為替代方案。
典型的AHP架構如圖3.3所示:
上圖為AHP的完整層級,但實際應用時常將典型關係加 以修改成為具有部分因果關係的層級結構,如圖3.4所示:
最終目標
目標 1 目標 2 目標 3
方案一 方案二 方案三
圖 3.3 AHP 完整層級架構圖
次目標 1-1
...
次目標 1-n1 次目標 2-1...
次目標 2-n2 次目標 3-1...
次目標 1-n3最終目標
目標 1 目標 2 目標 3
次目標 1-1
...
次目標 1-n1 次目標 2-1...
次目標 2-n2 次目標 3-1...
次目標 1-n3圖 3.4 部分關係之 AHP 層級架構圖
3.建立成對比較矩陣:層級完成後,對同一層進行兩兩比較後建 立成對矩陣。假設層級內的要素為
A
1,A
2 ⋅⋅⋅,A
n,其每一要素的權 重為w
1,w
2⋅⋅⋅,w
n,以此建立成對比較矩陣,矩陣每一列是由單一 要素的權重相對於其他要素的權重之比例所對應而成,Ai與A
j 的相對重要度以a
ij表示,以要素A
1,A
2⋅⋅⋅,A
n的成對矩陣比較矩陣 為A = [ ] a
ij ,若w
1,w
2 ⋅⋅⋅,w
n為以知,則成對比較矩陣A = [ ] a
ij 可寫成 公式(3.1)、(3.2)表示【39】:其中
j i
ij
w
a = w
,i j
ji
w
a = w
,i , j = 1 , 2 ,..., n
4.找出最大特徵向量與特徵值:根據成對矩陣可以找出最大特徵 值所對應的特徵向量。將成對比較矩陣
A
乘以各準則權重所構 成的向量w
:w = ( w
1, w
2, ⋅ ⋅⋅ , w
n)
T,公式如下:[ ]
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥
⎦
⎤
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢
⎣
⎡
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
=
=
n n n
n
n n
ij
w w w
w w
w
w w w
w w
w
w w w
w w
w
a A
2 1
2 2
2 1
2
1 2
1 1
1
(3.1)
(3.2)
上式(3.3)表示,成對矩陣
A
乘上w
等於n乘以w
的值。即
A w = n w
。n即為
A
的特徵值,w
為成對矩陣A
所對應於特徵值的特徵向 量。成對矩陣具有以下幾點特質【42】:a.矩陣
A
對稱元素相互間互為倒數關係,即ij
ij
a
a = 1
。b.矩陣
A
的所有元素均為正值,且滿足ij
ij
a
a = 1
,則稱為正倒值矩陣(Positive reciprocal matrix)。
c.成對比較矩陣
A
的秩(Rank)為1。因為每一列皆是第一列 的 常 數 倍 , 所 以 其 特 徵 值 λ1(
i=1,2,3,...,n)
中 , 只 有 一 個 為 非 零,其餘均為零,而非零的特徵值以λ 表示。 maxd.矩陣
A
具有正的特徵值,其中最大的特徵值為λ ,其所對max 應的特徵向量元素也都是正值。e.矩陣
A
的對角線和為n
。從特徵值的特性得知特徵值的和也[ ]
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎦
⎤
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎣
⎡
⋅
⋅
=
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎦
⎤
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎣
⎡
⋅
⋅
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎥
⎦
⎤
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎢
⎣
⎡
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
=
=
n n
n n n
n
n n
ij
w w w
n
w w w
w w w
w w
w
w w w
w w
w
w w w
w w
w
a w
A
2 1 2
1
2 1
2 2
2 1
2
1 2
1 1
1
(3.3)
為
n
, 故 λmax= n
, 所 以 決 策 的 判 斷 前 後 若 具 有 一 致 性(consistence),其特徵值必須等於
n
。5.求取特徵值:實際進行成對比較時,由於
a
ij是由主觀而得,因此與實際的
j i
w
w
有差距,j i
ij
w
a ≈ w
。當a
ij有微量變動時,特徵值也會跟著變動,當特徵值不再等於
n
時,λ
max還是主要 的特徵值,並且非常接近理論權重時的特徵值。即λ 取代maxn,公式如下:
w w
A
=λ
max × 求算最大特徵值λ 的步驟如下: maxa.將成對比較矩陣
A
乘以已求得之特徵向量w
,將得到一個 新的向量w '
,公式如下:'
w w
A
=b.將
w '
之每一向量值分別對應除以原w
之每一向量值,再將 所得的所以數值相加起來求算數平均數,即可求得λ ,公式如下: max
(3.4)
(3.5)
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎦
⎤
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎣
⎡
⋅
= ⋅
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎦
⎤
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎣
⎡
⋅
⋅
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎥ ⎥
⎥
⎦
⎤
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎢ ⎢
⎢
⎣
⎡
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
' ' 2 ' 1 2
1
2 1
2 2
2 1
2
1 2
1 1
1
n n n
n n
n
n n
w w w
w w w
w w w
w w
w
w w w
w w
w
w w w
w w
w
(3.6)
6.一致性檢定:當特徵值不等於n時,
λ
max與n的差異可作為判 斷一致性高低的評量標準,利用( λ
max −n )
的值可以看出不一 致的結果【77】。因此,AHP利用一致性指標(Consistency Index, C.I.)與一致性比率(Consistency Ratio,C.R.)來衡 量 成 對 比 較 矩 陣 的 一 致 性 , 以 便 對 不 合 理 的 評 估 值 做 修 正。其公式如下:
. .
. . .
. R I
I R C C =
當
C . I . = 0
時 表 示 評 估 者 前 後 判 斷 完 全 具 有 一 致 性 , 而1
. 0 . . I ≤
C
時表示誤差在可接受範圍內。C.I.之算式如上式(3.8),R.I值稱為隨機指標,是從評估尺 度1~9所產生的正倒值矩陣,在不同的階數(Order)下所產 生的,其說明如下:
表3.5 隨機指標表 階
數
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
R.I. 0.00 0.00 0.58 0.90 1.12 1.24 1.32 1.41 1.45 1.49 1.51 1.48 1.56 1.57 1.58 若
C . R . ≤ 0 . 1
時,則矩陣的一致性是可以接受的。⎟⎟ ⎠
⎜⎜ ⎞
⎝
⎛ + + ⋅ ⋅ ⋅ +
=
n n
w w w
w w w n
'
1 ' 2 1
' 1 max
λ
1
(3.7). 1
.
max−
= − n I n
C
λ(3.8)
(3.9)
(二)層級程序分析法用於大學教育評鑑之執行步驟:
在此以大學系所評鑑為例,大學系所評鑑的單位繁多,
此時較適用部份的AHP層級架構,也就是針對評鑑構面與指 標進行兩兩比較得知其相對重要性,進而得到各項構面與指 標之權重,因此以下之使用程序是以部份AHP層級架構的方 式表述。
1. 確立學系發展的目標:首先先確立學系所要發展的目標與 願景
2. 可由單位主管遴選相關之評鑑委員,例如:系所評鑑可遴 選各院代表,如各院院長及系所主任。
3. 建立層級架構:
(1)根據過去相關研究及前述之一般情況下之使用程序 準則,擬定初步的層級架構。
(2)依照初步之層級架構擬定問卷,由評鑑委員填寫問 卷,確立此層級架構。當中包含封閉式與開放式問 答,封閉式問答主要是確定各層級指標項目是否應 納入評鑑項目,開放式問答主要是希望評鑑委員提 供哪些層級指標項目是重要但未納入評鑑項目。