第三次問卷編製與專家評估

一、問卷編製

在第二次訪談時，觀察到許多作答者面對問卷第一部份所給予的回

饋訊息時（給予權重的平均值與標準差），仍無法直觀地反應至成對比較 的題目上；且事後發現評估準則的集中趨勢亦不明顯。此外也有專家在 部分評估準則第一次作答時呈現一致性，但第二次作答反而變為不一致 了；這也有可能是回饋訊息設計不好，導致專家在參考作答時顧此失彼。

為了幫助專家成員便於作決策，在不誤導專家的前提下提供直觀的 訊息作為修正意見之用，本研究在第三次問卷（附錄 N），將引用統計上 的「四分位數」概念：也就是將某一成對比較問題，十位專家的答案依 比值大小由小到大依序排列；接著將位於 25%與 75%位置的數字求出，

分別為「第一四分位數」與「第三四分位數」。本研究在問卷中將第一四 分位數與第三四分位數的範圍以陰影框起來，表示所有作答者中間 50%

的意見。

表 5-8 「設施有效使用」之下的評估準則比較表（範例）

9:1 8:1 7:1 6:1 5:1 4:1 3:1 2:1 1:1 1:2 1:3 1:4 1:5 1:6 1:7 1:8 1:9

學校一般教學 競技訓練

學校一般教學 對外開放使用

競技訓練 對外開放使用

根據表 5-8 顯示，在「學校一般教學」與「競技訓練」相比較下，

中間 50%的意見落在 5：1 至 3：1 之間；同理，「學校一般教學」與「對 外開放使用」相比較，中間 50%的意見落在 3：1 至 1：1；「競技訓練」

與「對外開放使用」相較，中間 50%的意見落在 1：1 與 1：5 之間。因 此，若某專家的意見不在陰影範圍內，則表示其意見為較離散的 50%。

表 5-8 還顯示有較深的陰影，這是代表十位專家在該成對比較的平 均意見（符合一致性的部分）。該平均意見並不是直接由專家的成對比較 答案中求出，而是先透過矩陣運算求出每一專家的特徵向量（也就是對 於上一層準則的重要性權重），再將判斷符合一致性的專家的權重取算數 平均數，接著再將不同準則的權重平均值兩兩相除，即可得到以〝比值〞

或〝比〞表示的平均意見。

表 5-9 評估準則權重參考表（對應表 5-8 範例）

全部專家作答的權重（％）

（符合一致的部分）

您上次的作答在各 準則的權重（％）

平均數 標準差

學校一般教學 14.29 50.27 20.13

競技訓練 14.29 12.57 2.02

對外開放使用 71.43 37.16 19.67

表 5-9 是對應於表 5-8 的評估準則權重參考表，其計算方式在前一節 有說明。專家作答的權重平均數顯示在第三欄。當「學校一般教學」的 權重平均值（50.27%）除以「競技訓練」的權重平均值（12.57%）時，

其比值為 3.999，約等於 4。也就是說，「學校一般教學」：「競技訓練」

約等於 4：1，故表 5-8 則在 4：1 處框上較深色的陰影，表示專家的平 均意見；其餘的部分依此類推。若計算出的數值，介在兩格子所代表的 數值之間，則在較接近數值的格子框上陰影。

可能有人會問：為什麼不直接以中位數來表示意見的集中量呢？這 是因為：每一個成對比較答案的中位數所構成的評估矩陣，並不能保證 一定符合一致性；若有作答者完全依照該訊息來修正意見而導致判斷不 一致，則乃本研究之訊息回饋誤導所致。為避免此一現象，本研究採取 上述方式來表示平均意見；因為其平均意見之求得，乃透過一組已符合 判斷一致性的權重值間接求出，故若完全按照平均意見的值作答，一定 不會誤導其判斷不一致。

第三次問卷完全承襲第二次問卷的型式，並加上前述第一四分位數 與第三四分位數的範圍，以及平均意見值，讓專家在作答時更為直觀。

有關四分位數與平均意見的意義，問卷中也都會加以說明。此外，為了 讓各專家瞭解自己的意見與全體意見的相同與相異處，訪談者在每份問 卷都會事先以紅筆在該專家上次成對比較的作答處，打一小勾勾，俾以 作為修正意見之參考。

最後要說明的，是第二次訪談時研究者發現：部分專家仍不自覺地 會去參考其前次作答不符合一致性的準則權重，即使訪談者有特別強調 其不具參考意義。為避免此情形重演，第三次訪談的問卷中，在不一致 的準則處，一律只以陰影表示，不再列出數字。

二、訪談

其過程與前兩次大同小異。訪談者在專家作答前，仍會簡單說明本 次問卷的回饋內容，並再次要求專家要看過回饋再予以作答。訪談過程 中各專家作答也更為快速，這可能是因為較熟練的關係，也可能是本次

問卷的回饋較為直觀所致。有四位專家在看過所有的回饋後，表示不須 再修改意見，表示本研究的意見已經集中至相當的程度了。

三、訪談後處理

按照前兩次訪談後的步驟，本研究整理出「第三次問卷評估準則權 重表」（如附錄 O）與「第三次問卷經營模式評分表」（如附錄 P）。比較 前兩次問卷的資料（附錄 I 與附錄 J；附錄 L 與附錄 M）可知：在評估 準則的權重方面，判斷不一致的情形大幅減少，可見第三次問卷的回饋 方式可以有效幫助專家作答。而權重值也較第二次問卷之結果更為集 中，且趨勢較明顯。經營模式的評分方面，也呈現更進一步的集中趨勢。

綜合而言，本次問卷在協助專家有效判斷準則權重與修正意見的功能上 是成功的。

由於這是本研究最後一次以 AHP 問卷進行訪談，其結果將作為最 後的分析之用，故必須要進一步檢驗專家在 AHP 問卷中，關於評估準 則部分的作答是否符合層級間的一致性。其檢驗方式在第二章第四節已 作說明：先計算層級一致性指標（consistency index of the hierarchy；CIH）

與層級隨機指標（random index of the hierarchy；RIH），進而相除求出層 級一致性比率（consistency ratio of the hierarchy；CRH）。唯有 CRH＜0.1，

該作答者的作答才通過層級的一致性檢驗。由附錄 O 的「第三次問卷評 估準則權重表」可以發現：本研究編號 2 與編號 10 專家，其作答中許多 評估準則矩陣不符合一致性，已不加入權重平均值的計算，從而也無須 去檢驗其層級一致性。表 5-10 是其餘八位專家在 AHP 問卷評估準則作 答的層級一致性檢驗表，顯示八位專家的作答皆符合層級間的一致性，

故本研究所得的評估準則權重是可以採用的。

表 5-10 AHP 問卷評估準則作答之層級一致性檢驗表

編號 1 編號 3 編號 4 編號 5 編號 6 編號 7 編號 8 編號 9 CIH 0.0037 0.0855 0.0369 0.0326 0.0621 0.1172 0.0474 0.1408 RIH 2.4315 2.5583 2.5412 2.1574 2.6727 2.4128 2.5411 2.5180 CRH 0.00058 0.03342 0.01452 0.01511 0.02323 0.04857 0.01865 0.05592 層級一致與否 一致 一致 一致 一致 一致 一致 一致 一致

註 1：專家編號 2 與編號 10 由於作答中許多評估準則矩陣不符合一致性，從而無須去檢驗其層級一致性。

註 2：層級一致óCRH＜0.1