評鑑一個研究的良窳時，常是從兩個層面思索之，一是研究者所使用的 研究設計（方法）能否妥適的解釋其研究成果，其次為研究結果是否具有推 論性，二者皆屬於研究效度的問題110。Cook & Campbell 將實驗法的效度分成 內在效度（internal validity）、外在效度（external validity）、建構效度（construct validity）及統計結論效度（statistic conclusion validity）111。內在效度指一個 研究之研究設計正確說明研究結果，或呈現自變項與依變項之因果關係的程 度；外在效度指一個研究之研究結果能普遍推論到母體或其他相類似情境的 程度；建構效度指在研究歷程中所涉及之變項成功操作化的程度，亦即賦予 變項操作型定義的程度，而且必須具備理論基礎；統計結論效度指正確運用 統計方法解釋研究結果的程度，主要指統計考驗方法及顯著水準的高低。而 建構效度及統計結論效度與內在效度及外在效度有很密切的關係，所以大部 份的研究方法學者論及研究效度時，常只分成內在效度及外在效度兩種112。 內在效度可以以理論效度及收歛效度來定義；外在效度以預測效度來定 義。理論效度是衡量由模式所得到的尺度值及權重能否正確反映決策者對各 屬性或目標的價值權重；收斂效度是衡量不同模式所得到的價值權重的一致 性；預測效度是衡量所得到的價值權重對於決策者對方案總效用值之判斷或 方案偏好順序排的預測能力。而理論效度愈高則預測效度愈高，但預測效度 愈高並不表示理論效度就高。對於收歛效度的衡量，可以以權重間的相關或 離差來衡量；預測效度的衡量以所衡量的權重為廻歸模式中的貝它權重，再 以廻歸模式的方式來預測，而以判定係數為預測效度的指標113。
多屬性分析將最佳方案的得出視為最主要的目標，衡量偏誤會引起不一 致性，如果將排序第二、三次佳的方案視為第一，其分析就是失敗114。Cook &
Stewart（1975）認為衡量效度並無標準可賴以檢驗，故預測效度往往成為評 估模式優劣的重要指標115。然而模式具有良好的預測效度，仍可產生方案選 擇的錯置，亦即前述之衡量效度愈高則預測效度愈高，但預測效度愈高並不 表示衡量效度就高，故權重的衡量效度應更為重要。
多屬性權重衡量模式效度之文獻可分為二大類，一是依據各種重要準則
110 引自周文欽（2000），研究方法概論，國立空中大學。
111 引 自 Cook, T. D., & Campbell, D. T. (1976) , The design and conduct of Quasi-experiments and true experiments in field setting. Handbook of industrial and organizational psychology. Chicago: Rand Mcnally.
112 引自周文欽（2000），上揭書。
113 引自汪銘生（1992），環境決策與管理，復文圖書出版社。
114 引自 Anderson, N.H. & J. Zalinski,（1988）, Functional measurement approach to self-estimate in multiattribute evaluation. Journal of behavior decision making.
1. 1988, p191-221.
115 引自 Cook, R.L. & Stewart, T.R,（1975）, A comparison of seven methods for obtaining subjective descriptions of judgment policy, Organizational behavior and human performance, 13, p31-35.
來比較各多屬性權重衡量模式之方法；二是建立各種重要準則，以為判斷標 準。茲列舉如下：
Cook & Stewart(1975)以學生入學申請為研究個案，選取三個屬性，比較 七種方法，包括直接給分法(point allocation)、評分法(rating)、配對比較法(paired comparision) 、 比 率 法 、 時 間 影 響 法 (time influential) 、 個 人 屬 性 評 分 法 一 (individual cue ratingsⅠ)、個人屬性評分法二(individual cue ratings Ⅱ)等。其 比較準則為預測效度，即以各方法求得的權重作為廻歸模式中的貝它係數。
而可獲得模式的預測值，再計簡此模式預測值對實際判斷的解釋度與此預測 值的多元廻歸係數，以此二值大小作為比較準則，結果發現七種方法並無差 異116。
Schoemaker & Waid(1982)以大學生入學的資料審核為研究個案，選取四 個屬性，包括口試、性向測驗筆試、高中成績、課外活動經驗等。比較多元 線性及非線性廻歸（multiple linear and non-linear regression）、分析層級程序 法、直接給分法、取捨法（tradeoff method）、單位權重法（unit weighting）等 五種方法，其比較準則為預測效度、知覺困難程度、收斂效度。其研究結果 發現，除了單位權重法外，其它方法具預測效度，而直接給分法及取捨法優 於分析層級程序法；各種方法得出的權重有差異性，多元廻歸所得出的權重 間差異性最高，直接給分法最小；多元廻歸與取捨法的相關程度最低；知覺 困難程度以多元廻歸最高，次為取捨法、再次為分析層級程序法；方法的信 頼度以分析層級程序法最高，其次是取捨法，再次是多元廻歸117。
Borcherding, Eppel & Von Winterfeldt (1991) 以核廢料處理廠位置選擇為 研究個案，選取五個屬性，包括健康及安全影響、環境影響、社會經濟影響、
計畫總成本、封廠後幾世代後的影響等。比較比率法、搖擺權重法（swing weighting method）、取捨法、出價法（pricing out method）等五種方法。其比 較準則為內部一致性（internal consistency）、收斂效度及外部效度。其研究結 果發現，就內部一致性而言，取捨法最差；就收斂效度而言，出價法最差；
就外部效度而言，出價法最好；而比率法、搖擺權重法具內部一致性，但外 部效度值得懷疑118。
Shu-Hong Zhu & Anderson（1991）以整體工作滿意度為研究個案，選取 三個屬性，包括同僚、報酬、工作愉悅程度等。比較資訊整合理論中功能衡 量之平均模式（averaging model）、評分法、直接給分法、取捨法、部份價值 法（part-worths）等五種方法，其比較準則除了一致性外，並以具內部及理論 效度的功能衡量理論為權重衡量的標準，其研究結果發現，就一致性而言，
116 引自 Cook, R.L. & Stewart, T.R,（1975），前揭書。
117 引自 Schoemaker, P. J. H. & Waid, C. C.（1982）, An experimental comparison of different approaches to determining weights in additive utility models, Management science, 28, No2, p182-196.
118 引自 Borcherding, K. Eppel, T. & Von Winterfeldt D.(1991), Comparison of weighting judgments in multiattribute utility measurement, Management science, 37, Dec, p1603-1619.
取捨法最差；評分法具理論及內部效度，而直接給分法不具備；另部份價值 法兼具一致性、理論及內部效度119。
Wang & Yang（1998）以焚化爐興建計畫中模擬的環境影響評估工作接受 度為研究個案，選取三個屬性，包括污染、政府的補償金和民眾所要求間的 差距、興建計畫的急迫性等。比較等權重平均模式、分析層級程序法、簡單 多屬性評分技術等三種方法，其比較準則為理論效度、預測能力、主觀認知 能力（perceived performance）等。其研究結果發現，在使用相等權重平均 模式來作為比較的標準時，所有三種方法皆具有理論上的效度；在預測能力 方面，等權重平均模式優於簡單多屬性效用理論，且簡單多屬性效用理論優 於分析層級程序法；在主觀認知能力方面，等權重平均模式被認為比起分析 層級程序法較為困難及較少被使用，但皆有相同的可信度120。
Pöyhönen M. & Hämäläinen (2000) 認為各種方法所衡量的權重屬性之所 以不同，其源自不同基本假設下的方法論程序及不同的偏好模型，在操作程 序上，尤其是價值樹的建構，更會影響權重的結果，造成可能的權重偏誤。
許多研究多只探討此問題的存在，但是較少著墨在如何避免及降低此權重偏 誤。其將權重偏誤集中在值域效果偏誤（range effect bias）及分割偏誤（splitting bias），前者指屬性水準變量的決定，當屬性值域改變，受測者有時會過度反 應；後者指價值樹建構的層級方式，即各層級的屬性個數及它們適當的層級 位置，兩者皆會有不同的衡量結果。其建議實驗前研究者或決策者應與受測 者充分溝通，使其瞭解價值樹及屬性的意義，並使其能融入個案的情境。所 以在真實個案的決策過程中，應使所有利益相關人（stakholders）能有機會多 多參與，且價值樹結構的決定，亦應先得到其認同121。
Bottomley & Doyle (2001) 以購車決策為研究案例，選取九個屬性，包括 舒適、耗油量、安全性、操控性、加速及性能表現、外觀、值得信頼程度、
維護成本、空間及實用性等。比較等評分法、最大尺度 100 法（Max 100）、 最小尺度 10 法（Min 10）等三種方法，其比較準則為內部一致性、收斂效度、
內部效度、主觀認知態度等。其研究結果發現，就內部一致性而言，最大尺 度 100 法優於評分法，再優於最小尺度 10 法；就收斂效度及內部效度而言，
最大尺度 100 法優於評分法，再優於最小尺度 10 法；就主觀認知態度而言，
受測者最不喜歡最小尺度 10 法122。
119 引自 Shu-Hong Zhu & Anderson, N.H.（1991）, Self-estimation of weight parameter in multiattribute analysis, Organizational behavior and human decision processes, 48,p36-54.
120 引自 Wang, M. S. & J. S. Yang （1998）, A multi-criteria experimental comparison of three multiple attributes weight measurement methods, Journal of multiple-criteria decision analysis, 7, p340-350, Wiley.
121 引自 Pöyhönen M. & Hämäläinen, (2000), There is hope in attribute weighting, Infor, aug, 38, 3, p272-282.
122 引自 Bottomley, P.A. & Doyle, J.R.（2001）, A comparison of three weight elicitation methods: good, better, and best, Omega, 29, p553-560.
綜觀上述研究，比較各種多屬性權重衡量模式之準則，主要有內部一致 性、收斂效度、內部效度、理論效度、外部效度、主觀認知態度等面向。然 而正確的權重衡量應符合下列的條件123：
1.應以認知理論為理論基礎。
2.須反軔屬性的重要性或凸顯性。
3.須與尺度值互相獨立。
4.其總和必須限制為一固定值。
5.須因決策個案的不同而不同。
6.所採用的屬性結合模式必須具備效度。
另以多屬性權重衡量模式的程序而言，可區分為直接衡量法與間接衡量 法124，其中直接衡量法又可歸類為分解法（decomposed）；間接衡量法可歸類 為整體判斷法（holistic），而人類在決策過程本質上為整體的、屬性間相依 的，如將決策問題分解判斷的結果可能造成決策者將注意力分散到決策的過 程而非結果125。直接衡量法係請受測者將其主觀的看法直接以數字表達出，
如 SMART 是由決策者先將最不重要的因素之權重定為 10，其它各個因素與其 相比得到重要性比率，再將其權重總和標準化即得到各因素的權重；AHP 是由 決策者將兩兩因素相比得到重要性比率矩陣，再由該矩陣求算權重；而間接 衡量法係請決策者針對一系列的實際或假設的方案做整體判斷，再由判斷結 果間接估算權重，如 IIT 是先測試資訊結合模式，再以最大概似法估計權重。
如 SMART 是由決策者先將最不重要的因素之權重定為 10，其它各個因素與其 相比得到重要性比率，再將其權重總和標準化即得到各因素的權重；AHP 是由 決策者將兩兩因素相比得到重要性比率矩陣，再由該矩陣求算權重；而間接 衡量法係請決策者針對一系列的實際或假設的方案做整體判斷，再由判斷結 果間接估算權重，如 IIT 是先測試資訊結合模式，再以最大概似法估計權重。