第二章 文獻探討
第三節 評鑑指標建構與評鑑模式相關理論
本節將針對評鑑之定義與功能、指標建構及CIPP 評鑑模式之相關理論 與研究進行整理，茲分述如下：
壹、評鑑之定義與功能
評鑑制度在教育實務界已被廣泛的被運用，目的在於透過評鑑去發現 教學現場及方案執行的缺點並加以改善，進而提升教育品質。教育評鑑的起 源，東方學者認為源自中國的科舉制度（張植珊，1979；劉本固，2000；姜 鳳華，2001），而西方學者 Stufflebeam & Shinkfield（1985）亦認為教育評鑑 起源於中國文官考試制度，另有學者認為起源於17 世紀的西方國家，但未 被證實。盧增緒（1995）指出教育評鑑的起源，國外文獻對我國古代評鑑觀 念語焉不詳，舉證疏漏或有時間上的矛盾，他認為最早的正式評鑑活動雖始 於中國，但正式評鑑的教育觀念主要卻來自英美及歐陸國家。
戴曉霞（2005）對歐美大學評鑑模式做了整理，美國評鑑為認可模 式，涵蓋機構認可、專業認可及學程評鑑。根據H. R. Kells 的看法，認可定 義為（王保進譯，2002：19）：認可是一個透過非政府機關而由同儕來執行 的自願過程，此一活動至少有兩個目標：一、機構目標要能在定期的條件下 說明以達成的績效；二、評估機構符合預設標準之程度。認可評鑑過程的目 的在促使機構不斷地改善，並確認達成目標的程度；同時在符合一致同意的 既定標準下，對大眾提出品質保證。歐洲國家的大學外部評鑑風潮在1990 年快速擴散，由荷蘭學者F. van Vught（1994）等人參考美國的認可模式和 英、法評鑑發展出「一般模式」（general model），對歐洲及其他國家評鑑制 度影響頗深。一般模式評鑑過程包括四個階段（引自Brennan & Shah, 2000:11,52）：一、設立國家級評鑑機構；二、進行自我評鑑；三、進行外部
79
評鑑；四、提出外部評鑑報告書。
美國「教育評鑑標準聯合委員會」（the Joint Committee on Standards for Evaluation）所採用的評鑑定義是：評鑑乃是有系統的評估某一對象的價值 或優點(Stufflebeam & Shinkfield, 1985)。評鑑的歸納功能如下：（一）評鑑在 決定方案的目標是否達成；（二）評鑑用來證明方案的效能；（三）評鑑在判
Stufflebeam 1973 評鑑是為了判斷可用的決策所做的描述、獲取及提供 有用資訊的過程。
Tenbrink 1974 評鑑是獲得資訊進而形成判斷，並據以作決定的過程。
Chelimsky 1985 評鑑是應用系統化研究方法以評估方案的設計、實施 與效益。
Stufflebeam
&
Shinknfield
1985
Worthen &
Sanders 1987 評鑑是決定某件事情的價值。
Alkin 1990 評鑑涉及系統化地蒐集、分析及報告一些可以用來改 變態度或改進方案運作資料的活動，其中系統化指評
80
Worthen, Sanders &
Fitzpatrick
1997 評鑑是包含定義、說明、可辨證的參考準則等，以決
Boulmetis &
Dutwin 2000 評鑑是一個蒐集與分析資訊的系統化過程，以決定目 標是否達成或目標達成的程度。
Stufflebeam 2003
評鑑是某一對象之目標、設計、執行和成果的優點、
81
2. 評鑑什麼：牽涉評鑑的內容 3. 誰來評鑑：涉及評鑑的人員
4. 如何評鑑：重視評鑑的方法、工具和結果運用
這四個核心課題，亦成為規劃評鑑機制（如項目、程序、方式、結果 處理等）和指標的重要參考依據。（吳清山、王令宜，2007a）
吳清山、王令宜（2007a）指出評鑑各有不同導向，若是重視形成性評 鑑（formative evaluation），則是以改進（improvement）為導向；若是強調 總結性評鑑（summative evaluation），則是以績效（performance）為導向
（Stufflebeam, 2003）。倘若大學評鑑採認可制（accreditation），則重在形成 性評鑑，是以品質確保和品質改進為目的，一所學校要獲得認可通過，必須 達到一定的標準。若是大學評鑑採評比制（ranking），則是以績效產出為目 的，它根據一些成果指標進行綜合評估，依得分高低列出等第。例如：美國 新聞與世界報導（U.S. News & World）、英國時報高等教育增刊（The Times Higher Education Supplement）、上海交通大學、武漢大學等進行的大學排 名。
貳、評鑑指標建構
一、指標之概念與建構
（一）評鑑指標的建構理論
評鑑指標之建構必須先考量評鑑之目的，再依目的選擇指標及發展指 標系統（張雪梅，2005）。蘇錦麗（1997）歸納高等教育評鑑二個最主要的 目的導向：一為協助高等教育機構自我改善其教育品質（亦稱改進導向）， 另一為促使高等教育機構符合其績效責任（亦稱績效責任導向）。前者關心 的問題是：「我們正用對的方法做對的事嗎﹖」，後者關心的則為：「他們正
82
用對的方法做對的事嗎﹖」雖然二者的目的不同，但學者們（Vroeijenstijn, 1995；引自蘇錦麗，1997）認為兩者可以經由先建立對主題與結果報告方式 的共識來相互結合，以避免受評機構隱藏其缺點。蘇錦麗認為高等教育評鑑 制度應以兼顧改進導向及績效責任導向為長程目標，但考慮自身文化、經 濟、歷史以及政治等背景因素，初始段通常僅能在兩者之中擇其一，以符合 現實需要，此為階段性之變通作法。
不論指標的性質或目的為何，指標的選擇必須十分慎重，因為國內外 學者均主張好的指標應符合一些規準或是原則，大致而言學者們的觀點相 近，均必須符合下列的標準：1.有效的標準、2.可行的標準、3.適當的標 準、4.準確的標準（郭昭佑，2000）。分述如下：
1. 有效實用的標準
有效實用的標準是指評鑑能提供給相關人員有效實用的資料，因此必 須思考1.誰是評鑑有關人員、2.評鑑人員的可信度、3.資料的範圍及選擇、
4.評鑑價值的確認、5.評鑑報告的清晰度、6.報告提供的適時及適當性及 7.
評鑑造成的影響等七個面向。
2. 現實可行的標準
現實可行的標準是指，學務評鑑能確保符合務實、謹慎、擅於應對及 節約等原則，因此要特別注意1.過程的可行性、2.政治上的可能性及 3.支出 上的成本效益等三個面向。
3. 正當合宜的標準
正當合宜的標準是指，評鑑需在合法、符合倫理、及注意被評鑑人員 以及受到評鑑結果影響人員的權益下進行。因此需要特別注重1.評鑑開始前 的導引、2.正式的同意、3.人權的保障、4.人際互動、5.完整公正的評量、6.
發現的揭露、7.利害的衝突及 8.財務的責任等八個面向。
4. 詳實準確的標準
83
詳實準確的標準是指，評鑑必須確保能夠藉著足夠的資訊來說明活動 或方案的特徵及其成果。因此要注意1.評鑑資料的提供、2.脈絡的分析、3.
評鑑目的和過程的敘述、4.資訊來源的可靠、5.訊息的效度、6.訊息的信 度、7.訊息的系統化、8.質性資料的分析、9.量化資料的分析、10.結論的公 正、11.不偏的報導及 12.後設評鑑的設計等十二個面向。
綜上所述，實施評鑑工作必須注意以上四個標準，三十個面向，否則 即便指標選用恰當，仍有可能因為評鑑過程的疏失，而使評鑑無法獲得圓滿 的結果和應有的價值。
黃政傑（1995）認為好的指標應符合 1.指標的選擇應依據理論、2.指 標應能反映現象的核心或重要特徵、3.指標應能被大眾所了解與採用、4.指 標應有共通的操作型定義、5.指標應測量可觀察且能賦予數學運算、6.指標 的數值應能符合效度、信度、可用性、反應性、量表性、分割性、代表性、
綜合性等、7.指標應具中性之屬性、8.指標的種類眾多，每一類指標均有其 推論上的可行性與限制，應避免只憑使用單一指標去測量某一現象。
另外，郭昭佑（2000）指出評鑑指標的建構，需考量其功能，如為形 成性功能導向重視發展改進，則指標建構方式不須過於嚴謹，可借用或修訂 適當的指標系統即可，如為總結性功能重視績效責任，甚至有比較、公佈、
獎懲之作法、則指標的建構須嚴謹，並考量指標的加權。除了功能考量外，
郭昭佑（2000）還指出，事實上指標系統建構方式相當多樣化，並無所謂最 好，必須考量客觀條件與使用者需求，一般而言，建構指標系統應考量：1.
典範考量、2.指標建構專業能力、3.參與者的考量、4.資源考量、5.資料與工 具的限制、6.評鑑功能的考量、7.使用者與適用範圍。換言之，郭昭佑認為 指標建構方法並不一定要最科學或最嚴謹，應考量各種不同的因素，不論研 究典範、指標建構專業能力、專業資源，參與建構者除專家、評鑑群外，並 應考慮利害關係人的意見，而人力、時間、經費及資料與工具限制的考量亦
84
應注意，此外，評鑑的功能，使用者與指標適用的範圍，全部都是選擇指標 建構應考量的因素。
（二）指標建構之方法
建構指標的方法，大致可分為質化與量化兩類，前者包括文獻分析 法、訪談法、專家座談法、腦力激盪法、焦點團體法；後者包括問卷調查 法、因素分析法、德懷術、層級分析法及迴歸分析法等（黃政傑、李隆盛 等，1996；郭昭佑，2001），相關的研究方法分述如下。
1. 質化指標建構方法
（1）文件分析法：此法為研究者搜尋與研究主題有關的國內外文獻，
進一步加以整理、分析、歸納與分類，以建構合適的指標，此法 較適用於現存已有相當豐富文件資料可供蒐集、分析者，比較不 適合作為初探性的指標建構方法。
（2）訪談法：研究者為蒐集與研究主題有關的第一手資料，對問題有 深入研究或豐富專業知識的學者專家或實務工作者，進行有組 織、開放性的訪談，從受訪者的眾多受訪紀錄資料中，進行系統 性的分析來建構指標。
（3）專家座談法：此種指標建構方法為透過專家座談或會議方式，提 供彼此討論、溝通、對話與意見交流的平臺，以專家意見為指標 建構的主體，並藉此訂定指標。此法的最大限制為，專家所制定 的指標也許只反映專家的偏見，專家在建構指標時應依其專業知 識，並考量實際執行問題，綜合評估後，才能訂定適合的指標。
（4）腦力激盪法：腦力激盪法是團體思考的一種方法，強調運用集體 智慧，而非個別專家的意見。透過此法所引出的觀點、看法和策
（4）腦力激盪法：腦力激盪法是團體思考的一種方法，強調運用集體 智慧，而非個別專家的意見。透過此法所引出的觀點、看法和策