我國技術學院綜合評鑑之後設評鑑研究

全文

(1)國立台灣師範大學工業教育研究所博士論文. 指導教授：楊朝祥博士、田振榮博士. 我國技術學院綜合評鑑之後設評鑑研究 A Meta-Evaluation on Comprehensive Evaluation of Institutes of Technology in Taiwan. 研究生：周明華中華民國九十八年七月.

(2) 謝. 誌. 身心的壓力隨著論文接近完成的階段，逐漸減輕，許久沒有這種輕鬆的感覺了。在知命之年，耳漸不聰、目漸不明，心裡卻仍時刻迴繞著論文的細節，深怕不成熟的作品侵犯崇高的學術殿堂。論文的撰寫，從一開始的構思階段，周圍的朋友、同事時時刻刻關切提醒；到中間難產時期，原本關切的話語轉變成為善意的肢體語言，以眼神暗示鼓勵，到最後戮力完成，身旁的人都跟著鬆一口氣，整個孕育、徬徨、投入、撥雲見日的過程，真是點滴在心頭。論文的完成距離當初修課已有一段不算短的時間，最要感謝授業老師楊部長朝祥、田副校長振榮，二位亦是指導教授，在撰寫過程中，不斷耳提面命，要一鼓作氣；同窗溫瑞烘主任、陽琪教授在論文過程中不吝提供協助；長官周前次長燦德對論文結構、研究方法的指導、撰寫過程的指正，同事徐前科長昌慧從評鑑業務推動角度提供實務問題與看法，均讓我獲益匪淺；調查問卷回收後，在統計方面的應用、分析，特別感謝學長韓豐年教授的指導、助理曾絲宜小姐的協助。論文撰寫過程中，感謝林蘋教授的鼓勵指導、黃曙東主秘的熱心指點、張文雄董事長、林尚平院長、李銘輝校長、林群博教務長、巫銘昌主任、曾淑惠所長提供評鑑專業意見；李宗薇教授、陳淑惠教授不斷鼓勵指導，以及多位評鑑委員、技術學院夥伴協助填寫、收集問卷，讓論文得以順利完成。口試委員林聰明次長、林俊彥教務長、吳明振主任對論文內容、結構的指正，及林次長同意我在最後階段請假衝刺的諒解，在此致上誠摯謝忱。最後，感謝外子順旭的支持與諒解，容忍我在疑惑不順的時候可以發洩情緒，在動力不足的時候不斷鼓舞激勵，讓這個人生的夢想變成事實。再次感謝所有提供指導協助的長官、同事、朋友與家人。. I.

(3) 我國技術學院綜合評鑑之後設評鑑研究摘. 要. 本研究旨在探討高等技術校院擴增、高教普及化之後，如何改進評鑑作業，確保教育品質。本研究目的包括：1.發展技術學院綜合評鑑之後設評鑑標準；2.依據後設評鑑標準實施問卷調查，分析技術學院綜合評鑑實施情形；3. 瞭解評鑑委員、受評學校人員在後設評鑑之看法；4.比較不同背景評鑑委員、受評學校人員在後設評鑑看法的差異；5.訪談並瞭解技職教育及評鑑專業領域之學者專家對技術學院評鑑之看法；6.綜合比較問卷調查與專家訪談結果，歸納研究結論，提出建議，供主管教育行政機關參考。. 本研究採用問卷調查及專家訪談等研究方法進行，研究對象包括：95、 96 年度參與教育部辦理技術學院綜合評鑑之評鑑委員及受評學校代表、教育行政機關與技職教育及評鑑領域學者代表。主要研究工具為「我國技術學院綜合評鑑調查問卷」及訪談題綱。. 本研究主要結果如下： 1.技術學院綜合評鑑之後設評鑑標準包含四個構面、廿一個向度、七十二個題項；2.根據五等量表之後設評鑑標準，技術學院綜合評鑑在後設評鑑標準四個構面之同意度略高於「普通」；3.探討不同身份、不同背景者對技術學院綜合評鑑看法之差異性。4.驗證問卷調查與專家訪談結果發現：(1)評鑑能達成發現問題、積極改善、提升品質的目標；(2)技術學院綜合評鑑尚屬公正客觀，能適度反映辦學實況；(3)指標尚能彰顯技職教育特色，但須正確解讀指標意涵；(4)評鑑委員需具備專業領域、技職教育、評鑑專業等知能；(5)學校自我評鑑機制仍待加強；(6)評鑑之晤談時間有助驗證學校辦學策略及瞭解教學；(7)現階段技術學院評鑑採等第制尚屬合宜；(8)評鑑成績的等第分佈尚屬 III.

(4) 合理；(9)尚能同意評鑑結果與政府之行政措施結合；(10)評鑑執行單位能妥當安排評鑑程序，順利完成評鑑工作；(11)評鑑委員多能遵守倫理、利益迴避原則；(12)受評者的權益受到充分重視；(13)評鑑結果尚能符合社會期待。最後提出近程、中長程及後續研究建議。. 關鍵字: 技術學院、綜合評鑑、後設評鑑. IV.

(5) A Meta-Evaluation on Comprehensive Evaluation of Institutes of Technology in Taiwan Abstract This study aims to probe how to improve the evaluation process in order to ensure educational quality after the enlargement of higher educational institutions which leads to the popularization of higher education in Taiwan. The objectives are: 1. to develop meta-evaluation criteria for comprehensive evaluation of institutes of technology, 2. to analyze the implementation of comprehensive evaluation based on the meta-evaluation criteria through questionnaire survey, 3. to understand the viewpoints of meta-evaluation in the evaluators and the staff of the institutions evaluated, 4. to compare the differences in the opinions on meta-evaluation among evaluators and institution staff with different background, 5. to interview scholars and experts in the related fields of technological education & evaluation in order to understand their viewpoints about the implementation of evaluation on technological institutions, 6. to propose suggestions for educational administration authority based on the synthesized findings of questionnaire survey and interviews of this study.. Questionnaire survey and interview were adopted in this study. The major groups of stakeholders involved in the process of this study were: evaluators and the randomly chosen faculty members of schools which were evaluated by the Ministry of Education in 2006 & 2007, the representatives of educational administration authority and scholars in the field of technological education. ‘The Questionnaire of the Comprehensive Evaluation of Institutions of Technology’ & interview outlines were developed by the author as research tools. V.

(6) The major results of this study are as follows: 1. The criteria of meta-evaluation consist of 4 domains (utility , feasibility , propriety, accuracy), 21 dimensions and 72 items. 2. Based on the meta-evaluation criteria adopting a five-point Likert scale, the result indicates that the approval rating on the 4-domain components of meta-evaluation criteria was slightly higher than the average level in comprehensive evaluation. 3. The differences in opinions on meta-evaluation among those people with different background are discussed. 4. After the verification of the result of questionnaire survey and interview, the major findings are: (1) the evaluation can help schools achieve the goals of discovering problems, improving the current system, and upgrading educational quality, (2) the comprehensive evaluation is fair and objective that can reflect the real situation how schools operate; (3) the evaluative criteria are able to manifest the characteristics of technological education if they can be precisely interpreted; (4) it is suggested that the evaluators require the abilities in the fields of occupational specialty, technological education and evaluation; (5) school self-evaluation mechanism needs to be improved; (6) interviews with faculties and students during the evaluation process help to verify the school implementation system of educational plans, and to understand the teaching results; (7) it is proper to adopt grading system for comprehensive evaluation at the current stage; (8) the result of grading of comprehensive evaluation was considered reasonable to some extent; (9) it is agreed that the government’s administrative measures and distribution of subsidies were, to some degree, based on the result of evaluation;(10) the executive organization responsible for the evaluation project in schools can carry out the process smoothly; (11) most of the evaluators were able to keep to the evaluative ethics and advantage-taking avoidance principle; (12) the rights and interests of schools have been taken into full consideration; (13) the result of comprehensive evaluation of institutes of technology meets the expectation of the VI.

(7) public to some extent. Finally, suggestions for short- , medium- & long-term development and the directions of further research are proposed.. Key words: Institutes of Technology, Comprehensive Evaluation, Meta-Evaluation. VII.

(8) 目. 次. 第一章緒論...........................................................................................................1 第一節研究動機與目的.......................................................................1 第二節研究問題...................................................................................4 第三節重要名詞釋義...........................................................................5 第四節研究方法與步驟.......................................................................7 第五節研究範圍與限制.................................................................... 10 第二章文獻探討.................................................................................................13 第一節. 教育評鑑的意義與內涵 ....................................................... 13. 第二節主要國家高等教育評鑑制度 ............................................... 26 第三節我國技專校院評鑑之沿革與發展 ....................................... 44 第四節後設評鑑之理論與內涵........................................................ 59 第三章研究設計與實施.....................................................................................97 第一節研究架構................................................................................ 99 第二節研究對象.............................................................................. 101 第三節. 研究假設.............................................................................. 106. 第四節. 研究工具.............................................................................. 107. 第五節資料處理與分析方式...........................................................113 第六節實施程序...............................................................................115 第四章資料分析與討論...................................................................................125 第一節. 問卷調查資料分析與討論 ................................................. 126. 第二節專家訪談資料摘錄.............................................................. 259 第三節問卷調查與專家訪談結果綜合分析 ................................. 266 第五章結論與建議...........................................................................................279 第一節結論...................................................................................... 279 第二節建議...................................................................................... 285 VIII.

(9) 參考文獻 ………………………………………………………………………291 一、中文部分...................................................................................... 291 二、外文部分...................................................................................... 296 三、外文網站...................................................................................... 301 附錄 …………………………………………………………………………….303 附錄一：技術學院綜合評鑑正式問卷……………………….…… 303 附錄二：專家訪談紀錄……………………………….…...................323 附錄三：專家訪談紀錄摘要表……………………………….……..361 附錄四：技術學院綜合評鑑之後設評鑑標準………………………383. IX.

(10) 表. 次. 表 2-1-1 國內外學者對評鑑的定義彙整表................................................................. 14 表 2-1-2 國內外學者對教育評鑑的定義..................................................................... 16 表 2-2-1 USDE 認可和 CHEA 認可的區別 ................................................................ 28 表 2-3-1 91 年度與 95 年度技術學院行政類評鑑項目、權重比較表...................... 52 表 2-3-2 91 年度與 95 年度技術學院專業類科系評鑑項目、權重比較表.............. 53 表 2-3-3 技術學院評鑑辦理流程表............................................................................. 54 表 2-3-4 95、96 年度技術學院綜合評鑑結果分析表................................................ 58 表 2-3-5 95、96 年度技術學院綜合評鑑申覆結果分析表........................................ 58 表 2-4-1 不同評鑑階段實施後設評鑑之重點............................................................. 65 表 2-4-2 後設評鑑的邏輯架構..................................................................................... 67 表 2-4-3 七組後設評鑑標準......................................................................................... 68 表 2-4-4 「教育方案、計畫、教材評鑑標準」（1981）........................................... 69 表 2-4-5 「方案評鑑標準」（1994）........................................................................... 71 表 2-4-6 「方案評鑑標準」各向度項目意義說明（1994）....................................... 72 表 2-4-7 「美國評鑑協會」（American Evaluation Association, AEA）的「方案評鑑標準」（1982） ............................................................................................ 75 表 2-4-8 國內後設評鑑相關研究之依據、評鑑項目、標準、方法之比較............. 93 表 3-2-1 95、96 年度接受評鑑技術學院一覽表...................................................... 102 表 3-6-1 調查問卷回收情形表................................................................................... 115 表 3-6-2 效用性量表的分析結果............................................................................... 116 表 3-6-3 可行性量表的分析結果............................................................................... 119 表 3-6-4 適切性量表的分析結果............................................................................... 120 表 3-6-5 精確性量表的分析結果............................................................................... 123 表 4-1-1 有效樣本基本資料分析............................................................................... 127 表 4-1-2 效用性正式量表的信度分析....................................................................... 129 X.

(11) 表 4-1-3 效用性（Utility）正式量表的二階驗證性因素分析 ................................ 131 表 4-1-4 可行性正式量表的信度分析....................................................................... 134 表 4-1-5 可行性（Feasibility）正式量表的二階驗證性因素分析.......................... 135 表 4-1-6 適切性正式量表的信度分析....................................................................... 136 表 4-1-7 適切性（Propriety）正式量表的二階驗證性因素分析............................ 138 表 4-1-8 精確性正式量表的信度分析....................................................................... 141 表 4-1-9 精確性（Accuracy）正式量表的二階驗證性因素分析 ........................... 142 表 4-1-10. 整體填答者於後設評鑑四構面之平均數與標準差摘要表..................... 144. 表 4-1-11. 效用性（Utility）構面各向度之結果分析 .............................................. 145. 表 4-1-12. 可行性（Feasibility）構面各向度之結果分析........................................ 147. 表 4-1-13. 適切性（Propriety）構面各向度之結果分析.......................................... 148. 表 4-1-14. 精確性（Accuracy）構面各向度之結果分析 ......................................... 151. 表 4-1-15 「評鑑執行單位人員瞭解技術學院綜合評鑑的目的」交叉分析........... 154 表 4-1-16 「評鑑委員了解技術學院綜合評鑑目的及重要性」交叉分析............... 155 表 4-1-17 「受評學校行政主管與人員了解評鑑目的及重要性」交叉分析........... 156 表 4-1-18 「評鑑執行單位人員瞭解技職教育目標與特色」交叉分析................... 157 表 4-1-19 「評鑑委員了解技職教育目標與特色」交叉分析................................... 158 表 4-1-20 「評鑑委員具有評鑑的專業知能與經驗」交叉分析............................... 159 表 4-1-21 「評鑑委員之組成符合受評學校類組之專業」交叉分析....................... 160 表 4-1-22 「評鑑委員能遵守倫理，謹守評鑑的相關規定」交叉分析................... 161 表 4-1-23 「評鑑項目與指標能彰顯技職教育目標與特色」交叉分析................... 162 表 4-1-24 「評鑑項目與指標能涵蓋學校重要教學、研究與服務」交叉分析....... 163 表 4-1-25 「評鑑項目與指標的配分比例恰當」交叉分析....................................... 164 表 4-1-26 「評鑑項目與指標能讓學校呈現量化與質化說明資料」交叉分析....... 165 表 4-1-27 「評鑑項目與指標足以評量學校之現況與優缺點」交叉分析............... 166 表 4-1-28 「評鑑執行單位能清楚說明綜合評鑑的目標、模式、程序，以利評鑑工 ...................................................................................................................... 167 XI.

(12) 作的進行」交叉分析 .................................................................................................... 167 表 4-1-29 「技術學院綜合評鑑採等第制，分為一等、二等、三等、四等，適合現階段技職教育發展需求」交叉分析 .............................................................. 168 表 4-1-30 「對評鑑結果的解釋能將其他受評學校的表現作整體評比」交叉分析169 表 4-1-31 「評鑑委員能相互溝通意見，歸納小組評鑑結果」交叉分析............... 170 表 4-1-32 「評鑑報告能明確列出受評學校的優缺點」交叉分析........................... 171 表 4-1-33 「評鑑報告能明確列出改善建議」交叉分析........................................... 172 表 4-1-34 「評鑑報告內容與評鑑委員實地評鑑時表達之意見具有一致性」交叉分析 ...................................................................................................................... 173 表 4-1-35 「評鑑報告內容與受評學校獲得之等第具有一致性」交叉分析........... 174 表 4-1-36 「年度受評學校在行政、專業類組評鑑結果的等第分佈比例合理」交叉分析 .................................................................................................................. 175 表 4-1-37 「評鑑結果在每年 5 月公布，時間恰當」交叉分析............................... 176 表 4-1-38 「評鑑結果透過記者會說明並上網公告，能提供社會大眾瞭解學校辦學情形」交叉分析 .............................................................................................. 177 表 4-1-39 「評鑑結果作為政府招生政策之參考依據是合理的」交叉分析........... 178 表 4-1-40 「評鑑結果作為政府獎補助經費參考之依據是合理的」交叉分析....... 179 表 4-1-41 「評鑑結果作為學校調整學雜費之參考依據是合理的」交叉分析....... 180 表 4-1-42 「評鑑結果作為學校改名科技大學的依據之一是合理的」交叉分析... 181 表 4-1-43 「評鑑委員查閱資料的時間充裕，足以檢視、驗證資料的可靠性」交叉分析 .................................................................................................................. 182 表 4-1-44 「評鑑委員能於晤談前，讓受訪者瞭解晤談目的，並遵守保密原則」交叉分析 .............................................................................................................. 183 表 4-1-45 「評鑑委員與學生晤談時間充裕，能了解學生學習、生活之狀況」交叉分析 .................................................................................................................. 184 表 4-1-46 「評鑑委員與教師晤談間充裕，能了解教師教學與研究之狀況」交叉分析 ...................................................................................................................... 185 XII.

(13) 表 4-1-47 「評鑑委員事前能經由行前說明會瞭解當前技職教育重要政策」交叉分析 ...................................................................................................................... 186 表 4-1-48 「評鑑執行單位能於訪評過程協助受評學校與評鑑委員溝通，使評鑑工作順利進行」交叉分析 .................................................................................. 187 表 4-1-49 「評鑑單位收到相關團體或個人對評鑑委員或受評學校的惡意攻訐能明快、公正查證處理」交叉分析 .................................................................. 188 表 4-1-50 「為期各一天的行政評鑑與專業類評鑑足以判斷學校辦學成效」交叉分析 ...................................................................................................................... 189 表 4-1-51 「各類組評鑑委員人數安排恰當，足以瞭解學校辦學績效並提供改進建議」交叉分析 ...................................................................................................... 190 表 4-1-52 「日間部評鑑結束後，進行進修部的評鑑，時間安排妥適」交叉分析 191 表 4-1-53 「進修部的評鑑委員人數安排恰當，足以瞭解辦理績效並提供改進建議」交叉分析 ...................................................................................................... 192 表 4-1-54 「評鑑執行單位能妥善規劃並掌握時程，使評鑑工作順利進行」交叉分析 ...................................................................................................................... 193 表 4-1-55 「評鑑執行單位能在評鑑作業整體過程中隨時協助回應學校及委員的問題」交叉分析 .............................................................................................. 194 表 4-1-56 「受評學校能在接受評鑑前，充分瞭解評鑑作業進行的程序」交叉分析 ...................................................................................................................... 195 表 4-1-57 「受評學校經舉證確實的理由，可提出申請迴避的委員名單，是恰當的做法」交叉分析 .............................................................................................. 196 表 4-1-58 「受評學校對評鑑報告公布前存有疑義，應可提出申覆」交叉分析... 197 表 4-1-59 「評鑑委員能詳細聆聽受評學校的簡報與說明」交叉分析................... 198 表 4-1-60 「晤談時，評鑑委員能摒除主觀認知，傾聽師生的陳述」交叉分析... 199 表 4-1-61 「晤談時，評鑑委員能客觀詢問，查探回答的真實性，並遵守保密的義務」交叉分析 ...................................................................................................... 200 表 4-1-62 「評鑑委員能在預定時程內充分檢驗書面資料，瞭解行政或教學情形」交 XIII.

(14) 叉分析 .......................................................................................................... 201 表 4-1-63 「評鑑委員能詳細記錄受評學校的優缺點」交叉分析........................... 202 表 4-1-64 「評鑑委員能客觀依據個別學校的發展與需求，提供具體可行的建議」交叉分析 .......................................................................................................... 203 表 4-1-65 「評鑑結果的完整資料取得方便」交叉分析........................................... 204 表 4-1-66 「評鑑結果為三等以下之科系所需接受追蹤輔導與追蹤評鑑的設計是適切的」交叉分析 .............................................................................................. 205 表 4-1-67 「評鑑結果能為社會大眾所接受」交叉分析........................................... 206 表 4-1-68 「評鑑委員對兼課、合作、師生關係、競爭關係等利益相關學校，能確實迴避」交叉分析 .......................................................................................... 207 表 4-1-69 「評鑑委員未能遵守迴避原則，一經舉發，不得再參與評鑑工作是適切的」交叉分析 ...................................................................................................... 208 表 4-1-70 「評鑑委員的工作負荷與報酬是合理的」交叉分析............................... 209 表 4-1-71 「榮譽屬性使評鑑委員樂意接受評鑑的工作」交叉分析....................... 210 表 4-1-72 「榮譽屬性使評鑑委員樂意付出時間參與評鑑」交叉分析................. 211 表 4-1-73 「受評學校填報量化資料正確無誤」交叉分析....................................... 212 表 4-1-74 「受評學校自我評鑑報告能確實呈現實際現況」交叉分析................... 213 表 4-1-75 「評鑑前進行學生、教師、行政人員的問卷調查，有助於增加評鑑結果客觀性」交叉分析 .......................................................................................... 214 表 4-1-76 「評鑑委員能考量受評學校發展目標的特性」交叉分析....................... 215 表 4-1-77 「評鑑委員能考量受評公私立學校資源的差異」交叉分析................... 216 表 4-1-78 「評鑑委員能考量受評學校地理位置的差異」交叉分析....................... 217 表 4-1-79 「評鑑委員能考量受評學校學生程度的差異」交叉分析....................... 218 表 4-1-80 「評鑑執行單位能於評鑑前彙整並提供完整的量化與質化資訊」交叉分析 ...................................................................................................................... 219 表 4-1-81 「評鑑委員對每一評鑑項目能交叉檢核，以增加評鑑之可靠度」交叉分析 ...................................................................................................................... 220 XIV.

(15) 表 4-1-82 「評鑑委員能藉由與學生、教師、行政人員晤談、資料查閱，多方蒐集足夠的意見及資料」交叉分析 ...................................................................... 221 表 4-1-83 「評鑑委員對晤談所獲資訊，能以專業判斷真實性，並經印證後才會引用」交叉分析 ...................................................................................................... 222 表 4-1-84 「評鑑報告內容不受評鑑委員個人主觀意識影響」交叉分析............... 223 表 4-1-85 「評鑑報告內容不受學校請託影響」交叉分析....................................... 224 表 4-1-86 「評鑑報告內容反映學校行政與專業科系所實際狀況」交叉分析....... 225 表 4-1-87 不同身分者在效用性（Utility）構面向度之 t 檢定 ................................. 228 表 4-1-88 不同身分者在可行性（Feasibility）構面向度之 t 檢定........................... 229 表 4-1-89 不同身分者在適切性（Propriety）構面向度之 t 檢定............................. 230 表 4-1-90 不同身分者在精確性（Accuracy）構面向度之 t 檢定 ............................ 231 表 4-1-91 不同性別者在後設評鑑效用性（Utility）構面向度之 t 檢定 ................. 232 表 4-1-92 不同性別者在後設評鑑可行性（Feasibility）構面向度之 t 檢定........... 233 表 4-1-93 不同性別者在後設評鑑適切性（Propriety）構面向度之 t 檢定............. 234 表 4-1-94 不同性別者在後設評鑑精確性（Accuracy）構面向度之 t 檢定 ............ 235 表 4-1-95 不同評鑑經驗者在後設評鑑效用性（Utility）構面向度之 t 檢定 ......... 236 表 4-1-96 不同評鑑經驗者在後設評鑑可行性（Feasibility）構面向度之 t 檢定... 237 表 4-1-97 不同評鑑經驗者在後設評鑑適切性（Propriety）構面向度之 t 檢定..... 238 表 4-1-98 不同評鑑經驗者在後設評鑑精確性（Accuracy）構面向度之 t 檢定 .... 239 表 4-1-99 不同學歷者對效用性構面各向度之平均數與標準差............................... 240 表 4-1-100 不同學歷者對效用性構面各向度之單因子變異數分析......................... 241 表 4-1-101 不同學歷者對可行性構面各向度之平均數與標準差............................. 242 表 4-1-102 不同學歷者對可行性構面各向度之單因子變異數分析......................... 242 表 4-1-103 不同學歷者對適切性構面各向度之平均數與標準差............................. 243 表 4-1-104 不同學歷者對適切性構面各向度之單因子變異數分析......................... 244 表 4-1-105 不同學歷者對精確性構面各向度之平均數與標準差............................. 245 表 4-1-106 不同學歷者對精確性構面各向度之單因子變異數分析......................... 246 XV.

(16) 表 4-1-107 不同職務者在後設評鑑效用性構面各向度之平均數與標準差............. 247 表 4-1-108 不同職務者在後設評鑑效用性構面各向度之單因子變異數分析......... 249 表 4-1-109 不同職務者在後設評鑑可行性構面各向度之平均數與標準差............. 250 表 4-1-110 不同職務者在後設評鑑可行性構面各向度之單因子變異數分析......... 251 表 4-1-111 不同職務者在後設評鑑適切性構面各向度之平均數與標準差............. 252 表 4-1-112 不同職務者在後設評鑑適切性構面各向度之單因子變異數分析......... 254 表 4-1-113 不同職務者在後設評鑑精確性構面各向度之平均數與標準差............. 255 表 4-1-114 不同職務者在後設評鑑精確性構面各向度之單因子變異數分析......... 256 表 4-1-115 研究假設與驗證結果對照表..................................................................... 257 表 4-3-1 技術學院綜合評鑑問卷調查與專家訪談研究發現之異同比較分析....... 266. XVI.

(17) 圖. 次. 圖 1-4-1. 研究流程……………………………………………………………9. 圖 2-2-1. 96 年度技術學院評鑑組織編制圖……………………………….50. 圖 2-3-1. 技術學院實地評鑑流程圖………………………………………..56. 圖 2-4-1. 後設評鑑方案規劃的程序與步驟………………………………..81. 圖 3-1-1. 研究架構………………………………………………………….100. 圖 3-4-1. 問卷研擬過程…………………………………………………….109. 圖 3-4-2. 訪談內容研擬過程……………………………………………….112. XVII.

(18) 第一章緒論第一節. 研究動機與目的. 近 10 餘年來，因應教育改革的世界潮流，廣設高中大學，我國大學校院快速擴增，2006 年國內高等教育學生數占總人口比率，已達千分之 59.6，較之歐美先進國家，美國千分之 58.6、澳大利亞千分之 51.3、英國千分之 38.5、日本千分之 32 均高，僅略低於南韓千分之 65.7（教育部，2008），我國高等教育也由菁英教育邁向大眾教育，目前已成為普及教育（戴曉霞，2000）。97 學年度普通大學 71 校，科技大學 40 校，技術學院 38 校，專科學校 15 校，大專校院在學學生數達到 133 萬餘人（教育部，2008），其中尤以高等技職教育數量快速擴增，量的增加固然可以提供學生充裕的入學管道與選擇機會，但如何確保教育品質，善盡人才培育責任，更是社會大眾關注焦點。. 由於工商企業界盛行「績效責任」的影響，及政府在教育經費及資源減縮情況下，要求確保高等教育的品質遂成為台灣教育界所面臨的挑戰 (楊瑩，2007)。為了解教育的品質優劣價值，教學績效多以評鑑作為判斷依據。專科學校的評鑑始於民國 64 年，為我國大專評鑑之濫觴，每 4 年一輪，藉由評鑑委員的實地訪視，輔導學校改善教學品質。自 85 年開始，陸續因專科改制技術學院、技術學院改名科技大學，訪視與評鑑作業交互進行，評鑑指標逐次修正，評鑑結果上網公佈。由於評鑑作業歷來均由教育主管單位主動規劃辦理，評鑑結果對外提供家長、學生選擇參考，對內卻也同時成為改制、改名之門檻、學雜費調整、招生人數及相關獎補助核定之參據。技專校院的評鑑工作經過近三十多年的運作、檢討與改進後，著實產生了反應行政督導、引導良性辦學競爭等不同階段之功能，特別是這幾年已有以下幾個顯著的效能：導引辦學理念與成效資訊的公開化；促進各校之自我檢視與改進；優劣. 1.

(19) 比較激發技專校院品質的蛻變，同時提供社會大眾對於技職教育的進一步認識以及足夠的省思空間，並間接地促進學校教育品質的提升等（林尚平， 2007），綜合而言，外界對於評鑑的執行成效與功能也大抵抱持肯定的評價。. 技專校院評鑑工作固然已經發展出相當程度的成熟制度，但進一步探究，則可發現仍舊存在著問題和質疑，有學者（黃政傑，1996）指出學校相關行政人員或教師為求評鑑績效，難免隱惡揚善，未能深入觀察及蒐集動態過程和實質表現的資料；評鑑人員在短暫的時間內能否盡窺一所學校教職人員平時努力的成果（詹益成，2003）？技專校院評鑑的哲學與目的有待商榷，設計的基準為何採取等第制而非認可制（徐昌慧，2009）？此外，在技專校院評鑑層面，仍常有人質疑究竟技專校院評鑑指標與普通大學評鑑有何區隔？學校自我評鑑的功能是否落實？一體適用的評鑑指標要如何彰顯各校發展特色？評鑑委員是否具備專業知能？校務基本資料庫之量化資訊是否能完整呈現各校辦學成效？評鑑結果與行政措施結合運用是否合宜？評鑑規劃單位與執行單位在作業過程是否公平客觀？也因如此，評鑑給人的觀感難免還是有流於形式、未盡公平及未能深入之刻板印象。此為研究動機之一。. 針對評鑑的批評每年或多或少持續出現，但由評鑑承辦單位在年度例行評鑑完成後提供之結案資料主要為各校評鑑報告及等第，針對該次評鑑工作的整體檢視卻著墨不多，即便提供了也難免因角色限制而有盲點；而教育部雖於評鑑公布後皆另召開大型檢討會，但因時間有限，且並未聚焦於專業探討，因此每年評鑑極易落入「援例執行」的循環，未能就相關疑義逐一檢視、徹底研析，此為研究動機之二。. 為了廣納各方意見，了解問題癥結，故需要實施「後設評鑑」以提供評鑑工作的品質保證及評鑑的可靠性（羅文全，2005）。後設評鑑的對象即是評鑑工作的所有過程，而最主要的功用在於指引及改進評鑑的規劃、設計與實 2.

(20) 施，並用以判斷評鑑方案的品質與價值，以提升評鑑的公信力（王明源， 2008）。因此，對於評鑑政策的規劃、評鑑指標的研訂、評鑑過程的實施、評鑑報告的撰寫、評鑑結果的與運用等，均需要檢討改善。本研究將以技術學院的後設評鑑為重點，兼採量化及質化研究方法，以調查問卷蒐集並分析評鑑委員、受評學校代表對技術學院綜合評鑑之看法；輔以專家訪談之質化研究，瞭解技職教育領域及評鑑學者專家對技術學院評鑑作業是否達成預期目標、評鑑過程是否公正客觀並顧及受評者的權益、評鑑指標是否適合不同類別學校、評鑑報告是否完整公平…等看法，綜合整理分析以探討技術學院評鑑作業改進的可行性。. 基於上述研究動機，本研究之目的有：. 一、發展技術學院評鑑之後設評鑑標準。二、依據後設評鑑標準實施問卷調查，分析技術學院綜合評鑑實施情形。三、瞭解技術學院評鑑委員及受評學校人員在後設評鑑之看法。四、比較不同背景評鑑委員及受評學校人員在後設評鑑看法的差異。五、訪談技職教育及評鑑專業領域之學者專家，瞭解渠等對技術學院評鑑之看法。六、綜合比較問卷調查與專家訪談結果，歸納研究結論，提出建議，供主管教育行政機關參考。. 3.

(21) 第二節. 研究問題. 根據前述研究動機與目的，本研究所要探討的問題如下：一、國內外大學校院評鑑的重要文獻為何？二、國內外大學校院評鑑的實施現況為何？三、後設評鑑的理論、內涵、標準為何？四、國內大學校院後設評鑑相關研究情形如何？五、我國技術學院綜合評鑑的後設評鑑標準為何？六、我國技術學院綜合評鑑之評鑑委員與受評學校人員對後設評鑑看法如何？七、評鑑委員及受評學校人員在後設評鑑之效用性、可行性、適切性、精確性等四個構面之看法是否具有差異？八、不同背景變項之評鑑委員、受評學校人員在後設評鑑之效用性、可行性、適切性、精確性等四個構面之看法是否有顯著差異？九、技職教育及評鑑專業領域學者專家對技術學院評鑑相關議題之看法為何？十、依據後設評鑑結果，對技術學院綜合評鑑之改進建議為何？. 4.

(22) 第三節重要名詞釋義. 本研究重要名詞包括：所研究的對象為「技術學院」，探討的主題是技術學院「綜合評鑑」的「後設評鑑」。本節將上述主要名詞之意義詮釋如下。. 壹、技術學院（Institute of Technology）我國高等技職教育體系依設立學制之不同，計有科技大學、技術學院、專科學校。技術學院設有四年制技術系，以招收高職畢業生為主；二年制技術系則招收二專或五專畢業生，學生畢業後均授予學士學位。多數由專科學校改制之技術學院均附設專科部。. 本研究所指之技術學院專指獨立之技術學院，不包含普通大學設立之二年制技術學院系所，並以 95 學年度接受評鑑之 14 所、96 學年度接受評鑑之 20 所技術學院為主要調查對象。. 貳、綜合評鑑（Comprehensive Evaluation）技術學院之綜合評鑑係教育部依據大學法第 5 條規定，以採購法委託學術團體辦理，援例每 4 年一輪，旨在診斷各校教學品質及評核辦學成效，並公告其結果，作為教育經費補助及學校調整發展規模之參考。其性質為綜合評鑑，分為行政類與專業類（教育部，2009）。行政類針對綜合校務、教務、訓輔及行政支援（包括：董事會、會計、人事、總務）評鑑；專業類針對各專業系所科之發展目標與策略辦法、師資與設備、教學品質與成效、研究與技術發展成果評鑑（教育部，2006）。二類分別訂定指標，邀請學者專家分組進行之。. 5.

(23) 參、後設評鑑（Meta-Evaluation）後設評鑑是「評鑑的評鑑」（The evaluation of evaluation），即由另一評鑑者去評鑑一項已完成的評鑑（Stufflebeam, 2001）。換言之，即是將原來的評鑑者置於受評者的位置，對該評鑑者及其評鑑活動之表現進行價值判斷。形成性的後設評鑑用以協助評鑑者設計、規劃、改進、並執行一項良好的評鑑；總結性的後設評鑑在評鑑結束後辦理，藉以瞭解該項評鑑的優點與缺點，並據以判斷其功能與價值（Stufflebeam，2001）。本研究係於技術學院綜合評鑑完成後，就整體評鑑結果的效用性、可行性、適切性與精確性，結合評鑑作業之規劃、實施、資料與報告處理、行政配合措施等進行總結性後設評鑑。. 6.

(24) 第四節. 研究方法與步驟. 壹、研究方法本研究兼採質化與量化研究法，以實地觀察、問卷調查及專家訪談等方法，深入探究技術學院評鑑整體運作狀況。所採用的各項研究方法中，以問卷調查為後設評鑑評估的主要依據，其餘實地觀察、專家訪談所得結果，或據以建立問卷內容，或據以深入補充或闡述調查結果，以下分別敘述之。. 一、實地觀察實際隨團觀察技術學院評鑑活動進行過程，瞭解技術學院行政類組、專業類組評鑑之實況，以為研擬後設評鑑調查問卷及專家訪談題綱之依據。. 二、問卷調查本研究根據文獻分析結果，依據北美教育評鑑標準聯合委員會(JCSEE) 「方案評鑑標準」的四個構面：效用性（Utility）、可行性（Feasibility）、適切性（Propriety）與精確性（Accuracy），參採國內後設評鑑標準、我國技術學院綜合評鑑現況研擬「我國技術學院綜合評鑑調查問卷」作為問卷調查工具，並徵詢規劃與執行技術學院評鑑之相關單位人員意見後修正之。問卷分受評學校及評鑑委員二類調查對象，以 95 年度及 96 年度參與技術學院評鑑之委員及接受評鑑之技術學院行政主管、系所主任、專任教師為母群體，進行抽樣問卷調查。. 三、專家訪談. 7.

(25) 針對技術學院綜合評鑑現存之議題，訪問 1.教育行政機關高層主管、2. 教育行政機關業務主管科長、3.技術學院評鑑執行單位規劃人員、4.受評學校代表、5.評鑑委員—學術界代表、6.評鑑委員—業界代表、7.評鑑委員—技職教育評鑑研究學者、8.後設評鑑、學校自評研究學者、9.評鑑、技職教育評鑑及後設評鑑研究學者，分別研擬訪談題綱，將訪談結果併同問卷調查深入交叉分析，並納入研究結論與建議事項參考。. 貳、研究步驟本研究首先依據前述之研究背景、動機與目的，進行相關文獻的彙整，其後設計調查問卷及專家訪談題綱，俟問卷發放及回收作業、訪談紀錄完成後，進行量化的統計分析與質的綜合比較，最後再根據比較分析驗證之結果，提出結論與建議。其流程如圖 1-4-1 所示。. 8.

(26) 研究動機與目的第一階段：研究發起階段. 擬定研究範圍文獻資料與蒐集. 第二階段：文獻探討階段. 1.教育評鑑的意義與內涵 2.先進國家高等教育評鑑制度分析 3.我國技專校院評鑑之沿革與發展 4.後設評鑑的理論與內涵. 文獻整理與探討. 研究架構與方法第三階段：研究設計與實施階段. 研究變數的範疇與定義受評學校【問卷調查】. 評鑑委員【問卷調查】. 專家學者【個別訪談】. 1.問卷內容設計. 1.訪談內容設計. 2.專家意見修正. 2.受訪名單確定. 3.問卷發放. 3.訪談進行 4.訪談資料整理. 資料輸入與彙整. 第四階段：資料分析階段. 綜合比較與分析. 研究結果與發現. 第五階段：結論與建議導出階段. 結論與建議圖 1-4-1. 研究流程. 9.

(27) 第五節. 研究範圍與限制. 本研究旨在建構技術學院綜合評鑑之後設評鑑標準，並據以檢視技術學院綜合評鑑的規劃執行情形。以下就研究範圍與研究限制說明之。. 壹、研究範圍一、研究對象本研究量化研究範圍以參與 95 年度、96 年度技術學院綜合評鑑之評鑑委員及受評學校之行政主管、系所主管、專任教師為研究對象；質化研究部分採立意取樣選擇 9 位代表，包含：教育行政主管機關、技術學院綜合評鑑執行單位、受評學校、評鑑委員及從事評鑑研究學者。. 二、研究工具本研究以「我國技術學院綜合評鑑調查問卷」為量化研究工具，進行問卷調查實證研究；以「訪問題綱」為質化研究工具，進行專家訪談。. 三、研究項目本研究之量化研究部分，後設評鑑標準根據北美教育評鑑標準聯合委員會(JCSEE)1994 年修訂的「方案評鑑標準」並參採國內相關後設評鑑研究量表、我國技術學院綜合評鑑作業之規劃、實施、資料與報告處理、行政配合措施等制訂。量表共分為四個構面：效用性（Utility）、可行性（Feasibility）、. 10.

(28) 適切性（Propriety）與精確性（Accuracy），共 21 個向度。質化研究部分之專家訪談題綱以當前社會關切之技術學院評鑑議題為主要內容。. 貳、研究限制一、研究推論方面本研究以 95、96 年度接受教育部委託國立雲林科技大學辦理之技術學院綜合評鑑之評鑑委員及受評學校相關人員為量化研究樣本；以技術學院綜合評鑑為質化研究議題，訪談學者專家，故研究結果如要推論至其他技職校院，如：科技大學、專科學校之後設評鑑時，則需進行進一步研究。. 二、研究內容方面本研究量化研究部分係在探討評鑑委員及受評學校之行政主管、系所主管、專任教師對技術學院之後設評鑑看法，未觸及學生意見與看法，故於應用時應有限制。. 三、研究設計方面本研究之量化研究工具為調查問卷，並以評鑑委員及受評學校行政及系所主管、教師為調查對象，研究結果會產生當事人主義、消費者主義之限制；此外，填答者可能因為問題敏感而有防衛心裡，或因為對已公布之評鑑成績滿意或不滿意，進而對問卷內容之解讀有所偏差，以致可能造成測量上的誤差。. 11.

(29) 12.

(30) 第二章文獻探討在知識經濟的現代，追求卓越，提升品質，已是世界各國高等教育的熱門話題。高等教育是推動國家發展，也是提昇國際競爭力的泉源，肩負著培育國家高級人才的使命與功能。我國高等技職教育體系正式實施專科評鑑迄今已有三十餘年歷史，是所有類型學校評鑑中最早建立定期例行評鑑制度的教育體系。. 本章針對教育評鑑的意義與內涵、先進國家高等教育評鑑的概況、我國技術學院綜合評鑑之實施、後設評鑑的理論與研究，進行資料蒐集、分析與探討，以奠定本研究之理論基礎，作為研究結果討論之依據。. 第一節教育評鑑的意義與內涵. 評鑑(Evaluation)是最近半世紀以來，深受教育界重視的一個課題，評鑑活動是一個系統化資料蒐集與複雜之價值判斷過程，包含事前規劃、事中運作與事後檢討（Stufflebeam, 1974a），教育當局與學校可藉此瞭解辦學績效之良窳。我國實施教育評鑑的年代，始於民國 52 年教育部與聯合國兒童教育基金會簽署國民教育實施方案，在方案中規劃評鑑計畫（盧增緒，1995）。嗣後，教育行政機關陸續局部辦理小學評鑑、高中評量與輔導工作評鑑，民國 64 年才有教育部對專科學校實施全面性的評鑑，此後，各個教育層級的學校陸續開始實施評鑑，可知教育評鑑的重要性。因為教育評鑑結果的良窳關係到國家教育革新與發展，進而影響國家國民素質與整體競爭力。我國 88 年訂定的「教育基本法」第十三條條文中，明訂政府與民間應加強教育評鑑工作（李國偉，1996；吳清山，1999；顏國樑，2000），亦顯示評鑑對教育的重要性。大學法第五條、專科學校法第六條均明白揭示教育部應定期辦理大學評鑑、. 13.

(31) 專科學校評鑑，相關評鑑辦法亦均已由教育部訂定發布實施。. 壹、教育評鑑的意義 Stufflebeam 在 1966 年提出評鑑的定義在於「提供有用資料以作決定的歷程」（黃光雄，2005），當時並獲得美國教育署、部分大學區、研究發展機構的認同，接著發展出 CIPP 模式，並在 1971 年提出正式定義為：「評鑑是一種劃定、獲取，及提供敘述性與判斷性資訊的歷程。那些資訊涉及研究對象之目標、設計、實施，及影響的價值與優點，以便指導如何作決定，符合績效的需求，並增進對研究現象的瞭解。」. 依據吳清山、王湘栗（2004）對評鑑所蒐集各學者定義如表 2-1-1：表 2-1-1 國內外學者對評鑑的定義彙整表學者. 評鑑的定義評鑑是為了判斷可用的決策所做的描述、獲取及提供有用資. Stufflebeam(1973) 訊的過程。 Tenbrink(1974). 評鑑是獲得資訊進而形成判斷，並據以作決定的過程。. Chelimsky(1985). 評鑑是應用系統化研究方法以評估方案的設計、實施與效益。評鑑不在證明，而在改進。評鑑是一種計畫、獲取和提供敘. Stufflebeam 和. 述性、判斷性資訊的過程。這些資訊涉及研究對象的目標、. Shinknfield(1985). 設計、實施和影響的價值及優缺點，以便指導如何決策，滿足教學效能核定的需要，增加對研究對象的瞭解。. Worthen Sanders(1987) Alkin(1990). 和. 評鑑是決定某件事情的價值。評鑑涉及系統化地蒐集、分析及報告一些可以用來改變態度或改進方案運作資料的活動，其中系統化指評鑑需經過規劃。. 14.

(32) 學者. 評鑑的定義評鑑是提供決策者有關於方案運作或效能的可信、有效、相. McLauaglin(1990) 關且有用的資訊。 House(1993). 評鑑是依據適當的標準來決定事物的程度或價值。. Worthen, Sanders. 評鑑是包含定義、說明、可辨證的參考準則等，以決定受評. 和Fitzpatrick(1997). 對象的價值、品質、有效性或重要性。評鑑是一個持續的探究過程，探究有關社會、經濟、環境條件與方案內部發展環境的過程，探究有關方案如何設計、方. Douglah(1998) 案傳遞給觀眾的意圖等問題，探究有關方案欲產生成果的相關問題。 Boulmetis Dutwin(2000). 和評鑑是一個蒐集與分析資訊的系統化過程，以決定目標是否達成或目標達成的程度。評鑑是某一對象之目標、設計、執行和成果的優點、價值的描述性、判斷性資訊的陳述、獲得、提供和應用的歷程，以. Stufflebeam(2003) 作為改進決策之指引，提供績效責任報告，制度化通報和傳布決定，以更瞭解所參與的現象。張春興（1989）. 評鑑泛指對某種事物的價值予以評定的歷程，是在某種有計畫的活動實施之後，按照預定目標檢核得失的歷程。. 吳芝儀、李奉儒譯評鑑是任何藉由系統的、以資料為基礎的探究，來檢驗和判（1995）. 斷為了增進人類福祉而作的努力，俾便理解其達成的成就和有效性。. 謝文全（2003）. 評鑑是對事務加以審慎的評析，以量定其得失及原因，據以決定如何改進或重新計畫的過程。. 陳玉琨（2004）. 評鑑是一種價值判斷的活動，是對客體滿足主體需要程度的判斷。. 15.

(33) 至於教育評鑑的定義，根據目前國內外學者的陳述，歸納如表 2-1-2：表 2-1-2 國內外學者對教育評鑑的定義學者. 教育評鑑的定義. Tyler (1949). 一個決定學校課程教學達成教育目標程度的過程。. Cronbach(1963). 蒐集並使用資訊以決定教育課程。. Kerr（1968）. 評鑑目的是檢驗學校課程是否達到目標或者正朝目標邁進。. Bloom（1970）. 評鑑是取得在教學具體目標上的成就證據。. Hamilton（1976）. 衡量教學方法的價值，其過程就是課程評鑑。. Jenkins（1976）. 教育評鑑是在描述所取得的有效資料，以提供決策參考。. Parlett & Hamilton （1976） Cronbach（1980）. 評鑑是對內容加以解釋闡述。評鑑是有系統檢驗當前教學方案或隨之發生的事件—目的在協助改善受檢驗的教學方案或其他方向相同的教學方案。. Nevo（1986）. 評鑑是評估功績及價值的機制。. Hopkins（1989）. 評鑑能提供方法以實踐教育理念，並監督及加強課程發展。. Norris（1990）. 教育評鑑與社會規劃、社會控制有關。. 北美「教育評鑑標準聯合委員會」 (The Joint Committee on. 有系統的評估某一對象的價值或優點。. Standard for Educational Evaluation, 1994) Nevo(1995) Worthen Sanders(1987). 蒐集有關教育目標其本質與品質方面系統化的資訊之行動。和對一個方案、結果、計畫、過程、目標或課程之品質、效能或價值，做出正式的決定。教育評鑑是對教育事業的價值作嚴正的品評。評估的範圍甚. 李緒武（1993）. 廣，教師教學情況，教學計畫，教學成果，考試制度，課程教材，教育計畫，教育目標以及所有指導學生的學習活動，都可加以品評，鑑定其成效。. 16.

(34) 學者吳清山、林天祐（1999）. 教育評鑑的定義教育評鑑係指對於教育現象或活動，透過有系統和客觀的方法來蒐集、整理、組織和分析各項教育資料，並進行解釋和價值判斷，以作為改進教育缺失，謀求教育健全發展的歷程。. 秦夢群（2000）. 對於教育現象或活動，透過蒐集、組織、分析資料，加以描述與價值判斷的歷程。. 林天祐、蔡菁芝教育評鑑為系統化地蒐集資訊，以作為促進、達成教育目標（2001）. 的評價過程。教育評鑑是對教育活動滿足社會與個體需要的程度做出判. 陳玉琨（2004）. 斷的活動，是對教育活動現實的（已經取得的）或潛在的（還未取得，但有可能取得的）價值做出判斷，以期達到教育價值增值的過程。「教育評鑑係有系統地採用各種有效方法，蒐集質與量的資. 蘇錦麗（2004）. 料，對照評鑑準則（指標或標準），以判斷任一教育對象之價值或優缺點的過程，並將其結果做為決策之參考。對於教育現象或活動，就其人員、方案、運作結果，對照評. 吳清山、王湘栗鑑標準，透過質與量的方法，採系統而客觀地蒐集、分析資（2004）. 訊，進行價值判斷，以了解教育成效、改進教育缺失和達成教育目標的歷程。. 資料來源：Evaluation Methods in Research (p.5)，by J. Bennet, 2003. London: Continuum.，郭昭佑（2006）. 貳、教育評鑑的模式在評鑑的發展歷程中，評鑑專家學者們基於方法論及評鑑重點的不同，而發展出許多不同的評鑑模式，以下謹列出十種較常使用的模式，茲分別說明如下（秦夢群，1998；黃政傑，1993；曾淑惠，2004；黃光雄，2005；蘇錦麗等，2005）：. 17.

(35) 一、目標達成模式（Goal-attainment model）此模式係由教育評鑑之父 Taylor 所倡導，並運用於 1930 年代所進行的「八年研究」中，又稱為目標本位模式（Goal/ Objective-based model）或目標導向模式（Goal/ Objective-oriented model）。評鑑的第一個步驟是清楚界定方案或活動的目標，然後確定目標達成的程度。此評鑑模式的步驟如下：1.建立廣泛的目標或行為目標，2.將目標加以分類或排序，3.以可觀察的詞句界定目標或行為目標，4.尋找可達成目標的示範性情境，5.發展或選擇測量的技術， 6.蒐集成就資料，7.將成就資料與所陳述的行為目標相比較。如發現成就與目標存有差異，則需修正或補強，以促進方案的效能，修正之後，重複評鑑過程，明確決定方案的優點與價值。. 二、全貌模式（Countenance model）此觀點由 Stake 於 1967 年所提出，以量化的觀點為主，論及二個評鑑方法的重點，一是評鑑資料蒐集的矩陣，二是以蒐集的資訊判斷教育方案優點的歷程。此模式主張評鑑應兼具描述與判斷的成份。評鑑者必須要蒐集課程方案的先在因素、過程因素、結果因素，作為描述與判斷的依據。. 嗣後 Stake 又在 1973 年發表反應式評鑑（Responsive evaluation），是從全貌取向的觀點推衍而成，在評鑑資料的蒐集上，由量化方法的主張轉移到以質化為主，量化為輔，因此，評鑑人員的任務不在以量化的方法計算數值，也不在獲取描述性的評分等第，而是要將對方案所觀察到的種種綜合性陳述與特定人士所選出的參考標準相比對，並說明令這些人滿意與否的參照情形，換言之，評鑑人員的責任在於提供一個參照架構，以便於鼓勵讀者做出自己的解釋。. 18.

(36) 三、差異模式（Discrepancy model）此模式又稱「差距模式」，由 Provus 於 1969 年所提出，將之定義為「在方案標準獲得一致性同意的基礎上，決定在所設的標準及方案的外觀間，是否存有差距的過程」，旨在比較「標準」（standards）和「表現」（performance），分析其中的差距，作為改進的依據。實施評鑑時，不可避免的會進行比較，在評鑑前都必須先有一項標準，然後再將標準和實際狀況作比較，評鑑就是根據標準和實際狀況之間的差異訊息，判斷評鑑對象的價值或適當性。差異模式在教育方案上的應用，第一個任務就是建立標準，也就是一種目標應用和價值澄清的活動。一般而言，透過成效分析建立標準，可以將教育方案細分為主要活動、功能或成分，每一個成分又可分為次要成分，一直到方案所需程度為止。這種分析包含成分之間的網絡系統、關係，最後產生一個詳細的方案設計，也可以視為標準，清楚點出方案應包含的內容及趨勢走向。. 差異模式的評鑑包含一項標準和一個資料蒐集計畫，透過此一方法，比較標準和實際表現的差異，能夠建立內部的回饋週期，也就是系統化評鑑基礎。此模式的主要特性在強調自我評鑑和系統化方案的改進。. 四、背景輸入過程成果模式（Context、Input、Process、Product； CIPP）. 此模式由 Stufflebeam 在 1965 年在美國俄亥俄州立大學組成評鑑中心，觀察評鑑活動，作為聯邦政府補助經費的決策依據。該模式的發展歷經五個階段逐漸修正，認為「評鑑乃系統化地探討任一方案、計畫、服務或其他關注對象的價值及/或優點。就操作面而言，係針對某一現象的價值與優點，進行描述、獲取、報導及運用其描述性與判斷性資訊的一種過程。那些資訊涉. 19.

(37) 及研究對象之目標（goals）、設計（design）、實施（implementation），及影響（impacts）的價值與優點，以便指導如何作決定，符合績效（accountability）的需求，並增進對研究現象的瞭解。」。. 第五期的 CIPP 模式在 2002 年提出，凸顯成果評鑑的後續使用。包含 10 大要素，1.契約同意，指評鑑需在取得當事人事先同意基礎下進行；2.背景評鑑旨在評估一個已定義情境中的需求、資產與問題；3.輸入評鑑在依據已選定的方向，進行整體策略、工作計畫與預算的評估；4.過程評鑑在監督、文件化及評估方案的活動；5.影響評鑑在評估對方案預定服務對象的影響；6.效能評鑑在評估成果的品質與重要性；7.穩定度評鑑估方案能成功及繼續維持制度的貢獻程度；8.可轉移性評鑑在評估方案具有可接受度並應用於其他領域的程度；9.後設評鑑在評估方案與評鑑標準之間的一致程度；10.評鑑報告旨在將所有的評鑑發現綜合在一起。. CIPP 模式評鑑使用一個關鍵概念，即：利害關係人；亦即包括意圖使用評鑑發現者、可能受評鑑影響者、期望對評鑑有所貢獻者。因此，全體利害關係人應該共同參與互動並分享資訊。「評鑑最重要的目的不在證明，而是改進」（the most important purpose of evaluation is not to prove, but to improve）是此模式最基本的觀點。. 五、評鑑研究中心的模式（Center for the study of Evaluation；CSE）此模式由美國洛杉磯加州大學校區的評量研究中心所提倡。他們認為：評鑑是一種過程，藉以確認決策者必須從事的決定、選擇、搜集、分析作決定所需要的資料，向決策者提出報告。本模式包含了系統評估、方案計畫、方案實施、方案改進、方案授證五種評鑑。系統評估旨在協助決策者瞭解教育系統的現況，並找出需作何改變；方案計畫旨在協助決策者自許多變通方 20.

(38) 案中選擇其一，以便採納於教育系統中，藉以滿足教育需求；方案實施旨在確定所實施的方案是否符合原來的計畫；方案改進旨在提供方案各成份是否成功運作的資料，供方案計畫者修正之參考；方案授證旨在確定方案是否終止、修正或推廣。. 六、認可模式（Accreditation model）此模式由 Anderson、House、Popham 等人倡導，他們認為教育評鑑係在建立認可的最低標準，由受評學校自評後，專家前往訪視，如發現學校缺失則予學校補助或改進機會，並安排複評。此模式強調專業自主、希望運用專業知識與經驗以保障教育品質。以美國為例，認可的程序包含六大步驟： 1. 由認可機構與被認可學校合作建立標準，2.由學校或學程進行深度自我評鑑，以測量與所建立標準相比較的成果，3.由認可機關擇聘團隊訪視學校或學程，直接決定申請認可者是否符合已建立的標準，4.將符合標準的申請者公告於官方刊物中，5.認可機構在被認可學校或學程的認可期間，監督以驗證該學校或學程持續符合所建立的標準，6.認可機構週期性再評鑑每個學校或學程，以確保該學校或學程處於認可狀態。. 七、闡述評鑑模式（Illuminative evaluation model）此模式由 Koppelman、Parlett、與 Hamiltony 等人於 1970 年代所倡導。他們認為教育評鑑旨在描述與解釋，而非測驗及預測，其實施套裝程式含探索、探究、解釋三個步驟。強調不在定出排行榜，而在瞭解教育現況，藉以發展與所定目標相符的改進方法，以刺激教育更新。. 八、司法模式（Judicial model）. 21.

(39) 此模式由 Wolf 所提倡，又稱為抗詰導向評鑑取向(adversary-oriented evaluation approach)，主要意涵旨在將司法體系中的組織、程序及精神應用於教育評鑑的情境中。就司法的審判來說，通常有對立的兩造,如原告與被告；且兩者都有為其辯護的代表人員。同樣地，在教育評鑑的脈絡中，也可以就單一方案或問題，提出正反對立的意見，呈現不同的主張，讓真理愈辯愈明，並讓決策者得以獲得決策所需要的資訊。其主要進行步驟分為議題形成、議題選擇、辯論準備、辯論聽證等四個階段。. 其主要特點在於所有的評鑑利害關係人—如決策者、評鑑者、方案人員、委託人、及其他涉及利益的人同一時一起仔細檢驗議題，委員會聽證方法是以公開地、面對面互動的方式。不同觀點之間會發生互動，因此就會產生溝通及教育的過程，也會對評鑑產生影響。. 九、以「利用為焦點的評鑑」（Utilization-focused evaluation, UFE）由 Patton 首倡，是一個幫助主要意圖使用者選用最適切的模式、方法、理論等，以適合其特定的情境，這些特定的情境指引評鑑人員與其互動。此模式之焦點，係指辨識主要意圖使用者，並將焦點至於其意圖上。其評鑑之主要目的有三：一事判斷優點或價值（如總結性評鑑、績效責任、品質控制），二是改進方案（如形成性評鑑、持續改進、增進品質、效率管理），三是產生知識（效能一般化、理論的建立、形成政策、學術發展等）。. 十、賦權增能評鑑模式（Empowerment）由 Fetterman 於 1993 年提出，主要是運用評鑑的概念、技術及發現，創造方案改進及自我決定的環境。亦是使用評鑑的教育、歷程及發現，以促進改進、自我決定及相互之間的學習。評鑑過程中，由方案的參與者建構自己 22.

(40) 的評鑑，鼓勵成員主動參與，運用質與量的方法，以開放性論壇檢驗整個社群所關切的議題，外部評鑑人員只是提供指導或額外的輔助，協助方案中的成員幫助自己，並以自我評鑑與反省的形式改進方案的運作。換言之，賦權增能評鑑中，需要合作式的群體活動，而非個人的探究工作，藉以形成脈絡式的改變，因此，方案的優點與價值會因為母群調整、目標轉移、方案實務而改變。. 參、教育評鑑的目的教育評鑑的功能與目的，主要可以歸納為以下幾點（盧增緒，1985）：. 一、確保教育品質教育事業為社會事業之一，為了確保高等教育的品質，因此政府透過評鑑來控管大學的教育品質，藉此才能對社會大眾有所交待，尤其是透過書面和實地訪評的方式，綜合性、全面性的檢視教育現場，並與相關行政處理做結合，的確有助於教育品質達到一定的水準。. 二、落實績效責任對高等教育而言，大專校院可利用自我管制的精神來改進其內在品質，並藉由外在權力團體來控制品質，以突顯出大專校院對履行社會績效責任的必要性。因此必須鼓勵學校自我評鑑並建立內部質量保證系統；另一方面則利用外在系統的評鑑來監控其運作，以達到落實績效責任的目的。另外大專校院辦學的經費無論來自於政府的預算補助或是其他管道所得，均屬於社會資源，既然使用社會資源，政府責無旁貸地必須落實大專校院的辦學績效；特別是近年來教育經費日漸短絀，更使政府屢屢依據評鑑的成績高低作為經 23.

(41) 費分配的主要參據。. 三、進行教育改革評鑑本身就是教育改革工作的一環，政府不僅可以透過教育評鑑的工作落實教育改革，同時透過評鑑的過程，可蒐集到來自老師、學生行政人員、評鑑委員等各方面對於教育政策或實務方面的意見，可提供政府作為對未來教育決策的參考。因此進行評鑑工作的同時，也正在進行教育改革的工作。. 四、強化市場競爭力隨著社會的變遷，高等教育所扮演的功能日趨多元，研究、教學、推廣服務等都是現代大專校院所需扮演的角色。社會的富裕與民主化的趨勢，更使得高等教育機構所服務的對象日趨異質。尤其在知識經濟時代來臨及加入 WTO 的國際化下，學生來源日益減少等現實情勢之激盪下，市場競爭機制恐將難免，顯而易見的是各大專校院辦理招生將面臨更大的挑戰。因此推動教育評鑑的工作，有助於各校釐清自我的定位，同時能增進其辦學品質與績效，進而強化大專校院在市場機制中競爭的優勢。. 五、改進行政效率評鑑係針對學校各工作事項加以審慎的評析，以衡量其得失利弊與原因，並決定如何改進或重新計畫。尤其是綜合性的校務評鑑，係考評學校各行政單位的執行品質，可促使行政工作的制度面與服務面更加精益求精，使學校整體辦學之行政效率不斷地修正成長。. 24.

(42) 六、激勵成員成長透過評鑑實施情形的檢討，不但可以提供學校如何改進的參考，同時只要學校進行改進的重大相關措施，並且加以付諸實施時，則學校內所屬成員可能都會受到此一改變的影響，進而透過自我激勵不斷的發展與學習新的技能以應付此一變遷，因此評鑑具有激勵成員成長的動力效果。. 25.

(43) 第二節. 主要國家高等教育評鑑制度. 近數十年來，全球高等教育迅速擴張的結果，不但造成各國政府的財政負擔加重，更引發各界對於高等教育學術水準逐年下降的憂心。為了解決由教育擴張所引起的財政問題，並提升或維持高等教育教學與研究品質，各國政府莫不致力於建立一套完善的高等教育品質保證機制，一方面促使高等教育機構追求卓越，另一方面又能確保公共經費有效運用。鑑於國內高等教育評鑑機制仍在發展中，實有必要參考國外相關執行經驗，以達「他山之石，可以攻錯」之效，本節將以美國、英國、澳洲及日本等四國為例，探討渠等之高等教育評鑑或品質保證制度。. 壹、美國高等教育的國際討論極為關注認可和品質保證問題，無論是關於擴大接受高等教育的機會、因應全球競爭的需要，或是發展知識經濟的需求，一個強有力的品質保證體系都是成功的關鍵。在這些討論中，美國的高等教育認可制度、實施和成就都佔據了關鍵地位，而且常居主導地位。. 美國高等教育機構品質管制的主管事權在各州政府，且由於各地方政府管理態度寛嚴不一，各校辦學品質參差不齊，如何保障就學者權益是認可制最早的動機。其次，由於高等教育具有相當程度獨立與自主權，各校提供課程的特色品質亦呈現多元風貌，為有效確保某一程度的品質水準，針對專門領域和機構之非官方認可制於是在美國快速發展。. 聯邦政府教育部(US Department of Education, USDE)組織並不對高等教. 26.

(44) 育機構或專門領域實施認可，而是透過非官方組織負責承認(recognition)。過去 50 年來，承認認可團體之非官方認可組織，包括 1974 年成立的「高等教育認可評議委員會」(Council on Postsecondary Accreditation, COPA)，1993 年取代 COPA 成立「高等教育承認理事會」(Commission on Recognition of Postsecondary Accreditation, CORPA), 以及在 1999 年廢止 CORPA 所成立的「高等教育認可評議委員會」(Council on Higher Education Accreditation, CHEA)等；此外亦包括由全美 51 個專門領域認可團體所組成之「專門領域與專業認可團體學會」(Association of Specialized and Professional Accreditors, ASPA)。（教育部，2006a）. CHEA 是全國性的、民間的、非營利性的組織，負責協調全國性、地區性和專業性認可機構之間的合作，是美國高等教育認可界的全國政策中心和權威代表。主要職責是對認可機構進行認可，從而鼓勵高等教育進行自我管理。基本功能就是週期性評估各院校與專業認可機構的標準和目標，以及它們的認可過程，進而確認這些認可機構的認可資格。CHEA 提供的服務主要有：在品質保證方面提供全國性的指導、開設交流認可觀點的全國性論壇、提供權威的地區性、全國性和專業認可機構的訊息資源、改進認可的計畫、仲裁和解決糾紛、推廣成功經驗等。（ CHEA ， 2006 ， http://www.chea.org/recognition/CHEA_Recognition_Policy_and_Procedures.pdf ）. USDE 和 CHEA 不實施機構或專門領域之認可，而係透過承認認可團體，再由認可團體對機構或專門領域實施認可。2002 到 2003 年，全美共有 19 個機構認可團體以及 61 個專業領域認可團體被 USDE 所屬之國家機構品質與廉正諮議委員會 (National Advisory Committee on Institutional Quality and Integrity, NACIQI)或/及 CHEA 所承認(Eaton,2003)。同時，全美共 6,421 個機構以及 18,713 個專門領域被認可團體所認可(CHEA, 2003)。至於認可機構之 27.

(45) 團體(USDE, 2004)，包含(一)區域性機構認可團體，如：「中部各州校院認可學會」(Middle States Association of Colleges and Schools, MSA)、「新英格蘭區各州校院認可學會」(New England Association of Schools and Colleges, NEASC)、「中北部各州校院認可學會」(North Central Association of Colleges and Schools, NCA)、「西北部各州校院認可學會」(Northwest Association of Schools and Colleges, NASC)、「南部各州校院認可學會」( Southern Association of Colleges and Schools, SACS)、以及「西部各州校院認可學會」(Western Association of Schools and Colleges, WASC)等 6 個；(二)全國性機構與專業領域之認可團體，包括針療及東方醫學、健康教育、按摩療法教育、獨立學院與學校等 26 個；以及(三)針對專門領域實施認可之專業/專門領域認可團體，如健康教育課程聯盟、建築、獨立商業學院、臨床實驗科學、電腦科學、結構. 教. 育. 等. 個. 41. 團. 體. 。. (http://www.ed.gov/about/offices/list/ous/international/usnei/us/edlite-accred-reco g_ associations.html)。USDE 和 CHEA 兩者的認可工作有所區別，從性質、目的、標準與週期四部分整理如表 2-2-1。表 2-2-1 機構. USDE 認可和 CHEA 認可的區別性質. 主要目的. 認可標準. 認可週期. 確保聯邦學生援招生和入學情況、學以五年為週期，對初次通過助資金之使用合生學習成果、課程、認可的認可機構的週期是 USDE. 政府機構. 宜，唯有通過教師、資源的投入、二年。認可週期內院校要向 USDE認可的機構學生服務、學術成 USDE提供所需資料，例如認可校院才有資果、學位授予、學生年度報告、主要認可活動格或得聯邦政府投訴、院校的職責等等，並接受督導資助. 10項. 28.