我國大學訪評委員評鑑知能需求及其研習規劃之研究
243
0
0
全文
(2) 第四章 研究結果分析與討論 ................................................. 95 第一節. 大學訪評委員評鑑知能重要性與具備情況評定分析 ......................... 95. 第二節. 大學訪評委員評鑑知能重要性與具備情況評定之意見分析 ........... 127. 第三節. 大學訪評委員評鑑研習課程與教學規劃之意見分析 ....................... 175. 第五章 結論與建議 ............................................................... 181 第一節. 主要研究發現 ....................................................................................... 181. 第二節. 結論 ....................................................................................................... 190. 第二節. 建議 ....................................................................................................... 195. 參考文獻.................................................................................. 201 附 錄 .................................................................................... 211 附錄一. 專家效度考驗之指導教授推薦函 ....................................................... 211. 附錄二. 專家效度問卷 ....................................................................................... 212. 附錄三. 正詴問卷 ............................................................................................... 223. 附錄四. 大學訪評委員應具備之評鑑知能內涵表 ........................................... 233. 附錄五. 大學訪評委員評鑑研習之課程規劃表 ............................................... 234. 附錄六. 對本研究大學訪評委員評鑑知能需求評估之評鑑反省表 ............... 235. ii.
(3) 表. 次. 表 2-1. 評鑑人員所需之知識/技能................................................................. 11. 表 2-2. 評鑑人員核心能力.............................................................................. 12. 表 2-3. 方案評鑑人員基本能力...................................................................... 14. 表 2-4 ERS 評鑑工作標準.............................................................................. 16 表 2-5. 評鑑人員之評鑑能力項目.................................................................. 18. 表 2-6. 方案評鑑實施之標準.......................................................................... 19. 表 2-7. 需求評估方法之選擇指標表.............................................................. 31. 表 2-8. 大學訪評委員評鑑知能需求之評估流程.......................................... 32. 表 2-9 TEI.評鑑培訓課程與教學規劃表....................................................... 40 表 2-10 「評鑑人員」相關研究ㄧ覽表............................................................ 52 表 2-11 「專業能力與需求評估」相關研究一覽表....................................... 57 表 2-12 「研習需求」相關研究一覽表........................................................... 62 表 3-1. 專家學者名單...................................................................................... 75. 表 3-2. 專家意見之統計表.............................................................................. 76. 表 3-3. 問卷題目修正表.................................................................................. 79. 表 3-4. 正式問卷題目分配一覽表.................................................................. 85. 表 3-5. 問卷發放及回收統計表...................................................................... 88. 表 3-6. 有效樣本基本資料分析表.................................................................. 88. 表 4-1. 三類填答對象─評鑑知能項目重要性評定之分析摘要表............... 97. 表 4-2. 三類填答對象─評鑑知能細項目重要性評定之分析摘要表........... 99. 表 4-3. 評鑑知能細項目之重要排序分析表.................................................. 102. 表 4-4. 擔任過大學訪評委員者與無擔任過大學訪評委員但有接觸大學 訪評委員經驗者─評鑑知能項目具備情況評定之分析摘要表..... 表 4-5. 104. 擔任過大學訪評委員者─評鑑知能細項目具備情況評定之分析 摘要表................................................................................................ 105. 表 4-6. 未擔任過大學訪評委員但有接觸大學訪評委員經驗者─大學訪 評委員評鑑知能細項目具備情況評定之分析摘要表.................... 107. 表 4-7. 評鑑知能項目重要性評定與具備情況評定之等級排序表.............. 108. 表 4-8. 評鑑知能細項目重要性評定與具備情況評定之等級排序表.......... 109. 表 4-9. 擔任過大學訪評委員者─評鑑知能項目重要性評定與具備情況 評定之積差相關表............................................................................ 111. 表 4-10 未擔任過大學訪評委員但有接觸大學訪評委員經驗者─評鑑知 能項目重要性評定與備具情況評定之積差相關表........................ 112. iii.
(4) 表 4-11 擔任過大學訪評委員者─評鑑學理層面細項目重要性與具備情 況評定之積差相關表........................................................................ 113 表 4-12 未擔任過大學訪評委員但有接觸大學訪評委員經驗者─評鑑學 理層面細項目重要性與具備情況評定之積差相關表.................... 114 表 4-13 擔任過大學訪評委員者─評鑑實務層面細項目重要性與具備情 況評定之積差相關表........................................................................ 115 表 4-14 未擔任過大學訪評委員但有接觸大學訪評委員經驗者─評鑑實 務層面細項目重要性與具備情況評定之積差相關表.................... 117 表 4-15 評鑑知能項目重要性評定與具備情況評定之帄均數值差距分析 表........................................................................................................ 120 表 4-16 評鑑知能細項目重要性評定與具備情況評定之帄均數值差距分 析表.................................................................................................... 121 表 4-17 不同現任職位的塡答者在評鑑知能項目重要性評定之差異考表.. 128 表 4-18 不同現任職位的塡答者在評鑑知能細項目重要性評定之差異考 驗表.................................................................................................... 129 表 4-19 曾任不同大學行政職位的塡答者在評鑑知能項目重要性評定之 差異考驗表........................................................................................ 134 表 4-20 曾任不同大學行政職位的塡答者在評鑑知能細項目重要性評定 之差異考驗表.................................................................................... 136 表 4-21 有無擔任過大學訪評委員的塡答者在評鑑知能項目重要性評定 之差異考驗表.................................................................................... 140 表 4-22 有無擔任過大學訪評委員的塡答者在評鑑知能細項目重要性評 定之差異考驗表................................................................................ 141 表 4-23 不同資歷的大學訪評委員在評鑑知能項目重要性評定之差異考 驗表.................................................................................................... 142 表 4-24 不同資歷的大學訪評委員在評鑑知能細項目重要性評定之差異 考驗表................................................................................................ 143 表 4-25 參與大學評鑑講習不同次數之大學訪評委員對評鑑知能項目重 要性評定之差異考驗表.................................................................... 146 表 4-26 參與大學評鑑講習不同次數之大學訪評委員對評鑑知能細項目 重要性評定之差異考驗表................................................................ 147 表 4-27 不同現任職位的塡答者在評鑑知能項目具備情況評定之差異考 驗表.................................................................................................... 150. iv.
(5) 表 4-28 不同現任職位的塡答者在評鑑知能細項目具備情況評定之差異 考驗表................................................................................................ 151 表 4-29 曾任不同大學行政職位的塡答者在評鑑知能項目具備情況評定 之差異考驗表.................................................................................... 156 表 4-30 曾任不同大學行政職位的塡答者在評鑑知能細項目具備情況評 定之差異考驗表................................................................................ 157 表 4-31 有無擔任過大學訪評委員的塡答者在評鑑知能項目具備情況評 定之差異考驗表................................................................................ 162 表 4-32 有無擔任過大學訪評委員的塡答者在評鑑知能細項目具備情況 評定之差異考驗表............................................................................ 163 表 4-33 不同資歷的大學訪評委員在評鑑知能項目具備情況評定之差異 考驗表................................................................................................ 164 表 4-34 不同資歷的大學訪評委員在評鑑知能細項目具備情況評定之差 異考驗表............................................................................................ 165 表 4-35 參與大學評鑑講習不同次數之大學訪評委員對評鑑知能項目具 備情況評定之差異考驗表................................................................ 168 表 4-36 參與大學評鑑講習不同次數之大學訪評委員對評鑑知能細項目 具備情況評定之差異考驗表............................................................ 168 表 4-37 大學評鑑相關人員不同個人背景變項在評鑑知能項目重要性與 具備情況評定之差異分析結果摘要表............................................ 172 表 4-38 大學評鑑相關人員不同個人背景變項在評鑑學理層面知能細項 的重要性與具備情況評定之差異分析表........................................ 173 表 4-39 大學評鑑相關人員不同個人背景變項在評鑑實務層面知能細項 的重要性與具備情況評定之差異分析表........................................ 174 表 4-40 擔任過大學訪評委員者對課程單元規劃之意見分析表.................. 175 表 4-41 擔任過大學訪評委員者對課程單元內容規劃之意見分析表.......... 176 表 4-42 擔任過大學訪評委員者對評鑑知能需求之教學規劃意見分析表.. 178. v.
(6) vi.
(7) 圖. 次. 圖 1-1. 本研究步驟圖....................................................................................... 7. 圖 2-1. 評鑑步驟流程圖................................................................................... 15. 圖 2-2. 需求評估階段和步驟圖....................................................................... 27. 圖 3-1. 研究流程圖........................................................................................... 65. 圖 3-2. 研究架構圖........................................................................................... 66. vii.
(8) 大學訪評委員評鑑知能需求及其研習規劃之研究.
(9) 緒. 第一章 緒. 論. 論. 本章為緒論，內容共分成五節，第一節介紹研究動機，第二節說明研究目的 與待答問題，第三節為本研究名詞釋義，第四節陳述研究方法與步驟，第五節則 說明研究範圍與限制。. 第一節. 研究動機. 民國九十年七月教育部公佈的「大學教育政策白皮書」中明載大學的數量已 經達到飽和，接著應重視品質的提升與進行品質控管，因此為確保大學教育品 質，推動大學評鑑乃是監督的重要機制。「大學評鑑」係指由一評鑑團體依據系 統化、科學化之方式，來蒐集並分析相關資料，以評估大學教育機構及其專業領 域之目標達成程度，以及其輸入條件、運作情形，及教育成果的過程(蘇錦麗， 1997)。前述所指的評鑑團體包括到受評現場訪視之訪評委員、內部自評人員以 及評鑑方案規劃之評鑑規劃人員。然而到大學院校進行訪視之大學訪評委員在訪 評過程中責任重大，在於其扮演著對受評對象作價值判斷的重要主角，且呂世偉 (2008)之研究結果亦指出大學訪評委員的專業能力與專業表現有所關聯。因此大 學訪評委員的素質與專業能力將關係著評鑑成效之良窳(湯堯，2007)。由於國內 目前並未針對訪評委員所需的專業能力加以明定，因此訪評委員於進行評鑑工作 時大多是依據個人所熟悉的模式進行評鑑工作，並不一定符合評鑑所需的專業能 力(郭昭祐，2000；黃韻寧，2003；劉智豪，2004)。再者，目前國內相關研究中， 僅有對帅稚園及國民小學訪評委員之評鑑能力進行探討，缺乏對大學訪評委員評 鑑專業能力之研究。因此，研究者為具體瞭解我國大學訪評委員在訪評過程中所 應具備之評鑑知識與技能，詴圖透過文獻探討歸納出大學訪評委員所應具備之評 鑑知能內涵並邀請大學評鑑相關人員對大學訪評委員評鑑知能內涵進行重要性 與具備情況之評定，以確切瞭解我國大學訪評委員評鑑知能之內涵、重要性與具 備情況，此為本研究主要動機之一。. 1.
(10) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 目前國內對評鑑委員專業能力的相關研究，多採「能力建構」而非「能力需 求評估」的角度，導致無法確實暸解國內評鑑委員所真正欠缺的能力，因此從能 力需求評估的角度來進行我國大學訪評委員評鑑知能需求之探討，係有其必要 性。再者，張瑞濱及賀力行(2003)指出在辦理人員訓練規劃時，應辦理何種訓練、 訓練實施的頻率、訓練課程的內涵等，必頇依據訓練需求來決定，惟有人員訓練 的規劃及實施與實際的需求緊密配合，才能在有限資源下獲致最大效能(張瑞 濱、賀力行，2003)。同時，Ronbison 等人(1989)也提出，訓練需求評估的重點應 該聚焦於工作者必頇具備何種能力？或是應該補充哪些能力？因此討論的重點 應該是工作者的「能力缺口(capability gap)」 。由此可知，在進行大學訪評委員評 鑑研習課程規劃前，應先瞭解訪評委員的評鑑知能需求。至於應採用何種需求評 估方式進行大學訪評委員評鑑知能需求評估較佳？根據陳慧娟(1995)之研究整 理可知，需求評估的模式包括差距模式、個人自我實現模式、個人評定模式、診 斷或醫療模式、分析模式、民主模式、市場模式以及決策模式等八大類。而多數 學者認為「差距模式」通常是能力需求評估的主要評估模式(Van Wart, Cayer & Cook, 1993; Desimone & Harris, 1998; 黎守明，2000)。是故「由差距模式進行需 求評估」來瞭解大學訪評委員之評鑑知能需求，並以其作為評鑑研習課程規劃之 基礎，為本研究的主要動機之二。 過去我國大學訪評委員的組成主要係透過遴選而來，但是國內評鑑工作大多 倉促成軍，既缺乏充分的專業訓練，也無實務的模擬練習(林天祐，2004)，導致 訪評委員素質參差不齊，因此建立有效的訪評委員教育訓練途徑則相對重要，而 在國外所稱的評鑑人員「教育訓練」一詞，在國內則傾向以較不敏感的「研習」 一詞稱之，在於國內專家學者認為訪評委員本身專業素養即高，且大學訪評委員 更是權高望重，因此不宜對訪評委員教育「訓練」 ，而應是邀請他們參與教育「研 習」 。國外評鑑機構舉如美國及加拿大評鑑協會會依受訓對象(如新進評鑑委員、 在職進修評鑑委員、評鑑委員訓練者)需求而設計不同的訓練模式，而這些多元. 2.
(11) 緒. 論. 的教育訓練模式實可作為規劃我國評鑑委員評鑑研習之參考。自從「大學評鑑法」 第三條公布後，我國大學評鑑承辦單位，從「教育部」改由「教育部組成評鑑委 員會」或「委託具有公信力之民間學術團體」來辦理，目前辦理我國大學評鑑的 專責機構主要有台灣評鑑協會以及財團法人高等教育評鑑中心基金會，前者以辦 理大學校務評鑑為主；後者則以辦理大學院校系所評鑑為主。而大學評鑑法亦指 出，專業客觀之評鑑實施計畫應包括完善之評鑑委員遴選與培訓制度。因此高等 教育評鑑中心在 96 年通過了「評鑑委員認證詴辦實施方案」 ，規劃設計了一系列 的證照培訓課程，以期充實大學評鑑委員的評鑑知能、並提升高等教育評鑑品質 與公信力 (鄺海音，2008)。高等教育評鑑中心目前所積極詴辦的證照培訓課程， 可謂開啟我國評鑑委員認證培訓的重要里程碑。然而我國評鑑研習課程應如何規 劃，才得以有效提升大學訪評委員之評鑑知能，是未來應加以思考的重要問題(呂 木琳，2007)。因此探討並分析大學訪評委員評鑑研習課程與教學規劃，以提出 建議供評鑑機構舉辦大學訪評委員評鑑研習之參考，為本研究主要動機之三。. 第二節. 研究目的與待答問題. 以下分別說明本研究目的與待答問題。. ㄧ、研究目的 基於以上研究動機，陳述本研究目的如下： (一) 探討大學訪評委員之評鑑知能內涵、重要性與具備情況。 (二) 根據各評鑑知能項目調查之重要性與具備情況評定結果，分析大學訪評委員 之評鑑知能需求。 (三) 探討不同背景變項的大學評鑑相關人員對大學評鑑知能重要性與具備情況 評定之意見差異。 (四) 規劃大學訪評委員之評鑑研習課程與教學方法。 (五) 根據研究結果提出建議以供高等教育評鑑機構或評鑑研習規劃人員規劃大 3.
(12) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 學訪評委員評鑑研習課程之參考。. 二、待答問題 根據本研究目的提出本研究之待答問題如下。以下以「大學評鑑相關人員」 作為本研究之三類研究對象(教育評鑑專家學者、曾任大學院長之資深教授、現 任大學高階行政管理者)的總稱： （一） 大學評鑑相關人員對大學訪評委員評鑑知能的重要性評定為何？ 1.. 各評鑑知能項目之重要性評定為何？. 2.. 各評鑑知能細項目之重要性評定為何？. （二） 大學評鑑相關人員中擔任過大學訪評委員者與未擔任過大學訪評委員 但有接觸大學訪評委員經驗者，對大學訪評委員評鑑知能的具備情況評定 為何？ 1.. 各評鑑知能項目之具備情況評定為何？. 2.. 各評鑑知能細項目之具備情況評定為何？. （三） 探討大學訪評委員評鑑知能的重要性評定與具備情評定之相關，以及重 要性與具備情評定兩者間之評定差距為何？ 1.. 評鑑知能之重要性與具備情評定的相關為何？. 2.. 評鑑知能之重要性與具備情評定的評定等級差距為何？. 3.. 評鑑知能之重要性與具備情評定的評定帄均數值差為何？. （四） 根據問題三之分析結果，探討大學訪評委員之評鑑知能需求為何？ 1.. 評鑑知能項目之需求為何？. 2.. 評鑑知能細項目之需求為何？. （五） 不同背景變項之大學評鑑相關人員對大學訪評委員評鑑知能重要性與 具備情況評定之意見差異為何？ 1.. 「不同現任職務者」對各評鑑知能項目與細項目之重要性與具備情況評 定的意見差異為何？ 4.
(13) 緒. 2.. 論. 「曾任不同大學行政職務者」對各評鑑知能項目與細項目之重要性與具 備情況評定的意見差異為何？. 3.. 「有無擔任過大學訪評委員者」對各評鑑知能項目與細項目之重要性與 具備情況評定的意見差異為何？. 4.. 「不同評鑑資歷之大學訪評委員」對各評鑑知能項目與細項目之重要性 與具備情況評定的意見差異為何？. 5.. 「參與評鑑講習不同次數之大學訪評委員」對各評鑑知能項目與細項目 之重要性與具備情況評定的意見差異為何？. （六） 大學評鑑相關人員中擔任過大學訪評委員者對大學訪評委員評鑑研習 之課程規劃意見為何？ 1.. 對課程單元之規劃意見為何?. 2.. 對課程內容之規劃意見為何?. （七） 大學評鑑相關人員中擔任過大學訪評委員者對大學訪評委員評鑑知能 需求的教學方法規劃意見為何？. 第三節. 名詞釋義. ㄧ、大學訪評委員 大學訪評委員係從事大學評鑑工作的專門外部訪視人員。我國大學訪評委員 依受評學校與評鑑內容可分為：一般大學校院訪評委員、科技大學校院訪評委員 以及校務訪評委員、學門系所訪評委員。本研究所指的「大學訪評委員」係指到 一般大學校院從事校務及系所評鑑工作之專業外部訪視委員。. 二、評鑑知能 評鑑知能係評鑑委員於進行評鑑工作時，所應俱備的專業評鑑知識與技能。 本研究將大學訪委員的評鑑知能分為以下兩個層面及八項內涵：. 5.
(14) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. (一) 評鑑學理層面的知識：指訪評過程中大學訪評委員所應具備的評鑑 事實性與資料性知識。包括「大學評鑑理論的基本概念」、「評鑑 研究方法論」、「高教政策環境知識」、以及「評鑑標準與原則」。 (二) 評鑑實務層面的知能：指訪評過程中大學訪評委員所應具備的程序 性知識與實務技能。包括「資料蒐集」、「資料分析」、「撰寫評鑑 報告」、以及「評鑑溝通」。. 三、需求評估 研究者整理文獻後，認為需求評估的意涵主要有二： 其一、「需求評估」是一種實際與目標狀況間的差距評估方式； 其二、「需求評估」是一種確定受評對象需要狀態的評估方式。 而本研究所指的「需求評估」，係評定大學訪評委員「應具備」及「所具備」之 評鑑知能間的差距，以確定大學訪評委員之評鑑知能需求狀態。. 四、研習規劃 本研究所指的研習規劃包括課程與教學規劃兩部份。課程規劃包括規劃大學 訪評委員之評鑑研習課程單元與內容；而教學規劃在於根據大學訪評委員之評鑑 知能需求，規劃合乎評鑑知能需求的教學方法。. 第四節. 研究方法與步驟. 本節主要分成兩部份，第一部分說明本研究所採行之研究方法，第二部份為 本研究步驟。分別說明如下：. 一、研究方法 本研究經由問卷調查法進行實證研究。問卷調查法係一種採問卷的資料蒐集 方式，對母群體所選擇出來的樣本，從事探求社會學變項與心理學變項的發生、 分配及其彼此相互關係的研究方法，其目的在於探討現象的當前情況，以作為解 決問題，改進現況，並計畫未來的根據(郭生玉，2002)。 6.
(15) 緒. 論. 二、研究步驟 為使研究能順利進行，本研究之具體研究步驟如圖 1-1。說明如下： （一）確定研究主題：廣泛閱讀與主題相關之文獻，以聚焦所要研究之重點。 （二）分析相關理論：將所得文獻進行分析、歸納整理，作為本研究之理論基礎。 （三）編製問卷與實施調查：以研究目的與文獻探討為基礎，編制問卷初稿， 再經由專家效度評估修正後，形成正式問卷，最後郵寄給研究對象。 （四）分析與討論問卷調查結果：回收問卷進行統計分析、歸納得之研究發現。 （五）撰寫研究報告：綜合文獻分析及問卷調查之結果，提出結論與建議。 確定研究主題. 進行文獻探討. 建立研究架構. 問卷調查 第一階段：編製研究問卷 第二階段：函請專家評定內容效度 第三階段：編製正式問卷 第四階段：正式問卷調查. 資料整理及分析. 歸納結論與建議. 完成論文 圖 1-1 本研究步驟圖 7.
(16) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 第五節. 研究範圍與限制. 本節主要分成兩部份，第一部分說明研究範圍，第二部份為研究上的限制。 分別說明如下：. 一、研究範圍 （一）尌研究對象而言 由於大學訪評委員名單基於評鑑倫理與法令限制而無法對外公開，在無法獲 得大學訪評委員名單的情況下，研究者根據國內公布的大學訪評委員遴選標準， 選取具有行政經驗的資深教授(曾任院長之資深教授)、目前擔任大學高階行政管 理者(現任大學校長、副校長、教務長及院長)、以及教育評鑑專家學者共三類人 員為研究對象。因為本研究所指的「大學訪評委員」係指到一般大學校院從事校 務及系所評鑑工作之專業外部訪視委員。因此前述所指具有豐富行政經驗的資深 教授、與大學高階行政管理者係以一般大學校院之資深教授與高階行政管理者為 主。. （二）尌研究地區而言 經研究者調查，目前我國公立大學校院有 33 所，若依北中南東四個行政地 區來劃分的話，北部占 18 所、中部占 5 所、南部占 7 所、而東部占 3 所。本研 究對象以全台灣地區公立大學校院之大學訪評委員為主，未進行分區採樣，但根 據上述公立大學校院在我國四個行政地區的比例來看，本研究對象主要集中於北 部地區。. 二、研究限制 礙於大學評鑑委員名單無法公開之法令限制，研究者改而擇取可能擔任大學 訪評委員的高機率群來作為研究對象，因此本研究結果可能無法推論至所有大學 訪評委員。. 8.
(17) 文獻探討. 第二章 文獻探討 本章共分三節：第一節是探討大學訪評委員之評鑑知能；第二節是探討大學 訪評委員評鑑知能需求之評估方式；第三節是瞭解國內外評鑑研習之課程規劃； 第五節是相關研究。以下分別闡述之：. 第一節. 大學訪評委員之評鑑知能. 我國大學評鑑委員應具備哪些評鑑知能才能勝任評鑑工作，係本節主要探討 的焦點。本節首先分析評鑑知能之意涵，再探討評鑑人員評鑑知能之內涵，最後 歸納並分析我國大學訪評委員所應具備之評鑑知能要素。. 一、評鑑知能之意涵 從字義來看，評鑑知能可拆解為「評鑑知識」與「評鑑技能」兩大能力。 「評 鑑知識」精確地說為「評鑑專業知識」，指評鑑人員所需具備評鑑領域的獨特知 識；而「評鑑技能」精確地說為「評鑑專業技能」，指評鑑人員所需具備的評鑑 實務操作技巧與技術(劉村榮，2005；劉智豪，2004)。 惟魏惠娟(2001)指出評鑑專業知識和技能兩者難以截然畫分，應合併為「知 能」。參考相關文獻及張春興對知識分類的論點，研究者將評鑑人員之評鑑知能 分為「評鑑學理層面之知識」及「評鑑實務層面之知能」兩大層面(劉村榮，2005； 劉智豪，2004；魏惠娟，2001；張春興，2004)： 1.. 評鑑學理層面之知識：指評鑑人員所應具備的評鑑事實性與資料性知 識。. 2.. 評鑑實務層面之知能：指評鑑實務操作過程中評鑑人員所應具備的程 序性知識與實務技能。前者評鑑程序性知識，指評鑑人員按一定程序 理解評鑑操作從而獲致結果的知識。. 9.
(18) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 二、評鑑人員之評鑑知能內涵 教育評鑑人員種類依工作範籌不同，可區分成：規劃評鑑計劃之評鑑規劃人 員、執行訪視/蒐集和分析資料/決定優缺點等工作之評鑑人員，以及管理評鑑實 務工作之評鑑管理人員(黃曙東，2006)，各不同工作類別之評鑑委員所應俱備的 評鑑知能各異。目前我國大學評鑑人員依評鑑工作的性質大致可分為：評鑑規劃 人員、外部訪評委員以及內部自評人員。本研究主要聚焦於外部大學訪評委員並 探討其所應具備的評鑑知能。 針對大學訪評委員而言，其所應具備的評鑑知能為何，國內至今未定有具體 的項目與要素。近年高等教育評鑑中心提出大學系所評鑑委員所應具備之評鑑專 業的三個要素，分別為：(1)大公無私，一心為受評系所；(2)遵循評鑑規範，充 實評鑑技巧；(3)謹遵評鑑倫理，全群、保密、迴避(高等教育評鑑中心，2008)。 上述三個要素偏向評鑑倫理規範層次，缺乏對評鑑知能內涵之闡述。 研究者搜尋相關文獻，發現國內探討教育訪評委員之專業能力有劉智豪 (2004)、吳佳燁(2005)和吳珮琪(2006)之研究，前者在於探討國民小學校務訪評委 員之專業能力；後兩者在於探討帅稚園訪評委員之專業能力。由於劉智豪採取專 家指標建構的研究方法，故其能力指標之研究結果被後續研究視為重要的參考依 據。根據劉智豪的研究結果，其將國民小學校務評鑑委員所應具備的評鑑專業能 力，分為評鑑專業知識、專業技能、以及專業倫理三個向度，共二十一項指標。 在國外文獻上，研究者發現國外學者傾向以整合的角度，一併探討評鑑規劃 人員、訪評人員、以及評鑑管理人員所需的綜合評鑑專業能力，而非尌不同工作 類別的評鑑人員，分別討論其所需的個別評鑑專業能力。在多數文獻中，研究者 認為 Merten、以及 King 等人之三篇研究文獻，對評鑑人員評鑑專業能力內涵的 分析較為詳盡。Merten 於 1994 年透過文獻探討、諮詢評鑑人員、以及當任評鑑 人員培訓員的自我經驗，針對評鑑人員本身所需的知識和技能進行整理分析，將 評鑑人員所應具備的知能分為四大類，分別為「針對評鑑」(unique to evaluation)、 10.
(19) 文獻探討. 「與研究方法相關」(associate with research methodology)、 「借自其他領域」(need for evaluation but borrowed from other areas)、及「特定訓練議題」(unique to specific disciplines)的知識/技能。由於 Merten 認為「針對評鑑的知識/技能」在評鑑相關 的參考書上論述已多，故其重點在於研究其他三類的評鑑知識/技能(Merten， 1994)，詳如下表 2-1。在特定訓練議題之知識/技能上，Merten 針對教育、心理 學、健康、企業、政府以及公共行政領域之評鑑人員，均分別論述其所需的評鑑 特定知識/技能，由於本研究主要探討教育領域的評鑑人員，因此下表 2-1 僅列出 教育評鑑人員所需的特定知識/技能。 表 2-1 評鑑人員所需之知識/技能 I.與研究方法相關的知識/技能 I-1 二元典範及判斷的哲學假設。 I-2 二元假設的方法論意涵。 I-3 計劃及執行研究. I-3-1 文獻探討策略. I-3-4 研究設計. I-3-2 理論架構 I-3-3 假設/問題架構. I-3-5 資料收集 I-3-6 資料分析和解釋. II.借自其他領域的知識/技能 II-1 行政/企業 II-2 溝通/心理. II-1-1 方案管理 II-1-2 策略計劃 II-2-1 口頭溝通 II-2-2 文字溝通 II-2-3 人際技巧. II-1-3 審計和評估 II-1-4 評鑑和方案發展 II-2-4 協商 II-2-5 個人特質. II-3 哲學論. II-3-1 倫理學. II-3-2 價值. II-4 政治科學. II-4-1 政策分析. II-4-2 立法和評鑑. II-5 權力論. II-5-1 跨文化技能. II-6 經濟論. II-6-1 效能與效率分析. II-6-2 控制經濟因素. III.特定訓練的知識/技能 III-1 教育. 教育目標、教學設計、教學過程評鑑、教師評鑑、學 生特殊需求、資格認可、多元的評量策略。. 資料來源：Merten(1994: 21-22)。. 11.
(20) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 於 Merten 之研究後，在 2001 年及 2005 年，King、Stevahn、Ghere 和 Minnema 則運用多元歸因一致性(Muilti Attribute Consensus Reaching Progress)的統計方 法，提出評鑑人員專業能力之內涵要素。King 等人第一次所提出的「評鑑人員 核心能力」(Essential Evaluator Competencies)，係參考教育評鑑聯合標準委員會 1994 年的方案評鑑標準、以及美國評鑑學會 1995 年的評鑑人員指引原則而來 (King、Stevahn、Ghere & Minnema，2001)，將評鑑專業能力分為四大項，分別 為「系統研究、稱職的評鑑業務執行、一般的評鑑執行技能、以及評鑑專業化」， 詳如下表 2-2。而第二次 King 等人所提出的「方案評鑑人員基本能力」(Essential Skills Competencies for Program Evaluators, ECPE)，除了依據方案評鑑標準、評鑑 人員指引原則外，亦參考「加拿大評鑑學會」(Canadian Evaluation Society,CES) 於 1999 年出版的「評鑑基本技能系列」(Essential Skills Series in Evaluation)，將 評鑑專業能力分為六大項，分別為「專業常規、系統化探究、情勢分析、計畫管 理、反省實踐、以及人際能力」 ，詳如下表 2-3 (King、Stevahn、Ghere & Minnema， 2005a)。比較兩次 King 等人的研究結果，其第二次的研究結果雖然分類別從四 項增至六項，但除分類名稱及分類層次有所不同外，其能力內涵則與第一次研究 結果內容大同小異。 表 2-2 評鑑人員核心能力 I.系統研究 I-1 能夠進行研 究導向活動 I-2 能夠進行評 鑑導向活動. I-3 能夠進行與 研究和評鑑兩 者相似的活動. I-1-1 建構研究問題 I-1-2 研究設計 I-2-1 評鑑理論、模式、哲學假設 I-2-2 需求評估 I-2-3 建構評鑑問題 I-2-4 評鑑設計 I-3-1 文獻探討 I-3-2 抽樣. I-1-3 評量 I-1-4 研究方法(質性、量化、混合) I-2-5 評鑑過程 I-2-6 作判斷 I-2-7 發展建議 I-2-8 後設評鑑 I-3-5 資料分析 I-3-6 資料解讀. I-3-3 工具建構 I-3-4 資料收集. I-3-7 結果報告. 12.
(21) 文獻探討. 表 2-2 評鑑人員核心能力(續) II.稱職的評鑑業務執行 II-1 能夠提供預期使用者所需的資料 II-2-1 組織發展、變革、決策的知識 II-2 能夠進行情境分析 II-2-2 分析組織的政治脈絡 II-2-3 尊重評鑑場所與顧客的獨特性 II-2-4 開放其他參與者的涉入 II-2-5 改變或調整研究的進行 II-3 能夠組織和管理評鑑 方案. II-3-1 回應提案請求 II-3-2 書寫正式協議 II-3-3 編列評鑑預算 II-3-4 有效運用所需的資源 II-3-5 視導他人 II-3-6 訓練他人. II-3-7 以循序的方式執行評鑑 II-3-8 在時間範圍內完成工作 II-3-9 方案評鑑中能應付壓力. III.一般的評鑑執行技能 III-1 邏輯與關鍵性思考技能 III-2 文書溝通技能 III-3 口頭溝通技能 III-4-1 磋商技能 III-4 人際關係能力 III-4-2 衝突解決技能 III-4-3 團體促進技能. III-4-4 團體處理技能 III-4-5 團隊合作技能 III-4-6 跨文化技能. III-5 電腦應用技能 IV.評鑑專業化 IV-1 了解自我是評鑑者的角色 IV-2-1 確保評鑑誠信與廉潔 IV-2 倫理行為 IV-2-2 能夠向潛在顧客傳達評鑑方法和技能 IV-2-3 尊敬答辯者、方案、參與者、顧客、及其他財務支 援者的安全、廉潔、和自我價值 IV-2-4 對社會及大眾福祉負責 IV-3 專業標準的知識 IV-4 專業標準的應用 IV-5 專業發展. IV-5-1 察覺專業成長的需求 IV-5-2 實務的反省 IV-5-3 電腦網路的知識 IV-5-4 個人評鑑領域知識的更新 IV-5-5 相關專業領域知識的進修 IV-5-6 對評鑑知識的貢獻. 資料來源：King, Stevahn, Ghere & Minnema ( 2001: 236-240)。 13.
(22) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 表 2-3 方案評鑑人員基本能力. 專業常規. 系統化探究. 情勢分析. 計畫管理. 實踐反省. 1.應用專業評鑑標準 2.確保評鑑中的誠實與完整 3.傳達評鑑方法與技巧給委託人 4.尊重委託人、回應者、方案參與者與其他利害關係人 5.考量一般與大眾的福祉 6.貢獻評鑑基本知識 1.瞭解評鑑基本知識. 11.評估資料的有效性. 2.具量化方法的知識 3.質性方法的知識 4.具質性與量化方法的知識 5.實施文獻閱覽 6.說明方案理論 7.架構評鑑問題 8.發展評鑑設計 9.確定資料來源 10.蒐集資料. 12.評估資料的可信度 13.分析資料 14.詮釋資料 15.下判斷 16.發展建議 17.為決定提供基本理由 18.報告評鑑程序與結果 19.注意評鑑的優勢及限制 20.實施後設評鑑. 1.描述方案 2.決定方案的評鑑 3.確定相關的利害關係人 4.提供使用者需要的資訊 5.解決衝突能力 6.檢視評鑑的脈絡. 7.分析與評鑑有關的政治因素 8.關心評鑑使用的議題 9.關心組織變革的議題 10.尊重評鑑單位與委託人的獨特性 11.對他人的加入持開放的態度 12.視需求而修正研究. 1.回應計畫的需求 2.在評鑑開始前與委託人協商. 7.能夠衡量所需的資源 8.使用適當技術. 3.寫出正式的協議 4.評鑑過程中與委託人溝通 5.編列評鑑預算 6.符合成本. 9.指導他人 10.訓練他人 11.以不會造成分裂的方式進行評鑑 12.定時地完成工作. 1.意識到自己是評鑑人員 2.反省個人評鑑實務 3.持續進行專業的評鑑發展 4.持續進行相關領域的專業發展 5.建立專業關係以增強評鑑實務. 14.
(23) 文獻探討. 表 2-3 方案評鑑人員基本能力(續). 人際能力. 1.使用書面溝通技巧 2.使用口語/傾聽溝通技巧 3.使用協商技巧 4.使用衝突解決技巧 5.促進人際互動 6.跨文化能力. 資料來源：King, Stevahn, Ghere & Minnema ( 2005a: 49-51)。. 為進一步暸解評鑑人員之評鑑實務的具體工作項目，研究者搜尋國外相關評 鑑手冊後發現，評鑑人員的工作項目若以評鑑步驟來劃分，大致可分為「設定評 鑑的界線」(set the boundaries of the evaluation)、「選擇適當的評鑑方法」(select appropriate evaluation methods)、 「蒐集和分析資料」(collect and analyze information) 以及「報告發現」(report findings)之四大工作項目(Herman,Morris & Fitz-Gibbon， 1987)，如下圖 2-1 所示：. 圖 2-1 評鑑步驟流程圖 資料來源：整理自 Herman, Morris &Fitz-Gibbon(1987：1-159)。. 此外，美國「評鑑研究社」(Evaluation Research Society)於 1982 年所出版的 評鑑工作標準，對評鑑人員評鑑工作時所應注意的工作標準陳述得非常具體。ERS 將評鑑人員之評鑑工作分為「規劃與協商、結構與設計、資料蒐集和準備、資料 分析和解釋、溝通與公布、以及結果的運用」六個步驟，並在各步驟底下擬出共 五十五個工作注意標準(曾淑惠，2002)，詳如下表 2-4 所示： 15.
(24) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 表 2-4 ERS 評鑑工作標準 規劃與協商(formulation and negotiation) 1. 2. 3. 4. 5. 6.. 正確描述受評方案的目標、型態、對象和範圍 確認委託者、決策者和其他潛在的評鑑結果使用者的資訊需求 與委託者事前確立並協商獲取評鑑資訊和結果的限制。 評鑑方案與變通方案的成本估算要合乎會計原則。 頇經非正式或正式過程來評估評鑑可行性。 確認潛在的利益衝突。. 7. 8. 9. 10.. 尊重與保障受評主體的權利與福祉。 界定評鑑的技術和經費管理的績效責任。 詳細說明達成的所有協定。 評鑑者不應接受超越評鑑者專業限制或資源條件的要求。 結構與設計(structure and design). 1. 2. 3. 4.. 詳細說明評鑑的途徑與設計。 詳細描述、分析、及判斷抽樣方法的細節。 明確敘述評鑑的方法和工具。 妥善安排方案成員、機構、及有關群體。 資料收集和準備(data collection and preparation). 1. 2. 3. 4. 5. 6. 7.. 進行評鑑人員的選擇和訓練，以確保資料蒐集的一致、公帄和倫理性。 發展資料蒐集的準備計畫，並準備背離原來設計的檢查。 檢證資料蒐集工具和程序的信度和效度。 避免發現和報告受到資料蒐集者的偏見和扭曲。 進行資料錯誤來源分析，建立品質保證和控制的適當措施。 嚴格地檢討可能產生相反效果或危險的程序。 必免資料落入未經許可者的手中。. 8. 9.. 採取資料保護措施，以防意外事件造成無法挽回的資料損失。 資料蒐集活動應在無害於受評方案的完整下進行。 資料分析和解釋(data analysis and interpretation). 1. 2. 3. 4. 5.. 分析的程序必頇符合評鑑目的、設計和資料的蒐集。 詳細描述分析程序及其假定和限制。 分析的程序必頇適合評鑑者特質、以及資料的質性、量性特質。 分析的單位必頇是合資料蒐集的方式和結論的型態。 必頇適切性地作重複分析。. 6. 7.. 因果解釋的支持，除要參照設計，也要確認和排除似合理的反面說明。 評鑑發現的報告方式，必頇能區別出客觀的發現、意見、判斷和推理。. 16.
(25) 文獻探討. 表 2-4 ERS 評鑑工作標準(續) 溝通與公布(communication and disclosure) 1. 2. 3. 4. 5. 6.. 評鑑發現必頇清晰、完整、公帄地呈現出來。 評鑑發現必頇以決策者和其他大眾能理解的語言來組織與敘述。 評鑑中所作的任何假定必頇明確地取得一般人的認同。 頇對因時間、資源和資料可用性等因素所造成的限制加以陳述。 對於評鑑有貢獻的個人、團體和組織，必頇得到適合其需求的回饋。 評鑑報告的公布，必頇遵守事先同意的合法性與專屬性。. 7.. 必頇以使用者所孰悉的策略和程序，來組織資料庫和文件。 結果的運用(use for results). 1. 2. 3. 4. 5. 6.. 評鑑結果必頇在做成相關決策之前，提供給適當的使用者。 預防評鑑資訊的誤解和誤用。 提醒決策者和其他大眾，注意評鑑過程中可能產生的正面或負面作用。 明確區分評鑑發現和根據評鑑發現所提出的政策建議。 提出修正行動的建議時，頇指出建議方案的可能效果和成本。 評鑑人員本身之評鑑角色和所選擇的支持角色間頇維持明確的界線。. 資料來源：整理自曾淑惠(2002: 56-59)。. 由此可知，透過國內外評鑑手冊內容可具體地暸解評鑑人員在評鑑實務工作 中所應具備的評鑑技能；而從國內外專業學者的研究中，則可巨細靡遺地暸解評 鑑人員所應具備的評鑑專業能力要素。參考上述文獻，研究者於下進一步分析並 歸納我國大學訪評委員所應具備的評鑑知能項目與內涵要素。. 二、我國大學訪評委員之評鑑知能規劃 研究者參考 Merten(1994)、King、Stevahn、Ghere 和 Minnema(2001，2005)、 以及劉智豪(2004)所提出的評鑑人員評鑑專業能力內涵項目、與國內大學評鑑手 冊內容，歸納我國大學訪評委員應具備的五大評鑑學理層面之知識項目，分別 為：大學評鑑理論的基本概念、評鑑研究方法論、高教政策環境知識、評鑑標準 與原則、校務或學門專業知識。同時研究者並參考美國評鑑研究社以及 Herman 等人出版的「評鑑人員指引手冊」(Evaluation’s Handbook)，歸納我國大學訪評委 員所應具備的四大評鑑實務層面之知能項目，分別為：資料蒐集、資料分析、撰. 17.
(26) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 寫評鑑報告、評鑑溝通。 整理國內外學者及評鑑機構之研究文獻，陳述評鑑人員所應具備的評鑑能力 項目如下表 2-5： 表 2-5 評鑑人員之評鑑能力項目 機構/學者. 評鑑能力項目. 評鑑研究學會標準委員會. 規劃與協商、結構與設計、資料收集和準備、資料分. (1982). 析和解釋、溝通與公布、結果的運用. Herman、Morris 和. 設定評鑑的界線、選擇適當的評鑑方法、蒐集和分析. Fitz-Gibbon(1987). 資料、報告發現. Merten(1994). 專指評鑑的知識/技能、與研究方法相關的知識/技能、 借自其他領域的知識/技能、特定訓練的知識/技能. King、Stevahn、Ghere 和. 系統研究、稱職的評鑑業務執行、一般的評鑑執行技. Minnema(2001). 能、評鑑專業化. King、Stevahn、Ghere 和. 專業常規、系統化探究、情勢分析、計畫管理、人際. Minnema(2005). 能力. 魏惠娟(2001). 研究知能、評鑑知能、溝通知能、決策與管理知能、 資料處理知能、特定專業領域知能. 資料來源：研究者自製。. 以下研究者尌評鑑學理層面之知識與評鑑實務層面之知能兩個層面，說明兩 個層面下所規劃出的四個評鑑知識及五個評鑑知能的內涵，再參考美國「教育評 鑑標準聯合委員會」(The Joint Committee On Standards for Educational Evaluation) 於 1994 年擬出的四個「方案評鑑標準」(The Program Evaluation Standards)，來 輔助說明研究者選擇以下評鑑知能內涵作為大學訪評委員所應具備之評鑑知能 的理由。 教育評鑑標準聯合委員會擬定「方案評鑑標準」之目的在於指導方案評鑑的. 18.
(27) 文獻探討. 規劃、設計和實施三部份。參考我國大學評鑑實務手冊後發現，我國大學訪評委 員之訪評工作僅涉及方案評鑑的「實施部分」，因此研究者僅尌與訪評工作相關 的方案評鑑「實施標準」，整理說明如下表 2-6： 表 2-6 方案評鑑實施之標準 效用性(Utility) 標準：. 1.評鑑關係人的確認(stakeholder identification) 2.評鑑者的可靠性(evaluator credibility) 3.資訊的範圍與選擇(information scope and selection). 在於確保評鑑能提供 4.價值的定義(values identification) 使用者所需的資訊 5.報告的清晰性(report clearly) 6.報告的時效性與傳播(report timelines and dissemination) 7.評鑑的影響(evaluation impact) 可行性(Feasibility) 標準： 1.務實的程序(practical procedures) 在於確保評鑑的真 2.政治上的可行性(political viability) 實、謹慎、圓融、與 簡約 適切性(Propriety) 標準： 在於確保評鑑及其結 果合法、合理，並符 合評鑑參與者及受評 鑑影響者的福祉 精確性(Accuracy) 標準： 在於確保評鑑在技術 上顯示並傳達受評對 象特點的適當資訊， 以決定受評方案的價 值或優點. 1.服務導向(service orientation) 2.正式的同意(formal agreements) 3.受評者的權利(rights of human subjects) 4.人際互動(human interactions) 5.完整與公帄的評估(complete and fair assessment) 6.明示發現(disclosure of finding) 7.利益的衝突(conflict of interest) 1.方案的文件(program documentation) 2.有辯護力的資訊來源(defensible information sources) 3.有效的資訊(valid information) 4.可靠的資訊(reliable information). 資料來源：Joint Committee(1994)。. 19.
(28) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. (一)評鑑學理層面之知識： 本研究所指的評鑑學理層面之知識，係訪評過程中大學訪評委員所應具備 的評鑑事實性與資料性知識。經文獻整理後，研究者列出我國大學訪評委員所應 具備的五大評鑑學理層面之知識，分別為大學評鑑理論的基本概念、評鑑研究方 法論、高教政策環境知識、評鑑標準與原則、以及校務或學門專業知識，於下詳 細說明之： 1. 大學評鑑理論的基本概念 研究者整理文獻後，歸納評鑑理論的基本概念內容包括：瞭解評鑑理論意 義、功能、常用模式、理論之應用與限制(劉奕權，1985、陳劍賢，2002、曾淑 惠，2002、劉智豪，2004)。由於評鑑理論知識係評鑑實務工作的基礎，身為大 學訪評委員應具備大學評鑑理論的基本概念，才得以對其訪評工作有基礎的概念 認知，並進而在此概念基礎上建構正確的評鑑觀念，以確保評鑑實務程序的「可 行性」。 2. 評鑑研究方法論 整理國內外文獻發現，評鑑人員在評鑑研究方法論上所應具備的知識內涵， 大致可歸納為質性與量化研究方法的知識(Merten,1994; King,Stevahn, Ghere & Minnema,2001.2005)，其與劉智豪的研究結果相似。根據我國大學評鑑實務手冊 可知，早期我國大學校務訪評委員僅頇審核各校所提供之書面資料，無頇實地進 行評鑑資料的蒐集，惟後期我國高等教育評鑑中心要求大學系所訪評委員在訪評 過程中頇進行實地設施觀察、座（晤）談、教學現場訪視、資料檢閱及問卷調查 等這些資料蒐集的工作(教育部，2004，2008)。由此可知，大學訪評委員之自行 搜集評鑑資料的能力，近年來受到我國評鑑機構的重視，而這些資料蒐集技能的 上位理論知識，即為質性與量化之研究方法論。因此大學訪評委員應具備評鑑研 究方法論之知識，才得以確保評鑑資料蒐集與結果分析的「效用性與精確性」。. 20.
(29) 文獻探討. 3. 高教政策環境知識 Merten(1994)及 King(2005)等人指出，評鑑人員應具備政治科學及情勢分析 相關的能力；魏惠娟(2002)指出評鑑人員應具備決策與管理的知能；吳佳燁和劉 智豪在探討國民小學校務評鑑訪評委員之專業能力和帅稚園訪評委員之專業素 養研究中，分別規劃出「瞭解整理社會脈絡」以及「與評鑑有關之政策知能」(吳 佳燁，2005；劉智豪，2003)。因此研究者認為，大學訪評委員應具備與高教政 策環境相關之知識，包括暸解高教政策目標、施行情況、政策制定之法律依據以 及政策目標與學校發展的關係…等，才得以確保評鑑資料分析以及事後評鑑結果 建議提供上具有政治的「可行性」。 4. 評鑑標準與原則 評鑑標準是一套由專業評鑑人員普遍同意的原則或指引，代表該領域內的最 低表現水準，其作用為指導評鑑的規劃、設計和實施，或做為判斷評鑑品質與價 值的依據(曾文惠，2002)。訪評委員若能明確瞭解評鑑方案內所擬定之評鑑標 準，除得聚焦評鑑資料分析的方向外，更有助於確切掌握實務訪視的重點，進而 確保評鑑資訊提供的「效用性與精確性」。閱覽我國大學實務評鑑手冊發現，近 年來我國推動的大學系所評鑑，為提升評鑑結果的信度與效度，採取標竿取向來 設計評鑑標準 (教育部，2008；王保進，2006)。因此身為我國大學訪評委員應 熟悉訪評內容中的評鑑標準，包括評鑑項目與指標，才得以確實根據評鑑標準進 行實務訪評。 訪評委員除應具備評鑑標準的知識外，同時為確保訪評的公正與客觀，亦頇 瞭解訪評的工作倫理原則。國外評鑑專業團體，如美國評鑑學會（American Evaluation Association） 、英國評鑑學會（United Kingdom Evaluation Society） 、加 拿大評鑑學會（Canadian Evaluation Society） 、德國評鑑學會（German Evaluation Society）、澳洲評鑑學會（Australasian Evaluation Society）等，均訂有明確的倫 理信條，用來約束專業社群所屬成員的評鑑行為(林天祐，2006)。 近年來，我國. 21.
(30) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 推動的大學系所評鑑，也特別擬訂了訪視評鑑委員利益迴避保證書，請訪評委員 簽署利益迴避保證書並要求其勾選出需要迴避的系所，也請受評系所事前檢視委 員名單(曾美惠，2006)，此利益迴避制度的建立對提升我國大學評鑑品質與公信 力而言，是值得肯定的。然而大學訪評委員若能具備上述評鑑標準與原則之知識 ，必能確保評鑑過程的「完整與公帄(適切性)」。 5. 校務或學門專業知識 不同評鑑領域的評鑑委員有其頇具備的「領域」專業能力。在名稱上，魏惠 娟稱之為「特定專業領域」知能；而 Merten 則稱之「特定訓練」知識/技能。根 據受評學校與評鑑內容，可將我國大學訪評委員分為：一般大學校院訪評委員與 科技大學校院訪評委員；以及校務訪評委員與學門系所訪評委員。本研究主要聚 焦於一般大學之校務及學門訪評委員，因此其所需的領域專業知識可稱之為「校 務或學門專業知識」 。根據吳珮琪(2006)與吳佳燁(2005)之研究結果指出：帅教專 業知能是身為帅稚員訪評委員首要具備的能力。無庸置疑，身為大學校務或學門 訪評委員其本身首要具備的能力為「校務或學門專業知識」。. (二)評鑑實務層面之知能： 本研究所指的評鑑實務層面之知能，係訪評過程中大學訪評委員所應具備 的評鑑程序性知識與實務技能。經文獻整理後，研究者列出大學訪評委員所應具 備的四大評鑑實務層面之知能，分別為資料蒐集、資料分析、撰寫評鑑報告、以 及評鑑溝通，於下詳細說明之： 1. 資料蒐集 近年來我國評鑑機構漸重視大學訪評委員在訪評過程中，能進行實地觀 察、座（晤）談及問卷調查等資料蒐集的能力。研究者認為訪評委員若能於訪評 過程中，切入問題核心地進行資料蒐集，將得以確保蒐得資料的「效用性與精確 性」。研究者整理相關文獻後，歸納訪評委員所應具備之資料蒐集內涵包括：運 用量化及質性方法進行訪評資料蒐集、選擇適合的訪評資料蒐集方法、以及發展. 22.
(31) 文獻探討. 適切的資料蒐集工具(劉智豪，2003；Herman、Morris & Fitz-Gibbon，1987)。 Herman、Morris 和 Fitz-Gibbon(1987)進一步提出評鑑人員在選擇資料蒐集的方法 上，可藉由成果表或執行表的製作、以及測量所需成本…等方式來決定資料蒐集 的方法。 2. 資料分析 根據我國評鑑實務手冊可知，我國大學訪評委員的重要任務，即是根據受評 單位自我評鑑報告資料以及其實地訪評結果，綜合做出評鑑結果建議，以提交評 鑑規劃委員會決議(教育部，2004，2008)。因此我國大學訪評委員應具備健全的 資料分析知能，才能確保評鑑結果判斷與建議合乎「效用性、適切性與精確性」。 整理相關文獻，研究者認為訪評委員所應具備之資料分析內涵包括：進行質性詮 釋與量化統計的資料分析、符合評鑑標準進行資料分析、以及資料分析後能做出 有效判斷並發展建議(美國評鑑研究社，1982；Herman, Morris & Fitz-Gibbon， 1987；劉智豪，2003)。 3. 撰寫評鑑報告 Herman、Morris 和 Fitz-Gibbon(1987)指出評鑑工作的最後ㄧ個步驟為「報 告發現」，即在呈現並發表評鑑成果。King 等人(2001)認為撰寫評鑑報告係評鑑 人員所應具備之一般評鑑執行的技能，其屬於文書溝通的能力同時也是一種研究 結果報告的能力。從我國評鑑實務手冊可知，我國大學訪評委員於訪評後的重要 職責，即是將評鑑發現及成果撰寫成書面報告以公告周知。因此我國大學訪評委 員應具備撰寫評鑑報告的良好知能，才能確保訪評評鑑報告呈現的「精確性與效 用性」。整理相關文獻，研究者認為訪評委員所應具備之評鑑報告撰寫的內涵包 括：清晰一致、具有整體性、且符合邏輯結構地呈現評鑑報告；使用生活化的詞 語進行報告撰寫；將正負面評鑑結果具陳；指出評鑑的限制；以及說明評鑑結果 的後續追蹤原則(美國評鑑研究社，1982；Herman, Morris & Fitz-Gibbon. 1987； 劉智豪，2003)。. 23.
(32) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 4. 評鑑溝通 評鑑溝通可分為文書溝通與口頭溝通兩方面(Merten, 1994；King 等人, 2001)。而本研究所指的評鑑溝通，係排除上述撰寫評鑑報告之文書溝通能力， 主要指大學訪評委員主持訪視前座談會；主持結果討論會議；回應各院校及系所 之申覆；與委託者達成評鑑目的、方法、可運用資源與經費之共識；以及公開、 誠懇地處理利益衝突之溝通知能(美國評鑑研究社，1982；Merten, 1994；King, Stevahn, Ghere & Minnema, 2001；Herman, Morris & Fitz-Gibbon, 1987；劉智豪， 2003，教育部，2004，2008)。我國大學訪評委員若能具備良好之評鑑溝通知能， 將能促進評鑑執行過程的「可行性與適切性」以及評鑑結果提供的「效用性與精 確性」。. 三、小結 研究者在規劃我國大學訪評委員所應具備之評鑑知能要素前，先行探討評鑑 知能的意涵，並根據評鑑知能意涵探討的結果將評鑑人員之評鑑知能分為「評鑑 學理層面之知識」及「評鑑實務層面之知能」兩大層面。之後再根據國內外評鑑 機構所出版的評鑑人員手冊、以及專家學者的研究文獻，綜合歸納出我國大學訪 評委員所應具備的評鑑知能，共五大評鑑學理層面之知識、與四大評鑑實務層面 之知能。 其中五大評鑑學理層面之知識，分別為： (1). 評鑑理論：瞭解評鑑理論意義、功能、常用模式、理論之應用與限制。. (2). 評鑑研究方法論：瞭解評鑑之質性與量化的研究方法。. (3). 高教環境政策知識：暸解高教政策目標、施行情況、政策制定之法律 依據以及政策目標與學校發展的關係。. (4). 評鑑標準與原則：暸解評鑑內容的評鑑項目與指標、評鑑指標實際運 用的原則以及應遵守的評鑑倫理原則。 24.
(33) 文獻探討. (5). 校務與學門專業知識。. 其中四大評鑑實務層面之知能為： (1). 資料蒐集：運用量化及質性方法進行訪評資料蒐集、選擇適合的訪評 資料蒐集方法、以及發展適切的訪評資料蒐集工具。. (2). 資料分析：進行質性詮釋與量化統計的資料分析、符合評鑑標準進行 資料分析、以及資料分析後能做出有效判斷並發展建議。. (3). 撰寫評鑑報告：清晰一致、具有整體性、且符合邏輯結構地呈現評鑑 報告；使用生活化的詞語進行報告撰寫；具陳受評對象的優缺點；指 出評鑑的限制；以及說明訪評結果的後續追蹤原則。. (4). 評鑑溝通：主持訪視前座談會；主持結果討論會議；回應各院校及系 所之申覆；與委託者達成評鑑目的、方法、可運用資源與經費之共識； 以及能公開、誠懇地處理利益衝突。. 在五大評鑑學理層面之知識中，本研究僅聚焦「大學評鑑理論的基本概念」 、 「評鑑研究方法論」 、 「高教政策環境知識」以及「評鑑標準與原則」此四個評鑑 知識。理由在於「校務與學門專業知識」是大學校務與系所評鑑委員所應具備之 「個別」評鑑知識，「非共通」知識，且在學門專業知識上，因應不同學門所應 具備之專門知識又各異。綜上可知，「校務與學門專業知識」此項知識能力既非 大學訪評委員所應具備之共通能力，且學門專業知識能力分類又複雜，是故此知 識能力頇深入探討無法用幾個簡單的能力項目即能代表，因此本研究尚不討論此 能力。. 25.
(34) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 第二節. 大學訪評委員評鑑知能需求之評估. 本節在於探討大學訪評委員評鑑知能需求評估之相關概念。首先探討需求評 估之概念，再歸納、分析需求評估之模式與實施程序，接著探討需求評估之資料 蒐集方法，最後研究者根據上述概念，整合規劃出我國大學訪評委員評鑑知能需 求之評估程序。. 一、需求評估之概念 依據Husen與Postlehwaife(1994)所主編的國際教育百科全書(The International Encyclopedia of Education) 中 ， T.M.Suarez 指 出 需 求 的 概 念 有 三 ： 一 、 依 據 Kaufman(1972)的解說，需求是指實際狀況與目標狀況間的差距。二、需求是指 個體需要或偏好的狀態，需求是要確定特定的個人或團體的知覺。三、依據 Scriven(1981)的解說，需求是個體感到沒有達到或無法維持最低限度滿足之情 形。研究者根據上述概念，陳述需求評估的兩個意涵如下： 第一、「需求評估」是一種實際與目標狀況間的差距評估方式； 第二、「需求評估」是一種確定受評對象需要狀態的評估方式。 因此本研究所指的「需求評估」係，評估大學訪評委員「應具備」及「所具備」 之評鑑知能間的差距，以確定大學訪評委員之評鑑知能需求狀態。. 二、需求評估之模式與實施程序 本研究主要以「差距模式」作為評估大學訪評委員評鑑知能需求之基礎。 Mckillip(1987)指出進行差距模式評估的一般執行步驟有下： 1. 設定目標、確認應該是什麼樣子； 2. 測量現有的表現，決定現在是什麼樣子； 3. 差距的確認，整理出「應該是」和「現在是」之間的差距情形。. 26.
(35) 文獻探討. 研究者整理相關文獻，提出「差距模式」之需求評估實施程序，共包括四個 階段及十三個步驟 (Burton&Merrill，1977；Barbulesco，1988；Kaufman、 Rojas&Mayer，1993；楊美雪，1996；陳慧娟，1995)。於下詳細說明之：. 圖 2-2 需求評估階段和步驟圖 資料來源：研究者自製。. (一) 準備階段 1. 發現績效問題： 發現、確認並界定組織及人員績效表現問題，以決定是否進 行需求評估。 2. 組成評估小組： 選定相關人員或團體進行需求評估研究，這些人員頇了解各. 27.
(36) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 種需求評估的方法。 3. 確定評估目的、範圍與限制： 確定需求評估的目的與用途並界定研究範圍，同時考量可能 影響需求評估的因素，包括政治、經濟及需求評估本身的限 制。 4. 描述並確定受評對象： 描述受評對象的特徵與服務環境，並確定評估哪些對象。 5. 選擇評估方法： 根據成本效益、人員執行能力、時間急迫性、方法功能等因 素選擇需求評估之方法，並注意所選出的需求評估方法能與 評估目的相結合。 6. 讓他人暸解： 讓受評對象暸解需求評估的評估目的與內容，並確認評估後 的資料將可提供哪些人使用。 (二) 發展階段 7. 建立分析指標： 在能力指標的建構上，Dubois(1993)提出五種建立能力模式的 方法，分別為： (1) 工作能力評估法：使用嚴格的實證研究流程，對帄均及優秀工作績 效者進行訪談，以從帄均工作績效中區別出優秀績效的工作能力是 什麼。 (2) 修正工作能力評估法：此方法係修改上述面對面的訪談方式，改請 帄均及優秀工作績效者寫下他們認為重要的工作行為故事，供研究 者分析研究。 (3) 一般模式複製法：選擇一個既有的能力模式，將其套用於套用於所. 28.
(37) 文獻探討. 欲研究的工作職位上。 (4) 量身訂製一般模式法：研究者暫時擬定能代表帄均及優秀工作績效 者的能力特徵，然後在較大的工作與組織脈絡下加以研究並詮釋， 以找出優秀工作者專屬的能力特質。 (5) 彈性工作能力模式：藉由廣泛的資料基礎、以及考量組織的偏好與 可用的資源，來辨識未來某工作所需的能力。 陳慧娟(1995)則認為能力分析指標的建立應考量來自教育工 作者、參與者或潛在參與者、其他代表以及領導人…等不同觀 點的需求。 8. 資料蒐集 依所建立的能力分析指標以及所選定的資料蒐集方式進行資 料蒐集。 9. 差距調查： 根據差距模式分析人員「所應具備」與「已經具備」能力間 的差距。 10. 排定需求優先順序： 根據差距調查結果，並考量需求量、成本、時間與空間等因 素，依序排列人員所需要的能力。 (三) 結果陳述階段 11. 陳述需求評估： 針對需求評估的過程及結果，向決策者、課程規劃者、員工 及相關人員作正確、適時的陳述。 12. 提出教育訓練方案之初步構想： 依據需求評估的結果，進一步提出可行的人員教育訓練課 程方案構想。. 29.
(38) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. (四) 評鑑階段 需求評估本身頇進行形成性及總結性的評鑑，才得以確保所提供的結果具品 質且效力。Barbulesco(1980)以問題思考方式，提出「評鑑」需求評估的評鑑標 準，以下陳述之： 13. 進行需求評估之成效評鑑與反思： (1) 需求評估的設計是否明確界定教育需求，並且提供課程規劃者和決 策者有用的建議？ (2) 需求評估是否有長期概括的計畫？ (3) 需求評估之實施程序是否簡單、容易執行？ (4) 實施需求評估之代價是否合理？ (5) 需求評估之參與者及資料提供對象是否涵蓋不同的群體和個人？ (6) 資料蒐集的方式是否適當、具概括性、信度和效度且資料蒐集及分 析的種類是否明確？ (7) 需求評估所提供之方法或標準程序，是否能確定地排出需求的優先 順序？ (8) 是否對確認的需求，進一步提出具體的行動建議？ (9) 相類似的需求情境，或先前相同的需求研究結果，是否列入需求評 估的程序中作考量？ 三、需求評估之資料蒐集方法 需求評估之資料蒐集方法多元，Waler 指出較常用的方法為：訪談、問卷調 查法、觀察法、團體討論、紀錄/報告、諮詢管理者、態度研究、評鑑中心法、 工作考核、諮詢委員會、工作抽樣調查、測驗、系統及程序的轉變等(吳政達， 1997)。然而如何選擇適切的資料收集方法以合乎需求評估之目的？Newstorm 和 Lilyquist(1979)所提出的「需求評估方法選擇指標」 ，則可作為解決上述問題之重 要參考。Newstorm 和 Lilyquist 根據參與態度、所需時間、成本、及資料與評估. 30.
(39) 文獻探討. 目的間相關性…等指標，研究下列十一種需求評估之資料選擇方法在指標上的呈 現效果，分別給予「高、中、低」不同的標準，詳如下表 2-7 所示 (Newstorm&Lilyquist,1979)： 表 2-7 需求評估方法之選擇指標表 主要參與者. 管理階層. 參與態度. 參與態度. 諮詢委員會. 低. 評估中心法. 指標. 所需時間. 成本. 相關性. 中. 中. 低. 低. 高. 低. 高. 高. 高. 態度調查. 中. 低. 中. 中. 低. 群體討論. 高. 中. 中. 中. 中. 員工訪談. 高. 低. 高. 高. 中. 管理者要求. 低. 高. 低. 低. 低. 行為觀察. 中. 低. 高. 高. 中. 績效評定. 中. 高. 中. 低. 高. 績效紀錄. 低. 中. 低. 低. 高. 問卷調查. 高. 高. 中. 中. 高. 技能測驗. 高. 低. 高. 高. 高. 評估方法. 資料來源：Newstorm&Lilyquist(1979: 52-56)。. 研究者參考 Newstorm 和 Lilyquist 之「需求評估方法選擇指標」後，選擇「問 卷調查法」作為評估大學訪評委員之評鑑知能需求的方法。以下陳述選擇此方法 的理由： 一、本研究對象以可能擔任一般大學校院之訪評委員為主，由於其本身可能 為評鑑工作之「主要參與者」，從表 2-7 中可知，選擇此類人員進行問卷調查， 其參與態度高。 二、再者，經由問卷調查進行需求評估，其所花費的「時間及成本適中」，. 31.
(40) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 較訪談及行為觀察來得省時與省錢，是研究者可接受的時間及成本範圍。 三、最後，研究者採取問卷調查作為本研究方法的重要理由在於：由上表所 知，經問卷調查其研究調查結果與研究目的間將具有「高相關性」。. 四、大學訪評委員評鑑知能需求之評估規劃 研究者參考上述相關文獻，進而擬定一套合乎本研究目的之「大學訪評委員 評鑑知能需求的評估流程」，以作為本研究評估大學訪評委員評鑑知能需求的重 要參考，詳如下表 2-8 所示： 表 2-8 大學訪評委員評鑑知能需求之評估流程 準備階段 發現績效問題. 1. 發現目前大學評鑑品質及公信力低落之問題，可能源自 大學訪評委員評鑑工作績效不佳所導致。 2. 閱覽相關文獻後，研究者認為：訪評委員工作績效表現 可能與其本身所具備之評鑑知能程度相關。. 確定評估目的. 希冀透過本研究了解我國大學訪評委員所欠缺的評鑑知能 有哪些，並進一步設計得以提升訪評委員評鑑知能之研習課 程與教學方法。 1. 範圍：. 確定評估範圍與. (1) 確定受評對象：原本欲以一般大學校院之訪評委員 為對象，但由於大學訪評委員名單無法對外公開之. 限制. 限制，因此改以可能擔任大學訪評委員之高機率群 為主。 (2) 研究地區：全省但集中於北部地區 2. 限制：問卷填答的主觀與偽裝反應、對象無法推論至所. 選擇評估方法. 有的大學訪評委員 根據 Newstorm 和 Lilyquist 之「需求評估方法選擇指標」 ，研 究者選擇「問卷調查」作為本研究之評估方法。. 32.
(41) 文獻探討. 表 2-8 大學訪評委員評鑑知能需求之評估流程(續) 發展階段 1. 研究者參考 Dubois「量身訂製一般模式法」與「彈性工 建立分析指標. 作能力模式」之能力分析方法，作為建立本研究大學訪 評委員評鑑知能指標的方法。 2. 在大學訪評委員評鑑知能指標的建構上，研究者先藉文 獻探討暫擬一套能代表大學訪評委員評鑑知能之能力項 目與內涵，再發展成問卷以對可能擔任大學訪評委員之 高機率群進行施測，最後根據施測結果來確定大學訪評 委員之評鑑知能需求。. 蒐集資料. 設計「大學訪評委員評鑑知能需求及其研習規劃」之意見調 查問卷進行資料蒐集. 差距調查. 根據差距模式分析大學訪評委員「所應具備」與「已經具備」 之評鑑知能間的差距。. 排定需求優先順 序. 將評鑑委員所需要的評鑑知能，依差距分析結果來排定優先 順序。 結果陳述階段. 陳述需求評估 提出初步培訓方 案構想. 陳述需求評估的過程與結果，並向相關人員提出建議。 根據研究結果，設計一套得以提升訪評委員評鑑知能之研習 課程與教學方法。 評鑑階段. 針對本研究所提出的九個問題思考點如下： 1. 本「大學訪評委員評鑑知能需求評估」設計，是否明確界定評鑑知能需求， 並提供課程規劃者和決策者有用的建議？ 2. 本需求評估設計是否有長期概括的計畫？ 3. 本需求評估之實施程序是否簡單、容易執行？. 33.
(42) 我國大學訪評委員評鑑知能需求及其研習規劃之研究. 表 2-8 大學訪評委員評鑑知能需求之評估流程(續) 評鑑階段 4. 本需求評估之實施代價是否合理？ 5. 本需求評估之參與者及資料提供對象是否涵蓋不同的群體和個人？ 6. 本需求評估之資料蒐集方式是否適當、具概括性、信度和效度？ 7. 本需求評估所使用的評估方法與程序，是否有助於確定大學訪評委員之評鑑 知能需求，並能進一步排出知能需求的優先順序？ 8. 本需求評估是否能對確認的需求，進一步提出具體的行動建議？ 9. 本需求評估設計是否有參考與本需求評估相類似的需求情境，或先前相同的 需求研究結果？ 資料來源：研究者自製. 五、小結 本節首先探討需求評估之概念，以界定本研究「評鑑知能需求評估」之內 涵，本研究所指的評鑑知能需求評估即在評估大學訪評委員「應具備」及「所具 備」之評鑑知能間的差距，以確定大學訪評委員之評鑑知能需求狀態。在「應具 備」之評鑑知能上，係藉相關評鑑人員對大學訪評委員評鑑知能之「重要性評定」 來瞭解大學訪評委員所應具備之評鑑知能的重要程度；在「所具備」之評鑑知能 上，係藉相關評鑑人員對大學訪評委員評鑑知能之「具備情況評定」來瞭解目前 大學訪評委員評鑑知能的具備程度；最後藉由「重要性與具備情況評定之差距評 估結果」，來瞭解大學訪評委員之評鑑知能需求程度，若某評鑑知能被評定的重 要性與具備情況間差距愈大，則表示該評鑑知能被需求的程度可能愈高(但重要 程度頇大於具備程度)。 由於本研究主要運用「差距模式」作為評估大學訪評委員評鑑知能需求之理 論基礎，因此研究者整理相關文獻，歸納出四個階段與十三個步驟的「差距模式」 需求評估程序，作為規劃本研究大學訪評委員評鑑知能需求評估流程之參考。同. 34.
(43) 文獻探討. 時研究者參考 Newstorm 和 Lilyquist 之「需求評估方法選擇指標」後，選擇以「問 卷調查法」作為評估本研究大學訪評委員之評鑑知能需求的研究方法。. 35.
相關文件
教師評鑑TE (Teacher Evaluation) / 專業成長PG (Professional Growth)..
（3） TTQS 是針對機構進行評鑑，而非訓練班別，由於同一個機構 所辦理的不同訓練班別品質不盡相同，故 TTQS
（1）請仲介機構提出評鑑人員於現場所抽出 10 份雇主
1、由各評選委員就評選項目及權重，填寫評選表一份（如附表三 之一、三之二、三之三及三之四）
學校概況 評鑑項目一 評鑑項目二 評鑑項目三 評鑑項目四 總結 36
一 寫作評講(詩歌) 運用三至五個評講重點賞析同儕創作的詩歌 二 寫作評講(短文) 運用寫作評量表評鑑同儕創作的文章. 三
通過是次觀課與 評課活動，明白 到有需要擬定清 晰、可量度的評 估準則，才能幫 助學生了解是否
目標 目標 策略 策略 策略 策略 成功準則 成功準則 成功準則 成功準則 評估方法 評估方法 評估方法 評估方法 時間 時間 時間 時間. 表 表
