我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例

全文

(1)國立台灣師範大學政治學研究所博士學位論文. 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 指導教授：黃城博士、吳清基博士. 研究生：林信耀. 中華民國一○三年六月.

(2) National Taiwan Normal University Graduate Institute of Political Science. A Study on Improvement and Validity Inspection of Specialized Accreditation Results of Higher Education Institutions in Taiwan－A Case Study on the Content Analysis of Evaluation Reports of the Political Departments. Advisor：Huang Chen Ph.D.. Wu Ching-Ji Ph.D.. Graduate Student：Lin Hsin-Yao. June 2014 Taipei, Taiwan, Republic of China.

(3) 校所名稱：國立台灣師範大學政治學研究所論文題目：我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例畢業時間：2014年（一〇二學年度第二學期博士學位論文摘要）研究生姓名：林信耀. 指導教授：黃城博士、吳清基博士. 論文摘要：我國於 2005 年底成立財團法人高等教育評鑑中心基金會，專責辦理系所評鑑等大學相關評鑑工作，至此，我國大學評鑑制度已經進入專業化、制度化階段。我國大學校院系所評鑑自 2006 年開始實施，以五年為一個週期，至 2010 年結束，謂之第一週期大學系所評鑑，計有 79 所大學校院（含 9 所軍警校院）、2920 個系所班制接受評鑑。本研究基於後設評鑑強調「任何的評鑑都可以接受評鑑」之觀點，以政治學門評鑑報告為例進行研究。由於評鑑報告是評鑑結果是否具有效度的關鍵證據，因此，利用評鑑報告作為後設評鑑對象，進行檢視評鑑結果的正確性，並根據研究發現與結論提出改進建議，以供相關單位參考。本研究主要運用文獻分析法與內容分析法，進行文獻探討，並針對政治學門 38 系所 66 個班制的評鑑報告內容進行質性與量化分析。整體而言，經由對評鑑報告進行內容分析，研究發現評鑑認可要素的確是評鑑結果通過與否的重要關鍵，系所評鑑報告具有高度的評鑑效度，評鑑結果具有效度；系所辦學量化指標並非影響系所評鑑結果的關鍵因素；惟應強化評鑑報告的信服度，提昇評鑑委員的評鑑專業知能。同時，文獻探討發現對於續辦系所評鑑的必要性或價值性，各大學仍然有相當程度的疑慮。本研究根據 16 項的綜合性結論，針對主管教育行政機關與高教評鑑中心提出下列建議：1.引導我國大學建立自我認可機制，強化其功能，並建立外部校務評鑑與內部系所評鑑機制 2.重起大學評鑑辦法的修訂工作 3.成立專責單位，積極推動大學後設評鑑 4.建置評鑑委員隨時更新的長期性資料庫，並且建構評鑑委員選聘、培育訓練及專業倫理的有效機制，以追求更高的評鑑客觀性與公正性 5.規劃我國研究評鑑制度，以強化提昇我國大學的研究力與競爭力。其次，針對各大學校院提出建議如下：1.建構系統化的自我評鑑與自我改進機制，以落實辦學績效責任 2.虛心面對外部評鑑機制，化為辦學績效助力 3.強化師資結構素質是各大學校院的要務 4.參考英國大學的作法，建立學生充分參與校內自我評鑑的機制，以贏得學生對於學校的認同歸屬感。【關鍵字】系所評鑑後設評鑑內容分析大學評鑑.

(4) National Taiwan Normal University Graduate Institute of Political Science Title of Thesis：A Study on Improvement and Validity Inspection of Specialized Accreditation Results of Higher Education Institutions in Taiwan －Taking the Content Analysis of Evaluation Reports of the Political Departments for Example Student：Lin Hsin-Yao. Advisor：Huang Chen Ph.D.、 Wu Ching-Ji Ph.D.. Abstract： Higher Education Evaluation & Accreditation Council of Taiwan (HEEACT) has been founded in the year 2005, the aim of this organization is to assist on Program Accreditation、 Institutional Accreditation and so forth. The Institutional Accreditation System has now come in to a specialized and institutionalization stage. The Institutional of the Accreditation System has a period of five years each cycle, which has introduced in year 2006, and the first trial was ended in year 2010. There were 79 Universities (including nine military Police School), 2029 Department shifts agreed to participate. The results show that there are still rooms for improving this system as the universities and communities are having negative feedback and doubts after implementation of the system. This study is based on the Meta-evaluation theory that is “every evaluation can be evaluated’. Taking the political science Specialized Accreditation as an example, the evaluation report is the key evidence of the evaluation validity. Therefore, the use of the evaluation report as a meta-evaluation object, to examine the validity of evaluation results, and to make recommendations based on the findings and conclusions, to the relative reference. This study used literature analysis and content analysis, against 38 political science department and 66 shifts by the qualitative and quantitative content analysis of evaluation reports. Overall, through a content analysis on the evaluation report Accreditation factor is indeed an important key to evaluation results through, Specialized Accreditation results with high degree, that departments review reports with a high degree of assessment validity. The quantification of running indicator was not the key factor that to affect the faculty evaluation results. Strengthen convinced of the evaluation report, and thus enhance the evaluation committee's evaluation of professional knowledge and ethics, is the key to the success of the evaluation. Meanwhile, the literature review found that for renewal Specialized Accreditation of the necessity or value of, the universities still have a considerable degree of doubt..

(5) According to 16 integrated conclusions of this study, recommends to the educational administration agency and Higher Education Evaluation & Accreditation Council of Taiwan (HEEACT) as follow: 1. Guide the Universities to set up self-evaluation system, strengthening its functions and to establish external Institutional Accreditation system and internal Specialized Accreditation mechanisms. 2. Resume and revise the Higher Institutional Accreditation Rule. 3. Set up an ad hoc unit to actively pursue the Higher Institutional Meta-evaluation. 4. Build long term comment updated database, and building effective evaluation mechanisms for selecting, nurturing and training of members and professional ethics in pursuit of higher appraisal objectivity and impartiality. 5. Plane to study on evaluation system of our country, strengthening the University's research and competitiveness. Moreover, make recommendations to the higher education institution as follow: 1. Construct systematic self-evaluation and self-improvement mechanism for the implementation of school accountability. 2. Humbly face of external evaluation mechanisms into school performance booster. 3. Enhanced quality faculties’ structure is the major priorities of colleges. 4. Refer to United Kingdom University practices, establishing internal self-evaluation of student participation in school perfecting mechanism in order to win recognition of the students for the school a sense of belonging. 【Keywords】Specialized Accreditation, Meta-evaluation, Content analysis , Institutional Accreditation.

(6) 目次頁次第一章. 緒論･･･････････････････････････････････････････････････1. 第一節研究背景與研究動機･･････････････････････････････････1 第二節研究目的與待答問題･･････････････････････････････････2 第三節研究方法與研究步驟･･････････････････････････････････3 第四節研究範圍與研究限制･･････････････････････････････････4 第五節重要名詞界定････････････････････････････････････････4 第二章. 文獻探討･･･････････････････････････････････････････････7. 第一節大學評鑑之意涵･･････････････････････････････････････7 第二節英美大學評鑑制度･･･････････････････････････････････37 第三節我國大學校院系所評鑑制度･･･････････････････････････66 第四節大學後設評鑑之理論與相關研究探析･･･････････････････92 第三章研究設計與實施･･･････････････････････････････････････123 第一節研究架構･･････････････････････････････････････････123 第二節研究對象･･････････････････････････････････････････125 第三節研究工具･･････････････････････････････････････････130 第四節實施程序･･････････････････････････････････････････152 第五節資料處理與分析････････････････････････････････････153 第四章結果分析與討論･･･････････････････････････････････････155 第一節政治學門系所評鑑報告在七項關鍵認可要素表現情形之結果分析･･････････････････････････････････････････････155 第二節政治學門不同評鑑結果之系所評鑑報告在關鍵認可要素表現結果之差異性分析･･････････････････････････････････181 第三節政治學門不同評鑑結果之受評系所在辦學量化指標表現差異 i.

(7) 之結果分析････････････････････････････････････････196 第四節政治學門系所評鑑報告關鍵認可要素表現與辦學量化指標之相關性分析････････････････････････････････････････204 第五節政治學門不同評鑑結果系所評鑑報告在各評鑑項目共同優缺點表現結果分析････････････････････････････････････210 第五章研究發現、結論與建議･････････････････････････････････235 第一節研究發現･･････････････････････････････････････････235 第二節結論與建議････････････････････････････････････････245. 參考書目･････････････････････････････････････････････････････255 附錄･････････････････････････････････････････････････････････267 〈附錄一〉系所評鑑報告主題類目內容分析劃記表･･･････････････267 〈附錄二〉政治學門各校系所評鑑報告訪評意見優點與缺點一覽表･･････････････････････････････････････････････････････269 〈附錄三〉摘錄：F-6 國際政治研究所、F-7 國家政策與公共事務研究所、 I-14 外交學系、P-25 俄羅斯研究所、R-34 歐洲研究所等五個系所評鑑報告･･････････････････････････････････････341 〈附錄四〉壹、97 年度大學校院系所評鑑各評鑑項目一覽表貳、97 年度大學校院系所評鑑各評鑑項目參考效標涵蓋要素表･･･････････････････････････････････････････356. ii.

(8) 表次頁次表 2-1 有關評鑑之「過程觀點」定義･･････････････････････････････8 表 2-2 有關評鑑之「行為觀點」定義･･････････････････････････････9 表 2-3. 機構評鑑與專業領域評鑑之比較･･････････････････････････17. 表 2-4. 內部評鑑與外部評鑑相關內涵之比較･･････････････････････19. 表 2-5. 美國六大區域性認可機構及其服務範圍････････････････････26. 表 2-6. 美國六大區域性認可學會認可標準內容彙整表･･････････････42. 表 2-7. CHEA 與 USDE 的認證標準一覽表･･･････････････････････････44. 表 2-8. 美國六大區域性認可學會認可程序步驟一覽表･･････････････46. 表 2-9. 2014 年 CHEA 及 USDE 認證之認可組織一覽表･････････････････47. 表 2-10 2010-2011 年各類型認可組織認可結果作為一覽表･･･････････48 表 2-11 美國六大區域性認可學會認可結果作為一覽表･･････････････49 表 2-12 2012 年 CHEA 各類型認可組織認證結果作為一覽表･･･････････50 表 2-13 英國大學品質保證制度架構･･････････････････････････････52 表 2-14 1989 年與 1992 年研究評鑑結果之五個等級標準說明對照表･･･56 表 2-15 1996 年與 2001 年研究評鑑結果之七個等級標準說明對照表･･･57 表 2-16 2008 年研究評鑑結果之五個等級標準說明對照表････････････59 表 2-17 2014 年 REF 評鑑項目與評分比重一覽表････････････････････60 表 2-18 研究成果品質之五個等級標準說明對照表･･････････････････60 表 2-19 研究影響品質之五個等級標準說明對照表･･････････････････61 表 2-20 研究環境品質之五個等級標準說明對照表･･････････････････61 表 2-21 2014 年 REF 全面品質概況之五個等級標準說明對照表････････62 表 2-22 我國大學評鑑制度發展沿革･･････････････････････････････67 表 2-23 95-99 年度大學校院系所評鑑受評學校一覽表･･･････････････75 iii.

(9) 表 2-24 96 年度後系所評鑑結果、有效期限及後續處理方式･･････････80 表 2-25 95-98 年度第一週期系所評鑑受評系所班制評鑑結果總表･････82 表 2-26 Stufflebeam 之後設評鑑邏輯架構･････････････････････････97 表 2-27 Stufflebeam 之五種後設評鑑設計･････････････････････････98 表 2-28 Brinkerhoff 等人之不同評鑑階段的後設評鑑焦點･･･････････99 表 2-29 Cook 和 Gruder 之七種後設評鑑模式･･････････････････････100 表 2-30 JCSEE1994 年版方案評鑑標準一覽表･･････････････････････102 表 2-31 JCSEE 2011 年版方案評鑑標準一覽表･････････････････････103 表 2-32 「效用性」之評鑑標準內涵說明･･･････････････････････････105 表 2-33 「可行性」之評鑑標準內涵說明･･････････････････････････105 表 2-34 「適切性」之評鑑標準內涵說明･･････････････････････････106 表 2-35 「準確性」之評鑑標準內涵說明･･････････････････････････106 表 2-36 「課責性」之評鑑標準內涵說明････････････････････････････107 表 2-37 「規劃與協商」之評鑑標準說明･･････････････････････････108 表 2-38 「結構和設計」之評鑑標準說明･･････････････････････････109 表 2-39 「資料蒐集與準備」之評鑑標準說明･･････････････････････109 表 2-40 「資料分析和解釋」之評鑑標準說明･･････････････････････110 表 2-41 「溝通與公布」之評鑑標準說明･･････････････････････････110 表 2-42 「結果的運用」之評鑑標準說明･･････････････････････････111 表 2-43 我國大學後設評鑑相關研究文獻一覽表･･･････････････････113 表 2-44 大學後設評鑑相關研究：評鑑性質與評鑑標準建構分析･････114 表 2-45 大學後設評鑑相關研究：評鑑項目與評鑑標準分析･････････115 表 2-46 大學後設評鑑相關研究：研究方法與研究對象分析･････････117 表 2-47 大學後設評鑑相關研究：研究結論摘要･･･････････････････119 表 3-1. 研究對象（系所代碼、受評年度、學校性質、班制結構）一覽表. iv.

(10) ････････････････････････････････････････････････････125 表 3-2. 95-98 年度第一週期系所評鑑政治學門系所班制評鑑結果總表･･･････････････････････････････････････････････････････127. 表 3-3. 95 年度系所評鑑各受評學校政治學門系所班制評鑑結果一覽表･･････････････････････････････････････････････････････127. 表 3-4. 96 年度系所評鑑各受評學校政治學門系所班制評鑑結果一覽表･･････････････････････････････････････････････････････128. 表 3-5. 97 年度系所評鑑各受評學校政治學門系所班制評鑑結果一覽表･･････････････････････････････････････････････････････128. 表 3-6. 98 年度系所評鑑各受評學校政治學門系所班制評鑑結果一覽表･･････････････････････････････････････････････････････129. 表 3-7 「設定系所教育目標」認可要素評鑑報告之主題類目內容分析表･････････････････････････････････････････････････････131 表 3-8. 「課程規劃」認可要素評鑑報告之主題類目內容分析表･････133. 表 3-9 「師資質量與教學」認可要素評鑑報告之主題類目內容分析表･･･････････････････････････････････････････････････････136 表 3-10 「學習資源滿足學生學習需求」認可要素評鑑報告之主題類目內容分析表････････････････････････････････････････････138 表 3-11 「教師研究與專業表現」認可要素評鑑報告之主題類目內容分析表･･････････････････････････････････････････････････140 表 3-12 「畢業生連繫與生涯追蹤」認可要素評鑑報告之主題類目內容分析表････････････････････････････････････････････････142 表 3-13 「系所自我改善機制」認可要素評鑑報告之主題類目內容分析表････････････････････････････････････････････････････144 表 3-14 本研究主題類目內容分析編碼員一覽表･･･････････････････145. v.

(11) 表 3-15 「設定系所教育目標」主題類目內容分析之編碼員相互同意度一覽表････････････････････････････････････････････････146 表 3-16 「課程規劃」主題類目內容分析之編碼員相互同意度一覽表･･147 表 3-17 「師資質量與教學」主題類目內容分析之編碼員相互同意度一覽表･･････････････････････････････････････････････････147 表 3-18 「學習資源滿足學生學習需求」主題類目內容分析之編碼員相互同意度一覽表････････････････････････････････････････148 表 3-19 「教師研究與專業表現」主題類目內容分析之編碼員相互同意度一覽表･･････････････････････････････････････････････148 表 3-20 「畢業生連繫與生涯追蹤」主題類目內容分析之編碼員相互同意度一覽表････････････････････････････････････････････149 表 3-21 「系所自我改善機制」主題類目內容分析之編碼員相互同意度一覽表････････････････････････････････････････････････149 表 3-22 七項評鑑關鍵認可要素內容分析之編碼員信度係數總表･････150 表 3-23 「學務治理面向」之系所辦學量化指標與其操作型定義･････150 表 3-24 「學術與國際交流面向」之系所辦學量化指標與其操作型定義･･････････････････････････････････････････････････････151 表 3-25 「教學品質面向」之系所辦學量化指標與其操作型定義･････151 表 3-26 「升學績效面向」之系所辦學量化指標與其操作型定義･････151 表 4-1. 政治學門評鑑報告在七項關鍵認可要素正面意見整體表現之次數分配表（N=66）････････････････････････････････････････156. 表 4-2. 政治學門評鑑報告在七項關鍵認可要素反面意見整體表現之次數分配表（N=66）････････････････････････････････････････157. 表 4-3. 政治學門評鑑報告正面意見在七項關鍵認可要素表現之次數分配表（N=66）････････････････････････････････････････････160. vi.

(12) 表 4-4. 政治學門評鑑報告反面意見在七項關鍵認可要素表現之次數分配表（N=66）････････････････････････････････････････････163. 表 4-5. 政治學門評鑑報告正反面意見在「設定系所教育目標」認可要素各細目表現之次數分配表（N=66）････････････････････････166. 表 4-6. 政治學門評鑑報告正反面意見在「課程規劃」認可要素各細目表現之次數分配表（N=66）････････････････････････････････168. 表 4-7. 政治學門評鑑報告正反面意見在「師資質量與教學」認可要素各細目表現之次數分配表（N=66）･････････････････････････170. 表 4-8. 政治學門評鑑報告正反面意見在「學習資源滿足學生學習需求」認可要素各細目表現之次數分配表（N=66）･･･････････････172. 表 4-9. 政治學門評鑑報告正反面意見在「教師研究與專業表現」認可要素各細目表現之次數分配表（N=66）････････････････････174. 表 4-10 政治學門評鑑報告正反面意見在「畢業生連繫與生涯追蹤」認可要素各細目表現之次數分配表（N=66）････････････････････176 表 4-11 政治學門評鑑報告正反面意見在「系所自我改善機制」認可要素各細目表現之次數分配表（N=66）････････････････････････178 表 4-12 政治學門不同認可結果系所評鑑報告正面意見在七項關鍵認可要素上表現之 Mann-Whitney U 考驗結果（N＝66）････････････182 表 4-13 政治學門不同認可結果系所評鑑報告反面意見在七項關鍵認可要素上表現之 Mann-Whitney U 考驗結果（N＝66）････････････183 表 4-14 政治學門不同認可結果系所評鑑報告正面意見在廿七項認可要素細目表現之 Mann-Whitney U 考驗結果（N＝66）････････････185 表 4-15 政治學門不同認可結果系所評鑑報告反面意見在廿七項認可要素細目表現之 Mann-Whitney U 考驗結果（N＝66）････････････188 表 4-16 政治學門不同認可結果系所評鑑報告在正反面意見整體表現之. vii.

(13) Mann-Whitney U 考驗結果（N＝66）･････････････････････190 表 4-17 政治學門不同認可結果系所評鑑報告在正反面意見項數表現之卡方百分比同質性檢定結果（N＝66）･････････････････････191 表 4-18 政治學門不同認可結果系所評鑑報告在正反面意見次數整體表現之卡方百分比同質性檢定結果（N＝66）･･･････････････････193 表 4-19 政治學門不同評鑑結果系所在不同學校班制性質上之卡方百分比同質性檢定結果（N＝66）･･･････････････････････････････194 表 4-20 政治學門不同評鑑結果系所在「學務治理面向」辦學量化指標表現差異之獨立樣本 T 考驗結果･･････････････････････････197 表 4-21 政治學門不同評鑑結果系所在「學術與國際交流面向」辦學量化指標表現差異之獨立樣本 T 考驗結果･･･････････････････199 表 4-22 政治學門不同評鑑結果系所在「教學品質面向」辦學量化指標表現差異之獨立樣本 T 考驗結果･････････････････････････201 表 4-23 政治學門不同評鑑結果系所在「升學績效面向」辦學量化指標表現差異之獨立樣本 T 考驗結果･････････････････････････202 表 4-24 政治學門系所評鑑報告正反面意見表現結果與辦學量化指標之相關分析摘要表（N=66）････････････････････････････････207 表 4-25 政治學門不同評鑑結果系所評鑑報告在各評鑑項目共同優點（正面意見）表現差異分析････････････････････････････････212 表 4-26 政治學門不同評鑑結果系所評鑑報告在各評鑑項目共同缺點（反面意見）表現差異分析････････････････････････････････214 表 4-27 政治學門「未通過（含待觀察）評鑑」之各校系所班制評鑑報告在共同優缺點之表現對照（N=13）･････････････････････215 表 4-28 政治學門「未通過（含待觀察）評鑑」之各校系所班制評鑑報告共同優缺點數比較表（N=13）･･････････････････････････217. viii.

(14) 表 4-29 政治學門「通過評鑑」之系所班制評鑑報告在共同優缺點之表現對照表（N=53）･･････････････････････････････････････218 表 4-30 政治學門「通過評鑑」之系所班制評鑑報告共同優缺點數比較表（N=53）･････････････････････････････････････････････224. ix.

(15) 圖次頁次圖 2-1. Staropoli 之大學評鑑學校系統與各角色間關係････････････13. 圖 2-2. 評鑑標準意涵圖････････････････････････････････････････23. 圖 2-3. 美國高等教育認可制度架構圖････････････････････････････28. 圖 2-4. Frazer 之大學品質保證績效責任關係･･････････････････････31. 圖 2-5. 美國大學認可評鑑制度發展沿革･･････････････････････････39. 圖 2-6. 美國大學認可組織與認證機構之間雙軌認證體系關係････････42. 圖 2-7. 2008 年 RAE 全面品質概況整體評分架構････････････････････58. 圖 2-8. 2014 年 REF 全面品質概況整體評分架構････････････････････62. 圖 2-9. 評鑑結果審議流程･･････････････････････････････････････79. 圖 3-1. 研究架構圖･･･････････････････････････････････････････124. x.

(16) 第一章緒論. 第一章第一節. 緒論. 研究背景與研究動機. 監察院於 2010 年 8 月第一週期系所評鑑即將辦理完成之際，就 2006 年開始實施的系所評鑑對教育部通過糾正案，認為教育部在整個系所評鑑的規劃面與執行面有七大項疏失：「影響系所教學、研究的正常推展，規劃有欠周延」；「未協助各校發展完備的自我評鑑模式，與後續訪視評鑑密切配合，實有未當」；「評鑑委員的遴聘，欠缺客觀的認證機制，訪視準備也未落實深入，督導不周」；「評鑑項目、指標及內涵未依各大學的條件特性，顯不公平」；「未按系所特性做不同的評鑑規劃，喪失學校辦學特色，實有未當」；「評鑑結果的決定過程、作業程序及資訊不透明，遭諸多質疑，監督不周」；「形成實質的獎懲機制，影響各校招生與校務發展，有違初衷」等等（監察院，2010），這個糾正案也顯然相當程度地反映諸多大學系所在評鑑實務層面上的質疑或不滿；另外，黃政傑、張嘉育（2010：50-66）從實務上研究發現，指出系所評鑑的七個主要問題在於：預期評鑑目的與實際運作之間存在差距；新設及轉型系所納入評鑑有所不妥；評鑑時程安排之適切性有待檢討；評鑑標準和評鑑委員的公平性有待強化；評鑑成績的決定與申復申訴機制未盡妥適；評鑑結果的公布與運用方式值得商榷；評鑑規劃輿實施的決策合理性尚待檢視等。再者，從法律層面來看，無論是實施法定程序、評鑑對象、評鑑內容或評鑑結果處理等都存在合憲性或適法性的疑慮問題（陳文政，2008：4）。由上所述，顯示我國大學校院系所評鑑仍有修正或改進空間，值得進一步探討。我國於 2005 年底成立財團法人高等教育評鑑中心基金會（以下簡稱高教評鑑中心），專責負起大學之系所與校務評鑑工作，至此，我國大學評鑑制度已然邁入評鑑專業化階段。第一週期的系所評鑑業已辦理完成，睽之前述關於系所評鑑的諸多缺失、質疑或問題，為檢視系所評鑑結果之正確性與客觀性，從後設評鑑之理論觀點所強調的「任何的評鑑工作都可以接受評鑑」，意即唯有透過「評鑑的評鑑」才能夠提昇任何評鑑方案的品質，進而達成實施評鑑的最終目的。因此，有關整體系所評鑑之規劃與執行情形更需要接受評鑑，亦即針對第一週期系所評鑑有進行後設評鑑之必要性。系所評鑑報告是對外公開的，而且是評鑑結果是否具有效度（即正確性）之關鍵證據。若從法律確認效力的觀點來看，高教評鑑中心所提出的評鑑報告，顯然是對受評學校的教育品質與專業表現做出一定的確認作為，換言之，評鑑報告是具有法效性的（許 1.

(17) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 育典、陳碧玉，2011：147）。因此，本研究從政治學門系所評鑑報告進行內容分析為例，以檢核我國大學系所評鑑結果的效度，見諸歐美國家的相關後設評鑑研究，應是另一可行的後設評鑑模式，具有研究價值。我國大學校院系所評鑑係參採歐美國家的認可制精神，並且有公布七項認可要素： 1.教育目標之適合性、2.課程規劃與設計足以反映教學目標、3.教師素質與教學、4.學生學習輔導與學習資源足夠、5.教師學術研究表現良好、6.畢業生生涯追踪機制落實、 7.自我改善機制健全與有效落實（王保進，2009：10）。再者，高教評鑑中心對外表示，大學系所評鑑採用質性評鑑，不做排名比較，不依據學校提報的辦學量化指標，乃系所評鑑的主要特色。因此，系所評鑑報告的內容應是評鑑結果通過與否的關鍵決定主要參據，進而評鑑報告若有效度，應該是與七項認可要素有密切關係；而評鑑結果是否通過，應與系所量化指標無關，實際情形如何，值得進一步研究。. 第二節. 研究目的與待答問題. 壹、研究目的基於上述的研究動機，本研究的目的有下列四項：一、瞭解我國大學校院系所評鑑從規劃、執行至結果公布的整體辦理實況。二、以政治學門為例，藉由系所評鑑報告內容分析做為評鑑效度評估之後設評鑑。三、探討系所評鑑報告與認可要素、量化指標的相關性，以檢驗評鑑結果之效度。四、探討我國大學校院系所評鑑實施的可行改進作為，並提出建議，以提供相關單位參考。. 貳、待答問題根據前述的研究動機與目的，本研究所要探討的問題如下：一、我國大學校院系所評鑑從規劃、執行至結果公布的整體辦理情形如何？二、以政治學門為例，藉由評鑑報告內容分析做為檢核評鑑效度之正確性為何？三、評鑑報告內容與認可要素的相關性如何？四、評鑑報告內容與量化指標的相關性如何？五、我國大學校院系所評鑑實施的可行改進作為如何？ 2.

(18) 第一章緒論. 第三節. 研究方法與研究步驟. 壹、研究方法一、文獻分析法文獻分析法係指依據研究主旨與目的，就教育評鑑、大學評鑑及後設評鑑等與評鑑相關的研究文獻或資料，以及與研究對象有關的資料，進行蒐集、彙整與探討分析，作為進行研究主題的理論基礎。二、內容分析法內容分析法旨在運用質性分析或量化分析，將蒐集得來的資料或樣本編定類目進行分析整理的方法。就本研究而言，首先以系所評鑑報告訪評意見內容的正面意見與反面意見作為主類目，而根據文獻探討所得之七項關鍵認可要素作為次類目，並經由自行編定的內容分析表進行劃記與歸類，再透過相關統計方法進行量化分析。. 貳、研究步驟本研究實施步驟分為文獻探討與資料取得階段、資料整理與歸類階段、分析資料階段及論文撰寫階段等四個階段，依序敘述如下：一、文獻探討與資料取得階段研究者除就教育評鑑、大學評鑑及後設評鑑等與評鑑相關的研究文獻或資料進行閱讀、探討之外，並從財團法人高等教育評鑑中心基金會網站下載取得 95 至 98 年各年度系所評鑑實施計畫、各年度政治學門各系所評鑑報告與評鑑結果，以及各系所辦學量化指標數據資料。二、資料整理與歸類階段研究者根據文獻探討所得，將財團法人高等教育評鑑中心基金會所公布的政治學門各系所評鑑報告訪評意見內容，以自編之「系所評鑑報告主題類目內容分析表」與「系所評鑑報告主題類目內容分析劃記表」為研究工具，分析歸類到適當的主類目與次類目細目，並進行資料的逐項劃記。同時，研究者將所整理的各系所辦學量化指標數據資料加以分類。三、分析資料階段研究者在確認評分者信度具有高度的相互一致性之後，將整理所得之相關數據資料運用 SPSS for Windows 20.0 版電腦統計套裝軟體，進行量化統計分析；同時，針對不 3.

(19) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 同評鑑結果之系所評鑑報告在「目標、特色與自我改善」、「課程設計與教師教學」、「學生學習與學生事務」、「研究與專業表現」與「畢業生表現」等五大評鑑項目上的優點與缺點表現進行質性分析。最後，根據以上資料分析的結果，歸納研究所得撰寫後續第四章的結果分析與討論，以及第五章的結論與建議。四、論文撰寫階段最後，研究者根據文獻探討及資料分析的結果，歸納研究所得進行論文撰寫工作。. 第四節. 研究範圍與研究限制. 壹、研究範圍有關本研究範圍或對象係以我國高等教育評鑑中心於 95 年度至 99 年度（通稱第一週期）所進行的一般大學校院系所評鑑政治學門為範圍，總計 20 校院 38 系所 66 個班制，不含 99 年度的軍警校院。其次，本研究係針對由高等教育評鑑中心所公布的政治學門 38 個系所之評鑑報告為範圍，就其報告中的訪評意見進行內容分析。. 貳、研究限制一、研究推論方面本研究對象主要以我國高等教育評鑑中心於 95 年度至 98 年度所進行的一般大學校院系所評鑑政治學門 20 所校院 38 個系所為限，並以渠等 38 份評鑑報告訪評意見進行內容分析，故研究結果若要推論至其他學門評鑑結果之效度情形，仍須進一步研究才能確認。二、研究方法方面本研究採用內容分析法，而囿於第一週期系所評鑑完成已近三年之久，由於時間因素的考量，未能配合採用其他諸如問卷調查或深度訪談等研究方法，有可能導致研究發現周延性不足的問題。. 第五節. 重要名詞界定. 由於本研究的主要對象是我國各大學校院接受系所評鑑之政治學門系所班制，研究 4.

(20) 第一章緒論. 的主軸係根據評鑑報告的訪評意見進行內容分析，以檢核系所評鑑結果的效度。因此，本節針對前述主要名詞的意義加以詮釋界定。. 壹、系所評鑑（Specialized Accreditation）所謂系所評鑑係指對大學的系所（含學位學程）蒐集其辦學相關資料，透過各校自我評鑑及實地訪評，以瞭解各大學系所品質現況，判斷其利弊得失和價值，進而協助各校建立品質改善機制，強化發展特色，其實施對象不含技專校院，並因應大學校院系所性質之多樣性，落實「專業同儕」訪視評鑑的原則。其次，系所評鑑係指由教育部委託「財團法人高等教育評鑑中心基金會」所辦理的評鑑活動，此次評鑑的重要意涵在於這是國內大學校院首次舉辦系所評鑑，評鑑範圍遍及全國大學院校各系所。再者，其評鑑特色在參照歐美國家評鑑制度，以品質保證的「認可制」為精神，重視系所性質差異，不採固定量化指標，強調系所應根據自己設立的宗旨與目標，依據評鑑標準，自主舉證說明宗旨或目標達成情形，以及系所是否建立並落實自我改善機制。其評鑑內容與標準包括五項：1.目標、特色與自我改善；2.課程設計與教師教學； 3.學生學習與學生事務；4.研究與專業表現；5.畢業生表現，期以確保並協助各大學校院系所能達成「提供學生一個優質學習環境」的目標。. 貳、政治學門（Political Departments）我國大學校院系所評鑑所規劃之政治學門含括的相關系所領域，較之其他學門可謂相當多元廣泛，涵蓋有政治學研究所、國際政治研究所、國家政策與公共事務研究所、國際事務研究所、戰略暨國際事務研究所、中山人文社會科學研究所、中國與亞太區域研究所、、亞太研究所、東亞研究所、東南亞研究所、中國大陸研究所、國際事務與戰略研究所、全球化政治與經濟學系、美國研究所、日本研究所、歐洲研究所、拉丁美洲研究所、俄羅斯研究所，以及政治學系、外交學系、行政管理學系、公共事務管理學系、公共政策與管理學系、國際暨大陸事務學系等。. 參、評鑑報告（Evaluation Reports）系所評鑑報告的內容是判定評鑑結果通過與否的主要參據。評鑑報告係指由高教評. 5.

(21) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 鑑中心規劃組成學門專業同儕實地訪評小組，進行實地訪評工作後，採取「段落式」之方式，分段說明系所在五個評鑑項目的「訪評意見」。其中訪評意見應採段落式之方式撰寫，每一段落可同時包括特色（或優點）與問題（或缺點）之綜合性敘述；也可以只是特色（或優點）與問題（或缺點）之敘述，以能清晰完整描述各受評單位之特色（或優點）與問題（或缺點），亦即評鑑委員於實地訪評後分別針對每一個評鑑項目提出「訪評意見」、及「改善建議」，做為提供高教評鑑中心進一步判斷認可結果之依據。. 肆、內容分析（Content Analysis）一般而言，內容分析可從質性分析（qualitative analysis）與量化分析（quantitative. analysis）兩方面進行。. 一、質性分析（qualitative analysis）本研究將政治學門各系所評鑑報告中所敘述的辦學訪評意見內容分為正面意見與反面意見兩種，作為主類目；以「設定系所教育目標」、「課程規劃」、「師資質量與教學」、「學習資源滿足學生學習需求」、「教師研究與專業表現」、「畢業生連繫與生涯追蹤」及「系所自我改善機制」等七項認可要素作為次類目，其內涵總計包含有 27 項細目。本研究再根據主、次類目及細目編定「系所評鑑報告主題類目內容分析表」與「系所評鑑報告主題類目內容分析劃記表」，根據分析表的歸類說明，以次數累計的方式與秉持互斥原則，並依據 27 項認可要素細目，針對主要概念或關鍵字，將每一份評鑑報告訪評意見內容有出現歸類說明中所提及之正反面意見文字進行編碼（coding），加以適切的歸類與正確劃記，務求具備客觀性；同步就評鑑報告內容在五大評鑑項目上優點、缺點的表現情形，一併進行相關的質性分析工作。二、量化分析（quantitative analysis）本研究所採用的量化分析方法包括有：描述性統計、魏氏─曼─惠特尼 U 考驗（Wilcoxon-Mann-Whitney U test）、卡方百分比同質性考驗（chi-square test of homogeneity of proportions）、獨立樣本 t 考驗（independent-samples-test）及皮爾森積差相關（Pearson correlation）等。. 6.

(22) 第二章文獻探討. 第二章. 第一節. 文獻探討. 大學評鑑之意涵. 本節分從大學評鑑的意義與目的、大學評鑑的內涵、大學評鑑的模式與大學評鑑與結果運用的關連性加以探討。. 壹、大學評鑑的意義與目的在探討大學評鑑的意義與目的之前，先對於評鑑的意義與目的加以說明。一、評鑑的意義與目的現代化、系統化與科學化的評鑑，起源於美國的教育方案評鑑。Alkin 與 Christie （2004）在《探究評鑑起源》（Evaluation Roots）一書中指出，方案評鑑理論根基於對政策的績效責任與管控目的，並且認為評鑑學者在建構評鑑理論時，有方法論（methods）、運用（use）、價值（valuing）等三種不同的觀點，其中「評鑑方法論」的代表人物為評鑑之父 Tyler ；而「評鑑的價值」因 Scriven 的持續投入而深化、彰顯；至於「評鑑的有效運用」，則由於 Stufflebeam 將近 40 年的研究與推動，更符合目標導向與管理績效的功能（引自黃曙東，2006：44）。尤其令人印象深刻的是 Stufflebeam 所提出的「評鑑最重要的目的在於改進，而不在於證明」（evaluation's most important Purpose is not to prove，but to improve）（賴志峰，2009：81）。評鑑就是為了改進，可謂是詮釋評鑑的最具代表性註腳，也是評鑑研究者經常朗朗上口的名言。評鑑本身不是目的，它是一種工具和手段；也是一項過程與行為，透過評鑑的積極作為協助受評者持續改進與發展才是它的真正目的。評鑑就如同是身體健康檢查一樣 (王如哲，2010：62)，接受健檢與否和身體健康沒有因果關係，健檢本身不會直接改變身體的健康或不健康，真正會影響身體健康的是健檢之後的改善行動。同樣的道理，大學評鑑的目的在於診斷發現大學的問題，讓大學更瞭解自己本身的狀況，並據以改善或提升大學校務發展的品質，所以評鑑本身不會直接改變大學的現狀，亦即不會因為實施了大學評鑑，就讓大學直接變得更有品質，而真正會改善或提升大學品質的是評鑑之後的改進作為。因此，評鑑本身已是一種專業性質，其背後包括相關的理論、制度、方法與技巧等各層面，尤其重要者，有效的評鑑，除了必須配合評鑑對象或本身的領域（domain）特性外，更是與一個國家的文化、社會、經濟發展、科技條件等外界環境因 7.

(23) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 素息息相關（許士軍，2007：52）。從政治學的觀點來看，（Wergin，1976）認為評鑑是一種政治活動，評鑑的施行會影響到相關資源的分配，並且導致原來的權力結構或權力關係發生變化（引自林松柏， 2009：3）。Mathison（2005：320）認為與政治有關的各種因素和力量必然會涉入或左右評鑑活動的進行，亦即從評鑑的規劃、實施到結果，都會與政治有所相關。所以，翁福元（2009：57）指出評鑑和政治學之間的關係是：政治學是評鑑滋長茁壯的養分，評鑑是政治學散布擴張的溫床。（一）評鑑的意義綜觀國內外學者對於評鑑的定義，大體上可從「過程觀點」與「行為觀點」兩個面向加以探討。 1.就過程觀點而言大體上持評鑑是一項過程的觀點者，最主要在認為評鑑是透過系統化的資訊蒐集、組織與分析，以判定受評對象的價值或優缺點並提供改進的歷程。簡言之，評鑑是一項價值判斷的過程，也是一項政治活動的過程，如表 2-1 所示。. 表 2-1 有關評鑑之「過程觀點」定義國內外學者. 對評鑑的定義. Scriven（1967）. 評鑑是決定受評對象的優點或價值的歷程。. Stufflebeam（1974）. 評鑑活動是一個系統化蒐集資料與複雜的價值判斷過程。. Tenbrink（1974）. 評鑑是獲得資訊進而形成判斷，並據以作出決定的過程。. Boulmetjs＆Dutwin（2000）評鑑是一個蒐集與分析資訊的系統化過程。 Stufflebeam（2003）. 評鑑是針對某一受評對象的目標、設計、執行和成果之優點及價值的描述性、判斷性資訊之陳述、獲得、提供和應用的歷程. Gordon＆Lawton（2003）. 評鑑是指用以判斷學程品質水準與學習成效的一種過程。. 張春興（1989）. 評鑑泛指對某種事物的價值予以評定的歷程. 蘇錦麗（1997）. 評鑑是蒐集系統化資料，以判定受評對象價值或優缺點的歷程. 秦夢群（2000）. 評鑑是對教育現象或活動，透過蒐集、組織、分析資料，加以描述與價值判斷的歷程。. 謝文全（2003）. 評鑑是對事務加以審慎的評析，以評量其得失及原因，以決定如何改進或重新計畫的過程。評鑑是依據適當的標準，對某事項進行審慎、系統化的蒐集資料、. 吳清山與王湘栗（2004）. 分析和報告之價值判斷，透過價值層面與事實層面的比較，量訂事務的利弊得失和原因，以獲取作決定的有用資訊，並提供改進的歷程。. 顏秀如（2004）. 評鑑是政策實施的價值判斷過程，也是一項政治過程。 8.

(24) 第二章文獻探討. （續）國內外學者. 對評鑑的定義. 劉秀曦（2009）. 評鑑是一種由專業評鑑人員針對受評單位所提供之各種量化基本資料，與質性文字說明等客觀事實進行主觀價值判斷的過程。. 資料來源：整理自吳清山和王湘栗（2004：3-5）；周明華(2009：14-15)。 2.就行為觀點而言大體上主張評鑑是一種行為的觀點者，最主要在認為評鑑是運用系統化的資訊蒐集與評估，依據適當的標準，以決定受評對象的價值、品質、有效性或重要性，並且用來改變態度或改進方案的運作。換言之，評鑑是一種價值判斷的行為，以提供決策者可信、有效和有用的資訊，如表 2-2 所示。. 表 2-2 有關評鑑之「行為觀點」定義對評鑑的定義. 國內外學者 Popham（1975）. 評鑑是一種價值的決定。. Chelimsky（1985）. 評鑑是運用系統化研究方法，以評估方案的設計、實施與成效。. Worthen 和 Sanders（1987）評鑑是決定某項事情的價值。 Alkin（1990）. 評鑑是系統化地蒐集、分析及報告可以用來改變態度或改進方案運作資料的活動。. McLauaglin（1990）. 評鑑是提供決策者關於方案運作的可信、有效、有用的資訊。. House（2001）. 評鑑是依據適當的標準來決定事物的程度或價值，即是價值判斷. Worthen, Sanders 和. 評鑑是包含定義、說明及可辨證的參照準則等，以決定受評對象. Fitzpatrick（1997）. 的價值、品質、有效性或重要性。. Oliva ＆ Pawlas（2001）. 評鑑是對他人或事務所進行的一種判斷行為。. 陳玉琨（1998）. 評鑑是一項價值判斷的活動。. 李隆盛 (2012). 評鑑是為提供特定的人事時地物有用的回饋，所進行的系統化資訊蒐集與評估。. 資料來源：整理自吳清山和王湘栗（2004：3-5）；周明華(2009：14-15)。綜上所述，本研究認為：無論從事前的評鑑準備、過程中的評鑑運作到事後的評鑑結果，或者自設定評鑑目標起始、設計評鑑方法、規劃評鑑實施到評鑑結果的影響等等，評鑑是一項確認優缺點或價值評定的持續過程；另就評鑑運作來看，無論是系統化的資訊蒐集與分析，或評估方案的設計、實施與成效，評鑑也是一種優缺點或價值的判斷行為。因此，探討評鑑的意義必須兼顧過程與行為的觀點，在評鑑意義的詮釋上才會是充 9.

(25) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 分又完整的。本研究即是基於上述的評鑑定義內涵，針對政治學門系所評鑑報告的優缺點分析做為研究主題。（二）評鑑的目的本研究根據前述評鑑的定義，綜合歸納出評鑑的目的主要有三： 1.促使品質改進即是改進導向（improvement-oriented）的形成性目的。評鑑係經由系統化的資訊蒐集與評估，並依據適當的標準，評估受評對象的得失及原因，找出優缺點，進而呈現其品質水準的程度，以協助品質改進。這就是 Stufflebeam 所強調的「評鑑的目的不在證明，而在於改進」。 2.課以績效責任即是課責導向（accountability-oriented）的總結性目的。針對某一受評對象或評鑑方案的目標、規劃、執行與結果的優缺點、價值性進行檢驗和判斷，以決定受評對象或方案的優缺點與價值成效，進而負起績效責任。這也就是 Scriven（2001：301-307）所強調評鑑的基本目的是「判斷方案的優點與價值」。所以，評鑑是為績效服務的。前述改進導向的形成性目的與課責導向的總結性目的，兩者皆是屬於功能性目的。 3.提供決策資訊即是決策參考導向（decision-making-oriented）的政策性目的。評鑑為決策者提供有關於受評對象或方案運作的可信、有效、有用的資訊，並透過價值層面與事實層面的比較，形成判斷，估量其利弊得失和相關原因，進而據以作出決定，或提供作為未來政府相關決策的參考。所以，評鑑是為決策服務的。二、大學評鑑的意義自從政府呼應民間訴求提出「廣設高中大學」政策之後，大學院校迅速發展及擴張，以致今日在生源已顯然不足的情況下，高等教育供需失衡問題愈為嚴重，進而造成現今高等教育品質下降，逐漸浮現畢業生的基本素養與核心能力無法符合社會各界需求的隱憂（陳振遠，2010：19）。所以，實施大學評鑑的主要目的是期望透過評鑑的手段達到提升大學的教育品質，讓不符品質水準的校院系所有改進的能力與機會。大學評鑑發展迄今，已成為大學校務發展策略規劃或標竿學習過程中不可或缺之要素，尤其先進國家積極運用大學評鑑作為改善教育品質的工具，除了經由評鑑衡量大學績效表現或協助進行品質改善外，也在確保大學能夠持續的追求卓越與成長，進而提昇國家競爭力。以歐盟國家為例，自波隆那（Bologna）宣言簽署後，便強調透過評鑑引 10.

(26) 第二章文獻探討. 導大學發展與經營，以協助大學發展特色，強化市場競爭力，甚至由簽署國定期報告評鑑之發展與成果（王保進，2010：54）。就目前我國而言，校務評鑑與系所評鑑是大學評鑑制度的主要兩條軸線，前者重在行政管理，後者則強調教學品質。基本上，大學評鑑通常考量到四個核心課題，一是為何評鑑：觸及到評鑑的目的；二是評鑑什麼：牽涉評鑑的內容；三是誰來評鑑：涉及評鑑的人員；四是如何評鑑：重視評鑑的方法、工具和結果運用（吳清山、王令宜，2007：17）。因此，從這四個核心課題，就過程與行為觀點，針對評鑑目的、評鑑內容、評鑑相關人員與評鑑過程等層面探討大學評鑑的意義。（一）從過程觀點而言 Kells（1995：9-10）認為：「大學評鑑乃是一自願性的過程（voluntary process），透過非官方的機構（non governmental agencies），採用同儕評鑑（peer evaluation）的方式，以檢視受評校院是否已達成自我研究（self-study）中所定的目標，並符合評鑑的標準（standards）。類似的論點有二：一者，美國師資培育認可審議會（NCATE）認為大學評鑑是透過自願的、同僚的評鑑，來提升學校及教育品質的一個過程，透過評鑑告訴社會大眾，被認可的學校或學程品質已經在水準之上，並且願意負起定期自我檢驗，以改進品質的責任（引自林政逸，2007：277）；二者，Lenn（1987）認為大學評鑑是學校內的自我管制（self-regulatory）過程，以自願的方式，由非官方的學術團體進行認可受評機構或學程（program），以評鑑其是否符合品質標準的要求，並協助學校繼續的成長與改進。蘇錦麗（1997）認為大學評鑑係由某一評鑑團體依據系統化、科學化之方式(諸如客觀公正之評鑑標準、周詳適切之評鑑方式等），蒐集並分析相關資料，以評估大學教育機構及其專業領域之目標達成程度、輸入條件、運作情形、與教育成果的過程（引自楊瑩，2010：11-12）。吳清山、王令宜（2007：17）進一步界定大學評鑑係針對大學之行政、教學、研究、輔導和服務等各項業務，學校委請專業同儕、或主管機關委託學術團體、專業評鑑機構對照評鑑標準，透過質與量的方法，採系統而客觀地蒐集、分析資訊，進行價值判斷，以了解教育成效、改進教育缺失和達成教育目標的歷程。曾秀梓（2009：14）指出大學評鑑係以大學為對象的評鑑，泛指由媒體、學術組織或政府等各單位依其評鑑目的，設立一套評鑑指標，據以實施考核大學效能的歷程。王彥方（2013：15）認為大學評鑑係指一種自願性的過程，以大學為受評對象，藉由內部自我評估或外部的專家判斷，依據系統化的方式，檢視學校符合評鑑標準的程度，作為 11.

(27) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 自我改進之依據。（二）從行為觀點而言吳清山（2011：34）認為大學評鑑係指就大學在教學、研究和服務等各方面進行有系統地評估，以了解大學辦學狀況，並確保大學教育品質。就其實施方式而言，有自我評鑑和外部評鑑，前者由學校就其本身需求，設計評鑑指標和程序，並邀請校外學者專家擔任委員從事評鑑工作，幫助學校自我改進；後者係由具有公信力的評鑑機構邀請學者專家組成評鑑小組到校實施評鑑工作，以了解學校是否達到一定標準或品質，給予認可或評等第，並提出相關建議供學校參考。湯堯（2011：33）也認為大學評鑑旨在協助學校自我定位，發現優劣勢並強化發展特色，對各大學之品質與績效進行確認，並促其落實校務發展計畫，達到自我改善的境界。王保進(2003：7) 研究指出大學評鑑是改善大學教學、研究及管理等方面品質的一種手段，已成為大學校務發展策略規劃或標竿化過程中不可或缺之一環。 Staropoli（1991）指出大學評鑑是大學內部相當重要之次級系統，系統中相關成員角色之關係如圖 2-1 所示。由圖 2-1 可見，在此評鑑次系統架構中，利害關係人包括政府機關、企業界、捐款人、學生、及大學本身，其中政府機關通常透過經費補助機制，以介入大學之運作；企業界則透過研究計畫之委託與捐助，與大學形成一種契約關係，並藉由評鑑以決定研究成果與是否繼續補助；捐款人則基於大學之聲望或其他因素對大學捐款，進而與大學建立一種滿意度評鑑關係；至於學生則繳交學費，直接對大學教師之教學品質進行滿意度的評鑑。是故，大學評鑑要能達成品質保證（quality assurance）或品質改善（quality improvement）目的，則必須在政府、企業界、捐款人、學生及大學本身五個角色之間取得平衡關係，讓他們共同參與評鑑活動，大學評鑑才能發揮功能(王保進，2003：7-8)。另外，從評鑑政治學的觀點而言，辦理大學評鑑不僅是一項政策過程，也是一種政治行為。從微觀角度來看，其呈現的是校際或校內的人情運作與資源分配競爭；從鉅觀層次可見，大學評鑑顯示為國家之大學治理的機制，一種運用權力改善大學教育品質的手段（顏秀如，2004：16)。綜上所述，本研究兼就過程與行為觀點認為：基於大學自治與學術自主的精神內涵，大學評鑑的本質意義在於秉持自願性的過程，針對大學整體為評鑑對象，以教學、研究、服務之品質為核心內容，運用系統化的評鑑機制或方法，進行富有專業性、建設性的價值論斷，並且經由持續不斷的自我改進與落實績效之過程，提供利害關係人適切 12.

(28) 第二章文獻探討. 的參與機會，俾以達成大學的卓越發展與競爭力為目的。. 政府研究部門（如國科會）. 政府行政部門（如教育部）. 政府其他部門. 預算監督與審核經費補助. 研究機構. 大學本身：. 地方政府. 行政人員及教師（教學、研究、服務功能）研究契約. 補助款. 成果評鑑. 企業界. 學雜費. 滿意度評鑑. 學生. 圖 2-1. 捐款. 捐款人. Staropoli 之大學評鑑學校系統與各角色間關係. 資料來源：引自王保進（2003：8）。. 三、大學評鑑的目的根據前述大學評鑑的意義，有關大學評鑑的目的可有以下六點 (盧增緒，1985；周明華，2009：23-25)：（一）保障大學教育品質政府透過評鑑來監督大學的教育品質，才能對社會大眾有所交待，尤其是結合運用書面審查與實地訪評的方式，全面性的檢視學校現場，並結合相關行政作為諸如經費獎補助等，以確保大學教育品質達到一定的水準。（二）落實大學績效責任大學除了利用自我管制機制建立內部品質保證系統外，更為重要的是藉由外部評鑑 13.

(29) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 機制監督其品質的運作，以達到落實績效責任的目的。再者，大學經費無論來自於政府的補助或是其他管道，均屬於社會資源一環，政府責無旁貸必須落實大學的辦學績效。（三）協助大學教育改革評鑑本身是進行教育改革的重要一環，透過評鑑過程，可以蒐集到師生、行政人員、評鑑委員等等利害關係人對於大學政策的意見，提供政府作為未來大學教育決策的參考。（四）提昇大學競爭力教學、研究、推廣服務等都是現代大學所需扮演的角色，尤其在知識經濟、國際化時代來臨，加上學生來源日愈減少之趨勢，市場競爭恐將難免。因此，推動大學評鑑工作，協助各校釐清本身發展定位，增進其辦學品質，進而強化大學的市場競爭優勢。（五）改善大學行政效率評鑑係針對學校各工作事項加以評析，以衡量其得失利弊與原因，尤其是綜合性的校務評鑑，可促使大學在行政的制度面與服務面更加精益求精，整體的辦學行政效率不斷地進步。（六）激勵大學成員成長經由評鑑實施的檢討，除了提供大學改進的參考外，同時學校內部成員可能都會受到評鑑的影響，進而自我激勵不斷的發展與學習，因此，評鑑具有激勵大學成員成長的動力效果。就近年各國大學評鑑實務而論，有關大學評鑑目的主要顯現於「自我改進」導向（improvement-oriented）與「績效責任」導向（accountability-oriented）。前者「自我改進」目的主要針對「辦學現況」品質，提出專業價值判斷，並提出持續改善的建議，其論述基礎在於大學對於其目標、設備、課程與教學、學生表現應自行負責，並基於大學自我管制之精神，尤其強調評鑑的形成性功能，評鑑內容會偏重「投入面」與「過程面」，然而受到重視績效責任的趨勢影響，亦會兼顧辦學成果的「產出面」品質；而後者「績效責任」目的主要針對「辦學成果」品質，提出專業價值判斷，做為經費獎補助或決策參考，其理論基礎在於外部評鑑機構應針對大學之教學、研究與行政管理等方面的品質加以評量、診斷，並將大學的辦學成果告知社會大眾，因此，強調評鑑的總結性功能，評鑑內容會偏重「產出面」，但由於績效的概念包括了資源使用效率，因而評鑑內容亦會兼顧「投入面」與「過程面」（蘇錦麗，1997：13-16；王保進，2008：24）。可見評鑑目的不同，導致評鑑機制的重心會有不同面向的考量。 14.

(30) 第二章文獻探討. Kells（1992：43-44）認為大學評鑑的目的包括下列七項，其中前四項偏向於「課責導向」的評鑑目的；後三項則偏向於「改進導向」的評鑑目的(陳信翰，2007：16)。實際上這七項都適用於「決策導向」的評鑑目的：（一）顯現大學機構或學程的效能，並負起目標實現程度的績效責任。（二）提供社會大眾有關大學機構或學程品質的保證。（三）向社會大眾確保達成有關大學機構或學程特定專業領域的標準。（四）作為大學機構或學程經費補助的參考。（五）提供大學機構或學程做出合理化的決策資訊。（六）提供改進大學機構或學程品質的參考。（七）證實大學機構或學程運作的效率並改進其效率。根據各主要國家大學評鑑實務經驗顯示，課責與改進導向的兩個評鑑目的，通常會有互相衝突的情況發生，很難在同一次評鑑活動中同時達成。因此，在規劃評鑑實務時，對評鑑目的的決定，究竟是強調績效責任？或是品質改進？常是一件兩難的議題。比較可行折衷的作法是在評鑑初期，以改進目的為主，除協助大學進行品質提昇外，積極導入自我評鑑機制，建立全員的評鑑共識；到了評鑑工作發展成熟後期，再逐漸強調績效責任，可能較不會引起受評大學的反彈(王保進，2003：11)。歸結言之，大學評鑑之目的，就大學永續性卓越發展與提昇競爭力的目標而言，應結合改進導向、績效導向與決策導向的評鑑目的，運用內部自我改進與外部品質保證的評鑑機制，發揮評鑑的體檢功能，尤其強調大學本身持續性的自我改善，並提供利害關係人充分瞭解大學的整體品質，以符合績效責任的期待，充分發揮大學評鑑的功能。. 貳、大學評鑑的內涵關於探討大學評鑑的內涵，以下各從評鑑功能、評鑑類別、評鑑內容、評鑑方法、評鑑標準、效標與指標，以及評鑑專業等六個面向分述之。一、評鑑功能面向關於大學評鑑的功能主要有下列四點（吳清山、王令宜，2007：18-19）：（一）確保大學辦學品質為了確保大學經營品質，透過有效的評鑑機制是必要的，因為在評鑑過程中，學校會努力提昇行政、教學、研究或服務的品質。因此，校務評鑑或系所評鑑的有效實施，將可確保整個學校維持一定的品質水準，進而提升系所的經營能力。（二）促進大學自我改進 15.

(31) 我國大學校院系所評鑑結果之效度檢核與改進研究－以政治學門評鑑報告之內容分析為例. 評鑑猶如人的健康檢查一般，就是為了改進學校體質上的缺失。基本上，大學評鑑經由學校自我診斷或專家診斷的過程，了解辦學經營上的缺失，然後根據缺失進行自我改善，使學校辦學品質能夠日益精進。（三）瞭解大學辦學績效社會大眾有權利知道大學的辦學績效，大學評鑑不能流於為評鑑而評鑑，才能發揮實質功能。大學評鑑除了確保品質和自我改進之外，透過評鑑了解大學辦學績效，亦是相當重要的功能。（四）提供大學決策參考大學評鑑的價值性在於協助學校的經營更具品質、更具競爭力，透過適切的評鑑機制，除有助於大學進行有效決策，讓大學本身不斷改進外，教育行政部門亦可透過評鑑結果，作為研擬大學相關政策的參考。譬如我國大學法第五條規定，教育部應定期辦理大學評鑑，並公告其結果，作為政府教育經費補助及學校調整發展規模之參考。 Sallis 與 Hingley（1991）指出大學評鑑具有下列的功能：（一）改善大學經營的表現、（二）提高大學的競爭力、（三）改進大學的行政效率、（四）增進大學服務品質，提高利害關係人的滿意度、（五）改變大學的文化、（六）改善大學的教學品質及（七）提昇大學內部成員的士氣（引自蘇錦麗，1997：17）。是故，有關大學評鑑的功能面向，根據前述大體上可以歸結為「品質改進導向」、「績效課責導向」和「決策參考導向」等三種功能導向。二、評鑑類型面向一般而言，大學評鑑的類型可分為「機構評鑑」（institutional evaluation）與「專業領域評鑑」（program evaluation），分別說明如下（蘇錦麗，1997：19-20；王彥方，2013：17-18）：（一）機構評鑑機構評鑑係指以學校整體作為受評對象，評鑑重點在於學校教育目標、師資與其他資源的投入、教學歷程及教育成果，而評鑑標準將因機構性質之不同而有差異，其強調機構的整體效能，例如校務評鑑。各國因其大學教育評鑑或品質保證有內容性質之差異，因此所使用的名稱也不盡相同。美國採行認可制度，稱為機構認可（institutional accreditation）；英國則針對大學機構品質進行檢核，稱作機構審議（institutional audit）；法國則稱為機構評鑑（institutional evaluation）；在我國則由高教評鑑中心以學校整體進行評鑑，稱為校務評鑑（university evaluation）。 16.

(32) 第二章文獻探討. （二）專業領域評鑑專業領域評鑑以某一專業領域、學院、系所、學門或學程為對象，因各專業之特性而有不同之評鑑標準，其強調某一專業領域的教學品質，經常以專業學術標準來評估該專業領域符合的程度，例如稱為學門評鑑或系所評鑑。而專業領域評鑑由於各國實施的範圍不同，使用的名稱亦有所差異。美國實施的是專業認可評鑑，如醫學、心理等領域，稱作專門領域認可（program accreditation）；英國與香港針對可授予學位的課程加以評鑑與甄審，稱作學位課程甄審（course validation 或 program validation）；法國以教學研究相關的特定學門為主要評鑑對象，如地理、傳播、牙醫等，稱作學門評鑑（disciplinary review）。我國目前由高教評鑑中心辦理的專業領域評鑑以系所為單位，稱為系所評鑑（specialized accreditation）。有關機構評鑑的優點在於可全面瞭解學校整體的辦學效能，缺點在於專業領域的教學單位或人員參與度較低，也無法獲得專業領域單位的積極回應以改進課程；而專業領域評鑑的優點包括同儕評鑑的專家對評鑑標準的相關性、彈性及國際性有較佳的理解、較能針對教育政策中特定目標的達成進行詳細的評估、較易對於特定領域不同課程或學程進行比較、提供同時採用多種評鑑程序的機會、評鑑結果可作為機構評鑑的參考，缺點則較為無法全面、整體的瞭解學校的校務發展與辦學效能。睽諸教育先進國家實施大學評鑑的種類主要仍在校務整體性的機構評鑑與學術專業性的學門系所評鑑；前者傾向於績效責任導向的功能，而後者則傾向於改進導向功能，兩者的比較如表 2-3 所示。. 表 2-3 機構評鑑與專業領域評鑑之比較項目. 機構評鑑. 評鑑對象. 機構的整體業務. 評鑑目的. 績效責任導向. 評鑑重點. 大學的整體效能. 特定專業領域的教育品質. 美國的機構認可. 美國的專門領域認可. 英國的機構審議. 英國與香港的學位課程甄審. 法國的機構評鑑. 法國的學門評鑑. 我國的校務評鑑. 我國的系所評鑑. 各國制度. 專業領域評鑑學院、系所、學門或學程專業領域品質改進導向. 資料來源：王彥方（2013：18）. 17.