100 年度大學校務評鑑結果研究:質與量的重要性分析

全文

(1)

《教育行政與評鑑學刊》 2013 年 6 月,第十五期,頁 31-56

100 年度大學校務評鑑結果研究:

質與量的重要性分析

王彥方、林信耀、

王保進

摘要

本研究旨在以內容分析法針對 100 年度大學校務評鑑報告進行分析,探究認可結果 與認可要素間之關係、認可結果與辦學量化指標間之關係、以及認可要素與辦學量 化指標間之關係,藉此檢視質性認可要素與辦學量化指標對認可結果之重要性為 何。研究發現大學校務評鑑認可要素確實對認可結果具影響力,且辦學量化指標表 現並非影響認可結果之關鍵,認可要素表現與辦學量化指標間亦多呈現無顯著相關 之情形,據此提出相關建議。 關鍵詞:大學評鑑、校務評鑑、內容分析 ____________________ 王彥方:臺北市立教育大學教育行政與評鑑研究所碩士。電子郵件:color_sister@hotmail.com 林信耀:國立臺灣師範大學政治學研究所博士候選人。電子郵件:lsy488981@gmail.com 王保進(通訊作者):臺北市立教育大學教育行政與評鑑研究所教授。 電子郵件:baojinn@tmue.edu.tw 註:此篇文章改寫自王彥方碩士學位論文。

(2)

Journal of Educational Administration and Evaluation June, 2013, Vol. 15, pp. 31-56

University Evaluation in Taiwan: The

Importance of Qualitative Elements and

Quantitative Indicators

Yen-Fang Wang, Hsin-Yao Lin,

*

Bao-Jinn Wang

Abstract

The purpose of this study is to analyze the 2011 University Evaluation Reports through content analysis. In this study, we explore the relationship between the accredited results and the accredited elements, the relationship between the accredited results and the quantitative indicators, and the relationship between the accredited elements and the quantitative indicators to verify the importance between accredited elements and quantitative indicators. We found that the accredited elements of the University Evaluation Report truly affect the accreditation results. The quantitative indicators are not key factors affecting the accredited results, and there are no significant effects between the accredited elements and the quantitative indicators in universities. Finally we propose some suggestions on the basis of these findings.

Keywords: university evaluation, school evaluation, content analysis

____________________

Yen-Fang Wang: Master / Graduate School of Educational Administration and Evaluation, Taipei Municipal University of Education. E-mail: color_sister@hotmail.com

Hsin-Yao Lin: Ph.D. Candidate / Graduate Institute of Political Science, National Taiwan Normal University. E-mail: lsy488981@gmail.com

Bao-Jinn Wang (corresponding author): Professor / Graduate School of Educational Administration and Evaluation, Taipei Municipal University of Education

(3)

壹、緒論

近十年來,我國高等教育的定位由傳統的「菁英教育」走向「大眾教育」,且全 球的發展與進步使得大學受到國際化、全球化的衝擊,大學須因應社會變遷而變革, 追求辦學特色的卓越,否則不免要面對退場壓力(林適湖,2011;楊朝祥,2009)。 而大學評鑑為我國最普遍用以衡量大學績效的方式,以確保高等教育的品質與成長 (周祝瑛,2012)。 教育部為建構完整之大學評鑑圖像,並協助大學在高等教育市場中找到自我定 位,發揮辦學特色,乃於 100 年度再次進行大學校院校務評鑑(王保進,2010)。而 此次校務評鑑採「認可制」,不做跨校比較或排名,惟認可結果對各校校務發展仍具 影響力。此外,國內有許多學者指出評鑑僅看重研究數量,走了偏路(曾志朗,2012)。 亦有學者認為大學評鑑指標過於重量輕質,認可結果的公正性與客觀性備受質疑(周 祝瑛、胡祝惠,2012;陳俊明,2012)。 綜觀上述,校務評鑑對大學校務經營與發展具重要性,加上大學與外界對於辦 學量化指標與認可結果間的影響存有許多疑慮,本研究藉由探討評鑑報告的質性內 容,分析認可結果與認可要素及辦學量化指標間之關係、認可要素與辦學量化指標 間之關係,以供教育相關單位參考,並提出具體建議。

貳、文獻探討

一、大學評鑑之意涵

(一)大學評鑑之意義與目的 大學評鑑(accreditation)的概念源自美國,結合 Kells(1984)、陳漢強(1997)、 曾秀梓(2009)、吳清山與王令宜(2012)等人的觀點,大學評鑑係指一種自願性的 過程,以大學為受評對象,藉由內部自我評估或外部的專家判斷,依據系統化的方 式,檢視學校符合評鑑標準的程度,做為自我改進之依據,而非比較學校之間的優 劣。就大學評鑑的目的而言,改進導向的評鑑目的強調其形成性功能,而績效責任 導向的評鑑目的則強調其總結性功能(楊玉惠,2003)。大學應兼顧內部自我改善與 外部品質保證的評鑑,以充分發揮大學評鑑的功能。

(4)

(二)大學評鑑之類型與方法 就類型而言,可分為「機構評鑑」(institutional evaluation)與「專業領域評鑑」 (program evaluation)。蘇錦麗(1997)指出機構評鑑以學校整體做為受評對象,強 調機構的整體效能,包括學校教育目標、師資與其他資源的投入、教學歷程及教育 成果,例如校務評鑑;專業領域評鑑以某一專業領域、學院、系所、學門或學程為 對象,強調某一專業領域的教學品質,評估該專業領域符合學術標準的程度,例如 學門評鑑或系所評鑑。

就方法而言,可分為「內部評鑑」(internal evaluation)與「外部評鑑」(external evaluation)。內部評鑑係指高等教育機構發揮自省精神,由高等教育機構或其指定團 體所執行的評鑑活動,以建立自我管制機制(蘇錦麗,1997),現今內部自我評鑑的 作 法 朝 向 全 面 品 質 管 理 的 趨 勢 , 成 功 的 大 學 管 理 必 須 接 受 評 鑑 並 不 斷 改 善 (Mohammadi, Eshaghi, & Arefi, 2012)。而外部評鑑係基於外在認可的要求,由高等 教育機構以外的團體執行評鑑,以確保機構符合績效責任(蘇錦麗,1997)。大學應 主動發展自我評鑑的能力,結合外部同儕評鑑,促進大學品質的改善與保證。 (三)大學評鑑之標準 大學評鑑的標準包括質化與量化的標準,其中質化標準係指以文字概括描述, 具一般性與廣泛性,例如大學提供適當的圖書藏量;量化標準係指以數字說明達成 標準的程度,例如大學限制每班的課程人數(王保進,1997;蘇錦麗,1997)。然而 應在量化與質化間取得平衡,才能對大學的表現提供精確的測量(Sizer, 1979)。

二、認可制度與品質保證制度

(一)美國認可制度 認可制度係一自願的過程,透過非官方的學術團體,採用同僚評鑑,以檢視被 認可之校院是否已達成自我評鑑中自訂的目標,並符合評鑑的標準(Kells, 1983)。 美國認可制度有別於一般國家多半由教育部管理學校,對於其高等教育機構具相當 大的約束力,尤其在提高學校素質貢獻甚鉅(劉維琪,2005)。而認可制度的目的包 括(Eaton, 2012):1.確保品質;2.取得聯邦政府經費補助的資格;3.簡化學生的 學分轉換作業;4.贏得企業雇主的信心。 認可制度的種類分為「機構認可」(institutional accreditation)與「專門領域認可」 (specialized accreditation)二類。機構認可係針對整體學校校務進行認可;專業性

(5)

專門領域認可則針對校內特定的學院、系所或專門領域進行認可 (Council on Post-secondary Accreditation〔COPA〕, 1990)。同時由政府部門的「全國機構品質與 整 合 諮 議 委 員 會 」( National Advisory Committee on Institutional Quality and Integrity),以及私人部門的「高等教育認可審議會」(Council for Higher Education Accreditation)主要負責認可機構的確認(recognition)工作(王保進,2006)。由此 可見,美國高等教育形成雙軌制的認證體系(池俊吉,2012)。

大學校院必須符合由各種認可團體所訂定的標準,方得以通過外部評鑑。2013 年負責認可高等教育校院的「高等教育審議委員會」(Higher Learning Commission 〔HLC〕)實施新版的認可準則,包括「辦學宗旨」、「誠信」、「教與學:品質、資源 與支持服務」、「教與學:評鑑與改進」、「資源、計畫與組織效能」五項準則,準則 之下包括多項核心項目(李懿芳,2012;HLC, 2012)。值得稱許的是,HLC 尊重各 校差異性,樂見各校依不同方式呈現達成多元目標的過程,彈性刪減核心項目,藉 此鼓勵各校發展特色(李懿芳,2012)。 未來美國認可制度之認證,將從政府與民間雙軌體系,走向由政府掌握主導權。 而認可組織的角色轉變為提供大學校院查核與諮詢服務的角色,做為政府品質控管 的推動者(池俊吉,2012)。此外,美國積極獎勵大學推動學生學習成效評估的努力 與成果,可見「學生學習成效」為認可重點已為時勢所趨,以鼓勵大學建立學生學 習成效的評估機制(王保進,2011c)。 (二)英國品質保證制度 英國的高等教育品質保證制度,為歐洲國家開啟評鑑風氣的先鋒(戴曉霞, 2005)。品質保證的觀念源自於工商業界,係指稽核人員針對產品服務的流程與產 出,定期檢核是否符合既定的要求與規範(吳清山、王令宜,2008)。英國品質保證 制度包括四種構成要素,第一種為內部品質保證機制,透過內部自我評鑑檢視所建 立的內部品質保證機制;第二種為「品質保證局」(Quality Assurance Agency〔QAA〕) 實施的機構層級的教學品質審核;第三種由專業與法定團體所實施的專業認可;第 四種則由評鑑小組執行的研究評鑑作業(Research Assessment Exercise〔RAE〕)(吳 清山等人,2008;Higher Education Funding Council for England, 2005)。

英國品質保證制度的一大特色為教學與研究分開評鑑,由品質保證局專責高等 教育機構的教學評鑑(academic review),而教學評鑑又可分為學科層級(subject level) 的評鑑,以及機構層級(institutional level)的評鑑。2005 年英國取消學科層級的評 鑑,改以強調機構層級的評鑑(HEFCE, 2005; QAA, 2008)。接著 QAA 實施「機構 審核」(institutional audit),於 2011 年後接著實施新制——「機構檢視」(institutional

(6)

review),重點在於檢視高等教育機構是否完善建立自我評鑑機制,擔負起自我品質 管控的責任(楊瑩,2013)。

另一方面,由「高等教育撥款委員會」(Higher Education Funding Council for England〔HEFCE〕)專責的研究評鑑(research assessment),為英國藉由 HEFCE 的 經費支援,組成研究評鑑作業小組(RAE),每三至五年進行評鑑,且評鑑結果作為 大學經費補助之參據。研究評鑑使英國大學的研究水準得以持續提升,且研究人員 的成果在國際間名列前茅(郭昭佑,2012)。英國更預計於 2014 年完成研究卓越架 構(Research Excellence Framework),取代 RAE,且採專家檢視(expert review)的 方式進行(HEFCE, 2013a)。此變革使蘇格蘭、威爾斯及北愛爾蘭地區可依照其需求 規劃研究評鑑的架構(吳清山等人,2008)。 未來英國品質保證制度將以學生為核心,持續支持學習與教學活動,並推動品 質保證機制(HEFCE, 2013b)。我國 100 年度大學校務評鑑及第二週期大學系所評 鑑,皆以學習成效為評鑑重點,確保教學與學習的品質,可見我國大學評鑑與國際 發展趨勢一致。再者,各國品質保證機構開始進行跨國性的評鑑合作,以確保品質 保證機構的績效責任,例如 1991 年成立「高等教育品質保證國際網絡」(International Network for Quality Assurance Agencies in Higher Education)、2003 年成立「亞太品質 網絡」(Asia-Pacific Quality Network),可見國際間品質保證之合作關係漸受重視(王 令宜、吳清山,2010;侯永琪,2012a,2012b)。

三、我國大學校務評鑑之發展

近年來我國對於大學評鑑相當重視,至今已發展 30 餘年,教育部為了解大學的 教育品質,自委託學術團體辦理評鑑開始,到 2005 年成立財團法人高等教育評鑑中 心(以下簡稱高教評鑑中心)專責評鑑事務,可見大學評鑑制度由集權化轉為分權 化。其中大學校務評鑑之發展源自於 2004 年教育部委託社團法人臺灣評鑑協會,實 施首次「大學校務評鑑規劃與實施計畫」,採「等第制」,共計 76 所大學校院受評, 將各校性質相近學門的系所整併成「人文藝術與運動領域」、「社會科學(含教育) 領域」、「自然科學領域」、「工程領域」、「醫藥衛生領域」、「農學領域」六大專業領 域,分別就「教學資源」、「國際化程度」、「推廣服務」、「訓輔(學生事務)」、「通識 教育」、「行政支援」六大項目,對各校「師資」、「教學」及「研究」進行評鑑(教 育部高教司,2005;楊瑩,2010)。 接著,2011 年由高教評鑑中心實施大學校院校務評鑑,採「認可制」,針對 79 所大學校院進行為期一年的實地訪評作業。與前次大學校務評鑑相較而言,本次校

(7)

務評鑑導入品質保證的 PDCA 架構(plan-do-check-action framework),以整體校務及 學生學習成效評估機制為核心重點。

四、我國大學校務評鑑之實施現況

以下針對評鑑目的、對象、項目與標準、自我評鑑、實地訪評、評鑑結果等分 述如下(財團法人高等教育評鑑中心,2010): (一)評鑑目的 包括檢視競爭態勢、落實校務發展計畫、評定教研績效、獎勵優質建立標竿校 院、匡正發展偏差、及提供政策參考等六大目的。 (二)評鑑對象 原共計 81 所大學校院受評,但由於銘傳大學申請免評,國立金門大學為新設學 校,此次不列入評鑑,因此共計 79 所學校受評,包括 69 所一般大學校院、8 所軍警 校院、及 2 所國立空中大學(楊瑩,2012)。 (三)評鑑項目與標準 本次評鑑以「學生學習成效」為重點,學校應在「輸入」、「過程」及「產出」 三個歷程,建立確保學生學習成效達成之機制,故五個評鑑項目包括「學校自我定 位」、「校務治理與經營」、「教學與學習資源」、「績效與社會責任」及「持續改善品 質保證機制」,皆以「基本素養與核心能力」為設計軸心(李坤崇,2011)。其中「學 校自我定位」列為評鑑項目的第一項,旨在強調並尊重學校的獨特性與自主性,其 他四個評鑑項目以此為本做伸展,而「持續改善與品質保證機制」列在最後一項, 即與第一項互為呼應,學校亦須具備自我檢視、成長及保證辦學品質的機制(鄭瑞 城,2012)。此外,五個評鑑項目包括 48 個參考效標及 170 個涵蓋要素,參考效標 採標竿(benchmark)方式設計,並無制式規定各校應呈現的資料或結果,期能展現 各校之辦學特色。本研究所指之「評鑑項目」,即以上述五個評鑑項目作為評鑑報告 內容分析之依據。 (四)自我評鑑 受評學校應充分了解各評鑑項目之內涵、最佳實務、參考效標、及建議準備資 料,並依自我定位與校務發展之需求,以量化數據或質性描述的方式進行優勢與缺

(8)

失之分析,提出未來改善建議以進行自我評鑑相關事宜,最後提交自我評鑑報告。 (五)實地訪評 自 100 年 1 月至 12 月,各校接受兩天的實地訪評,由學者專家組成實地訪評小 組,藉由實地設施觀察、晤談、資料檢閱、及問卷調查等資料蒐集方法,進行訪評 以檢證各校自我評鑑之效度,並根據評鑑項目之內涵,提供校務發展之建議,以完 成訪評報告書。 (六)認可結果 認可結果採認可制,分為「通過」、「有條件通過」、及「未完全通過」。100 年度 上半年大學校務認可結果於 2011 年 12 月公布,下半年大學校務認可結果於 2012 年 6 月公布。針對學校提出的申訴,經高教評鑑中心申訴評議委員會決議,實踐大學之 項目一、中國文化大學之項目一、中山醫學大學之項目三、中華大學之項目三共 4 所學校申訴有理,予以修正評鑑結果。一般大學校院之認可結果如表 1 所示。其中 項目五「持續改善與品質保證機制」完全通過的比例最高,項目三「教學與學習資 源」未能完全通過的比例最高,可見各校在自我評鑑機制、蒐集利害關係人意見機 制、及品質改善機制之作為,值得予以肯定;惟在教師評鑑機制、課程規劃、課程 地圖內容、及學習資源等方面,多有待改善。 表 1 一般大學校院在 100 年度大學校務評鑑之各項目認可結果統計表 評鑑項目 通過數 有條件通過 或未通過數 合計(所) 項目一、學校自我定位 61 8 69 項目二、校務治理與經營 60 9 69 項目三、教學與學習資源 59 10 69 項目四、績效與社會責任 63 6 69 項目五、持續改善與品質保證機制 66 3 69 資料來源:研究者自行整理。

(9)

五、大學校務評鑑認可要素之內涵

100 年度大學校務評鑑的核心要素包括:一為導入品質保證之 PDCA 評鑑架構, 檢視大學是否找出明確的發展定位,在校務經營與發展等面向符合品質保證精神; 二為建立一套完整的學生學習成效機制,確保學生學習成效(王保進,2011b;財團 法人高等教育評鑑中心,2012a)。本次評鑑之認可要素內涵並未包括向來爭議性頗 高之量化指標。何卓飛(2012)表示系所及校務評鑑皆以學生為主體,非學術或研 究評鑑,並未採計 SCI、SSCI 論文數做為認可通過與否之依據,亦無單一或量化的 評鑑指標系統。王麗雲(2013)亦指出「I 級文章」向來並非高教評鑑的重點。大學 評鑑本無關量化數據,應回歸重視學生學習成效才是王道(劉維琪,2010)。 高教評鑑中心根據評鑑項目的內涵,依各種認可結果擬定評鑑的認可基準,做 為評鑑委員進行認可之參據,避免標準不一的現象。對受評學校而言,此認可基準 可明確了解影響認可結果的關鍵因素;對評鑑委員而言,在認可結果的決定上更客 觀一致;對評鑑中心而言,可確保評鑑作業符合誠信透明原則,以掌握認可制度的 精神(王保進,2011b)。上述評鑑中心公布之「認可基準」,與本研究「認可要素」 之意義皆為認可時所參照之標準或要素,惟本研究所指「認可要素」係研究者以評 鑑中心「認可基準」為參考,整理並編製成研究工具「主題類目劃記表」之次類目, 作為歸納正反面意見之依據,故兩者實質內容有所不同。

參、研究設計與實施

一、研究架構

本研究首先探討大學校務評鑑報告在各評鑑項目認可要素的正、反面意見表 現,接著分析不同認可結果的學校在認可要素正反面意見表現之差異情形、不同認 可結果的學校在各層面辦學量化指標表現之差異情形,最後分析認可要素與辦學量 化指標間之相關情形,藉此檢視認可要素與量化指標對認可結果之重要性,架構如 圖 1 所示。

(10)

圖 1 本研究架構圖

二、研究對象

本研究之研究對象為 100 年度大學校務評鑑報告,以 69 所一般大學校院為主, 未包含括 8 所軍警校院及 2 所空中大學。再者,由於認可結果為「有條件通過」及 「未通過」的學校數較少,因此將此二種認可結果合併為「未完全通過」。

三、研究工具

(一)各評鑑項目之主題類目分析表 研究者參考高教評鑑中心 100 年度大學校務評鑑認可基準,整理並編製五個評 鑑項目之「評鑑報告內容之主題類目分析表」,將主類目皆分為正面與反面意見;次 類目共計 29 項認可要素,其中項目一「學校自我定位」有 6 項要素,項目二「校務 治理與經營」有 6 項要素,項目三「教學與學習資源」有 9 項認可要素,項目四「績 效與社會責任」有 5 項認可要素,項目五「持續改善與品質保證機制」有 3 項要素, 並於各要素之下列出內涵說明。因篇幅限制,故節錄五個項目之分析表中各一項正 反面意見,如表 2 所示。 接著邀請甲、乙兩位評分員,連同研究者共計三位成員,隨機抽樣 10 份校務評 鑑報告,依照類目分析表進行歸類與劃記,凡是在報告內容中出現內涵說明中所提 及之文字,即以「正」字記號進行劃記。歸類範圍以評鑑報告中的「現況描述與特 色」及「待改善事項」之訪評意見為主,並未包括「建議事項」。最後以王石番(1991) 學校自我定位 校務治理與經營 教學與學習資源 績效與社會責任 持續改善與品質保證機制 認 可 要 素 行政支援與資源層面 教師教學與研究層面 學生學習與表現層面 量 化 指 標 通過 未完全通過 (包括有條件通過 及未通過) 認 可 結 果

(11)

表 2 各評鑑項目之主題類目分析表 主類目 意見 性質 次類目(認可要素) 內涵說明 學校自 我定位 正 面 分析優勢、劣勢、轉 機及危機,找出明確 之學校自我定位 內容中描述到「能利用 SWOT 分析或其他適當方法找 出學校自我定位(或分析內部因素之優劣勢及外部因 素之轉機與危機……將學校明確定位為……」 反 面 未 能 分 析 優 勢 、 劣 勢、轉機及危機,並 發 展 明 確 之 學 校 自 我定位 內容中描述到「未能以 SWOT 分析或其他適當方法, 完整分析內外部環境之優點、劣勢、轉機及危機,以 發展明確之學校自我定位」 校務治 理與經 營 正 面 建 立 健 全 之 校 務 發 展機制 內容中描述到「校務發展機制完備」、「已組成校務發 展機制或校務發展委員會,成員涵蓋校外專家或業界 代表,校務會議或其他相關會議按規定運作,並建立 會議紀錄」或「蒐集利害關係人的建議作為校務治理 之參考,定期召開會議,會議紀錄完備」 反 面 未 建 立 健 全 之 校 務 發展機制 內容中描述到「學校雖有校務發展機制,但未能定期 開會並蒐集利害關係人意見」、「成員中缺乏校外專家 或業界代表,作為回饋機制」、「學校重要之校務治理 相關會議,部分或全部未能依規定運作」或「會議紀 錄缺漏不全」 教學與 學習資 源 正 面 依 法 設 立 完 善 之 教 師遴聘機制 內容中描述到「訂有教師評審委員會辦法」、「教師甄 選經教師評審委員會審議通過後發聘」、「依法設立教 師遴聘機制」或「訂定教師聘任作業規定」 反 面 尚 未 設 立 完 善 之 教 師遴聘機制 內容中描述到「教師遴聘未能符合學校發展定位」、「學 校依法規設立教師遴聘機制,但部分或多數所聘教師 之專長未能符合校務定位與發展之需求」或「教師評 審委員會功能運作不明確」 績效與 社會責 任 正 面 針 對 校 級 基 本 素 養 與 核 心 能 力 規 劃 課 程,並建立評估機制 內容中描述到「學校針對校級基本素養與核心能力規 劃相對應之課程或設計教學,並建立評核學生達成基 本素養與核心能力之相關學生學習成效機制」 反 面 尚 未 針 對 校 級 基 本 素 養 與 核 心 能 力 完 整 規 劃 課 程 並 建 立 評估機制 內容中描述到「未能針對校級基本素養與核心能力規 劃相對應之課程」或「尚未建立評核學生達成基本素 養與核心能力之機制」 持續改 善與品 質保證 機制 正 面 落 實 健 全 之 自 我 評 鑑機制 內容中描述到「訂定自我評鑑實施辦法,建立自我評 鑑機制」或「自我評鑑機制完整,遴聘校外學者專家 以提供改善建議」 反 面 未 能 落 實 健 全 之 自 我評鑑機制 內容中描述到「尚未訂定自我評鑑辦法」、「自我評鑑 之實施缺乏後續追蹤改善之作為」、「自我評鑑實施辦 法未能說明清楚」、「自我評鑑項目未能確實反映校務 經營之成效或教育品質」或「自我評鑑機制缺乏校外 委員訪評,難以確保評鑑效度」 資料來源:研究者自行整理

(12)

的 評 分 員 信 度 法 計 算 劃 記 結 果 , 五 個 評 鑑 項 目 之 信 度 係 數 值 依 序 為 .848、.807、.797、.848、.884,可知三位評分員間之相互一致性相當理想,表示 本研究之類目分析表為一具良好信度之研究工具。 (二)大學校院之辦學量化指標 本研究利用高教評鑑中心 98 學年度之「校務評鑑基本資料指標」,擬定各指標 及操作型定義,將各校指標的數據資料加值應用,並將量化指標分類為三個層面共 計 18 項指標:「行政支援與資源」層面有 6 項指標,「教師教學與研究」層面有 8 項 指標,「學生學習與表現」層面有 4 項指標。最後將各指標歸類至最直接相關的評鑑 項目。因篇幅限制,故節錄三個層面中各一項指標,如表 3 所示。 表 3 各層面辦學量化指標及操作型定義 層面 編號 指標項目 操作型定義 行政支援與 資源 1-1 專任教師與行 政支援人力比 專任教師總數/職員總數(含正式與約聘僱教職員) 教師教學與 研究 2-1 全校生師比 (日間學制學士班學生數+夜間學制學士班學生數×0.8+日間學制碩士 班學生數×2+夜間學制碩士班學生數×1.6+日間學制博士班學生數×3)/ 全校專任教師(含兼任折算)數 學生學習與 表現 3-1 總報考率 (碩士班報考人數+博士班報考人數)/(碩士班核定招生名額+博士班 核定招生名額) 資料來源:研究者自行整理

四、資料處理與分析

研究者以次數累計的方式,依據類目分析表之認可要素,將出現內涵說明中所 提及之文字進行編碼,歸類至適當之類目與次類目並劃記,再將劃記結果轉化為量 化數據資料,進行定量分析,所採用的統計方法包括描述統計、Mann-Whitney U 考 驗、卡方百分比同質性考驗、獨立樣本 t 考驗、及 Pearson 積差相關,以了解不同認 可結果的受評學校與認可要素及辦學量化指標間之差異情形,以及認可要素與辦學 量化指標間之相關情形。

(13)

肆、結果與討論

一、不同認可結果之受評學校在認可要素表現之差異分析

本研究以 Mann-Whitney U 考驗進行統計分析,分別檢定各項目不同認可結果的 受評學校在正、反面意見認可要素的整體及細項表現差異是否達到顯著水準。由表 4 可知,不同認可結果之受評學校在各項目正反面意見整體表現之 Mann-Whitney U 考 驗結果,均達 .05 顯著水準,表示各項目中「通過」之學校出現正面意見的次數顯 著高於「未完全通過」之學校;「未完全通過」之學校出現反面意見的次數顯著高於 「通過」之學校。 表 4 不同認可結果之受評學校在正反面意見整體表現之 Mann-Whitney U 考驗結果 評鑑項目 認可結果 個數 正面意見 反面意見 U 值 p 值 U 值 p 值 項目一 學校自我定位 通過 未完全通過 61 8 58.0 .000*** 453.5 .000*** 項目二 校務治理與經營 通過 未完全通過 60 9 47.5 .000*** 539.0 .000*** 項目三 教學與學習資源 通過 未完全通過 59 10 137.0 .006** 568.0 .000*** 項目四 績效與社會責任 通過 未完全通過 63 6 73.0 .011* 352.0 .000*** 項目五 持續改善與品質保證機制 通過 未完全通過 66 3 16.5 .008** 198.0 .000*** *p< .05. **p< .01. ***p< .001. 再者,以 Mann-Whitney U 考驗分析不同結果之受評學校在各項目正、反面意見 認可要素之細項表現,就正面意見而言,項目一有 4 項認可要素達 .05 顯著水準, 項目二與項目三各有 3 項認可要素達 .05 顯著水準,項目四與項目五各有 1 項認可 要素達 .05 顯著水準。上述共 12 項認可要素之表現,皆顯著影響認可結果為「通過」。

(14)

就反面意見而言,項目一有 4 項認可要素達 .05 顯著水準,項目二有 5 項認可 要素達 .05 顯著水準,項目三有 6 項認可要素達 .05 顯著水準,項目四有 2 項認可 要素達 .05 顯著水準,項目五有 1 項認可要素達 .05 顯著水準。上述共 18 項認可要 素之表現皆顯著影響認可結果為「有條件通過」或「未通過」。整體而論,不同認可 結果之受評學校在各項目認可要素的細項表現皆會影響認可結果,可知質性意見對 於認可結果通過與否具重要性。節錄項目二在正面意見認可要素細項表現之 U 考驗 結果,如表 5 所示,顯示項目二在正面意見認可要素多數皆會影響認可結果。 表 5 不同認可結果之項目二「校務治理與經營」報告在正面意見認可要素之 Mann-Whitney U 考 驗結果(N=69) 項目二 正面意見認可要素 認可結果 個數 U 值 p 值 1.建立健全之校務發展機制 通過 未完全通過 60 9 159.0 .028* 2.建置完整校務行政資訊化系統 通過 未完全通過 60 9 228.5 .367 3.訂定行政服務作業標準流程、品質檢核及 獎勵機制 通過 未完全通過 60 9 171.0 .029* 4.預算編列能確實符合校務發展計畫之需 求 通過 未完全通過 60 9 184.0 .081 5.能擬訂適當之國際交流計畫並落實執行 通過 未完全通過 60 9 96.0 .000*** 6.私校設有健全董事會組織 通過 未完全通過 60 9 235.5 .577 *p< .05. ***p< .001. 節錄項目三在反面意見認可要素細項表現之 U 考驗結果,如表 6 所示,顯示項 目三在反面意見認可要素多數皆會影響認可結果。 為進一步清楚了解不同認可結果之學校在正、反面意見出現次數之差異情形, 本研究以同一項目之正反面意見次數各 3 次為分割之臨界點,利用卡方百分比同質 性考驗進行檢定。各項目結果顯示,除了項目五「持續改善與品質保證機制」正面 意見總數之表現結果外,其他項目之表現皆達 .05 顯著水準,表示正、反面意見總 數大多數會顯著影響學校認可結果通過與否,呈現相當一致之結果。此結果與王保

(15)

表 6 不同認可結果之項目三「教學與學習資源」報告在反面意見認可要素之 Mann- Whitney U 考驗結果(N=69) 項目三 反面意見認可要素 認可結果 個數 U 值 p 值 1.尚未設立完善之教師遴聘機制 通過 未完全通過 59 10 374.5 .003** 2.缺乏教師教學與研究獎勵機制並協 助新進教師專業成長 通過 未完全通過 59 10 379.0 .000*** 3.未有完善之教師評鑑機制 通過 未完全通過 59 10 498.5 .000*** 4.缺乏健全之課程規劃機制 通過 未完全通過 59 10 479.0 .000*** 5.尚未建立完整之課程地圖 通過 未完全通過 59 10 363.5 .026* 6.空間規劃與分配機制缺乏合理性 通過 未完全通過 59 10 301.0 .898 7.未確實建置數位學習平台並依據基 本素養與核心能力設計教材 通過 未完全通過 59 10 368.5 .010* 8.未能依據師生需求購置教學與學習 資源,並建立完善之管理機制 通過 未完全通過 59 10 302.0 .856 9.導師制度未臻完備 通過 未完全通過 59 10 329.0 .268 *p< .05. **p< .01. ***p< .001. 進(2011a)及林淑娟(2011)之研究相符,均表示認可要素為影響評鑑認可結果能 否通過之重要關鍵。節錄項目一之檢定結果,如表 7 所示。

二、不同認可結果之受評學校在辦學量化指標表現之差異分析

本研究利用獨立樣本 t 考驗進行統計分析,分別檢定各項目不同認可結果的受評 學校在辦學量化指標的表現差異是否達顯著水準。 就「行政支援與資源」層面而言,除了「1-5 獎助學金與學雜費比」指標之平均 數差異顯著影響項目三「教學與學習資源」之認可結果,其餘指標之平均數差異皆 未顯著影響各項目之認可結果,呈現相當一致的結果。

(16)

表 7 項目一「學校自我定位」在正反面意見之卡方百分比同質性檢定結果(N=69) 意見性質 劃記次數 項目一 認可結果 χ²值 (p 值) 通過 (n=61) 未完全通過 (n=8) 正面意見 3 次以下 18a 29.5b -3.2c 7 87.5 3.2 10.295** (.001) 3 次(含)以上 43 70.5 3.2 1 12.5 -3.2 反面意見 3 次以下 59 96.7 6.0 2 25.0 -6.0 35.493*** (.000) 3 次(含)以上 2 3.3 -6.0 6 75.0 6.0 註:a代表細格次數,b代表細格次數占直行之百分比,c代表細格之校正後標準化殘差值。 **p< .01. ***p< .001. 就「教師教學與研究」層面而言,除了「2-3 每師平均授課學分數」、「2-7 專任 教師執行計畫比」指標顯著影響項目之認可結果外,其餘指標之平均數差異皆未顯 著影響各項目之認可結果,呈現相當一致的結果。 就「學生學習與表現」層面而言,除了「3-1 總報考率」指標之平均數差異會顯 著影響項目三「教學與學習資源」之認可結果外,其餘指標之平均數差異皆未顯著 影響各項目之認可結果,呈現相當一致的結果。 整體而言,各層面辦學量化指標之平均數差異大致上皆未顯著影響受評學校在 各評鑑項目之認可結果通過與否,此結果與王麗雲(2013)、何卓飛(2012)、徐超 聖(2012)、高教評鑑中心(2012b)、劉維琪(2010)、蔡小婷(2013)所提出之觀 點相符,均表示大學校務評鑑認可結果無關量化數據,並非以量化指標為主。 由於項目一、項目五與各層面量化指標之間皆為間接相關,並非直接相關,故 節錄其餘三個項目之統計結果。項目二在「行政支援與資源」指標之 t 考驗結果,如 表 8 所示,顯示「行政支援與資源」指標皆未顯著影響項目二之認可結果。 節錄項目三在「教師教學與研究」指標之 t 考驗結果,如表 9 所示,其中除了指 標 2-3、2-7 外,其餘「教師教學與研究」指標皆未顯著影響項目三之認可結果。研 究者推論,指標 2-3、2-7 雖達顯著,但由前述結果可知,正反面意見總數之高低會 影響認可結果,宜進一步檢視此二項指標與正反面意見總數之相關情形,有待後述 進行相關分析後再下定論。

(17)

表 8 不同認可結果之項目二「校務治理與經營」學校在「行政支援與資源」指標表現差異之獨立樣本 t 考驗 結果(N=69) 編號 辦學量化指標 項目二 認可結果 個數 平均數 標準差 t 值 p 值 (η2值) 1-1 專任教師與行政支援人 力比 通過 60 2.15 1.11 -0.342 .734 (.002) 未完全通過 9 2.28 0.89 1-2 學生與行政支援人力比 通過 60 53.52 28.01 0.291 .772 (.001) 未完全通過 9 50.70 18.93 1-3 每生平均建築面積 通過 60 30.34 49.75 0.319 .751 (.002) 未完全通過 9 25.00 13.36 1-4 每生圖書數 通過 60 49.77 22.48 -1.871 .094 (.091) 未完全通過 9 72.22 34.94 1-5 獎助學金與學雜費比 通過 60 0.09 0.06 0.678 .500 (.007) 未完全通過 9 0.08 0.04 1-6 學生住宿供應率 通過 60 0.97 0.48 -1.179 .271 (.078) 未完全通過 9 1.55 1.45 表 9 不同認可結果之項目三「教學與學習資源」學校在「教師教學與研究」指標表現差異之獨立樣本 t 考驗 結果(N=69) 編 號 辦學量化指標 項目三 認可結果 個數 平均數 標準差 t 值 p 值 (η2值) 2-1 全校生師比 通過 59 22.17 4.82 0.671 .505 (.007) 未完全通過 10 21.09 7.04 2-2 每師指導研究生人數 通過 59 5.46 2.86 1.629 .108 (.038) 未完全通過 10 3.86 2.96 2-3 每師平均授課學分數 通過 58 15.48 4.51 -2.388 .020* (.081) 未完全通過 9 19.33 4.42 2-4 每師學術合作交流計畫 件數 通過 35 0.03 0.04 0.606 .548 (.011) 未完全通過 1 0.00 — a 2-5 每師發表學術著作人次 通過 56 0.45 0.52 0.810 .421 (.010) 未完全通過 8 0.29 0.30 2-6 每師國外(際)發表研討 會論文人次 通過 54 0.14 0.21 0.443 .660 (.003) 未完全通過 4 0.09 0.09 2-7 專任教師執行計畫比 通過 59 0.77 0.47 4.675 .000*** (.090) 未完全通過 10 0.38 0.18 2-8 校內教學卓越獎獲獎率 通過 55 0.08 0.17 -0.429 .670 (.003) 未完全通過 6 0.11 0.17 註:a表示由於組別中至少有一組是空的,因此無法計算。 *p<.05. ***p< .001. 節錄項目四在「績效與社會責任」指標之 t 考驗結果,如表 10 所示,顯示「學 生學習與表現」指標皆未顯著影響項目四之認可結果。

(18)

表 10 不同認可結果之項目四「績效與社會責任」學校在「學生學習與表現」指標表現差異之獨立 樣本 t 考驗結果(N=69) 編 號 辦學量化指標 項目四 認可結果 個數 平均數 標準差 t 值 p 值 (η2值) 3-1 總報考率 通過 63 4.95 3.00 1.116 .268 (.018) 未完全通過 6 3.55 1.73 3-2 總註冊率 通過 63 .92 0.42 0.925 .358 (.013) 未完全通過 6 .75 0.28 3-3 學生參與競賽獲獎率 通過 62 .04 0.05 -0.866 .425 (.043) 未完全通過 6 .08 0.13 3-4 學生證照通過率 通過 60 .06 0.07 -1.815 .074 (.049) 未完全通過 6 .12 0.08

三、各評鑑項目認可要素表現與辦學量化指標之相關分析

本研究透過 Pearson 積差相關分析,探討各項目正、反面意見總數與直接相關的 量化指標之相關情形,以證明實質辦學成果與量化指標間之關聯性。總體而言,各 項目在正、反面認可要素表現與辦學量化指標,幾乎呈現全數無顯著相關之情形, 可見辦學量化指標的數值大小與正、反面意見總數之高低不具關聯性,顯示出評鑑 委員對於認可結果之專業判斷,不受量化指標數值之差異而影響。 換言之,辦學量化指標並非影響認可結果之關鍵因素。此結果與王麗雲(2013)、 何卓飛(2012)、徐超聖(2012)、高教評鑑中心(2012b)、劉維琪(2010)、蔡小婷 (2013)所提出之觀點相符,均認同大學評鑑並非僅看重量化指標,認可結果與量 化指標間確實無顯著關聯。茲節錄項目與其直接相關指標之相關結果呈現,項目二 與量化指標之相關情形摘要如表 11 所示,無論項目二在整體正、反面意見總數與各 指標間之相關,抑或不同認可結果正、反面意見總數與各指標間之相關,均呈現無 顯著相關之情形,即項目二認可結果與直接相關之指標間並未顯著相關。 節錄項目三與量化指標之相關情形摘要如表 12 所示,顯示項目三在正、反面意 見總數與各指標間之相關,抑或不同認可結果正、反面意見總數與各指標間之相關, 大多數均呈現無顯著相關之情形,即項目三認可結果與直接相關之指標間並未顯著 相關。

(19)

表 11 不同認可結果之項目二「校務治理與經營」報告在正、反面意見總數表現與辦學量化指標之 相關摘要表(N=69) 直接相關之 辦學量化指標 項目二 認可結果 個數 正面意 見總數 反面意 見總數 正面意 見總數 反面意 見總數 1-1 專任教師與行政支援 人力比 通過 60 -.028 -.125 -.046 -.005 未完全通過 9 -.060 .272 1-2 學生與行政支援人力 比 通過 60 -.070 -.095 -.045 -.059 未完全通過 9 -.099 .246 2-4 每師學術合作交流計 畫件數 通過 32 .183 -.126 .221 -.174 未完全通過 4 .454 .009 表 12 不同認可結果之項目三「教學與學習資源」報告在正反面意見總數表現與辦學量化指標之相 關摘要表(N=69) 直接相關之 辦學量化指標 項目三 認可結果 個數 正面意 見總數 反面意 見總數 正面意 見總數 反面意 見總數 1-3 每生平均建築面積 通過 未完全通過 59 -.095 -.013 -.227 .138 10 -.405 -.110 1-4 每生圖書數 通過 未完全通過 59 -.090 -.116 -.065 -.178 10 -.290 -.286 1-6 學生住宿供應率 通過 59 -.245 -.083 -.301* .131 未完全通過 10 -.226 -.114 2-1 全校生師比 通過 59 .068 -.048 .149 -.128 未完全通過 10 .449 -.215 2-2 每師指導研究生人數 通過 59 .108 .123 .118 -.085 未完全通過 10 -.248 -.080 2-3 每師平均授課學分數 通過 未完全通過 58 .096 -.195 -.058 .167 9 -.583 .484 2-5 每師發表學術著作人 次 通過 56 .191 -.156 .229 -.204 未完全通過 8 .528 -.588 2-6 每師國外(際)發表 研討會論文人次 通過 54 .041 -.118 .039 -.150 未完全通過 4 -.172 -.960* 2-8 校內教學卓越獎獲獎 率 通過 55 .125 -.045 .094 .004 未完全通過 6 -.134 .081 *p< .05.

(20)

節錄項目四與量化指標之相關情形摘要如表 13 所示,顯示項目四在正、反面意 見總數與各指標間之相關,抑或不同認可結果正、反面意見總數與各指標間之相關, 大多數均呈現無顯著相關之情形,即項目四認可結果與直接相關之指標間並未顯著 相關。 表 13 不同認可結果之項目四「績效與社會責任」報告在正反面意見總數表現與辦學量化指標之相 關摘要表(N=69) 直接相關之 辦學量化指標 項目四 認可結果 個數 正面意 見總數 反面意 見總數 正面意 見總數 反面意 見總數 1-5 獎助學金與學雜費比 通過 63 -.088 .199 -.025 .074 未完全通過 6 .514 .592 2-7 專任教師執行計畫比 通過 63 .053 .201 .146 -.063 未完全通過 6 .752 -.570 3-1 總報考率 通過 63 .101 .101 .152 -.036 未完全通過 6 .735 -.404 3-2 總註冊率 通過 63 .027 .042 .070 -.031 未完全通過 6 .399 .107 3-3 學生參與競賽獲獎率 通過 62 -.210 .138 -.282* .276* 未完全通過 6 -.676 .349 3-4 學生證照通過率 通過 60 .061 -.123 -.059 .031 未完全通過 6 -.832* -.195 *p< .05. 由表 12、13 可知,儘管前述提及指標 2-3、2-7 顯著影響項目三之認可結果,惟 此二項指標與其直接相關項目之正、反面意見總數均未達顯著相關,又正、反面意 見總數會影響認可結果,故此二項指標並非影響認可結果之關鍵。

伍、結論與建議

一、結論

(一)大學校務評鑑之認可要素確實對認可結果具影響力

(21)

由 Mann-Whitney U 考驗結果顯示,各評鑑項目在正反面意見之整體表現,均達 顯著水準;卡方百分比同質性考驗結果顯示,除了項目五在正面意見表現之結果外, 其餘評鑑項目之正反面意見數皆會顯著影響認可結果。由此可知,「通過」之學校的 正面意見數,多顯著高於「有條件通過」或「未通過」之學校;反之,「有條件通過」 或「未通過」之學校的反面意見數,多顯著高於「通過」之學校。表示各評鑑項目 正反面意見數會顯著影響學校認可結果通過與否,亦即各校在校務評鑑認可要素之 表現,對於認可結果為「通過」、「有條件通過」或「未通過」具相當影響力。 (二)辦學量化指標並非影響各評鑑項目認可結果之關鍵 由獨立樣本 t 考驗結果顯示,各層面辦學量化指標之平均數差異,大多數未顯著 影響認可結果;積差相關分析結果顯示,整體而言各評鑑項目認可要素表現與辦學 量化指標間並無顯著相關。換言之,辦學量化指標之數值大小,並不會影響認可結 果為「通過」、「有條件通過」或「未通過」,且與正反面意見數之高低未具關聯性, 表示認可結果不會因為辦學量化指標之數值差異造成影響。爰此,大學校務評鑑並 非以客觀、無法呈現系所特色之辦學量化指標為評鑑重點,質性認可要素之表現較 辦學量化指標來得重要。

二、建議

(一)認可結果無關量化指標,宜以認可要素為發展重點 辦學量化指標既非影響認可結果之關鍵因素,表示辦學量化指標僅為基本佐證 資料,並不會影響評鑑委員對於學校實質辦學成果之專業判斷,打破了長久以來各 界對大學評鑑重量輕質之疑慮。學校宜著重於充實認可要素之內涵,針對評鑑委員 所提供之質性建議,擬定因應策略或行動方案,提出後續改進之具體作法並確實執 行。再者,各校應以認可要素為校務發展之重點,了解自身之優劣勢,根據明確之 自我定位綜理校務,發揮各校辦學特色,以成就我國高等教育發展之多元性,而非 過於在意量化指標之表現。 (二)了解認可制之內涵精神,彰顯評鑑之實質改善意義 認可制之目的在於學校能持續改善辦學品質,提供品質保證並邁向卓越。學校 應充分了解認可制之精神並非與他校進行排名或比較,儘管學校之認可結果為「有 條件通過」或「未通過」,並不表示學校經營失敗,而是存有改善的空間,學校對於

(22)

未能完全通過之評鑑項目,宜加強改善其缺失;而認可結果為「通過」之學校,代 表其在重要的認可要素上皆達到應有的水準,但並非零缺點,學校在通過之評鑑項 目上,宜根據自身之特性持續改善。學校終須體認到認可制之真正目的在於自我不 斷持續改善,方能彰顯評鑑之實質意義。

參考文獻

王令宜、吳清山(2010)。我國推動高等教育品質保證系統之探究。教育資料集刊, 48,1-18。 王石番(1991)。傳播內容分析法——理論與實證。臺北市:幼獅。 王保進(1997)。大學教育評鑑之內涵分析。載於陳漢強(主編),大學評鑑(頁 161-217)。臺北市:五南。 王保進(2006)。以品質保證為目標的美國高等教育認可制度。評鑑雙月刊,2,47-50。 王保進(2010)。以「整體學校評鑑」(whole school evaluation)為精神之大學校務評

鑑。評鑑雙月刊,23,21-25。 王保進(2011a)。第一週期系所評鑑結果之後設評鑑:評鑑報告內容分析。評鑑雙 月刊,29,9-14。 王保進(2011b)。100 年校務評鑑認可基準尺規解析。評鑑雙月刊,30,10-14。 王保進(2011c)。引導學生學習成效品質保證機制之推動與落實——論第二週期系 所評鑑之核心內涵。評鑑雙月刊,32,36-40。 王麗雲(2013)。評鑑巫婆。評鑑雙月刊,42,32-33。 池俊吉(2012)。美國高等教育認可組織之認可制度:發展與挑戰。評鑑雙月刊,35, 36-42。 何卓飛(2012)。大學評鑑政策未來發展方向——教育部對各界批評大學評鑑之回 應。評鑑雙月刊,36,26-30。 吳清山、王令宜(2008)。從認可評鑑走向品質保證。評鑑雙月刊,16,9-12。 吳清山、王令宜(2012)。高等教育評鑑沿革。載於吳清山、王令宜、成永裕、池俊 吉、曾淑惠、蔡明月、…姜麗娟(合著),我國高等教育評鑑發展與實務(頁 1-16)。 臺北市:財團法人高等教育評鑑中心基金會。 吳清山、黃旭鈞、高家斌、賴協志、朱家賢、張壹婷(2008)。芬蘭與英國高等教育 品質保證制度發展之研究及其對我國高等教育評鑑發展之啓示。行政院國家科 學委員會專題研究計畫報告(NSC96-2413-H-133-002)。臺北市:臺北市立教育

(23)

大學。 李坤崇(2011)。成果導向的大學校務與課程評鑑。教育研究月刊,205,79-91。 李懿芳(2012)。美國高等教育認可標準制訂與大學多元發展之關係。評鑑雙月刊, 40,14-19。 周祝瑛(2012)。在大學法第五條約束下的大學評鑑,誰獲益?臺灣教育評論月刊, 1(8),7-10。 周祝瑛、胡祝惠(2012 年 1 月)。大學評鑑的正用與誤用:以政大教學評鑑與學術評 鑑為例。「高等教育理想與目標反思研討會」發表之論文,世新大學。 林淑娟(2011)。我國大學系所評鑑結果之後設評鑑——評鑑報告可信賴度取向(未 出版之碩士論文)。臺北市立教育大學,臺北市。 林適湖(2011)。臺灣高等教育之發展與省思。教育資料集刊,52,1-21。 侯永琪(2012a)。品質保證跨國發展與其對高等教育之影響。載於吳清山、王令宜、 成永裕、池俊吉、曾淑惠、蔡明月、…姜麗娟(合著),我國高等教育評鑑發展 與實務(頁 151-179)。臺北市:財團法人高等教育評鑑中心基金會。 侯永琪(2012b)。國際化與高等教育品質保證機構之品質保證機制建立。臺灣教育 評論月刊,1(8),28-29。 徐超聖(2012)。自主選擇與大學校務評鑑。臺灣教育評論月刊,1(8),12-15。 財團法人高等教育評鑑中心(2010)。100 年度大學校院校務評鑑實施計畫。臺北市: 作者。 財團法人高等教育評鑑中心(2012a)。100 年度上半年大學校務評鑑結果公布。評鑑 雙月刊,35,5-8。 財團法人高等教育評鑑中心(2012b)。評鑑中心對各界批評大學評鑑之回應。評鑑 雙月刊,39,32-34。 教育部高教司(2005)。大學校務評鑑規劃與實施計畫——計畫執行暨評鑑結果公布 說明。取自 http://www.edu.tw/files/list/B0068/0815.doc 郭昭佑(2012)。大學研究中心現況調查、評鑑可行方案及指標建構之研究。高教評 鑑,63-87。 陳俊明(2012 年 1 月)。行政官僚與大學教師的研究績效評鑑:台灣個案初探。「高 等教育理想與目標反思研討會」發表之論文,世新大學。 陳漢強(1997)。大學評鑑。臺北市:五南。 曾志朗(2012 年 4 月 11 日)。曾志朗重批:大學評鑑走偏路。聯合晚報。取自 http://mag.udn.com/mag/campus/storypage.jsp?f_ART_ID=383172 曾秀梓(2009)。我國大學評鑑制度設計與實務運作之分析——以 95 年度大學評鑑

(24)

為例(未出版之碩士論文)。國立臺灣師範大學,臺北市。 楊玉惠(2003)。大學學門評鑑制度規劃之研究(未出版之碩士論文)。臺北市立教 育大學,臺北市。 楊朝祥(2009)。台灣高等教育的挑戰、超越與卓越。教育資料集刊,44,1-28。 楊瑩(2010)。兩岸四地高等教育評鑑制度。臺北市:高等教育。 楊瑩(2012)。100 年度大學校務評鑑之檢視。臺灣教育評論月刊,1(8),24-27。 楊瑩(2013)。英國 QAA:從機構審核轉為機構檢視。評鑑雙月刊,42,10-15。 劉維琪(2005)。美國大學評鑑認可制度介紹。高教簡訊,166,15-18。 劉維琪(2010)。如何評鑑生師比?評鑑雙月刊,28,6-7。 蔡小婷(2013)。第二週期系所評鑑報告I系列期刊分析。評鑑雙月刊,42,34-40。 鄭瑞城(2012)。100 年度校務評鑑的特點。評鑑雙月刊,35,1。 戴曉霞(2005)。大學評鑑的興起、模式與問題。載於陳伯璋、蓋浙生(主編),新 世紀高等教育政策與行政(頁 545-558)。臺北市:高等教育。 蘇錦麗(1997)。高等教育評鑑理論與實際。臺北市:五南。

Council on Post-Secondary Accreditation (1990). The COPA handbook. Washington, DC: Author.

Eaton, J. S. (2012). An overview of U.S. accreditation. Retrieved from

http://www.chea.org/pdf/Overview%20of%20US%20Accreditation%202012.pdf Higher Education Funding Council for England (2005). Higher education in the United

Kingdom. Bristol, UK: Author.

Higher Education Funding Council for England (2013a). Research excellence framework

2014. Retrieved from http://www.ref.ac.uk/

Higher Education Funding Council for England (2013b). UK research partnership

investment fund 2012-2015. Retrieved from

http://www.hefce.ac.uk/whatwedo/rsrch/howfundr/ukresearchpartnershipinvestmentf und20122015/

Higher Learning Commission (2012). The new criteria for accreditation. Retrieved from http://www.ncahlc.org/Information-for-Institutions/new-criteria-for-accreditation.ht ml

Kells, H. R. (1983). Self-study processes: A guide for post-secondary institutions. New York, NY: Macmillan.

(25)

Mohammadi, R., Eshaghi, F., & Arefi, M. (2012). Internal evaluation: Appropriate strategic for quality evaluation and improvement of management in departments at universities (the case of Iran). Procedia—Social and Behavioral Sciences, 69, 719-728. doi:10.1016/j.sbspro.2012.11.466

Quality Assurance Agency (2008). About us. Retrieved from http://www.qaa.ac.uk/aboutus/qaaIntro/intro.asp.

Sizer, J. (1979). Assessing institutional performance: An overview. International Journal

(26)

數據

圖 1    本研究架構圖  二、研究對象  本研究之研究對象為 100 年度大學校務評鑑報告,以 69 所一般大學校院為主, 未包含括 8 所軍警校院及 2 所空中大學。再者,由於認可結果為「有條件通過」及  「未通過」的學校數較少,因此將此二種認可結果合併為「未完全通過」 。  三、研究工具  (一)各評鑑項目之主題類目分析表  研究者參考高教評鑑中心 100 年度大學校務評鑑認可基準,整理並編製五個評 鑑項目之「評鑑報告內容之主題類目分析表」 ,將主類目皆分為正面與反面意見;次 類目共計 29 項認可

圖 1

本研究架構圖 二、研究對象 本研究之研究對象為 100 年度大學校務評鑑報告,以 69 所一般大學校院為主, 未包含括 8 所軍警校院及 2 所空中大學。再者,由於認可結果為「有條件通過」及 「未通過」的學校數較少,因此將此二種認可結果合併為「未完全通過」 。 三、研究工具 (一)各評鑑項目之主題類目分析表 研究者參考高教評鑑中心 100 年度大學校務評鑑認可基準,整理並編製五個評 鑑項目之「評鑑報告內容之主題類目分析表」 ,將主類目皆分為正面與反面意見;次 類目共計 29 項認可 p.10
表 2  各評鑑項目之主題類目分析表  主類目  意見 性質  次類目(認可要素)  內涵說明  學校自 我定位  正 面  分析優勢、劣勢、轉機及危機,找出明確之學校自我定位  內容中描述到「能利用 SWOT 分析或其他適當方法找出學校自我定位(或分析內部因素之優劣勢及外部因素之轉機與危機……將學校明確定位為……」  反 面  未 能 分 析 優 勢 、 劣勢、轉機及危機,並發 展 明 確 之 學 校 自 我定位  內容中描述到「未能以 SWOT 分析或其他適當方法,完整分析內外部環境之優點、劣勢、轉機及

表 2

各評鑑項目之主題類目分析表 主類目 意見 性質 次類目(認可要素) 內涵說明 學校自 我定位 正 面 分析優勢、劣勢、轉機及危機,找出明確之學校自我定位 內容中描述到「能利用 SWOT 分析或其他適當方法找出學校自我定位(或分析內部因素之優劣勢及外部因素之轉機與危機……將學校明確定位為……」 反 面 未 能 分 析 優 勢 、 劣勢、轉機及危機,並發 展 明 確 之 學 校 自 我定位 內容中描述到「未能以 SWOT 分析或其他適當方法,完整分析內外部環境之優點、劣勢、轉機及 p.11
表 6  不同認可結果之項目三「教學與學習資源」報告在反面意見認可要素之 Mann-  Whitney U 考驗結果(N=69)  項目三  反面意見認可要素  認可結果  個數  U 值  p 值  1.尚未設立完善之教師遴聘機制  通過  未完全通過  59 10  374.5  .003**  2.缺乏教師教學與研究獎勵機制並協 助新進教師專業成長  通過  未完全通過  59 10  379.0  .000***  3.未有完善之教師評鑑機制  通過  未完全通過  59  10  498.5  .

表 6

不同認可結果之項目三「教學與學習資源」報告在反面意見認可要素之 Mann- Whitney U 考驗結果(N=69) 項目三 反面意見認可要素 認可結果 個數 U 值 p 值 1.尚未設立完善之教師遴聘機制 通過 未完全通過 59 10 374.5 .003** 2.缺乏教師教學與研究獎勵機制並協 助新進教師專業成長 通過 未完全通過 59 10 379.0 .000*** 3.未有完善之教師評鑑機制 通過 未完全通過 59 10 498.5 . p.15
表 7  項目一「學校自我定位」在正反面意見之卡方百分比同質性檢定結果(N=69)  意見性質  劃記次數  項目一  認可結果  χ²值  (p 值) 通過  (n=61)  未完全通過 (n=8)  正面意見  3 次以下  18 a 29.5 b-3.2c 7  87.5 3.2  10.295**  (.001)  3 次(含)以上  43  70.5  3.2  1  12.5  -3.2  反面意見  3 次以下  59  96.7 6.0  2  25.0  -6.0  35.493***

表 7

項目一「學校自我定位」在正反面意見之卡方百分比同質性檢定結果(N=69) 意見性質 劃記次數 項目一 認可結果 χ²值 (p 值) 通過 (n=61) 未完全通過 (n=8) 正面意見 3 次以下 18 a 29.5 b-3.2c 7 87.5 3.2 10.295** (.001) 3 次(含)以上 43 70.5 3.2 1 12.5 -3.2 反面意見 3 次以下 59 96.7 6.0 2 25.0 -6.0 35.493*** p.16
表 8  不同認可結果之項目二「校務治理與經營」學校在「行政支援與資源」指標表現差異之獨立樣本 t 考驗 結果(N=69)  編號  辦學量化指標  項目二  認可結果  個數  平均數  標準差  t 值  p 值 (η2 值)  1-1  專任教師與行政支援人 力比  通過  60  2.15  1.11  -0.342  .734 (.002) 未完全通過 9 2.28 0.89  1-2  學生與行政支援人力比  通過  60  53.52  28.01  0.291  .772  (.001)

表 8

不同認可結果之項目二「校務治理與經營」學校在「行政支援與資源」指標表現差異之獨立樣本 t 考驗 結果(N=69) 編號 辦學量化指標 項目二 認可結果 個數 平均數 標準差 t 值 p 值 (η2 值) 1-1 專任教師與行政支援人 力比 通過 60 2.15 1.11 -0.342 .734 (.002) 未完全通過 9 2.28 0.89 1-2 學生與行政支援人力比 通過 60 53.52 28.01 0.291 .772 (.001) p.17
表 10  不同認可結果之項目四「績效與社會責任」學校在「學生學習與表現」指標表現差異之獨立 樣本 t 考驗結果(N=69)  編 號  辦學量化指標  項目四  認可結果  個數  平均數  標準差  t 值  p 值  (η 2 值)  3-1  總報考率  通過  63  4.95  3.00  1.116  .268  (.018)  未完全通過  6  3.55  1.73  3-2  總註冊率  通過  63  .92  0.42  0.925  .358  (.013)  未完全通過  6

表 10

不同認可結果之項目四「績效與社會責任」學校在「學生學習與表現」指標表現差異之獨立 樣本 t 考驗結果(N=69) 編 號 辦學量化指標 項目四 認可結果 個數 平均數 標準差 t 值 p 值 (η 2 值) 3-1 總報考率 通過 63 4.95 3.00 1.116 .268 (.018) 未完全通過 6 3.55 1.73 3-2 總註冊率 通過 63 .92 0.42 0.925 .358 (.013) 未完全通過 6 p.18
表 11  不同認可結果之項目二「校務治理與經營」報告在正、反面意見總數表現與辦學量化指標之 相關摘要表(N=69)  直接相關之  辦學量化指標  項目二  認可結果  個數  正面意 見總數  反面意 見總數  正面意 見總數  反面意 見總數  1-1 專任教師與行政支援 人力比  通過  60  -.028  -.125  -.046  -.005  未完全通過  9  -.060  .272  1-2 學生與行政支援人力 比  通過  60  -.070  -.095  -.045  -.059

表 11

不同認可結果之項目二「校務治理與經營」報告在正、反面意見總數表現與辦學量化指標之 相關摘要表(N=69) 直接相關之 辦學量化指標 項目二 認可結果 個數 正面意 見總數 反面意 見總數 正面意 見總數 反面意 見總數 1-1 專任教師與行政支援 人力比 通過 60 -.028 -.125 -.046 -.005 未完全通過 9 -.060 .272 1-2 學生與行政支援人力 比 通過 60 -.070 -.095 -.045 -.059 p.19
Outline : 參考文獻