大學系所評鑑鬆散現象的省思
徐超聖 國立臺北教育大學教育系暨教育創新與評鑑碩士班副教授 為確保大學評鑑工作之系統化與 連貫性，財團法人高等教育評鑑中心 基金會（以下簡稱基金會）已在 101 年開始實施第二週期系所評鑑計畫。 依據基金會在 2011/12/22 所公告之 「101 年度大學校院通識教育暨第二 週期系所評鑑實施計畫」，第二週期系 所評鑑計畫之評鑑目的包括五大項， 而彼此關係可進一步延伸為，評鑑主 要目的是「瞭解」、「判斷」、「建議」、 「促進」、「協助」，最後根據評鑑結 果，做為政府擬訂高等教育相關政策 之參考。由此可知，「瞭解」和「判斷」 是整個評鑑的上游工程，沒有做好上 游工程，中下游的「建議」、「促進」、 「協助」及最後的「提供參考」將失 去基礎。 目前在進行系所評鑑時，受過評 鑑相關研習之評鑑委員，根據基金會 的作業流程進行對系所的「瞭解」和 「判斷」，最後評鑑委員根據受評單位 在各評鑑項目之整體實際表現，綜合 系所自我評鑑報告（依五大項目 38 個 指標呈現）與實地訪評結果，提出認 可結果之建議。而為使受評單位與評 鑑委員對評鑑項目之內涵與評鑑結果 之判定有所依循且凝聚共識，委員是 依據基金會由「第二週期系所評鑑之 認可要素」（共 12 個指標）發展的「基 本認可要素檢核表」的 24 個指標進行 結果之判定（「通過」、「有條件通過」、 「未通過」）。本文將針對評鑑委員此 種將眾多指標化約為精簡指標的鬆散 作法是否能真正「瞭解」和「判斷」 系所的整體表現，提出兩點疑問並以 新制度論（New Institutionalism）來討 論評鑑在執行時「系所評鑑之評鑑項 目」、「認可要素」與「基本認可要素 檢核表」之間所發生的鬆散現象。一、 「籠統印象」取代「整體考
量」？
各系所的系所自我評鑑報告，基 本上是針對評鑑五大項目的 38 個指 標，利用量化的數據或質性文字對每 一個項目的現況做完整描述。但系所 評鑑認可要素卻只精簡成 12 個，並依 此要素設計五點（「優質」、「符合」、「較 弱」、「更弱」、「未符合」）共 24 個指 標的「101 年度第二週期系所評鑑基本 認可要素檢核表」供委員勾選，以呈 現委員整體考量之結果。但 38 個指標 化約為 12 個指標又再轉化為檢核表的 24 個指標後，精簡的要素檢核表的反 應還能真正反應系所的整體表現嗎？ 以下將分析最初的「系所評鑑之評鑑 項目」與最終的「基本認可要素檢核 表」彼此的對應關係。 項目一「目標、核心能力與課程 設計」，認可要素檢核表未呈現評鑑項 目「1-3 師生對教育目標與核心能力的 瞭解與認同程度為何？」。項目二「教 師教學與學習評量」，認可要素檢核表 未呈現評鑑項目「2-4 教師自編講義、 編製數位媒材做為教學輔助，提升學 生學習成效之情形為何？」，而認可要 素檢核表的「2-6 系所對教學評鑑表現欠佳教師，已建立完整協助機制」則 是評鑑項目中未強調需呈現者。項目 三「學生輔導與學習資源」，認可要素 檢核表未分別呈現對學生的課外學習 活動、研究生的學習、生涯和生活輔 導的部份，而只籠統談及學習輔導輔 導機制和導師制。此外，認可要素檢 核表的「3-2 系所能確保近六年提供學 習資源之穩定性 」及「3-5 系所能結 合學校教學資源中心，提供學習預警 學生必要之學習輔導」則是評鑑項目 中未強調需呈現者。項目四「學術與 專業表現」認可要素檢核未呈現評鑑 項目 4-3 至 4-9 有關學生專業表現部 分。項目五「畢業生表現與整體自我 改善機制」則兩者一致。 綜上可知，系所評鑑之評鑑項目 和認可要素檢核表之間並非一對一的 對應關係，則評鑑委員在查閱系所評 鑑之評鑑項目 38 個指標的表現後再去 勾選 24 個基本認可要素檢核表時，到 底是「整體考量」或只是鬆散的「籠 統印象」呢？
二、 「基本認可要素檢核表」取
代「系所評鑑之評鑑項目」？
評 鑑 委 員 既 然 是 依 據 基 金 會 由 「第二週期系所評鑑之認可要素」（共 12 個指標）發展的「基本認可要素檢 核表」的 24 個指標進行結果之判定 （「 通 過 」、「 有 條 件 通 過 」、「 未 通 過」），則各系所為有效呈現結果讓評 鑑委員精確知道（或籠統印象？）學 校的表現，系所可用要認可要素的五 大項目的 12 個指標或基本認可要素檢 項目的 38 個指標，來呈現自評報告 嗎？或是該清楚把基本認可要素檢核 表的 24 個指標與系所評鑑之評鑑項目 的 38 個指標明確指出其之間的對應關 係？或者基本認可要素檢核表的設計 應該以 38 個的指標內容為依據，一一 請委員來勾選其表現之程度？由此可 知，在報告結果的指標項目呈現上有 鬆散而無所適從的現象。 面對上述「籠統印象」取代「整 體考量」及「基本認可要素檢核表」 取代「系所評鑑之評鑑項目」的可能 造成的鬆散現象，本文擬從新制度論 （New Institutionalism）去討論之。一 般而言，新制度論關注的是組織與外 在環境的互動與關連以及制度化的過 程（江岷欽，1995；陳美智、楊開雲， 2000；謝俊義，1998；Lowndes, 1996）， 本文將採此觀點來分析系所評鑑執行 時「系所評鑑之評鑑項目」與「認可 要素」及「基本認可要素檢核表」之 間所可能產生的鬆散現象。 就新制度論觀點而言（王婉芬， 1994；張苙雲，1986；陳東升，1992； DiMaggio & Powell, 1983；Jepperson & Meyer, 1991；Meyer, 1983；Meyer & Rowan, 1977；Meyer, Scott, & Deal, 1981；Powell, 1988；Scott, 1992），由 於組織的行動常只是如禮行儀回應外 在制度環境的制度性需求，以獲取組 織生存的正當性與穩定性，因而組織 中 的 理 性 正 式 結 構 （ rational formal structure），常只是一種迷思（myth） 和儀式與典禮（ritual and ceremony） 而已，並沒有太多的實質功能。依此息及支持，會視制度環境要求系所需 要評鑑為理所當然而加以遵循，以取 得生存的合法性（legitimacy）。而如果 把基金會訂定之「系所評鑑之評鑑項 目」視為推動系所評鑑之理性結構制 度，系所很可能只是如禮行儀回應外 在制度環境系所需要評鑑的期望與需 求，並將評鑑項目現況加以描述清楚 即可，至於評鑑是否對系所問題改善 或特色發展有實際效益並不是那麼重 要。因而系所面對評鑑委員在實際執 行評鑑時，只是用更簡化的認可要素 的五大項目的 12 個指標或基本認可要 素檢核表的 24 個指標，而不是針對系 所評鑑之評鑑項目的 38 個指標一一精 確理性檢核，並不會有太多的質疑或 不滿。因此，委員執行評鑑時並不局 限在理性模式，而用科學的理性去精 確分析一一檢核比對 38 項的實際表 現，只需用籠統印象來評定其整體表 現即可回應外在制度環境的期望與需 求。而籠統的去評定或許象徵的是， 系所只要有針對系所評鑑之評鑑項目 的 38 項進行描述，即能如禮行儀回應 外在制度環境的期望與需求了。而此 同時，評鑑委員也就只是如禮行儀依 據精簡的要素籠統的去檢核和評定， 至於兩者之間是否有實質的一一對應 關係並不是那麼重要。 根據上述，評鑑委員在進行最後 結果判定時，可能會察覺到認可要素 的五大項目的 12 個指標、基本認可要 素檢核表的 24 個指標及系所評鑑之評 鑑項目的 38 個指標之間的鬆散現象。 而為處理此現象，本文提出以下兩點 供參考： (一) 系所評鑑應回歸由各大學自主實 施自我評鑑 依據大學法第五條之規定：「大學 應定期對教學、研究、服務、輔導、 校務行政及學生參與等事項，進行自 我評鑑；其評鑑規定，由各大學定之。」 因此，大學系所評鑑的主導權本就該 還給大學，由各大學進行自我評鑑。 基於大學系所本就是高度自主、自律 的 學 術 單 位 ， 所 以 各 大 學 系 所 應 定 期、主動、自發對其教學、研究、服 務、輔導、校務行政及學生參與等事 項進行「自我研究」（self-study），而 此「自我研究」以及根據研究發現以 改進缺失的過程，事實上即可視為「自 我評鑑」（self-evaluation）。基本上， 大學系所不斷的「自我研究」及持續 的「自我評鑑」會是改善系所品質及 持 續 追 求 目 標 達 成 歷 程 的 最 核 心 工 作。但長期以來似乎是將此大學系所 分 內 工 作 委 由 外 部 單 位 在 短 期 、 片 面、籠統的鬆散過程來進行，其評鑑 結果對系所的品質改善和發展是否有 正向的助益，恐怕仍是充滿疑義。而 在爭議中系所評鑑若仍要如期實施， 系所恐將系所評鑑只是視為如禮行儀 回應外在制度環境的期望與需求以取 得系所存在的正當性而已，至於能否 達 成 所 宣 稱 的 目 標 和 功 能 並 不 太 在 乎。因此，經過兩週期的系所評鑑的 學習歷程後，系所或已可體察要真正 實施對系所有實質助益而不淪為如禮 行儀、鬆散的評鑑，首先應將評鑑的 主導權還給大學，然後由系所主導去 實施自我評鑑。
(二) 系所自評應訂定明確的評量標準 （rubrics） 基金會在第一週期系所評鑑時， 針對每一個評鑑指標設計了「優異」、 「良好」、「尚可」、「待改進」之「分 項檢核及補充說明表」，並分別給予不 同分數而有「權重分數」與「自評分 數」供委員評定之參考。至於第二週 期亦針對 24 個評鑑指標設計了「優 質」、「符合」、「較弱」、「更弱」、「未 符合」的「基本認可要素檢核表」請 委 員 一 一 檢 核 但 並 未 給 予 分 數 。 因 此，兩週期在評定結果時都有尺度供 委員參考，但均未有具體明確的評量 標準（rubrics），因而在結果評定時難 免有過度訴諸委員的自由心證的鬆散 現象。為能清楚掌握指標的表現，未 來針對每一個尺度的不同水準表現層 次應有更具體明確的評量標準，如此 才能在進行結果評定時不致有太多鬆 散籠統的爭議。而同時在設計判斷指 標架構時，亦應避免第二週期評鑑項 目指標和基本認可要素表項目指標兩 層次之間未能一一相對應的情況。 本文最後建議為避免系所評鑑淪 為如禮行儀的鬆散儀式，未能發揮評 鑑真正的功能，未來各系所評鑑應以 自我評鑑為主要模式。在此模式下， 各系所可自訂自我發展特色之指標， 且可採用各具特色之評鑑模式，以適 應 各 系 所 之 個 別 差 異 與 特 色 發 展 需 求。由於自我評鑑不涉及校際間綜合 性的比較，因而可預期系所評鑑應更 能落實且真實，而能提供系所更系統 性、意義性、實證性（empirical）的證 演支持、研究、諮詢等非指導性的角 色，能對評鑑標準不斷研究提供各系 所參考，亦可在理念和技術上提供系 所必要的諮詢以協助系所進行自我研 究和自我評鑑，使系所終究能建立一 種以自我改善與發展為目的，具自發 性、主動性、定期性、永續性的內在 自我研究與評鑑檢核之機制。 參考文獻 江岷欽（1995）。制度形成論與組 織經濟學。載於江岷欽、林鍾沂編著， 公共組織理論（頁127-154）。台北：空 大。 張苙雲（1986）。組織社會學。台 北：三民。 陳美智、楊開雲（2000）。組織真 是「理性」的嗎？--一個組織社會學的 新制度論觀點。東海社會科學學報， 20，27-59。 陳東升（1992）。制度學派理論對 正式組織的解析。社會科學論叢，40， 111-133。 謝俊義（1998）。新制度論與公共 行政：整合性觀點。中國行政評論，7 （4），155-188。
DiMaggio, P. J. & Powell, W. W. (1983). The iron caged revisited: Institutional isomorphism and collective rationality in organizational fields. American Sociological Review, 48 (2),
Jepperson, R. C., & Meyer, J. W. (1991). The public order and the construction of formal structure. In P. J. DiMaggio & W. W. Powell (Eds.), The new institutionalism in organizational
analysis (pp.204-231). Chicago:
Chicago University Press.
Lowndes, V. (1996). Varieties of new institutionalism: A critical appraisal. Public Administration, 74 (2), 181-197. Meyer, J. W. (1983). Conclusion: Institutionalization and the rationality of formal organizational structure. In J. W. Meyer & R. W. Scott (Eds.), Organizational environments: Ritual and rationality (pp.261-282). Beverly
Hills, CA: Sage.
Meyer, J. W., & Rowan, B. (1977). Institutionalized organizations: Formal structure as myth and ceremony. American Journal of Sociology, 83 (2), 340-363.
Powell, W. W. (1988). Institutional effects on organizational structure and performance. In L. G. Zucker (Ed.), Institutional patterns and organizations: Culture and environment (pp.115-136). Cambridge, MA: Ballinger.
Scott, R. W. (1992). Organizations: Rational, natural and open system. Englewood Cliffs, NJ: Prentice-Hall.
