臺灣教育評論月刊，2016，5（3），頁 10-13
大學評鑑怎麼改 主題評論 第 10 頁大學教師評鑑：量化指標的反思
詹志禹 國立政治大學教育學院教授一、前言
量化指標延續著邏輯實證主義的 靈魂，被誤認為象徵客觀公平，在教 師升等、績效評量及各種計畫評鑑當 中受到大量使用，但實務上，許多量 化都是主觀分派數值，不只是忽略信 度與效度問題，也導致注意力過度集 中容易量化的向度。嚴格說，量化有 助於精細切割，但也容易造成瑣碎和 價值觀窄化；量化有助於運算整合， 但也容易造成雞兔同籠並整合成四不 像的怪物。評鑑者應破除「量化比較 客觀」的假象，注意信、效度問題， 採取相對比較以便看出進步程度，避 開絕對判斷以免忽略起點的不平等， 尤其對於研究成果的評鑑方面，特別 要超越字數、篇數、期刊影響係數等 形式特性，而實質評估研究成果所突 破的觀點、解決的問題、典範的更新 以及對社會和環境的改善。 目前高等教育當中的評鑑，主要 有三大類：1.針對各類教育計畫（例如 頂大、教卓等）之計畫評鑑，2.針對學 校管理層級之校務評鑑，3.針對各系所 或學院之「系所評鑑」。各類評鑑皆訂 有許多量化與質化指標。二、量化指標的哲學
量化管理的基本模式就是：計畫 （含績效指標 KPI）→執行→評鑑。此 種管理思想一方面源自泰勒(F. Taylor) 的科學管理，另一方面源自科學哲學 中 的 邏 輯 實 證 主 義 （ logical positivism）。這兩種古典思想在廿世紀 上半葉的美國相當盛行，但近百年來 已遭遇無以數計的批判（Popper, 1934; Feyerabend, 1975; Weinberg, 2013），並 且已經有許多新典範的提出（Kuhn, 1962; Laudan, 1977; Shapere, 1984），唯 量化績效指標的使用卻仍在高等教育 機構 當 中非常 普遍，無論 是教師 升 等、績效評量或各種評鑑，量化指標 仍具高度支配性。 在教育系統當中，許多鼓吹量化 管理 的 人，堅 信萬事萬物 皆可被 測 量， 卻 在測量 當中扭曲了 事物的 本 質。舉例來說，三大類教育目標（認 知、情意、技能）當中，情意目標通 常最不適合被拿來評量，因為情意或 人格經常涉及主觀情緒感受或倫理道 德認同，一旦強加評量，容易迫使受 評者作假或說謊（McGee Ng, et. al., 2016），因為受評者必須考量自身與機 構的利益。就大學教師或專家學者來 說，可能在關懷學生、關懷社會、胸 襟氣度、學術良知等方面，都是極為 重要的特質，但如果要將這些特質量 化，難免顯得切割、獨斷、人工化而 且不自然。 某大學將「關懷學生」納入教師 基本績 效評量 的指標之一 ，引起 了 甲、乙兩人下列一段對話：臺灣教育評論月刊，2016，5（3）
，頁 10-13
大學評鑑怎麼改 主題評論 第 11 頁 乙：如何量化「關懷學生」？ 甲：可定一個門檻，例如每週關 懷學生至少三個人次。 乙：為什麼定「三個人次」而不 是定更多或更少？ 甲：這不可能找到理論基礎，但 可以由主管或由一群有權利參與某個 會議的人投票決定。 乙：由主管決定，是獨斷，即使 民主投票決定，也是任意定奪；就算 可以忍耐一個沒有理由、任意定奪的 標準，但這個標準只量化了人次，並 沒有定義「關懷」，所以並沒有量化「關 懷」。 甲：那可以將「關懷」定義為「以 語言或行為和學生互動，讓學生感受 到溫暖、包容和支持，並協助學生解 決問題」。 乙：這定義聽起來不錯，但如何 量化學生對「溫暖、包容和支持」的 「感受」？ 甲：可編一份心理測驗叫「關懷 感受量表」，裡面包含十個題目，其中 有關「溫暖、包容和支持」的題目各 有三題，再加一題總體感受，共十題， 每題皆為五點量表（一至五分），故總 分最低為十分，最高為五十分。教師 關懷學生完畢時立即施測，通過門檻 可定為：至少三個人次的平均分數必 須高於三十分。 乙：為什麼定「三十分」。 甲：又來了，我說過這可由權威 或投票決定…。 乙：好，再放過一次「缺乏理性 基礎、任意定奪」的問題。那你將「溫 暖、包容和支持」編成心理測驗題目， 這樣就算合理的量化方式嗎？你可以 舉一個題目為例嗎？ 甲：例如題目是「某某教授問起 我的學習狀況，讓我心中升起一股暖 流。」讓學生評估「同意度」一至五 分。 乙：聽起來有點噁心，但看起來 我和學生互動時，必須注意他心中是 否有升起一股暖流。可是，某教授同 樣的行為，不同學生會有不同的主觀 感受 ， 而且即 使都同樣是 「一股 暖 流」，每個學生的暖流強度也不同，這 種「強度」會和他的「同意度」之間 呈現對映的關係嗎？若有，是哪一種 對映關係？線性對映或曲線對映？何 以證明？「主觀」感受的數字為何具 有「客觀性」？任何概念、任何特質 變成數字就具有「客觀性」嗎？ 甲 ： 這 樣 詰 難 ， 會 陷 入 知 識 論 （epistemology）的論辯。 乙：把量化等同於客觀化，卻不 接受知識論的反省，豈不顯得有點獨 斷。再說，使用三個題目來測量「溫 暖的感受」，夠充分嗎？多大概念範圍 的題目才算充分？如果超出上述定義 範圍之外的「關懷學生」行為，例如臺灣教育評論月刊，2016，5（3）
，頁 10-13
大學評鑑怎麼改 主題評論 第 12 頁 教師打電話給家長而不是和學生直接 互動等，算不算「關懷學生」？假如 學生的心理感受不屬於上述三種，而 是其他感受如高興、羞愧、平靜等， 那 麼 ，教 師的 行為 算不 算「 關 懷學 生」？又該如何量化？「關懷學生」 的概念範圍究竟應該多大才算充分？ 有何理論和實證基礎（既然你要訴諸 客觀和實證）？ 甲 ： 如 果 你 要 設 計 更 多 測 量 題 目，當然也可以，很難說多大範圍才 算充分，但你要量化評鑑，就一定要 定個範圍。這些問題也許目前無法立 即解決，但我深信萬事萬物皆可被量 化，並且未來有一天終必可以提供理 論和實證基礎。 乙：這正如有些科學家深信這宇 宙必有外星人，深信必有某些星球未 來 可 以讓 人類 移民 ，但 真正 的 科學 家，不會急著抓一隻恆河猴剃光牠的 獸毛，逼我們相信牠是一個外星人， 也不會急著現在就要我們搭太空船去 移民……。 有些事物無法被測量，若勉強測 量它，往往會摧毀它的本質，這正如 物 理 學 上 的 「 測 不 準 原 理 」 （indeterminacy principle）──「觀察」 表示有光子射到觀察對象，再反射到 觀察者的眼睛，但觀察量子的時候， 光子會改變量子的位置，所以，觀察 者無法同時決定量子的位置和動量， 換句話說，觀察者和被觀察的對象之 間具有交互作用，這些現象，在人類 社會當中其實更為普遍：當我們觀察 或測量一個人的時候，這個人會意識 到他正被測量，他的行為會和觀察/測 量者產生交互作用，他可以將被測的 特性以強化、淡化或反向反應等等， 而產生仁慈效應、趨中效應、極化效 應 、 說 謊 、 亂 答 等 結 果 （ Meier & O'Toole, 2013）。 此外，由於許多事物的量化有其 困難，就導致許多量化管理者設定容 易量化的目標為指標，忽略了難以量 化的價值層面，導致目標迷失與路線 錯誤。舉例來說，為了測量大學教師 的研究貢獻，照理說應該評估其研究 成果 對 於知識 創造及文明 發展的 影 響，但這很難量化，所以，早期大學 採取「論文字數」評估研究貢獻，近 年來大學改採「論文篇數」，無非都是 設定容易量化的指標，所以，早期大 學導引了許多想要升等的教師堆砌冗 長的垃圾論文，甚至不知道發表在哪 裡；晚近的大學則導引了許多瑣碎的 研究成果，因為有些學者會將一個研 究拆解成數篇相似的論文去發表在不 同的期刊，以提高論文篇數。更可悲 的是，這樣的制度也同時培養了許多 精於算計、斤斤計較的學者。三、結語
量化的本質無非就是分派數字， 但這個歷程可能充滿主觀、任意與獨 斷，除非採用信、效度良好的測量工 具。測量過程容易造成施測者與受測 者的交互作用，特別容易扭曲道德與 情意類的教育目標，除非採用真實評 量、長程觀點與自然情境觀察。量化 結果有助於精細分析、排序與比較， 但同時也可能將組織成員的注意力導臺灣教育評論月刊，2016，5（3）
，頁 10-13
大學評鑑怎麼改 主題評論 第 13 頁 向瑣碎的價值，忽略重要而難以量化 的目標，並造成競爭和算計。所以， 高教評鑑要敏於覺察量化的極限與副 作用，將量化的比較僅限於單位或組 織自身的進步情況；尤其對於研究成 果的評鑑方面，特別要超越字數、篇 數、冊數、期刊影響係數等形式指標， 而實質評估研究成果所突破的觀點、 解決的問題、典範的更新以及對社會 和環境的改善。 參考文獻 Feyerabend, Paul.(1975). Against
Method. New York, USA: Verso Books,
New York.
Karl Popper.(1934). The Logic of
Scientific Discovery. London, England:
Taylor & Francis.
Kuhn, T. (1962). The Structure of Scientific Revolutions. Chicago, USA: University of Chicago Press.
Laudan, L. (1977). Progress and Its
Problems. Berkeley: University of
California Press.
McGee Ng, S. A., et. al. (2016). The effect of response bias on the Personality Inventory for DSM–5 (PID– 5). Journal of Personality Assessment,
98(1), 51-61.
Meier, K. J. & O'Toole, L. J. (2013). Subjective Organizational Performance and Measurement Error: Common Source Bias and Spurious Relationships. Journal of Public Administration Research and Theory, 23(2), 429-456.
Shapere, D. (1984). Reason and the
Searchfor Knowledge. Boston: D. Reidel
Publishing Company.
Weinberg, J. R. (2013). An
Examination of Logical Positivism. New
York: Routledge.
（附註：本文第二小節內容曾以英文 發表於 Chan, J. C. & Lee, C. N.（2014）. A difficult situation of higher education in Taiwan. In Chou, C. P. (Ed.), The
SSCI Syndrome in Higher Education
（ pp.39-50 ） . Rotterdam: Sense Publishers. 成為該文之一部分，但考 量華文傳播之效益，改寫成本文發表）
