大學研究評鑑與引文分析應用

大學研究評鑑與引文分析應用

University Research Assessment and

Citation Analysis

ͳ୥ࠠ!

߆ڼ̂ጯဦ३ྤੈᄃᑫ९ጯࡁտٙઘି଱!

Mei-Ling Wang

Associate Professor, Graduate Institute of Library , Information and Archival Studies,

National Chengchi University

E-mail: meilingw@nccu.edu.tw

關鍵詞 (Keywords)：

大學評鑑（University Evaluation）；學術評鑑（Academic Evaluation）；

大 學 研 究 評 鑑 （ Research Assessment Exercises ）； 引 文 分 析 （ Citation

Analysis）

；RAE（RAE）；Science Citation Index（Science Citation Index）；

Social Science Citation Index（Social Science Citation Index）

【ၡࢋ】

̂ጯଵЩᄃ̂ጯෞᝥܕѐֽјࠎ઼̰γȈ

̶ᙯڦ۞ኝᗟĂ҃ͷЧಏҜ೩΍̂ጯଵЩඕڍ

Ӯ̙Ⴝ̙࠹ТĂ΄ˠኳႷ̦ᆃᇹ۞̂ጯෞᝥᄃ

ଵЩߏЪநΞܫ۞Ąտౣ̦ᆃߏ̂ጯෞᝥĉ

SCI ᄃ SSCI ኢ͛൴ܑѨᇴңͽјࠎିֈొࢦ

ෛ۞޽ᇾĉ఺ᇹЪዋ๜ĉ̦ᆃߏጯఙࡁտෞ

ᝥࢋІĉ̶͔͛ژΞϡд̂ጯෞᝥ๜ĉ఺ֱ

ߏ༊݈̂ጯෞᝥሤܝ̝ᅫࣃ଀ࡁտኝᗟĄώኢ

͛ ў д ଣ ੅ ̂ ጯ ࡁ տ ෞ ᝥ ᄃ ͔ ͛ ̶ ژ ۞ ᑕ

ϡĂࢵАࡁտ̂ጯࡁտෞᝥ۞ຍஉĂ̬௜ࡻ઼

̂ጯࡁտෞᝥטޘĂ׎Ѩᄲځ̶͔͛ژд̂ጯ

ෞᝥ̝ᑕϡᄃࢨטĂ౵ޢଣ੅̶͔͛ژᑕϡд

ԧ઼̂ጯෞᝥ۞ዋ༊ّĂ֭೩΍ޙᛉĄ

【Abstract】

The article mainly discusses how to

evaluate research quality of universities and

colleges in Taiwan. At first, it refers to the

Research Assessment Exercises in the UK

which provides ratings of the quality of

research conducted in universities and

colleges in the UK, to inform the selective

allocation of funds in accordance with the

quality of the work undertaken. The expert

peer review system which is the evaluation

mechanism of RAE is explored with

evaluation procedures in the study. Citation

Analysis with its application is also studied in

the article. As citation analysis is

bibliometrics and it is not suitable for applied

as a main tool in research assessment of

universities and colleges. At last, the article

makes some conclusions that it is necessary

to develop the research assessment of

universities and college in Taiwan with expert

peer review, besides, SCI, SSCI and citation

counting data can be used as a metric

information for reference.

前言

大學排名與大學評鑑近來成為國內外十分關注的 課題，而且各單位提出大學排名結果均不盡相同， 令人質疑什麼樣的大學評鑑與排名是合理可信的。 我國大學在近十餘年大幅成長，從原本的四、五十 所遽增至一百五十餘所，社會輿論反映高等教育品 質低落，大學生素質下降，於是高等教育大興改革。 教育部近三年不斷進行大學評鑑，但每次公佈結果 總引發許多驚奇與評論。大學歷經近代社會的變遷 在本質上發生許多轉變，從昔日的象牙塔，走向社 會化、市場化與國際化的發展。 大學在古代是社會培養菁英的場所，而今世界各 國普遍設立，大量招收學生，其理念隨著時代變遷 而發生改變。1852 年，牛津大學學者紐曼(John H. Cardinal Newman)主張大學之目的在傳授學問，而不 在發展知識。到了 1960 年有所改變，德國哲人耶士 培(Karl Jaspers)主張大學有三大要件：一是學術性教 學，二是科學與學術性的研究，三是創造性之文化 生活。及至近代大學與社會更緊密結合，趨向於在 社會要有實際應用，對此，克爾(Clark Kerr) 進一步 解 讀 大 學 ， 他 認 為 其 參 與 社 會 成 為 綜 集 大 學 (Multiversity)，由於知識的爆增及社會各專業發展對 知識依賴與需要，大學已成為「知識工業」之重地。 學術與市場結合，使得大學成為社會服務站，其活 動不再止於教學、研究、還包括推廣、服務、與對 外諮商及合作。[1]這些學說闡釋現代大學是以教學 與學術研究為主要任務，但更重要的是在社會上成 為知識工業站，並彰顯其對社會價值。 現代大學與社會結合走向了市場化導向發展，21 世紀以來各國競相進行高等教育改革，擴增大學數 目與爭取學生數量，產生高等教育競爭，以及朝向 市場化導向。大學市場化導向發展係視教育制度及 學校為整體經濟的一部份，適用於經濟的供應律 則，對其所提供的服務標價，並在教育市場內與其 他供應商競爭。學校本身就是一事業單位，在可獲 得的資源內，以最有效率的方式，達成最可能的產 出。在此市場，顧客的需求須予以滿足，而教育服 務的提供最終也由顧客所決定。此由消費者主義意 識形態所支配的教育改革，特別顯現在高等教育的 招生、課程提供與經費的爭取。[2]高等教育走向市 場導向的方向，造成大學的高度競爭，加上全球經 濟的衰退，大學經費縮減，造成高等教育學術評鑑 與退場機制。 我國近年來興起大學評鑑風潮，民國 92 年教育部 積極進行大學評鑑活動，公佈<大學評鑑指標>以對 國內大學院校進行評鑑與建立退場機制。民國 92 年 10 月 19 日教育部第一次大學評鑑公佈震驚學術 界，首度針對全國一百五十四所大學院校，採用 SCI、SSCI 及 EI 資料庫，統計我國公私立大學及技 職校院教師發表的學術論文總篇數，做為學術評鑑 之參考。這次評比調查結果，前十名大學校院依序 是：臺灣大學、成功大學、清華大學、長庚大學、 交通大學、陽明大學、中央大學、中山大學、中興 大學與高雄醫學大學。[3]長庚大學竄起與政大暴跌 至第 41 名，這份粗糙的學術評比報告立即引起學術 界與社會一片撻伐之聲。 有關教育部這次評鑑理念，高教司黃宏斌司長作 出解釋：「大學評鑑最重要是學術成就，原則上以大 學當年度提出的研究論文數為主，並以發表在國際 學術期刊，以及論文被 SCI 或 SSCI 引用的篇數為標 準，但會依三類型大學訂出不同比例原則。...未來 各大學可自行選擇以何類型參與評鑑，評鑑結果出 爐後評鑑差的學校將扣除所有補助款甚至減招。」 [4] SCI 與 SSCI 原來是美國 ISI 公司的外文期刊引用 文獻索引資料庫，為何成為教育部評鑑大學學術品 質的唯一指標，其合適性引來爭議與討論。 究竟什麼是大學評鑑？SCI 與 SSCI 引文分析資料 庫為何成為教育部重視的指標？這樣作合適嗎？什 麼是學術研究評鑑要件？引文分析可用在大學評鑑 嗎？這些是當前大學評鑑熱切討論之際值得研究的 課題。本論文旨在探討大學研究評鑑與引文分析的 應用，首先研究大學研究評鑑的意涵，介紹英國研 究評鑑制度，其次說明引文分析在大學評鑑之應用 與限制，最後探討引文分析應用在我國大學評鑑的 適當性，並提出建議。

大學研究評鑑

大學不再是昔日以傳授知識為主的象牙塔，今日 已轉型成為知識創造與傳播重鎮，逐漸走向社會服

務新模式，並以市場化導向、國際化與競爭力成為 大學發展的新趨勢。近年來，我國政府及學術界積 極進行大學管理，設立各種規章，加強學術評鑑制 度，包括升等及續聘制度、學術刊物審查、大學評 鑑等，進一步加上國際化、英語化等要求。[5] 大 學 為 何 要 評 鑑 ？ 首 先 探 究 評 鑑 意 義 ， 評 鑑 (evaluation)又稱為考核、評量或評價，包括「質」 和「量」兩個向度。美國著名的評鑑學者 Scriven 曾 說：「評鑑的目的不在證明什麼，而在改善什麼」。 因此完整的評鑑必須符合以下要件：(1)評鑑須是有 用的：評鑑可協助受評鑑者確認其優點與缺點、問 題所在及改進的方向。(2)評鑑須是可行的：評鑑應 運用評鑑程序，並有效的予以管理。(3)評鑑應是倫 理的：評鑑應提供必要的合作、維護有關團體的權 益、不受任何利益團體之威脅與妥協，謹遵應有之 倫理。(4)評鑑應是精確的：評鑑應清楚描述評鑑對 象之發展，顯示規劃、程序、結果等，並提供有效 之研究結果與具體建議。評鑑若是缺乏上述要件， 則可能在過程中扭曲了評鑑的原意。[6] 評鑑應用在大學則稱大學評鑑，原文為 Academic Evaluation，目的是為提升大學教學與研究水準。李 聰明對其界定為：「以科學的手續，收集資訊、資料 來測定構成高等教育的大學所作的各種活動與機能 和意義價值的一種過程。」P.L. Dressel 指出大學評 鑑是在測定大學能有效地運用人力、物力、財力等 各種資源與策略，以達成其標榜的目標。[7] 大學評鑑就是要測定一所大學本質以及其核心功 能，包括各種學術上的教學、研究與社會的服務， 和這些活動對於社會人類發生什麼樣的機能，具備 什麼樣的意義與價值。大學是學術傳播與知識研究 創作的重鎮，向來擔負著學術研究發展責任。在學 術傳播的過程，學術作品藉由學術同儕評鑑以保持 學術品質，仍是目前重要的制度。前美國史丹福大 學校長 Donald Kennedy 曾對大學的學術研究責任有 一段傳神的描述，他說大學對社會具有學術責任， 其核心是建構於教師的學術活動，包括：大學部學 生的指導，訓練研究生進入其專業領域，從事研究 並發展成果及回饋社會。教師發表研究成果的多寡 與是否發表在優良期刊上成為其升等與大學學術排 名的重要參考。這段說明對大學與教授的學術傳播 責任，以及美國學術界重視用 SCI、SSCI 資料庫收 錄期刊資訊作為學術研究評鑑的現象。[8] 大學是人才培育與知識創造中心，包括的院、系、 所種類繁多，每一學系涵蓋的專門學術很廣泛與專 深，要探測其教學與研究成效是不容易，所以大學 評鑑是很困難，必需要有一套多元評鑑機制、評鑑 標準、以及客觀公正評鑑組織與專家共同合作，才 能發揮大學評鑑成效。 我國現行大學評鑑體制分為幾個層次：(1)對各 個大學的總體評鑑以及轄下各單位的所系評鑑。 (2)同學科與學門的評鑑。(3)對於個別學者研究成 果的評鑑。(4)針對學術刊物的評鑑。其中對個別 學者與學術刊物評鑑常用 SCI、SSCI 資料庫遂引 起學術界爭議，尤其在人文與社會科學門更是激 烈的論辯。[9]大學具有教學、研究、推廣、服務 多種功能，均應列為大學評鑑項目。由於學術研 究是大學核心，加上教育部公佈的學術評比引發 爭議，本論文遂以大學研究評鑑為研究主題。英 國大學研究評鑑近年來深受國際好評，以下就其 意涵、目的與制度加以探討。

英國大學研究評鑑(Research Assessment Exercise, 簡稱 RAE) 自 1986 年開始進行，被公認是全球最具 公信力的研究評鑑制度，係由英國大學補助委員會 (UGC)專為評鑑大學研究品質而發展的一種評鑑機 制，每四到五年進行一次，評鑑結果並作為政府研 究補助經費的分配依據，現由英國高等教育撥款委 員會(HEFCE)進行評鑑，已進行 1986 年、1989 年、 1992 年、1996 年及 2001 年 5 次評鑑。[10] 英國大學研究評鑑制度目的在於維持與發展大學 研究的強度與國際競爭力，及提升機構品質以表現 最佳研究成果並且獲得高比例的研究經費。[11]評鑑 的 理 念 是 基 於 大 學 研 究 品 質 ， 即 「 智 識 卓 越 」 (Intellectual Excellence)，相 關的研 究品 質 原則包 括：富有創造力，技術優點，實質的貢獻，有實證 相關，具學術性，以及促進未來發展。RAE 對各學 門的智識卓越的判斷，完全尊重評審委員的評鑑， 其評鑑的基本機制為「專家同儕評鑑」(Expert Peer Review)和來自大學的出版品，專家評鑑機制將不易 曲解評鑑的本意而維持公正客觀。[12]

RAE 專家同儕評鑑(Expert Peer Review)制度係由 評鑑小組(Panel)執行，包括個人及單位整體評鑑， 評鑑領域共區分 68 個單元，每個單元涵蓋精細的研 究項目，由 60 個評審小組負責評鑑，其成員係挑選 研究卓越人士擔任。英國大學多為公立大學仰賴政 府的補助，政府根據 RAE 評鑑結果依公式補助各大 學。RAE 評鑑成果共分 1，2，3b，3a，4，5，5* 等 7 級，5*級表研究論文品質半數以上達到國際卓越， 其他達到國家卓越層次；5 級表研究論文品質至少 一半達國際卓越，其他達到國家卓越；4 級表所有 論文研究品質達到國家卓越，某些研究可見國際卓 越的證據；3a 級表研究論文品質三分之二達到國家 卓越，部份看出國際卓越的證據；3b 級表研究論文 品質半數以上達到國家卓越；2 級表研究論文品質 半數達到國家卓越；1 級表研究論文品質沒有達到 國家卓越。獲得最後兩級者不但得不到高等教育經 費委員會補助，甚至被要求改組或解散。[13] [14] 2001 年評鑑結果共有 80%的研究人員獲得 4、5、5* 級分數；而有 55%研究人員獲得 5、5*級分數。 英國 RAE 評鑑重點是考核研究品質，不是校務的 總體評估。另外，它不強調出版量的多寡，而是由 受評單位提出每一個研究者自認最好的四篇研究， 作為評鑑的基礎，由專業同儕進行評斷。而所謂研 究強調原創性外，並不限於期刊論文，應用研究也 在考評之列，出版品的多樣性。個人送審的資料包 括四篇論著，研究生人數與研究生獎助金額數量。 大學整體評鑑評審項目包括：系所研究成果敘述、 支持與提升研究作法，外界認可標準，及其他有助 評鑑資料。 RAE 也考量到評鑑學門本質的差異性及卓越性， 如在人文與社會方面，書籍與書籍章節著作均視為評 鑑重點；而英國藥理、藥學等研究水準是世界頂尖， RAE 則對醫學、藥學學門的相關評鑑單元劃分嚴密。 RAE 對人文社會學科研究作品認定有較包容考量， 每個小組可有不同看法，但多元性的思考卻是其主 軸。以中東與非洲研究領域評鑑(Middle Eastern and African Studies)為例，這個小組所界定的研究作品多 樣性，包括：學術期刊論文、書目、圖書章節文章、 創意作品、短篇論文、演講稿、研究報告、教學教材、 其他電子媒體、及網站期刊等。[15] 受評單位提出的研究成果如果已有同儕審查意 見，RAE 將作為品質衡量的參考。當研究成果被英 國評鑑小組評審為達到最高等級時，將被要求徵詢英 國以外專家的仲裁，這些專家將提供這些研究是否確 實達到國際卓越的意見。尤其特別強調「研究論文的 評鑑將不採用量化的書目計量指標」，小組成員重視 透過學術同儕的專業標準，進行研究品質判斷，而不 是以量化指標作為評鑑的依據。 英國對 RAE 制度引此為傲，但也不斷自我反省， 他們針對 2001 年 RAE 檢討，在 2003 年 5 月發表〈研 究評鑑評論〉(Review of Research Assessment)。這份 檢討報告肯定 2001 年 RAE 的價值、目的與作法，對 於 RAE 採用專家同儕評鑑表示支持，並認為 RAE 確 實達到研究資源分配與提供各學門領域研究品質明 確資訊的二項目的。該檢討報告最後提供若干具體建 議，如未來應該每 6 年進行一次研究評鑑，建議下次 為 2008 年。未來評鑑制度仍應採用專家同儕評鑑以 績效指標為基礎，因此未來程序會更複雜與耗費人 力，所以建議可採用計量學來輔助評鑑委員判斷，但 最後須以學術界對評鑑結果同意為依歸。[16] RAE 評論建議未來應明確說明「研究能力的評鑑」

(Assessment of Research Competences)，俾使研究評 鑑更透明可信。研究能力評鑑標準建議包括：研究 策略、研究人員發展(包括研究所學生、博士後研究 人員)、研究成果轉成業界實務的成功政策與策略、 提供學術同儕小組資料以外的研究成果傳佈機制 (包括大學鼓勵研究活動與辦法等)。此外，檢討報告 時呼籲尊重學門領域不同而有不同評鑑指標，如研 究人員不一定要交四篇論文，可自由表達其研究成 果，依各學術領域、學術創作與研究的行為與方式， 並由各學門領域依據學門本質發展績效評鑑指標。 英國在大學研究評鑑建立適合本國需求與研究發 展的評鑑制度，主要採用專家同儕評鑑制度，在人 文社會與理工科技各領域有不同考量，此與我國教 育部以 SCI、SSCI 資料庫期刊論文引用次數作為評 量指標作法大相逕庭。SCI 與 SSCI 源自引文分析與 資訊計量學，究竟其意涵為何？是否適合用在大學 研究評鑑？以下進行探討。

引文分析在大學研究評鑑應用

大學的發展走向市場化，受到美國為核心的新自 由主義市場化影響，成為後進國家模仿標準。在競 爭壓力下，開始把學術生產作成可以量化的指標， 歸結到國家總體競爭力來計算，以量化得分多少來 實施獎懲。每個學校可以分到多少預算資源，甚至 與退出市場相關。另外在國際評比與個別研究教學 人員，常應用簡單的量化方式，如 SCI、SSCI、A&HCI 這些引文索引資料庫與引文分析法，常用來測量科 技與社會學科的學術成就，以下析述引文分析的意 涵與在大學研究評鑑的應用。

引文分析的意義

引文分析法(Citation Analysis)是一種資訊計量方 法，常用作評審期刊與研究人員論著。引用文獻 (Citation)係指學術著作之作者引用他人期刊著作， 於其論文的參考書目或註釋中，所列出之引用著作 的書目資料。在科技研究中具有許多獨特的功能， 對於學術研究甚為重要。引用文獻意喻被引用文獻 與本文有某種關係，所以利用文獻可以評估學術論 著、期刊的品質，以及研究學者的影響程度。[17] 引文分析係指利用數學、統計學及其他方法和比 較、歸納、概括等邏輯方法，並且大多利用電子計 算機的協助，對各種分析對象(例如：期刊、科學家、 科技論文等)的引用或被引用現象和規律進行分 析，以便揭示出它們所蘊含的研究對象具有的特徵 或對象之間的關係。[18] 引 文 分 析 起 源 於 1963 年 美 國 科 學 資 訊 公 司 (Institute for Scientific Information，簡稱 ISI)，挑選 科技期刊，將其期刊論文書目與引用文獻書目建立 引用文獻索引資料庫，即《科學引用文獻索引》 (Science Citation Index，簡稱 SCI)，資料庫經過多年 建置，資料豐富，其引用文獻累積成的引用次數、 成為重要期刊、研究人員研究成果表現的指標，尤 其是科學技術學門領域。SCI 不僅成為科技文獻的 重要工具，由於其包括期刊論文被引用情形，所以 後來 SCI 成為追蹤查詢國際間科學技術研究的重要 參考工具，於是形成引文分析計量研究。其後 ISI 公司又編製《社會科學引用文獻索引》(Social Science Citation Index，簡稱 SSCI)，與《期刊引用報告》

(Journal Citation Reports, 簡稱 JCR)，對於社會科學 期刊評估擴大了應用範圍。 引文分析已成為重要資訊計量的方法，其應用可 大分為下列七類：(1)文獻研究。(2)文獻類型之研 究。(3)使用者研究。(4)科學家寫作歷史研究，依據 科學發展過程中論文撰寫模式，分析科學家寫作歷 史。(5)評鑑文獻書目計量學。(6)資訊檢索。(7)圖書 館館藏發展。在評鑑文獻書目計量學應用方面，引 文分析被用來對期刊、科學家、大學、國家、或其 他科學活動作為評鑑與解釋工具，如常用來評鑑該 學門之影響與生產力，目前引文分析受到歐美科學 技術界行政主管之重視與用作評鑑工具。[19]

在大學評鑑的應用

SCI 與 SSCI 是引文分析理念建置的科技與社會科 學資料庫，由於收錄歐美英語系重要的期刊與其引 用文獻豐富，使得這二種資料庫對學術研究產生下 列重要的應用：(1)作為評估科技與社會科學資訊資 源及學術研究成效之工具。(2)評鑑期刊品質。(3)提 供資訊檢索。(4)評鑑學術研究者與研究機構。(5)探 尋科學間之知識結構。(6)確認某學科之研究前鋒。 (7)提供國家與學門的生產力與學術評鑑等，並在歐 美大學教授升等、學術研究與研究計畫評鑑過程中 成為重要參考指標。雖然資訊計量學專家與科技政 策相關人員對其高度評鑑，但是否適合於我國大學 評鑑制度，需進一步研究。 資訊計量學專家主張引文分析大量應用在學術作 品的評鑑，R.N. Kostoff 分析其有四種功能：(1)作為 圖書書籤，引用文獻可以提供對這篇文章相關資 料。(2)引用文獻可作為人類智慧傳承連結。引用文 獻將這篇文章與其他引用論文作連結，而提供歷史 脈絡呈現這篇文章的貢獻。(3)引用文獻可用來追蹤 主要的研究影響與效果，有助於研究計畫經費的分 配。一般追蹤研究影響十分困難，而引用文獻可提 供放射性追蹤研究影響的功用，並提供分析論文流 程與研究演化、以及其對後來論文的連結追蹤。(4) 引用文獻可提供其他研究影響的資訊，包括：學術 領域有哪些研究論文？學術機構與國家應用哪些研 究論文？研究論文對於基礎研究或應用研究的影 響？[20]

由於引文分析是計量方法，提供量化數據，但對 事物本質難以作深度描述闡釋，在使用時有其缺點 與限制。R.N. Kostoff 警示引文分析若誤用會造成不 當的結果。其一是量化評鑑擴大利用的誤用。引文 分析大都應用在科技研究報告，並隨著研究計畫贊 助而不斷擴展引文分析效應。引文分析產生許多短 期量化資料，對短期研究影響有所幫助，但對長期 研究而言無助於事。其二是聚集引用文獻的加值的 誤用。如果只有一篇論文的參考書目，其所反映智 慧傳承也許不那麼明顯，但是假如有許多論文與引 用參考文獻聚集，則會發生重要的智慧傳承現象(研 究效應與品質)，引用文獻有聚集效果，但未必真實 表現智慧價值。其三是引用文獻用作單一指標有所 限制。在使用引用文獻作為研究評鑑指標時，必須 使用大量與累積多年的引用文獻，否則應用無效。 而且有兩個重要限制：第一是參考書目可能是正 面，也可能是負面；第二是引用文獻可能有偏見， 這會影響研究評鑑結果。並且在不同學門領域引文 分析結果不同，這說明引文分析資料的問題，所以 引文分析僅能作為評鑑的輔助資料。[21] 何光國教授也指陳引用文獻本質有許多缺點，包 括：(1)撰著者個人教育水平與實務經驗的侷限。因 此使引文的選擇，不能達到較高的標準。(2)撰著者 個人對主題知識的解釋發生偏差。對原著立論，無 法分辨正誤和真偽。因而取捨之時，常易發生錯誤。 (3)撰著者個人對主題知識的解釋，太過狹窄，使引 文與相關主題的論著，失去銜接。結果，使讀者見 樹不見林，損失極大。(4)撰著者利用引文的方式， 欠缺劃一標準。(5)計量上之缺點包括：引文自引 (Self-citation)，聯合執筆，著者同名同姓，著者姓名 相似或異形，引文來源的類型，引用時效消失，引 文數量的起伏不定，研究領域，參考資料漏列，英 文文獻的優勢，美國的偏好，性別的歧視，引文轉 錄的錯誤等。[22] 何光國教授進一步提醒科學引用索引產製的《期 刊引用文獻報告》(Journal Citation Report)有所限 制，應該瞭解文獻的引用次數，實際上只是一羣變 數的函數，這羣變數，包括作者的聲望、論題的爭 辯性、期刊本身的權威性、期刊的銷路和訂價、複 本的散布、被索引或被摘要選錄的多少，圖書館資 料中心對該期刊的蒐集、和全國研究發展的重點 等。SCI 的《期刊引用文獻報告》資料的不完整， 由於 ISI 公司搜集的期刊文獻並不齊全，而且對開 發中的國家來說，還帶有極強烈的排斥感。在某些 方面，頗有壟斷知識，製造特殊知識階級之嫌。[23]

問題探討

上述探討可知引文分析較有利於作為歐美科技研 究評鑑的參考指標，但 SCI 與 SSCI 有許多限制，非 英語期刊收錄較少，對其為國際指標的稱譽有損。 另一方面，引用文獻先天具有自我引用、引用錯誤、 引用均等、二次引用等缺點。由於其是一種量化指 標，仍需要有質化評鑑配合才符合真正學術研究評 鑑的要求。此外，人文學與社會科學研究成果向來 較重視圖書文獻，又具有本土與區域性研究的特 質，這些均是 SCI 與 SSCI 無法涵蓋的，所以我國大 學學術表現整體評比只用 SCI、SSCI 作為唯一評鑑 指標是不適當且不公平。這些引起二個問題討論： 我國大學研究評鑑要如何作？引文分析適用在我國 大學評鑑嗎？

我國大學研究評鑑如何作

大學評鑑的目的是為了改善大學的營運與管理， 由於現代大學具有教學、研究、推廣、服務、諮商 合作多元功能，大學評鑑應針對這些功能建立多元 化評鑑制度。所以建議大學研究評鑑應該獨立實 施，其目的主要在評鑑大學研究品質並建立一套合 乎本國國情的制度，依據各學門特色設計研究評鑑 質化與量化指標。而英國大學研究評鑑採用專家同 儕評鑑，涵蓋研究人員與機構評鑑的制度值得參考。 由於各學門本質不同，我國大學研究評鑑應考量 各學門特色分別評鑑。國科會人文處王汎森前處長 從人文社會學角度提供看法，主張不應該在各學門 間劃一等號，應尊重各學門的生態特色。在人文學 科方面，應考慮其特色進行評鑑，而非用量化工具 機械式從事之，人文學研究的最重要呈現方式之一 是書目，所以建立專書的品質管制機制非常重要， 臺灣並沒有大學出版社的制度，故人文學術專書出 版良莠不齊，這是一個亟待討論的課題。人文期刊 的品質應該是以國科會每六年一度的期刊排序作為

參考標準。期刊排序未必絕對反映刊物的實質內 容，但是比較能反映國內學術社群對該學門刊物的 評價。撰寫論文或專書應使用何種語言的問題，對 我國而言，英文或其他強勢語言所寫的作品不一定 比較好，而應該以同一行道中最主要的對話社群所 最常用的語言為優先。[24] 王汎森前處長建議機構評鑑比較合理的方式是把 全國相同系所作為一個評鑒單位，在進行評鑒之 前，委員會應考量這個學門的特性再訂定標準，然 後以五個或十個等第進行評鑒。在人文學科領域 中，不能把引文的頻率看得太死板。自然科學及社 會科學的論文，經常是先以一般文獻回顧的方式開 始，若忽略了相關重要文獻則是一種失職，評審通 常也不會輕輕放過，故計算引文頻率有一定的價 值。人文學科的寫作方式不盡相同，計算引文頻率 就不一定能如實反映論文的價值。而且，前面已經 提到過，專書是人文學科的重要表現方式，而專書 中的引文頻率，卻未被計算在內。 教育部目前致力於大學評鑑是值得肯定，但大學 擔負多種功能，我國大學研究評鑑應獨立實施，並 依學門分別評鑑，而科技重視期刊論文，人文與社 會科學在論著作品與語言表達，應尊重學門領域意 見，考慮圖書或其他著作成果併入評鑑。大學研究 評鑑可以參考英國大學研究評鑑的專家同儕評鑑機 制，依學門分別列出研究品質的定義與標準由專家 小組去評鑑，應是較客觀符合學術研究本質的作法。

引文分析在大學研究評鑑的適用性

由於大學研究評鑑是一複雜與耗費人力的制度， 而且評鑑有質與量二面向，所以資訊計量學專家建 議引文分析在大學評鑑有應用價值。引文分析自 1990 年代中期開始引起資訊科學界的興趣，而提出 兩種觀點。第一種觀點主張引文分析和 RAE 兩者之 間有強烈的相互關係，所以在同儕評鑑過程可利用 引文分析的結果，降低評鑑成本。另一觀點是接受 二者間雖有關聯，但引文分析只是一種參考資訊， 不能作為評價唯一指標。[25] Charles Oppenheim1997 年的一項研究探討 1992 年英國 RAE 各學門評鑑分數與利用 1988-1992 年 Institute for Scientific Information 引文資料庫所得

的學門出版論文的引文次數，二者排名是否有相關 性，以基因學、解剖學與考古學學門為研究對象。 研究發現在此三領域，學門引文次數、每一研究人 員平均引文數目與 RAE 分數三者間十分相關。尤其 是考古學的強烈相關結果推翻原來認為這學門是以 圖書為主，而少用到引文次數的印象。本研究肯定 引文次數可作為英國學門研究績效的指標，並建議 未來 RAE 發展，應該可以將引文計算當成重要但非 唯一的計算分數。[26]

Michael Norris and Charles Oppenheim 在 2003 年 發表論文，以 2001 年英國 RAE 考古學門 692 位研 究人員的引文作研究，使用 Spearman 相關判斷，發 現 RAE 結果和引文次數在統計上有高度相關性，此 結果不僅肯定早期的研究，並建議引文分析的成本 少而容易使用，可作為 RAE 初始評估工具，並提供 評審小組成員評鑑與確認最後的排名。[27]。 Warner Julian 提出另一種看法，他研究引文分析 在 RAE 的應用，利用考古學大學教授引文總數排名 與 RAE 排 名 ， 而 發 現 引 文 次 數 聚 集 (Citation Aggregates)與個別評鑑實體的研究品質二者之間呈 現微弱關係，而認為利用引文分析取代同儕評鑑的 提議是不切實際的，但建議可採用引文分析在研究 評鑑上，作為告知參考，但不可以作為研究品質的 判斷與確認。[28] 英國大學研究評鑑採用學者同儕評鑑作法值得 參 考 ， 但 學 者 評 鑑 是 一 個 複 雜 而 耗 費 成 本 的 工 程 。 英 國 RAE 檢 討 報 告 建 議 可 參 酌 計 量 數 據 [29]，而 SCI、SSCI 資料庫在美國科學技術學術 評鑑的應用相當普遍，所以引文分析提供研究評 鑑輔助參考仍可考慮。建議我國在實施大學研究 評鑑時採用學者同儕評鑑機制，但在科學技術領 域部分與國際性較強烈的社會科學領域可以考量 將 SCI、SSCI 排名視作評鑑輔助工具。我國也該 思考建立本國各學門期刊引用文獻索引資料庫， 而且至少回溯十年的引文資料，如此提供引文分 析時才具成效。我國資訊計量學研究學者也應積 極從事研究，從我國發展來看引文分析如何適當 應用在大學研究評鑑上。專家評鑑可避免評鑑過 程曲解，以及與學術界看法一致，而引文分析計 量法可輔助大學研究評鑑的實施更有效益。

結論

大學評鑑今年又成為高等教育探討的議題，現代 大學具有綜集性的多元功能，包括教學、研究、推 廣、服務、諮商合作，成為今日社會重要的知識重 鎮，不再孤立於象牙塔內。大學追求卓越與大學評 鑑成為我國高等教育盛事。基於現代大學多元化功 能，建議我國大學評鑑應該建立多元化評鑑體制， 涵蓋教學、研究、大學整體評鑑。有鑑於學術研究 是大學的重要核心，應該單獨進行大學研究評鑑。 我國未來大學研究評鑑實施時可參考英國大學研 究評鑑作法，採用學者同儕評鑑機制，以追求研究 品質，智識卓越的評鑑目的，依不同學門有不同的 質量標準，定期舉行大學研究評鑑。英國 RAE 主張 智識卓越包括創造力、技術效益、實質貢獻、實證 相關、學術性與未來發展性並建立評分等級，這些 觀點均是值得我國參考，而非採用 SCI、SSCI 為單 一計量工具。 引用分析是資訊計量方法，也是資訊檢索的參考 工具，其較適合用於科學技術學門與國際性學術研 究之評鑑，將其全套應用於我國大學評鑑或研究評 鑑實屬不妥。引文分析在資訊計量方面有其價值， 可作為科技學門評量的量化指標參考，但在我國人 文學與社會科學不適合使用，僅可考慮用資訊計量 輔佐研究評鑑。未來應建立我國人文社會科學引用 文獻資料庫，選擇優質人文社會科學期刊，大量回 溯建立十年以上引文資料，方可作為學術研究評鑑 之參考。 引文分析可提供大學學術評鑑量化資料，但不能成 為唯一的學術表現評比的指標，尤其 SCI、SSCI 是歐 美英語系期刊論文的資料庫，有其語言與國家區域的 侷限，只能作參考不可引作唯一評鑑指標。本文最後 對我國未來發展大學研究評鑑提出下列建議。 1. 由於人文學與 社會科學研究 不 同於科技 領 域，也不易在國際發表與獲得認同，所以建議建置 我國人文學與社會科學的引文索引資料庫(Taiwan Humanities / Social Science Citation Index)，挑選人文 學與社會科學的學門優質學術期刊，將期刊文獻索 引與期刊引文索引建立，並至少回溯建檔十年，如 此提供期刊、引文次數才能作為學術評量參考工具。 2. 建議政府與學術單位及早建立一套適合我國 需要的大學研究評鑑制度，包括評鑑目的、評鑑模 式、評鑑組織、受評機構、評鑑標準、評鑑依循方 式、評鑑報告處理、評鑑結果應用、評鑑時程與評 鑑經費。 3. 建議參考英國大學研究評鑑作法，建立我國大 學研究評鑑制度，考量人文學、社會科學、科學與 技術領域的本質與特色，各學門學術研究行為與成 果差異極大，應依學門領域分開評比。此外，各大 學資源與特色不同，有重教學、有重研究，應作大 學分類，再進行學術評鑑。 4. 為了要提升臺灣地區大學的學術水準，政府應 從策略規劃著手，有計畫訂定高等教育具體可行的 研究策略，與學術界積極互動，共同建立一套適合 臺灣的大學評鑑制度與評鑑指標。 5. 建議資訊計 量 學學者積極從 事引文分析研 究，對 SCI、SSCI 資料庫建置、引文分析原理、以 及在學術評鑑應用，進行研究與實驗，以提供我國 大學建立學術研究評鑑的參考與應用。

附註

[1] 金耀基，大學之理念(臺北：時報文化，民 國 72 年)，頁 5-9。 [2] 沈珊珊，「國際教育改革趨向與影響因素」， 國際比較教育學(臺北：正中，民國 89 年)，頁 342。 [3] 「長庚竄起，政大暴跌」，中國時報 92 年 10 月 20 日 A1 版。 [4] 「25：1 比師生大學評鑑基本門檻」，聯合 報 92 年 8 月 24 日。 [5] 陳光興、錢永祥，「新自由主義全球化之下 的學術生產」，反思臺灣的(人文 及社會)高教學術評 鑑研討會大會手冊(臺北：女性學學會等，2004 年)， 頁 1-1~1-16。 [6] 李大正、張麗鵑、蔣東霖 ，「大學教育評鑑 的實然與應然」，資訊社會研究 (2002)：33-34。 [7] 李聰明，大學評鑑的研究(臺北：中國文化 大學出版部，民 86 年)，頁 13。 [8] Donald Kennedy 著，楊振高譯，學術這一行 (臺北：天下，民 89 年)，頁 2。

[9] 同註 5。

[10] 吳文月，「英國大學研究評鑑制度之研究及

其對臺灣高等教育評鑑制度之啟示」，國立臺南師範

學院國民教育研究所，碩士論文，民 93 年，頁 70。 [11] “ Review of Research Assessment : Report by Sir Gareth Roberts to the UK Funding Bodies,”(May 2003)(retrieved May 03 ,2005) <http://www.rae.ac.uk>.

[12] The British Academy: News and Reports, “Review of Research Assessment,” <http://www.britac.ac.uk/news/reports/raeresp.html> (Retrieved May 3, 2005). [13] 曾孝明，「從英國學術評鑑談起—我國學術 研究的改進之道」，教育資料文摘 (88 年 5 月)： 54-55。 [14] 賴鼎銘，「量化指標並非學術評鑑的萬靈 丹：以國外幾種代表性的學術評鑑為例」，反思臺灣 的(人文及社會)高教學術評鑑研討會大會手冊(臺 北：女性學學會，2004 年)，頁 2-1~2-29。 [15] 同上註。 [16] 同註 11。 [17] 邱淑麗、王梅玲，「我國科技期刊引用文獻 資 料 庫 之 建 立 與 應 用 」， 國 科 會 專 題 研 究 計 畫 NSC86-2417-H096-001 臺北，國科會科學技術資料 中心，民國 86 年。 [18] 孟連生，「中文科學引文分析」，情報科學 3(1983):11-21。

[19] Smith, Linda C., "Citation Analysis," Library Trends 30:1(Summer 1981): 94-98.

[20] R.N. Kostoff, “The Use and Misuse of Citation Analysis in Research Evaluation, “ Scientometrics 43:1(1998): 27-43. [21] 同上註。 [22] 何光國，「引用文獻分析」，文獻計量學導論 (臺北：三民，民 83)，頁 188。 [23] 同上註。 [24] 王汎森，「引文分析與學術評鑑研討會-綜合 座談」，引文分析與學術評鑑研討會(臺北：國立政 治大學圖書資訊與檔案學研究所，民 93 年)，頁 179-180。

[25] Julian Warner, “Citation Analysis and Research Assessment in the United Kingdom,” Bulletin of the American Society for Information Science and Technology 30: 1(2003): 26.

[26] Charles Oppenheim, “The Correlation Between Citation Counts and the 1992 Research Assessment Exercise Ratings for British Research in Genetics, Anatomy and Archaeology,” Journal of Documentation (Dec. 1997):477-497.

[27] Michael Norris and Charles Oppenheim, ＂ Citation counts and the Research Assessment Exercise V: Archaeology and the 2001 RAE，＂Journal of Documentation 59:6(2003):709-730.

[28] Julian Warner, “A Critical Review of the Application of Citation Studies to Research Assessment Exercises,” Journal of Information Science 26: 6(2000): 453-460.