• 沒有找到結果。

影響指數:

N/A
N/A
Protected

Academic year: 2021

Share "影響指數:"

Copied!
9
0
0

加載中.... (立即查看全文)

全文

(1)

影響指數:一個有爭議的期刊和研究品

質評估指標

Impact factor: A controversial way of journal and

research quality measurement

ཧ˜ᐖ!

͵າ̂ጯྤੈ็ᇫጯրӄநି଱!

Nei-Ching Yeh

Assistant Professor, Department of Information and Communications,

Shih Hsin University, Taiwan

E-mail: ncyeh@cc.shu.edu.tw

關鍵詞

(Keywords):影響指數(

Impact Factor);引用文索引(Citation Index);

半衰期(

Half-Life);新穎指數(Immediacy Index)

【ၡࢋ】

ώ͛ᄲځᇆᜩ޽ᇴ۞ࢍზ͞ёĂ̈́׎நኢ઄

న׶͔൴۞ۋᛉĂּтᇆᜩ޽ᇴ۞ѣड़ّĂ֭

ᛚࢗጯఙෞᝥΞਕ۞ೀี׎΁͞९Ąέ៉ܕѐ

ֽдጯఙෞᝥ˯۞ᔌ๕ߏĂͽ΍ۍݡߏӎΏྶ

д TDJĂTTDJ ඈྤफ़ऱќᐂ۞ഇΏĂֽᏊณጯ

۰̈́ߙ˘ጯܝ۞ጯఙјಶ׶੒ᚥĄဦ३ᐡࣶ˵

૟ᇆᜩ޽ᇴෛࠎഇΏݡኳ۞ෞҤҿ໤Ă֭үࠎ

ဦ३ᐡᔉ෴̙Тጯܝ̝ഇΏགྷ෱̶੨۞ֶፂĄ

Ķజณ̼ķ۞ጯఙෞᝥ͞ڱĂಶᇆᜩ޽ᇴ҃֏

ߏѣޝ̂༂ஷ۞ĄЯѩĂώ͛ඕኢײ៰Ă͹გ

ିֈ۞߆عٕࡁտ፟ၹĂ̈́ጯఙࠧᑕ҂ณĂͽ

ᇆᜩ޽ᇴઇࠎෞҤഇΏݡኳᐹК۞ዋ༊ّĂ̈́

Ξਕజᄱϡ۞ଐڶĂ՟ѣԲҿّ۞ᑕϡĂ׎၁

ߏ̙ԁ༊۞Ą҃ͷĂ઼γດֽດк۞ጯఙۤཏ

̏ٸୢֹϡ఺ᇹ۞ෞᝥ޽ᇾĂ͹გጯఙෞᝥಏ

Ҝߏӎ˵Ξͽ҂ณ઼γ۞າүڱ̈́Լච͞ёĂ

ࢦາనࢍາ۞ෞᝥ͞ёĂጯ۰˵ྵਕ͕ڇ˾ڇĄ!

【Abstract】

This paper challenges the method of

calculating the impact factor and the idea that

the reputation of the journal is valid. The

disputes caused by calculating the impact

factor are also discussed, for example, the

author of this paper examines some other

possible ways of substitution for academic

research evaluation. The trend of academic

research evaluation is based on the impact

factors of the journals which published the

research articles; however, the quantitative

measure of research has many flaws. Having

concluded that the impact factor is an imperfect

factor, the author of this paper hopes that the

government or research institution will regard

the appropriateness of assessing the quality of

the periodicals and whether the scientists

contribute to academic progress or not. More

foreign academic communities have already

(2)

given up using the impact factor formula and

have redesigned new evaluation standards. In

Taiwan, we should critically evaluate the quality

of each individual article. A further concern,

since evaluation and measurement cannot be

completely abandoned, is how the government

and academic community can and will agree

on the standards and criteria to be used.

前言

台灣近年來在學術評鑑(含作者及某一學門的學 術成就和貢獻)上的趨勢是,根據出版品是否刊載 在「科學引用文索引」(Science Citation Index,以下 簡稱SCI),「社會科學引用文索引」(Social Science Citation Index,以下簡稱 SSCI)等資料庫收錄的期 刊。研究者要申請研究案經費補助或升等時,必需 提出自己刊載在上述資料庫收錄的期刊的影響指 數。過去四十餘年來,圖書館員也將影響指數視為 科學期刊品質的評估判準,並作為圖書館購買不同 學門之期刊經費分配的依據。 非常明顯地,這樣的評鑑方式,將學術活動量化 了,其暴露出來的問題很多,諸如公平性的問題, 尤其不同學門間的比較(學術領域愈大影響力當然 愈大的思維),這樣的思維不僅邏輯上不正確,且沒 有獲得資料的支持。例如甲乙兩個學門,若甲的品 質優於乙,但甲乙兩個學門的出版品都可能被引 用,且引用的次數相同,那麼這兩種期刊的影響指 數可能是一樣的,這就無法由影響指數來證明那一 個學門出版的期刊較優。而且,期刊品質的良窳受 到很多因素影響,例如每篇文章平均引用文獻的數 量、引用的文獻是否刊載於SCI、SSCI 資料庫收錄的期 刊、某一主題或期刊的成長率等(Kokko,1999)。此外, 我們也常聽到以下的批評聲浪,這樣的評鑑方式是不適 當、不公平的、徒增作者的挫折感、「影響」一字似乎 成了「學術品質」的虛擬同義詞、刊載於高影響指數期 刊之文章不等於是有聲譽的文章等。 也因此,國際上已有愈來愈多的學者質疑,根據影響 指數的高低,決定某一期刊採購與否,及期刊(間接指 涉期刊刊載的文章)在學術上的地位之標準的妥當性 (Seglen, 1997; Coleman, 1999; Water, et al., 2003)。有鑑 於此,本文提出對影響指數計算方式及建構背後的假設 之質疑,分析以此為學術評估標準引發的爭議。更重要 的是,如果學術評鑑是必需的,圖書館期刊採購經費之 分配,也需有參考之依據,那麼是否有其他替代方案, 也是本文要說明的。最重要的則是希望藉由本文,喚起 國內學術界對長期來,以影響指數評估作者和學術成就 問題的注意;並呼籲國內對學術成就評鑑,及研究經費 分配有決策影響力的單位,重視此問題,重新思考現有 學術評鑑制度的合理性及可替代之道。

影響指數的內涵

本段分別說明影響指數的計算方式,及創作者和支持 者對影響指數有效性的認知。

影響指數如何計算

每年九月「科學資訊機構」(Institute for Scientific Information,以下簡稱 ISI)出版其資料庫收錄期刊 最新的影響指數,約有八千種期刊依據其前兩年刊 載之文章被引用次數排序,當時總會引起很多的回 嚮,科學家的職業聲譽,更是受到期刊影響指數的 影響(Jennings, 1999)。

「影響指數」(impact factor)是 Eugene Garfield 發明的,他最早提到這個想法是在 1955 年。1960 年代初E. Garfield 和 Irving H. Sher 創立了期刊的影 響指數,他們認為,發明影響指數的目的在幫助「科 學引用索引」資料庫選擇期刊,單純的用來評比期 刊,不論期刊的大小。後來,影響指數在歐洲漸漸 發展成包括期刊品質和作者學術成就的評鑑指標 (Garfield, 1999),其目的是要確定最佳被引用的出 版品、文章和期刊(Garfield, 1998)。 期刊的影響指數依據分子和分母兩個數字計算出 來。「分子」代表期刊某一年(current year)的文章, 引用該期刊前兩年出版的任何類型文獻的數目;「分 母 」 代 表 該 期 刊 相 同 的 兩 年 出 版 的 文 章 數 目 (Garfield, 1999)。例如X 期刊 2001 年的影響指數, 是根據下列方式計算出來的,2001 年該期刊所有引 用文獻是該期刊 1999-2000 年出版的數量,除以 1999-2000 年出版可被引用的文獻數。要注意的是, 只有被 SCI、SSCI 收錄的期刊才被計算其影響指 數。此外,「可被引用」(citable)一詞是不能忽略的, 因為 ISI 只視某些作品為可被引用,其他例如作品 引用的是書評、編者的話、給主編的話等都不列入 計算中(Van Diest, et al., 2001)。又如「社會科學引

(3)

用索引」資料庫只包括學術性文章,編者的話、給 編輯的話、書評、信件類型文章及會議摘要等不計 算在內(Whitehouse, 2001; Frank, 2003)。但是,SCI 中就有27%的文章屬於此類(Pendlebury, 1991)。

影響指數的有效性

就影響指數的有效性而言,發明者Garfield(1996) 認為,以影響指數來評估期刊的品質是有效且客觀 的。此外,Whitehouse(2001)也指出,雖然說科 學成就最適合由同儕審查來評估,只是那要花費較 多的時間,真正公認的專家且又有時間可以配合評 估作業的,少之又少。量化評估因而被視為最容易 採用的方式,也因此出現以引用文數量和影響指數 作為指標的評估方式。 Orive(2003)雖然也認為,評估期刊品質時主、 客觀因素都扮演重要角色,但影響指數是以一個整 體性原則來評估期刊,並非評估某一期刊的文章內 容品質或作者貢獻,較為客觀。事實上,在學術領 域內,出版一篇文章不代表就對該學門有貢獻。因 此,有不少期刊的編輯者認為,影響指數適合用來 評估期刊的相關性和成本效益(Bensman, 1998)。 面對學術界對影響指數的批評,創辦者 Garfield (1998a)也提出辯護。他指出,就本質而言,非英 文的期刊被引用的機率不一定比較低,因為SCI 計 算的引用文獻除了中文和日文外,是無涉語言類型 的。但他也同意,引用文獻數量的指標應與其它指 標配合,同時作為期刊或學術品質評估的依據。此 外,對於使用影響指數預測文章的影響力,顯然受到 機率操控的說法,Garfield(1999)則反駁,若假設 任何新的文章無法被評鑑,這是錯誤的;因為,在短 時間內出現影響力的文章,也可能在數個月或幾年內 就被引用。

影 響 指 數 建 構 的 假 設 及 引 發 的

爭議

期刊的影響指數(journal impact factor)建立背後 的假設是,期刊是可以代表它刊登之文章的品質。 因 此 , 可 以 用 來 評 估 作 者 的 科 學 成 就 (Seglen, 1997)。也就是說,期刊收錄的文章,被引用的次數 愈高,代表期刊的品質愈好。這也意味著,期刊愈

常被引用則重要性愈高,一個研究團體會被接受也 是因為其出版期刊品質的關係(Decker, Beutel, & Brahler, 2004)。然而,近十年來,學術界已開始反思 影響指數被制定時背後的假設是否合宜,及後續被 應用於學術評鑑和期刊品質判斷的適當性。影響指 數已被批評為,作為一種期刊品質評估是被不當建 構(misconstrued)出來的,也經常被誤用(misused), 更常見被膨脹之處(Van Diest, et al., 2001)。

Decker, Beutel 和 Brahler(2004)就影響指數計分 的方式指出,影響指數本身是一種比例,但分子和 分母的計算標準不同,例如分母包括的文章有限制 類型,但是分子包括的引用文章類型並不受限,因 此有可能影響指數是高估的。Adam(2002)的研究 就指出,高估的機率有40%。Moed 和 Van Leeuwen (1995)認為有可能膨脹 30%至 40%。影響指數在 學界引發的爭議很多,整理如下十二點: 1. 影響指數在本質上只能表現出文章被引用的 頻率 引文索引的重要性,是它說明了期刊的使用頻率 (Orive, 2003; Frank, 2003)。依據影響指數的計算方 式,它只能告訴我們某些期刊的文章,在某一段相對 時間內被引用的頻率(Van Diest, et al., 2001)。因此, 它無法應用於了解文章的價值。只是,現在已廣泛的 被學術界假設為,高度被引用的文章就是好的且重要 的;相反地,較少被引用或不被引用的文章則是劣質 的、不重要的和沒有貢獻的。然而,很明顯地的是, 經 常 被 引 用 的 文 章 不 一 定 對 學 術 成 果 有 貢 獻 (Coleman, 1999)。 Garfield(1999)也提到,這個假設高估了一個 事實,即作者和引用的文章愈多,則分享這些引 用文的文章會愈多。影響一個學術社群大小的主 要決定因素,並不是某個學術領域作者或文章的 數目,反而是每篇文章平均引用文數目、半衰期 或引用文的新穎性。 此外,ISI 資料庫收錄的期刊數量,只佔所有期刊 出版品的少部分(Bloch, 2001)。而且,作者引用的 資料若來自圖書、圖書中的章節和非SCI、SSCI 收錄 的期刊,勢必降低期刊的影響指數。因此,引用文數 目和期刊品質之間的絕對正向關係假設是不妥的,因 為學者引用他人文章的原因很多,且不一定全都引用 優質的文章(Opthol, 1997)。

(4)

2. 錯誤引用的情形被忽略,對期刊品質的評鑑是 一種諷刺 影 響 指 數 根 據 引 用 文 數 量 , 作 為 計 算 的 標 準,只考量「次數」的結果是,假設作者引用 他人作品時,一定是「正確」引用。忽略了作 者有可能引用資料時出現錯誤,而且期刊的編 輯也不見得會察覺或予以修正(Orive, 2003)。 例如Frank(2003)和 Moed(2002)都指出, 科學引用索引(SCI)中,有 7%的文章其引用 資料是不正確的。Moed(2002)認為,在某些 國家錯誤引用率更高達13%或是 18%(西班牙 和中國),因為有些母音不是那麼普遍(ä, Ő, Ű 等)或特殊字母(u, ò, ì, Ø, ï 等)。這些印刷上 的錯誤有可能導致信度降低,若作者錯誤的引 用,當然文章的品質就被打折扣了;而且,ISI 收錄的文章,約有85%被引用的文章是被 15% 的文章引用的(Seglen, 1997)。 Seglen(1998)也提到,在文章的參考書目中 (reference lists)錯誤常見,這無可避免將對影 響指數產生作用。另外,影響指數沒有計算自 我引用(self-citation)部分,但自我引用卻佔 了所有引用文數量的第三位(Seglen, 1997)。然 而,我們卻無法證明自我引用的情況,是否影 響到期刊影響指數的高低,尤其是新領域或是 較小領域的期刊,自我引用又是無可避免的, 這形成了兩難的局面。 3. 影響指數高的期刊,並非每篇文章都曾被引 用;因而忽略某些未被引用文章,對期刊品質 評估的完整性造成影響 根據影響指數的計算方式,影響指數高的期 刊,並非期刊內每篇文章都曾被引用,忽略這些 未被引用的文章,可能無法以偏概全的認定期刊 品質的良窳。換句話說,這樣的計算方式忽略文 章的個別性。一般而言,期刊中只有 15%的文章 被引用過,且近乎50%的文章未曾被引用(Orive, 2003)。最常被引用的文章,被引的次數十倍於較 少被引的文章(Whitehouse, 2001)。更甚的是,在 ISI 的引文索引資料庫中涵蓋的文章,生物科學的 部分有41.3%,醫學部分有 46.4%是出版後五年都 未曾被引用的(Hamilton, 1991)。 Jennings(1999)就指出,多數文章的被引用率, 其實低於影響指數數字所呈現的。所以,影響指 數適合用於評估期刊在其領域內的有用性,假設 高被引用的文章可能是較為重要的,但卻無法推 論那篇文章就是比較重要的。因此,影響指數在 統計上無法代表個別期刊文章,可以說,影響指 數與個別文章的引用相關性並不大。因而我們可 以說,文章的被引用率或許決定期刊的影響力, 但反之並非如此(Seglen, 1997)。 4. 影響指數是可以被操控的 圖書館以影響指數作為期刊選購標準,將影響 期刊的編輯和出版社,想盡辦法提高期刊的影響 指數。此外,學術界以學者的作品是否刊登於影 響指數高的期刊,作為其學術研究貢獻的指標, 更是鼓勵了作者投稿於高影響指數期刊的目標。 似乎由影響指數無形中可以反應出較有聲譽和較 具科學性的期刊;但不幸的是,這往往不是事實 (Coleman, 1999)。 為了提高期刊的影響指數,期刊編輯可能以此吸 引 一 些 作 品 來 投 稿 , 或 作 為 行 銷 訂 閱 的 策 略 (Jennings, 1999)。編輯可以利用一些編輯上的技術 提高影響指數,例如增加評論型(review article)文 章、減少信件型的文章(Decker, Beutel, & Brahler, 2004; Orive, 2003)。因為,評論型文章較實證研究 型文章易被引用,也影響期刊出版商出版的策略(較 喜歡刊載評論型文章)。評論型文章所需的出版時 間,也可能對影響指數產生影響。例如,文章的出 版時間延宕了,引用的文章可能就不「新」了,也 不會被收錄在影響指數的計算方式中。可見,影響 指數的公式中,分母小於實際出版文章的數量,則 影 響 指 數 愈 大 , 也 因 而 可 能 改 變 期 刊 的 排 序 (Garfield, 1999)。 編輯者也可以增加文章篇數以提高影響指數, 因為期刊的文章篇數多,被引用的機率高,就有 機會提高影響指數(Seglen, 1997)。此外,還可以 用下列方法提高期刊的影響指數:改變主題、減 少引用文較少的文章、出版有爭論性的文章、縮 短刊期等(Jennings, 1999; Whitehouse, 2001)。 5. 影響指數以外的影響期刊品質的因素完全被忽 略了 期刊的影響指數受到很多因素操控,例如期刊 的類型、期刊涵蓋的主題、文章的類型、每年出

(5)

版的文章篇數、文章的平均長度、期刊刊期、文 章平均引用文的數量、是否同時有紙本和電子版 (Coleman, 1999)。此外,自我引用(Seglen, 1997)、長篇文章引用文較多(Seglen, 1997)、描 述方法性的文章較常被引用(Metcalfe, 1995)、同 儕審查、作者聲譽和背景、合作者、研究設計 (Orive, 2003)等,這些操控因素對期刊品質的 影響完全被忽略了。 況且,作者在選擇投稿之刊物時有不同的標 準,不完全因影響指數改變決策。例如作者可能 是考慮刊物的閱讀對象,即可以接受自己文章的 讀者;或考慮投稿的目的是告知其他學術團體, 該領域的最新發展情況(Whitehouse, 2001);或 是因為某期刊的刊期短出版快,也可能因為期刊 的 主 編 是 熟 識 的 同 儕 , 有 機 會 較 早 被 刊 登 等 (Citation impact depends upon the paper, not the journal, 1973)。這些文章可能都是高品質的,但 不一定刊登於影響指數高的期刊。 6. 學術領域間的無從比較性 分屬不同學術領域的期刊,是無法以影響指數 的高低予以比較而決定品質的。基本上,不同領 域的期刊,也許被引用的次數相差很多,但影響 指數卻相近,因此,無法跨領域比較(Svec & Greibrokk, 2003)。文章被引用次數的多寡,受到 幾個因素影響,包括學術領域的大小、學術領域 的性質、學術領域中期刊的數量、刊期長短、引 用文獻的習慣等,以下說明之。 一個領域的大小會決定「超級被引」(super-cited) 文章的數目,例如某篇聞名的研究方法方面的文 章,會有上千篇的被引用數,但也有其他同為方法 論文章無法達到此目的(Garfield, 1999)。另外, Kokko(1999)指出,學術領域間的無從比較性, 也反映在該領域出版的文章數量及影響指數,例如 假設某個領域只有一份期刊出版,當然引用該期刊 的機率提高,也提高了影響指數。期刊的成長率高 (刊期短),影響指數也會比較高。出版時間短的期 刊自我引用的機率高,也會提高影響指數(Seglen, 1997),例如探討新近發現之問題的領域(新興的主 題),出版品出版時間較短,會有較高的影響指數; 相反地,某些主題需要長期耕耘(尤其人文社會學 科),影響指數就比較低(Kokko, 1999)。 不同的學術領域引用文獻的習慣也有差異,例 如分子生物學習慣整理完整的引用文,而神精科 學則沒有同樣的要求。通常一般人會認為,一個 領域變大了,因為他們更重要了。這樣的想法暗 喻著,影響指數傾向鼓勵追隨者,而不是領導者; 同樣也反映在一個新領域內先鋒性作品,較已累 積 一 定 量 主 題 之 作 品 少 被 人 引 用 (Jennings, 1999)。影響指數只是在某一研究領域內表徵出文 章 引用文數量比的功能,文章較快過時的研究 領域較受歡迎。足見,影響指數受某領域多元影 響,小研究領域可能沒有高影響指數的期刊;領 域間的關係也會決定影響指數(Seglen, 1997)。 因此,我們可以說以影響指數評估期刊品質, 對進步快速的學科而言較為有利,對進步較緩的 學科則顯得不公平,以分子生物學和解剖學的差 異與對照,就是明顯的例子。足見,影響指數對 進展快速的學科期刊是存有偏見的。有些學科性 質是需要花較長的時間才能發揮影響力,進而被 引用。不同的時間點受重視的主題也不同,例如 老化研究在近幾年才逐漸受重視,之前相關的研 究成果累積的並不多;又如動物老化研究則更要 長期的時間,才有研究結果出現(Coleman, 1999)。 7. 期刊和引用文章被計算的時間太短 影響指數只以前兩年的文章為基礎,所以在快 速變化的學術領域,其期刊的影響指數會比較 高,如果分母的部分數字愈大,計算的時間愈長, 則評估的結果自然不是那麼「新穎」(Garfield, 1999)。期刊和引用文章被計算的時間太短,可能 忽略了下列的事實,很多文獻的影響力是在出版 兩 年 後 才 出 現 的 , 例 如 半 衰 期 較 長 的 文 章 (Frank, 2003)。成功的期刊也有可能影響指數 不高,例如被引用的文獻都是早期經典作品。 由於計算時間的限制,可能忽略年輕作家的影 響力,也可能高估了某些影響力在下降的作者 的貢獻(Kokko, 1999)。而且,舊的文章可能 包 含 值 得 被 引 用 的 資 訊 (Van Diest, et al., 2001)。所以,出版文章的品質不應受到時間 的限制(Hansson, 1995)。

另外,Coleman(1999)更指出,若依據影 響指數來預測趨勢,不僅不適當且徒勞無功。 一般大眾對醫學的感知是由熱門話題著眼,與

(6)

研究人員對長期性、基礎且重要研究的看法可 能不同。由醫學史的觀察可以知道,現在被視 為重要的主題,與長遠醫學發展不一定相關, 現在看起來不重要的主題,也許日後會被證實 是值得投注人力、經費的。流行的改變非常快 速,只是根據影響指數,它很難預測什麼將是 數年後重要且會普及的議題。研究的價值通常 要出版後,經過長時間的觀察才能下定論。最 好的例子就是諾貝爾獎醫學獎的得主,其研究 影響力被認可有時都在三十餘年後了。 8. 語文因素引發的馬太效應被忽略了 英文期刊目前在學術領域裏仍較被重視,也 是 作 者 偏 好 投 稿 的 期 刊 語 文 類 型 (Coleman, 1999);同樣,也是作者偏好引用英文期刊文 章的原因(Seglen, 1997)。況且,ISI 出版的資 料庫含蓋範圍並不完整,偏重英文文章和美國 出版品也是事實(Seglen, 1997)。在這兒出現 馬太效應的情況是無可避免的,卻被理所當然 的 視 為 不 需 要 考 量 其 對 影 響 指 數 造 成 的 影 響。影響指數透露出強烈的文化和語文偏見, 尤其是非英美語言的國家(Decker, Beutel, & Brahler 2004)。 9. 對學術界產生偏差行為和心理 只有SCI、SSCI 收錄的期刊才有影響指數, 為此,很多學者或期刊主編會想盡辦法希望其 作品被SCI、SSCI 收錄(Coleman, 1999)。學 者 也 會 認 為 其 作 品 在 高 影 響 指 數 的 期 刊 刊 登,有助於文章被引用,提高作品的知名度和 貢獻。文章在較有聲譽的期刊出版,將引發較 多人注意,至少表示它符合編輯者或審查者的 標準,這是多數人的認知。但不論是作者還是 讀者也別忘了,除非該文章真的具有高品質,否則 也無法達到高被引用率的目標(Citation impact depends upon the paper, not the journal, 1973)。 10. 忽略期刊編輯政策改變帶來的影響 期刊的編輯政策每經過一段時間,也許有了改 變,這樣的改變卻無法反映在影響指數上(Jennings, 1999),例如期刊改變收錄主題範圍(Seglen, 1997)。 11. 期刊品質和作者學術成就不一定相關 以影響指數高低決定期刊的品質,間接的評 價作者的學術成就,這樣的作法也引起一些問 題。以醫學為例,例如作者在判斷文章類型時, 沒有區分臨床或實驗室研究,以實務為基礎或 是研究型的文章,這會影響他決定文章投稿於 那一刊物(Garfield, 1999)。 12. 忽略線上出版品被使用及引用等問題 線上出版由於其高取用性(accessibility)、高獲 得率(availability)、親和性、容易連結至其他相 關刊物、出版時間較紙本出版品快,因此會愈來 愈受作者和讀者的重視(Whitehouse, 2001)。也 因此,在數位時代裏,影響指數是否有效,仍是 個問題(Frank, 2003)。也許,電子出版品應有其 特有的影響指數評估方式(Garfield, 2001)。 本節提到的幾點問題,都可能威脅到期刊和文 章內容效度和精確度,因此,以影響指數作為評 鑑期刊品質的指標,在基礎上顯得薄弱,也無法 保證其被長期使用(Walter, et al, 2003)。也許可 用來作為圖書館是否訂購期刊的「參考」,但不適 合用來作為研究活動成效的指引或評估個人成就 (Decker, Beutel, & Brahler, 2004)。因此,學術界 不斷有學者提出取代影響指數的評估方法,下一 節則說明這些方法的內涵。

取代影響指數的期刊品質評估方

法之建議

針對上述影響指數引發的爭議,學者提出以下幾 種取代影響指數的評估方法: 1. 同儕審查 文章是需要閱讀才能判斷其品質的(Walter, et al, 2003)。科學界無形學院中的成員,分享彼此 的研究成果,也會相互引用彼此作品,不論作品 是發表在那份期刊;同樣的,只要文章品質好, 不論發表在那兒,都會有人引用(Citation impact depends upon the paper, not the journal, 1973)。因 此,同儕審查不失為一個良好的評估方式。 2. 三合一的評估方式 Orive(2003)指出,書目計量學指標的效度在 基礎科學中是比較大的,對資料量較大的學科信 度也會比較大,單一的指標無法提供有效的基 礎,且易產生偏見,因此,品質(設計及方法的 合適性)、重要性(影響力)和影響(引發的回應) 等三個指標在評鑑期刊時是缺一不可。

(7)

3. 聲譽指數 PrestigeFactor.com 於 2001 年發起,以「聲譽指 數」(Prestige Factor; PF)取代影響指數,因為 PF 提供了較真實的價值(http://www.prestigefactor.com 上網日期:2005/2/6)。 4. 線上作品的點閱率 文章被閱讀的次數其實遠多於被引用次數,比較線 上期刊的點閱率與期刊的影響指數就可以看出,早期 一般人以為文章刊登在愈大的期刊上被引用的機率 愈高,因為它的流通廣,現在情況已經改變,因為已 有線上免費電子期刊可以取得。對出版者、圖書館和 使用者而言,現代學術界對「開放檢索」(open access) 電子期刊的呼籲,反而會提高大家對點閱率(hit rates) 的重視(Frank, 2003)。因此,線上點閱率是不可 忽視的。 5. 改善引文本身的問題

Van Diest, et al.(2001)認為,影響指數並不理 想,其意義也不應該被高估,比較實際的文獻品 質評估方法,與其應用影響指數,不如看文章被 引用次數。以文章為評估單位,較以期刊為評估 單位來的妥當。其次,計算的時間也應拉長。第 三,「引文密度」(citation density)應被計算,因 為不同學科間有很大差異。第四,引文研究應標 準化考量其他變數,例如領域或學科、引用實況、 半衰期、新穎指數等。同樣的,Garfield(1999) 也 提 到 , 所 有 引 用 文 的 研 究 應 常 態 化 (normalized),考慮所有變數,例如領域、學科 和引用的實際狀況,引用密度和半衰期也是重要 的變數。舉例而言,數學領域的文獻較生命科學 文獻其引用文密度低;心理學期刊的半衰期較分 子生物學或天文學來的長。因此,影響指數對於 變化較緩、半衰期較長的期刊,是無法提供完整 圖像的。第五,文章在網站中被點閱或訂閱的次 數也應計算在內。可以將電子檢索取得期刊文章 的部分,另以一個「取用指數」(access factor)來 表徵其被使用率,雖然其容易被複製,至少是一 個新的文章和期刊品質評估指標。 6. 其他評鑑方式 有鑑於學術人員的貢獻可以由多元的角度來認 定,例如研究競爭力、教學成果、研究方向、行政 或服務性工作、國際認可(會議參與、得獎記錄、 擔任審查者、獲得專利等)。若只是一味的以影響 指數為評估指標,也可能影響教師的教學品質 (Coleman, 1999)。因此,在一些國家已採用其他 的 評 估 方 式 。 例 如 德 國 的 ”The Deutsche Forschungsgemeinschaft, 簡稱 DFG”,是德國主要 的政府研究機構,已給大學一個新的指示,放棄以 影響指數為基礎的評鑑方式,取而代之的是直接審 查研究人前五件代表作品,這反映了德國科學文化 的 改 變 (Jennings, 1999 )。 在 英 國 ” Research Assessment Exercise, 簡稱 RAE”,也不使用影響 指數,而是直接評估學者的最近四篇作品(Jennings, 1999)。F1000 網站是由千位基礎生物學教師評選 該領域內最優良的文獻,每月為期刊選擇二至四篇 文章,評等為「推薦」、「必讀」、「優良」等級 (http://www.facultyof1000.com 上網日期:2005/2/5)。 由上述幾點替代方案可以看出,學者們事實上都 指出,評估學術貢獻時應多元的考量,不應忽略一 些因素,舉例如下。出版品應該是被閱讀的,且批 判性的與其他作者或作品比較(The Executive Board of the Deutsche Forchungsgemeinschaft, 1998),並應 用於實務工作(Van Diest, et al., 2001)。很多學者在 意的不是文章是否被引用,而是是否被閱讀。文章 可能常被下載閱讀,卻不在被引用的範圍內,因為 文章是否被閱讀較文章是否被引用難評估(Van Diest, et al., 2001)。文章的創新性、是否挑戰現有的 知識、是否開啟新的研究活動、是否邁向進一步的 知識、是否整合不同的學科的發現、是否反思現有 的成果並找出新方向,也都是評估文章或期刊品質 的標準(Water, et al., 2003)。 此外,也不能因為學者年紀輕或研究的領域範圍 小,屬於冷門學域而忽視他們,我們無法預期日後他 們的發現是否會帶來科學重大的突破。好的研究人員 都應當能挑戰現有的一些看法或教條。只是,很多科 學家被一些不正確的認知誤導,忽略或放棄了在較冷 門學域內努力,導致在科學知識的某些研究的匱乏, 就整個科學研究而言,呈現出一種不平衡狀態 (Coleman, 1999)。

(8)

結論

本文指出了以影響指數作為期刊品質,或研究人員 學術成就的評鑑指標引發的爭議,及可替代的方法。 Garfield(1999)也認為,影響指數不是一個完美的 評估文章品質的工具,但他卻說已沒有更好的評鑑指 標了。然而,由本文可以看出,事實上並非如此,同 時採用多元的評估方式,或是除了「量化」指標外, 也能考量「質化」的評鑑,也許是在今日學術評鑑或 期刊品質評估不得不進行時較完整考量。更重要的 是,評鑑單位應有如下的認知,影響指數應該被有限 度的、有批判性的、在某些特定學科被使用、不能跨 學科比較和評估、也不適合用來評估個別科學家和研 究團體的成就(Decker, Beutel, & Brahler 2004)。

科學社群若再依賴這樣的工具,其實是不妥當 的,也愈來愈多人支持放棄這種期刊品質評估指 標,因為單以影響指數來評估不僅粗糙,若做為聘 任 與 否 的 依 據 更 將 引 起 反 效 果 (Water, et al., 2003)。況且,我們也不能忽略研究人員在量化評鑑 高壓力之下,可能引發的科學研究欺騙情況,有一 些科學研究欺騙的個案,欺騙者的動機之一都是因 為出版壓力,尤其是要在高影響指數的期刊上發表 論文(Jennings, 1999)。這些都是教育部或相關政 府、學術評鑑團體不應忽視的問題。 最後,本文要強調的是,對研究人員而言出版品 代表很多不同的意義,也許是將研究成果公告學術 社群,也許是研究人員個人研究記錄。最重要的是, 文章出版是否能被閱讀,是否能引發讀者實踐的動 機,或改變既有的想法,引發他人的共鳴,進而吸 引更多人關心、投注心力在某一主題上,甚至長遠 而言,對研究領域的開發或是社會服務都能有貢 獻,才是比較重要的。

參考文獻

Adam, D.(2002). The counting house. Nature, 415, 726-729.

Bensman, S.J.(1998). Scientific and technical serials holdings optimization in an inefficient market: A LSU serials redesign project exercise. Library Resource

Technical Service, 42, 147-242.。

Citation impact depends upon the paper, not the journal! Don’t count on ‘citation by association’!: Current

comments. (1973). Essays of an Information Science,

1, 452-453.

Coleman, Raymond.(1999). Impact factors: Use and abuse in biomedical research. The Anatomical

Record, 257, 54-57.

Decker, Oliver, Beutel, Mnfred E., & Brahler, Elmar. (2004). Deep impact: evaluation in the sciences.

Soz.-Praventivmed, 49, 10-14.

Frank, Martin.(2003). Impact factors: Arbiter of excellence? Journal of Medical Library Association,

91(1), 4-6.

Garfield, E.(1998). How can impact factors be improved? British Medical Journal, 313, 411-413. Garfield, E.(1998). Long-term vs. short-term journal

impact: Does it matter? Scientist, 12, 10-12. Garfield, E.(1998a). The impact factor and using it

correctly. Der Unfallchirurg, 48 ( 2 ) . (http://www.garfield.library.upenn.edu/papers/deru nfallchirurg.v101(6)p413v1998english.html 2004/7/26)

Garfield, E.(1999). Journal impact factor: A brief review. Canadian Medical Association Journal, 161, 979-980.

Garfield, E.(2001). Impact factors, and why they won’t go away. Nature, 411, 522.

Hamilton, D.P. (1991). Research papers: Who’s uncited now? Science, 251(4989), 25.

Jennings, Charles. (1999). Citation data: The wrong impact?Neuroendocrinology Letters, 20, 7-10. Kokko, Hanna.(1999). What do impact factors tell us?

Tree, 14(10), 382-384.

Metcalfe, N.B.(1995). Journal impact factors. Nature,

376, 720.

Moed, H.F. & Van Leeuwen, ThN.(1995). Improving the accuracy of institute for scientific information’ s journal impact factors. Journal of the American

Society of Information Science, 46, 461-471.

Moed, H.F.(2002). The impact factors debate: The ISI’s uses and limits. Nature, 415, 731-732. Orive, J.I. de Granda.(2003). Reflections on the

(9)

impact factor. Arch Bronconeumol, 39(9), 409-417. Pendlebury, D.A. ( 1991 ) . Science, citation, and

funding. Science, 251(5000), 1410-1411. Seglen, Per O.(1997). Why the impact factor of

journals should not be used for evaluating research. BMJ, 314.

(http://bmj.bmjjournals.com/cgi/content/full/ 314/7079/497 上網日期:2004/7/18) Svec, Frantisek & Greibrokk, Tyge.(2003). Impact

factor: What is its impact? Journal of Separation

Science, 26, 981-982.

The Executive Board of the Deutsche

Forchungsgemeinschaft.(1998). Recommendations

of the commission on professional self regulation in science: Proposals for safeguarding good scientific

practice January, 1998.

(http://www.dfg.de/aktuelles_presse/reden_stellun gnahmen/download/self_regulation_98.pdf 上網日 期:2005/2/5)

Van Diest, P.J., Holzel, H., Burnett, D. & Crocker, J. (2001). Impactitis: New cures for an old disease.

Journal of Clinical Pathology, 54, 817-819.

Whitehouse, G. H.(2001). Citation rates ad impact factors: Should they matter? The British Journal of

參考文獻

相關文件

Teachers may consider the school’s aims and conditions or even the language environment to select the most appropriate approach according to students’ need and ability; or develop

Wang, Solving pseudomonotone variational inequalities and pseudocon- vex optimization problems using the projection neural network, IEEE Transactions on Neural Networks 17

volume suppressed mass: (TeV) 2 /M P ∼ 10 −4 eV → mm range can be experimentally tested for any number of extra dimensions - Light U(1) gauge bosons: no derivative couplings. =>

incapable to extract any quantities from QCD, nor to tackle the most interesting physics, namely, the spontaneously chiral symmetry breaking and the color confinement.. 

• Formation of massive primordial stars as origin of objects in the early universe. • Supernova explosions might be visible to the most

This paper will present a Bayes factor for the comparison of an inequality constrained hypothesis with its complement or an unconstrained hypothesis. Equivalent sets of hypotheses

The difference resulted from the co- existence of two kinds of words in Buddhist scriptures a foreign words in which di- syllabic words are dominant, and most of them are the

(Another example of close harmony is the four-bar unaccompanied vocal introduction to “Paperback Writer”, a somewhat later Beatles song.) Overall, Lennon’s and McCartney’s