• 沒有找到結果。

第二章 文獻探討

第二節 同儕評閱制度之現況與調查

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

第二節 同儕評閱制度之現況與調查

一、 同儕評閱制度之現況

現今同儕評閱制度的形態,學者 Aaron Weikittel 將此大概劃分為五類:23

(一) 傳統(Traditional)評閱制:常見的評閱設計為雙盲(作者與評閱者雙 方皆匿名)、單盲(作者姓名向評閱者揭露/評閱者匿名)或公開(作者與評 閱者姓名皆揭露)三種模式。

(二) 出版前(Pre-publication)評閱制:由預印本(Pre-print)將文章上傳至網 站提供評閱者檢閱並取得意見回饋。作者在經由評閱意見修改文章,主編再 經修訂後版本評估出版與否,或者轉至傳統評閱再進行評閱。實例:ArXiv

(http://arxiv.org)。

(三) 出版後(Post-publication)評閱制:即開放式(Open or Public)評閱的評閱模 式。稿件可於網站或線上出版平台閱覽,且提供平台使用者為稿件評等或進 行評論,提倡作者、評閱者與讀者之間的交流,網站記錄稿件出版前的各項 修訂,在文章出版後公開。實例:Faculty of 1000 及 PubPeer。

(四) 大量稿件(High-volume)評閱制:先由編輯委員對稿件進行初步審查,在 將稿件分配至相關主題的領域主編,傳統評閱制度由主編邀請評閱者。此評 閱模式的重點在於著重稿件的科學有效度獨特性,此模式多在複合性、巨量 期刊出現(Mega journal)中出現此模式,如:PLOS One 與 Sage Open。

(五) 獨立(Independent)評閱制:稿件投稿於網站或出版平台,非傳統評閱制 度尤期刊指定評閱者,而是由網站及平台中的評閱者群自由選擇評閱稿件,

期評閱制度不直接與出版商或學術期刊合作,而是經評閱後根據評閱意見修 訂,再將稿件轉至學術期刊進入該期刊評閱模式。此評閱模式的要件在於足 夠的評閱者人數以及評閱者對評閱工作參與的踴躍度,使用該模式如:

23 Aaron Weiskittel, “Evaluating Traditional Peer-Review Processes and Their Alternatives: An Opinionated Discussion,” Mathematical and Computational Forestry and Natural-Resource Sciences 7, Issue 2 (October 2015): 85-87.

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

Rubriq 以及 Peerage。

同儕評閱制度為學術期刊重要把關制度,其制度的公平性及效用一直學術研 究人員所關注的主題。對於同儕評閱制度的挑戰早在 1977 年,在認知治療的研 究中,曾對同儕評閱制度中的偏見進行實驗,認為偏見主要是由評閱者的主觀認 知而導致偏見,研究中將一篇爭議稿件經由 5 組評閱者進行評閱,最後對會收的 評閱意見進行分析,從正向意見加上正向建議內容到極端的否定研究內容,甚至 有消極提出意見的評閱者。文中也提到,影響偏見的因素十分複雜,但同儕評閱 制度被視為一項客觀的制度,這點是需要再檢討的。24

在 1982 年,學者為測試同樣稿件在不同學術期刊投稿是否有不同評閱的結 果,選擇了 12 篇已出版文章,透過修改作者名稱及單位再投稿至原出版文章之 期刊,最後只有 3 篇直接遭到退稿,其他的稿件又再次進入期刊的同儕評閱程序 作業,最後稿件經評閱後遭拒絕。25此研究雖然遭到學術倫理方面的質疑,但在 往後談論到同儕評閱制度的研究中,此研究成為早期測試同儕評閱制度審查的一 項參考。

2011 年 Bornmann 統整近十年以同儕評閱為主題的研究,研究內容大多針對 同儕評閱制度的公平信與可信度探討。部分研究調查發現,審稿者對於審稿者之 間的可信度低、不同審稿者對於稿件接受或拒絕的標準也難有共識。同樣的稿件 在知名度或等級不同的期刊接受評閱後,可能得到出截然不同的結果(一篇稿件 可能被知名度高的期刊接受,被知名度低的期刊拒絕),顯現出知名度較高的期 刊不一定具有較佳的把關品質。學術期刊的公平性一直是同儕評閱制度受到檢視 的議題,許多文獻已證實,評閱者確實存在個人偏見,這樣的個人偏見可能代入 到評閱過程當中,並影響評閱結果。26

24 Publication prejudices: An experimental study of confirmatory bias in the peer review system

25 Peters, Douglas P., and Stephen J,“Peer-review practices of psychological journals: The fate of published articles, submitted again,”Behavioral and Brain Sciences, 5, 1982: 187-105.

26 Bornmann, Lutz, “Scientific peer review,"Annual review of information science and technology 45,1 (2011): 197-245.

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

《科學與工程倫理學》期刊歸納了近年來同儕評閱研究主要研究面向為:27

(一) 探討同儕評閱制度的品質、公平與誠信;

(二) 審查標準不一致;

(三) 具有偏見的評閱意見(包含國籍、性別、語言);

(四) 評閱者的道德規範。

近年來學術期刊運作受到網際網路的影響,線上出版及線上投審稿系統已成 為趨勢,期刊及研究主動嘗試新形態的工具加入期刊經營及作業,例如:出版後 評閱或是開放性的同儕評閱,但在不同領域所得到的成效不盡相同,也歸因於各 學科之特性。但近年來已出現許多機構支持學術期刊採用創新作法及創新模式的 研究,透過新工具及新模式的加入,可以使學術期刊品質的把關更加嚴謹。

二、 近年針對同儕評閱制度的調查

網際網路的普及,學術期刊的作業已趨向網路化、線上化,改善了許多傳統 期刊作業的問題,其中在於同儕評閱制度的流程,有別於傳統作業需要以寄送邀 請、審稿,線上投審稿系統的同儕評閱制度可透過系統邀請、評閱者線上評閱等 功能,使評閱作業更有效進行。

但同儕評閱的改進與創新可能僅限於個別領域或個別期刊,需要透過大規模 的調查研究,了解目前學術研究的機構、研究者乃至於政府方面,對於同儕評閱 的看法,透過調查可對於同儕評閱制度之現況做一通盤的認識及檢討。

以下就國外多項調查研究列舉:

(一) 英國科學院同儕評閱調查報告:人文社會科學的挑戰(A British Academy Report Peer Review: The Challenges for the Humanities and Social Sciences)28

2006 年,英國科學院任命工作小組主要對於人文社會學領域進行調查,該

27 Science and Engineering Ethics

Ensuring the Quality, Fairness, and Integrity of Journal Peer Review: A Possible Role of Editors

28 Times Higher Education, “Learned Society Defends Peer Review,” September 7, 2007, accessed December 25, 2015,

https://www.timeshighereducation.com/news/learned-society-defends-peer-review/310359.article.

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

小組在 2006 年 6 月至 2007 年 7 月舉行會議。透過訪談調查英國國內重要組織(例 如:英國社會經濟研究委員會)、學術期刊編輯群、評閱者、研究人員之意見。

英國科學院於 2007 年發布一項在人文社會領域的同儕評閱制度調查,報告指出 在英國的人文社會學領域,傳統的同儕評閱制度仍是控制研究品質的最佳途徑。

報告中也提到目前學術期刊的若干問題:例如,學術期刊與評閱者的關係及利益 衝突。其中也介紹了各機構(例如英國科學院)對於評選獎助項目的過程中,將 同儕評閱工作的品質、透明度或創新等,作為評鑑同儕評閱制度的指標。

(二) 國際學術社群之視角下:學術期刊的同儕評閱(Peer review in scholarly journals: perspective of the scholarly community—an international

study) 29

問卷調查全球 3040 名研究人員、編輯、評閱者,對於同儕評閱制度的意見。

受試者有不同學科背景((例如:醫學護理 18%、人文社會科學 11%、生命科學 27%、物理與工程學 43%))及遍及全球(分別來自美加 38%、歐洲 23%、亞洲 21%、澳紐與太平洋各國 7%、中南美洲 6%、中東 4%、非洲 2%)。問卷對象 名單來自過去 12 個月內於 Thomson Scientific 出版文章,與文章相關的 40000 個 電子郵件地址,透過線上寄送填答邀請。

長久以來同儕評閱遭受許多批評,如:同儕評閱的隱密性導致於評閱者的發 表不負責任的言論、由於審稿時間過長而扼殺創新研究等等。此研究調查研究者 對於同儕評閱的態度與現行做法的評論。

調查填答者對於同儕評閱制度的態度,對於制度而言大體上保持著正向的看 法,例如,93%的的填答者認為同儕評閱是重要的;85%認為同儕評閱有助於學 術交流。在最有效率的評閱模式中,71%的填答者認為同儕評閱之雙盲制度最有 效率。意見依次為 52%單盲制、37%「出版後評閱」、26%開放式評閱制。雙盲 制之某些本質受到異議。雙盲制的公平性優點卻因稿件的引用文獻、著作主題或

29 Mark Ware, “Peer Review in Scholarly Journals: Perspective of the Scholarly Community – An International Study,” Information Service & Use, January 2008, accessed December 18, 2015, https://pdfs.semanticscholar.org/7050/9ee2d48f00b0b5ed1d471773f6c0d9b45b30.pdf

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

其他特性,而有填答者提到,這樣的模式仍然可能於被辨識出文章作者的真實身 份。

反面的看法中也提到,審稿的時程十分冗長,填答者近期內發表到接受文章 平均需要耗費 80 天。評閱時間與對期刊的滿意度存在因果關係:若縮短為 評閱 時間為 30 日內,有 67%受訪者將表示滿意,但若延長到 3 至 6 個月時將只有 為 10%受訪者表示滿意,超過 6 個月則僅 9%受訪者滿意。填答者表示擔任學術 期刊評閱者工作量已超出負荷。90%的受試者既為投稿者也任閱者,經常擔任 3.5 本 期刊或偶爾達 4.2 本期刊之評閱工作,而這些受訪者前一年評閱稿件的數量 就達 8 篇之多。

而在期刊本身的題向,有高達 76%的擔任主編的受試者表示已使用線上評 閱系統,其間以人文社會學領域僅佔 51%為最低。在稿件的退稿率中,平均為 50%(其中物理工程領域低於比率,人文社會學高於比率);在未送達評閱作業 前之形式審查階段就有 20%稿件遭到退稿(因品質疑慮、主題不符等理由)。

(三) SAS 2009 年同儕評閱調查(Sense about Science Peer Review Survey 2009)30

Sense about Science(SAS)為英國非營利組織,組織目的是為社會大眾推廣 正確科學知識。Sense about Science 認為社會大眾及學術研究者都可能對於同儕 評閱制度抱持許多疑問,於是在 2009 年以 Peer Review 為主題進行一項全球性的 調查在 2009 年 7 月至 8 月,篩選 ISI Citation Index 全球作者資料庫中隨機抽取 40000 名研究人員進行線上問卷調查,回收 4037 份問卷。除了本次問卷的調查 報告,並在 2012 年於 Journal of the American Society for Information Science and Technology 發表一篇文章為 Peer review in a changing world: An international study

measuring the attitudes of researchers,文章內容為分析全球的研究者人員對於同儕 評閱的經驗與與態度,例如:文章中提到研究人員也認為同儕評閱制度有許多問

30 Sense About Science, “Sense about Science: Peer Review Survey 2009,” accessed December 29, 2015, http://www.senseaboutscience.org/pages/peer-review-survey-2009.html.