• 沒有找到結果。

教育學門國際期刊評比之研究

N/A
N/A
Protected

Academic year: 2021

Share "教育學門國際期刊評比之研究"

Copied!
40
0
0

加載中.... (立即查看全文)

全文

(1)

教育研究集刊 第五十三輯第二期 2007年6月 頁1-40

教育學門國際期刊評比之研究

楊 深 坑 鄭 勝 耀 馬 信 行

黃 慕 萱 謝 伸 裕 楊 正 誠

摘 要

本研究旨在透過同儕審查與書目計量兩種學術期刊的評比方法,針對教育學 門的國際期刊進行評比與分級,做為臺灣教育學術界進行學術評審之用。首先, 使用問卷調查法,蒐集國內學者對於教育學門國際期刊的評比;其次,使用書目 計量分析方法,分析國內、外教育期刊引用情形,國外部分以ISI的JCR影響係數 為主,國內部分則分析近5年教育學門優良期刊的外文參考文獻引用情形;最 後,合併國內學者評價、影響係數及國內教育TSSCI期刊引用次數等3項指標, 經由群集分析將教育學門的國際期刊分為4級。本研究除將教育學門國際期刊分 為4級之外,亦提出以下6項建議:國際期刊評比宜採取多元學術評鑑方法、教育 學門國際期刊應進行後續的追蹤評鑑、發展非SSCI國際期刊的評鑑方法、提升 國內學者對於非SSCI國際期刊的熟悉度、未來國際期刊評比研究可區分次領域 進行深入評比、國內教育學門學術期刊應建立引用資料庫。

關鍵詞:國際期刊排名、教育學門、同儕審查、書目計量、SSCI

(2)

2 教育研究集刊 第53輯 第2期 楊深坑,國立中正大學教育學研究所教授 鄭勝耀,國立中正大學師資培育中心助理教授 馬信行,國立政治大學教育學系教授 黃慕萱,國立臺灣大學圖書資訊學系教授 謝伸裕,國立臺灣師範大學體育學系教授 楊正誠,國立中正大學教育學研究所博士班研究生 電子郵件為:kentcheng@ccu.edu.tw 投稿日期:2007年4月3日;修正日期:2007年5月1日;採用日期:2007年5月11日

(3)

Bulletin of Educational Research June, 2007, Vol. 53 No. 2 pp. 1-40

The Study of Evaluation of International Journals

in the Field of Education

S h e n - K e n g Ya n g S h e n g - Ya o C h e n g

H s e n - H s i n g M a

M u - H s u a n H u a n g

S h e n - Yu H s i e h

C h e n g - C h e n g Ya n g

A b s t r a c t

The purpose of the research is to establish a ranking system on international jour-nals in the field of education through peer review and bibliometrics. First, we conduct a questionnaire survey of Taiwanese scholars to ascertain their opinions of various inter-national journals. Secondly, we analyze the bibliography of the top educational journals in Taiwan to see how often articles were cited within the past five years. Thirdly, we collected journal lists from the Institute for Scientific Information and used the impact factor as one of our major criteria. Finally, we combined the outcome of impact factor, peer review from Taiwanese scholars, and the TSSCI citation frequency to rank these international journals into four levels. Through the study we suggested that there needs to be more evaluation of international journals by means of multiple academic evalua-tion methods, continuing evaluaevalua-tion of internaevalua-tional journal rankings, further develop-ment of non-SSCI evaluation methods, getting Taiwanese scholars more familiar with non-SSCI international journals, a follow-up analysis of international journal rankings in the sub-fields of education, and creating a database for a citation index of interna-tional educainterna-tional journals in Taiwan.

(4)

4 教育研究集刊 第53輯 第2期

Shen-Keng Yang, Professor, Graduate Institute of Education, National Chung Cheng University Sheng-Yao Cheng, Assistant Professor, Center for Teacher Education, National Chung Cheng

University

Hsen-Hsing Ma, Professor, Department of Education, National Chengchi University

Mu-Hsuan Huang, Professor, Department of Library and Information Science, National Taiwan University

Shen-Yu Hsieh, Professor, Department of Physical Education, National Taiwan Normal Univer-sity

Cheng-Cheng Yang, Doctoral Student, Graduate Institute of Education, National Chung Cheng University

E-mail: kentcheng@ccu.edu.tw

Manuscript received: Apr. 3, 2007; Modified: May 1, 2007; Accepted: May 11, 2007

Keywords: international journal ranking, the field of education, peer review, bibliometrics, SSCI

(5)

壹、緒 論

近年來我國教育學術研究風氣日盛,研究成果倍增,在國際期刊發表論文者 也日益增加,兼以教授升等、研究獎勵與高等教育評鑑也大多以國際期刊論文數 量為重要的評鑑指標之一,因此國際期刊的重要性與影響力與日俱增。唯國際期 刊良莠不齊、水準不一,為避免登上國際期刊之論文即為優秀論文的錯誤印象產 生,有必要對國際期刊進行評比與分級,以供學界衡鑑學術品質之參照。 然而,由於教育學門相關的國際期刊數量繁多,且各刊物在論文評審機制、 研究績效評估與成果影響等方面之評鑑標準未盡相同,往往造成學術研究績效評 比上的困難,倘若只以研究發表的「數量」為考量的唯一標準,往往容易忽略論 文研究「品質」的把關。因此,為求有效激勵國內教育學研究者的研究動能、真 實評量學術研究的努力與品質、肯定並嘉獎高水準的研究成果,同時也確立研究 成就的標竿和努力方向,實有必要對於教育學門國際期刊進行綜合型評估,希望 能夠統合主客觀評比,充分反映國際研究的水準,也兼顧國內學術界的特殊生 態,發展出適合國內教育學門學者使用與參考的國際期刊排名,進一步激勵國內 學者提升研究的質與量,與當代國際學術發展產生對話與接軌。 教育學門雖曾於1997年5月至1998年4月間,由馬信行在國科會委託下進行專 題研究,對國內教育學門相關期刊進行第一次的評比排序(馬信行,1999)。隨 後,黃毅志等人也於2002年11月至2003年7月,同樣在國科會委託下對國內教育 學門學術期刊進行第二次的評比排序(黃毅志等,2004)。然而,目前國內教育 學界對於國外教育期刊的研究相當少,相關論文也大多以文獻探討的方式進行國 際期刊的論述性分析,例如,高建民(2004)曾經以論述性的方式探討學術期刊 評選與學術評鑑,進而論述教育學門在「社會科學引用索引」(Social Sciences Citation Index, SSCI)及「藝術及人文科學引用索引」(Arts and Humanities Cita-tion Index, A&HCI)兩資料庫的期刊現況與相關省思,可惜該研究侷限於介紹兩 種資料庫,欠缺提供國內教育研究生態與國際研究對話的討論。

(6)

6 教育研究集刊 第53輯 第2期

制度,以做為國內教育學術界進行學術評審之用。為達成上述目的,本研究首先 透過文獻探討,分析書目計量(bibliometrics)、影響係數(impact factor)與同儕 審查(peer review)做為期刊評比方法的可能性與限制。其次,整合同儕審查與 書目計量兩種學術期刊評比的方法,合併國內學者對於教育學門國際期刊的評價 及影響係數,和國內臺灣社會科學索引(Taiwan Social Sciences Citation Index, TSSCI)教育期刊對於國際期刊的引用,針對教育學門國際期刊進行評比與分 級,以期建立適合國內學術評鑑的教育學門國際期刊評比結果,進而做為未來國 內教授升等、研究獎勵與高等教育評鑑之參照。

貳、文獻探討

學術界著重研究之品質與水準,當研究數量達到一定程度之後,如何追求更 高品質的研究成果係提升競爭力之重要指標。目前的學術評鑑評比方法為求客觀 公正,主要採取「質」與「量」並重的方式進行,其中最具代表性的便是同儕審 查與書目計量,前者為質化的專家評鑑,後者則是以數量來表現品質的引文分析 方法。本節首先針對同儕審查與書目計量的意義、內涵,與兩者間之關聯性進行 文獻分析,其次則對於國內外期刊評比之相關研究進行文獻回顧,最後進行綜合 討論。

一、同儕審查

同儕審查又稱為專家評鑑,可界定為政策制定者從相關領域專家中尋求建 議,並依據專家意見進行評斷,以改善既有的問題或缺失(Kruytbosch, 1989: 69),通常應用於研究計畫申請的審查、出版品的審查、研究成果的審查、學位 與職級的審查,以及研究機構運作的審查(劉益東,1998)。英國每4年舉辦一次 的學術評鑑(Research Assessment Exercise, RAE)是全球公認最有公信力的同儕 審查制度。英國的RAE制度認為評鑑如果缺乏專家判斷,其結果將缺乏可靠性。 曾經參與RAE評鑑的Robert(2003)也認為評鑑委員應掌握書目計量及自我評鑑 之資料,以做為評鑑之參考。雖然同儕審查可能會受到審查者的知識層次、研究

(7)

興趣及主觀認知等因素之影響,但在講求評鑑品質之學術評鑑指標上,同儕審查 是一個社會接受度較高的指標,無論是聘任、升等或傑出獎項之評選,大多均由 專家所組成之小組進行審查。 Campbell(2002)指出,同儕審查在學術品質的判斷上是相當重要的步驟, 透過同儕審查進行學術評鑑,能夠整合評鑑時所遭遇的困難。然而,同儕審查係 依據專家本身對品質的主觀判斷,不同於客觀的量化指標,可能產生人為因素的 偏誤,這些偏誤可能包含:聲譽的影響力大過於客觀的成果、審查者給予曾經 發表期刊較高的評比、在進行判斷時過度依賴外在因素、審查者僅在某一研究 領域是專家,然在其專業外的其他次領域知識卻顯得相當貧乏等問題(Thomas & Watkins, 1998)。此外,同儕審查在時間與金錢上的大量花費,亦為人所詬 病。

同 儕 審 查 除 了 上 述 的 缺 點 之 外 , Martin ( 1996 )、 Meho 與 Sonnenwald (2000)也從評鑑者、評鑑標準及社會認知三種角度進行同儕審查的批判:第 一,審查者可能缺乏足夠的知識,以致於在評鑑的過程中產生偏誤;第二,不同 的審查者對於學術表現有不同的評鑑標準,因此,不同的審查者之間的評鑑標準 往往不一致;第三,在不同的認知與社會位置上,審查者可能會對論文的品質與 科學貢獻做出不同的評價。 由於同儕審查的諸多問題,使得相關研究者開始思考運用書目計量方法進行 客觀的評量,或嘗試結合同儕審查與書目計量方法,使兩者所得到的結果能夠互 為補充及印證。

二、書目計量

書目計量最常使用的分析方法為引用分析,亦即使用量化的統計分析以瞭解 某一知識領域的發展、傳播與使用狀況,更可運用於評鑑期刊之價值與觀察學科 之間的相互關係(蔡明月,1987)。目前書目計量的重要使用工具為E. Garfield於 1958年在美國科學資訊研究所(Institute for Scientific Information, ISI)所建置出 版的「科學引用索引」(Science Citation Index, SCI)、SSCI及A&HCI等跨學科之 書目計量資料庫,其根據引用概念,假定一篇文獻被他人引用是因為該篇文獻對

(8)

8 教育研究集刊 第53輯 第2期 該主題具有重要性及影響力,且每一篇被引用的重要性均相同,因此一篇文獻被 引用的次數愈多,愈能顯示該文獻的重要性。期刊影響係數與引用計次(citation count)之評比指標即建立在此假設上,常被用來評估期刊的重要性、影響力與 品質。 影響係數係指某一期刊在最近兩年內被引用的次數,除以該期刊兩年內刊載 的篇數,所得到的平均引用比率數。引用次數係指某一文獻在特定期間內被引用 的總次數。在大規模樣本下,影響係數不僅可顯示期刊在該領域的地位,亦可做 為品質衡量的指標(Sen, 1992),而引用次數的多寡代表期刊對該學術領域的影 響力,現已成為學術界評鑑期刊影響力之重要依據。 使用引用排名(citation ranking)或引用計次做為評估研究品質的工具,其 理論基礎建立於「引用是對於學術作品的價值、品質與影響力的肯定」(Cole & Cole, 1967, 1968)。然而,也有許多學者對於引用計次做為研究品質的評量標準 進行深入討論或批判。部分學者認為引用分析是不可缺少的學術評鑑工具,然 而,也有學者批判引用分析具有一些嚴重的問題與限制(MacRoberts & Mac-Roberts, 1996; Seglen, 1998)。 引用分析最重要的限制集中於引用計次與引用資料庫的本質性問題。引用計 次無法提供學術作品受到引用的原因,因為學術引用很可能受到時間、發表數 量、取得性、能見度、作者職等、自我引用、同儕引用等因素的影響。引用計次 分析也無法呈現被引用之論文究竟在其他論文中是受到批判或是肯定。此外,國 際重要的期刊論文引用資料庫所涵蓋的期刊大多為主流國家出版的期刊,如ISI 資料庫大部分收錄以英文做為寫作語言的期刊,涵蓋的層面不夠廣泛(Meho & Sonnenwald, 2000: 125)。 雖然引用計次分析有許多限制與缺失存在,不過引用計次做為學術評鑑的方 法仍有其重要性。誠如Koenig(1983: 61)所指出: 除了引用計次與引用排名計算過程的模稜兩可之外,引用計次方法仍舊是 一個評量學術「生產力」、「顯著性」、「品質」、「一致性」、「影響力」的相 對客觀評量指標。

(9)

然而,單以影響係數與引用計次做為評估期刊影響力之依據仍有偏頗,因為 影響係數本身存在著許多問題,這些問題包括:(一)影響係數無法考慮期刊彼 此間規模、出版頻率及刊齡的差異;(二)影響係數的大小並無法完全代表期刊 之重要性;(三)影響係數沒有考量不同學科領域之間引用方式與習慣的差異; (四)未被ISI資料庫收錄的期刊無法進行相互比較(劉京玫,2001)。 就引用計次而言,也涵蓋許多的限制與問題。這些問題包含:用而不引、基 於偏見的引用、二手資料的引用、無法引用非正式的資訊來源、自我引用、對引 用文獻忽略或遺漏、技術上的限制、學科領域大小、語文不同之障礙、負面批評 引用及跳過二手資料直接引用等(傅雅秀,1999)。這些干擾因素透露出引用分 析做為學術評鑑指標的問題,亦即單以量化指標做為期刊評比的依據仍嫌不足。

三、同儕審查與書目計量之關係

基於上述的文獻探討,可以理解同儕審查與書目計量之間的關係仍不明確, 事實上,相關實證研究的結果也無法完全說明同儕審查與書目計量之間的關係。 部分研究發現書目計量的評鑑結果與同儕審查的評鑑結果之間具有高度關聯性, 例如,Oppenheim(1995)以引用次數分析1992年RAE之圖書資訊學學者的著 作,以及Norris與Oppenheim(2003)以引用次數分析2001年RAE的考古學學者 的著作,結果發現引用次數指標與同儕審查指標之評鑑結果具有高度相關。 Meho及Sonnenwald(2000)針對5位資深庫德爾社會科學家的研究發現,以及 Rinia、van Leewen、van Vuren與van Raan(1998)對荷蘭56個物理學研究計畫之 研究,也顯示以引用分析做為學者研究成果之評量指標是有效的,與同儕審查結 果之間具有高度相關性。另外,Garfield與Welljams-Dorof(1992a, 1992b)的研 究發現,諾貝爾獎得主的期刊文章被引用的比率非常高,因此認為簡單、客觀的 書目計量指標能夠有效確認,甚至可預測複雜、主觀的專家評鑑指標。 然而,也有學者認為同儕審查與書目計量之間的關係仍有待確認,Aksnes與 Taxt(2004)針對挪威Bergen大學34個研究群所進行的學術評鑑研究,以及 Makino(1998)針對日本學術研究社群所進行的分析,並未發現引文分析指標 與同儕審查指標之間有高度關聯性存在,並指出書目計量指標不能取代同儕審

(10)

10 教育研究集刊 第53輯 第2期 查。另外,根據Nederhof(1988)的研究發現,同儕審查與書目計量分析之間的 關聯性也具有一定程度的落差,在其專題研究當中的挪威大學個案,海洋生物學 領域受到同儕審查的評鑑結果為「中等」,但是書目計量分析的結果卻顯示,該 領域有著高度的學術生產力與引用率。同樣地,動物學領域接受同儕審查的評價 為 「 中 等 」, 但 卻 也 有 很 高 的 學 術 生 產 力 及 引 用 率 。 不 過 , Aksnes 與 Taxt (2004)針對挪威Bergen大學化學領域的研究結果則與前述情形相反,該領域被 同儕審查為「非常好」,但在書目計量分析的評鑑結果並不佳。事實上,該領域 之所以能夠獲得同儕審查的高度評價,是由於該領域與工業界之間的研發合作關 係,然而這樣的貢獻並無法反映在書目計量分析上。 由於執行評鑑的審查者也是被評鑑者的「學術同儕」,因此同儕審查常被質 疑的缺點,除了可能有主觀性外,尚有可能不清楚新進研究者之研究成果,或是 因本身知識背景的限制,而不熟悉某些次領域的研究現況。加上跨領域及新興學 門的不斷出現,更使得評鑑專家因無法掌握全面資訊,而有必要參考被評鑑者過 去之成果,例如近5年內的著作出版,因此,書目計量資訊成為同儕審查的重要 參考。Raan(1996)便認為同儕審查與書目計量分析並非完全各自獨立的評鑑方 式,在某種程度上,這兩種方法具有相輔相成的效果。 透過上述的文獻探討與研究回顧,引出一項重要議題,即同儕審查與書目計 量之間的相關性與可比較性的辯證。一般而言,研究者都會期望同儕審查與書目 計量之間具有相關性。然而,事實上同儕審查與書目計量之間不盡然具有相關 性,且各自有其學術評鑑的盲點與限制。因此,在學術評鑑的過程中,若能共同 參考同儕審查與書目計量的分析結果,將是一種更具整體性的學術評鑑方法 (Aksnes & Taxt, 2004: 39-40)。

四、國際期刊評比之相關研究

(一)美國科學資訊研究所的期刊排序資料庫

ISI為一具有全球影響力的期刊排序資料庫研究中心,蓋因其所出版的期刊 引用報告(Journal Citation Report, JCR)與影響係數為目前全球學術界最重要的 學術評鑑工具。影響係數為Garfield於1958年所提出,透過ISI所建置出版的

(11)

SCI、SSCI及A&HCI等跨學科之書目資料庫,進行期刊論文的引用次數量化分析 所得之學術評鑑指標。影響係數假定一篇文獻被他人引用是因為該篇文獻對該主 題具有重要性及影響力,且每一篇被引用的重要性均相同,因此一篇文獻被引用 的次數愈多,愈能顯示該文獻之重要性。 事實上,影響係數係指某一期刊在最近兩年內被引用的總次數,除以該期刊 兩年內刊載的總論文篇數,所得到的平均引用比率數。在大規模的樣本下,影響 係 數 不 但 能 夠 顯 示 期 刊 在 該 領 域 的 地 位 , 亦 可 做 為 品 質 衡 量 的 指 標 ( Sen, 1992),因此,影響係數的高低與引用次數的多寡代表期刊對該學術領域的影響 力,現已成為學術界評鑑期刊影響力之重要依據。 影響係數具有高度的可取得性及可運用性,影響係數愈高的期刊,發表於其 中的論文品質與影響力也被視為愈高(Bordens, Fernandez, & Gomez, 2002: 195)。影響係數的優點雖然很多,但也有許多為人詬病的缺點。Bordens等人 (2002)即指出,影響係數使用ISI資料庫所收錄期刊做為分析對象,對於一些 非核心國家並不公平,因為這些非核心國家的期刊大多無法被收錄於ISI的資料 庫當中(Arunachalam & Manorama, 1988; Osareh & Wilson, 1995)。在這些非核心 國家當中,只有最為國際化的科學作品或是期刊才能被收錄於ISI的資料庫當 中,但即使被收錄於這些資料庫當中,這些非核心國家期刊的影響係數還是相當 的低(Bordens et al., 2002: 196)。Bordens等人(2002)進一步指出,邊緣國家的 本土期刊雖然很少被納入ISI的資料庫當中,但是這些期刊對於邊緣國家的本土 取向學術領域而言,扮演相當重要的學術研究與知識傳播的角色,這些領域的期 刊影響力分析,有必要合併考量ISI資料庫與本土期刊的資料庫(Bordens et al., 2002: 203)。

(二)西班牙的教育學術期刊評比研究

西班牙著名大學Universidad de Granada, Granada的教育學院(Facultad de Ciencias de la Educacion)中的A. Fernández-Cano與Á. Bueno兩位教授曾經在2002 年針對西班牙本土教育學術期刊進行評比。西班牙國內有超過20種的本土教育 學術期刊,定期出版研究論文,不過這些教育學術期刊彼此之間缺乏明確的區

(12)

12 教育研究集刊 第53輯 第2期

別與劃分(Fernández-Cano & Bueno, 2002: 87)。因此,Fernández-Cano與Bueno (2002: 87)兩位教授認為:「西班牙應當在這些近幾年內大量擴張的學術出版品 當中,選取出重要的、高品質的國家級期刊」。 Fernández-Cano與Bueno(2002: 88)在進行西班牙教育期刊評比的過程中, 提出四項教育期刊評比的結論:1.要將週期性、刊載實證研究論文報告的期刊與 那些新聞報導、知識傳播性質的期刊進行區分並不容易;2.西版牙教育學術期刊 的評比研究應當視為一種長期性、縱貫性的研究,因為學術期刊會隨著時代變遷 而改變或進步;3.雖然目前已經有部分學術期刊評比研究使用質性方法,針對期 刊的歷史文化特色進行評價,但是對於學術期刊的多元評價模式的建構,以達成 更合理的評比方法依然不足;4.對於學術期刊的評比與排序,應當透過多元的比 較評鑑,以做為選取教育領域核心期刊的參考指標。 透過上述四項對於教育期刊評比的思考,Fernández-Cano與Bueno(2002: 88-89)綜合過去科學期刊評比的相關研究,提出科學期刊評比的普遍性模式,以做 為評比西班牙教育期刊的重要參考,如圖1所示。 圖1 科學期刊評比的普遍性模式 資料來源:出自Fernández-Cano與Bueno(2002: 88)。 1.期刊聲望的調查資料 2.期刊常模 3.科學引用分析 期刊的影響力

(13)

1.期刊聲望 指的是透過對於專家與讀者的問卷調查,以獲得對於科學期刊評價認可程度 的統計數據。 2.期刊常模 指的是對於科學期刊出版的國際標準,這樣的標準通常是由國際性組織提 出,例如,UNESCO或ISI等,這些組織會發展出期刊常模檢核表,透過檢核表 來評價期刊的資訊、編輯狀況與審查情況是否符合專業期刊的標準。 3.科學引用分析 透過科學引用分析的方式,瞭解期刊的生產力與影響力,最著名的便是美國 ISI所出版的JCR對於國際期刊的影響係數報告。 前述科學期刊評比模式的三項指標被視為能夠建構「期刊品質」的重要指 標。自從ISI的Garfield分析引用次數而成的影響係數後,引用指標已經成為最普 遍的科學期刊評鑑指標。雖然引用分析作為期刊評鑑的工具受到學者的廣泛討論 與批判,ISI每年仍然使用影響係數進行期刊的等級劃分與期刊引用報告的出 版。ISI的期刊引用報告最大的缺點便是沒有非核心國家(例如,西班牙)的期 刊引用數據,換句話說,沒有辦法做為非核心國家的期刊評鑑之用(Fernández-Cano & Bueno, 2002: 89)。Fernández-Cano與Bueno(2002: 91-92)兩位教授在本 研究當中,由於人力、物力的限制,採取一種探索式研究的概念,透過教育期刊 評比的問卷建構,設計包含22本西班牙教育學術期刊的研究問卷,針對西班牙國 內教育社群進行問卷調查,以瞭解教育學術社群對於這些期刊的評價,並做為期 刊聲望的量化指標,進而評鑑西班牙的教育學術期刊。研究對象為西班牙各大學 教育研究社群的所有成員,共發出323份問卷,回收112份可用問卷,回收率為 35%(Fernández-Cano & Bueno, 2002: 93-94)。

Fernández-Cano與Bueno(2002)的研究結果選出10本西班牙品質最佳的教 育期刊,不過,兩位教授也反省所採取的研究方法的限制,認為期刊評鑑不應當 依賴單一的評鑑指標(Fernández-Cano & Bueno, 2002: 91-92)。因此,在研究 建議的部分,研究者反省礙於人力、物力未能落實科學期刊評比的普遍模式, 以獲得對於教育期刊評比的多元評價指標,認為是未來研究可以努力的方向

(14)

14 教育研究集刊 第53輯 第2期

(Fernández-Cano & Bueno, 2002: 100)。

五、綜合討論

經過前述的文獻探討,可以理解在學術評鑑的過程中,不論單以同儕審查或 書目計量做為學術品質的評鑑指標均有其限制。同儕審查的主觀性偏誤、資源消 耗、標準不一及認知差異等,為其長久以來的限制。書目計量方法當中最常運用 的影響係數亦存在期刊規模、資料庫收錄與否、語言差異和學科差異等限制。 因此,書目計量無法完全取代同儕審查,因同儕審查的微觀、質化分析可以 補足書目計量的鉅觀、量化可能忽略的評鑑層面。若要實質改善決策過程,書目 計量與同儕審查均為不可或缺的要素(Aksnes & Taxt, 2004),在進行期刊評比的 過程中,兩者相輔相成所得到的評鑑結果能夠更加反映真實情形。 而各學門在評比國際期刊經常使用的影響係數指標,因其主要建立在ISI期 刊資料庫的引用次數分析,無法反應國內對於教育學門國際期刊的引用狀況,誠 如Bordens等人(2002)所指出,非核心國家的本土期刊雖然很少被納入ISI的資 料庫當中,但是這些期刊對於本土取向的領域而言,扮演重要的學術研究與知識 傳播角色。因此,教育學門國際期刊的影響力分析,實有必要合併考量ISI資料 庫與本土期刊資料庫的引用結果。 經由上述的文獻探討與分析,本研究為增加國際期刊排序之本土實用價值, 在評比的過程中,特別考量下列三項重點:

(一)合併考量同儕審查與書目計量做為評比指標

本研究所進行的教育學門國際期刊評比研究,除了將ISI當中SSCI的收錄期 刊影響係數視為重要評比指標外,也透過嚴謹的問卷設計與調查程序,瞭解國內 學者對於教育學門國際期刊的評價,以適度平衡國際期刊資料庫的引用次數分 析,以及本土的同儕審查對於國際期刊的評比效果。

(二)合併考量國際期刊資料庫與本土期刊資料庫的引用次數做為

評比指標

本研究所進行的教育學門國際期刊評比研究,除了將ISI當中SSCI的收錄期 刊影響係數視為重要評比指標外。基於考量影響係數所代表的為英語學術社群對

(15)

於教育學門國際期刊的引用結果,增加考量國際期刊對於臺灣教育研究學群的影 響力。因此,本研究的期刊評比方法也合併考量國內TSSCI的本土期刊對於國際 期刊的引用次數,以適度平衡國際期刊資料庫與本土期刊資料庫的引用次數分析 結果。

(三)合併考量多元的教育學門國際期刊

基於對於核心與非核心國家教育學門國際期刊的合併考量,本研究所進行的 教育學門國際期刊評比研究,除了針對ISI中SSCI所收錄的教育學門國際期刊進 行評比之外,也增加對於其他國家(法國、德國)、語言(法文、德文)的教育 國際期刊進行評比,以瞭解目前非SSCI教育國際期刊之品質與現況。

參、研究設計

基於上述文獻探討所提出的三項評比重點,本研究的研究設計,將合併使用 同儕審查與書目計量兩種方法,針對教育學門國際期刊進行評比。在同儕審查的 部分,本研究使用問卷調查法,蒐集國內學者對於教育學門國際期刊的評比。在 書目計量的部分,則綜合考量國外引用與國內引用,國外引用以ISI的JCR影響係 數為主。國內引用部分,則分析近5年國內教育學門TSSCI期刊,對於外文參考 文獻的引用次數。最後,本研究將合併國內學者評價、影響係數及國內教育 TSSCI期刊引用次數三項指標,將教育學門國際期刊進行分級。

一、選取納入評比的期刊

美國ISI每年均出版科學領域及社會科學領域的期刊引用報告,其中教育學 門國際期刊主要收錄於社會科學領域期刊引用報告當中。因此,本研究在納入評 比期刊的選取上,首先便以美國ISI2004年社會科學期刊引用報告(JCR Social Sciences Edition 2004)當中的教育與教育研究領域(Education & Educational

Re-search),以及特殊教育領域(Education, Special)所收錄的教育學門國際期刊,

做為主要納入評比的國際期刊,共計110本。隨後,本研究在2006年2月26日邀請

(16)

16 教育研究集刊 第53輯 第2期 表1 教育學門專家座談與會名單 姓名 職稱 專長領域 楊深坑 國立中正大學副校長 教育哲學、比較教育、科技哲學、科 學理論 馬信行 國立政治大學教育學系教授 教育社會學、教育研究法、行為改變 技術 鄭勝耀 國立中正大學師資培育中心助理教授 比較教育學、教育社會學、原住民教 育、高等教育 謝文全 國立臺灣師範大學教育學系教授 教育行政、學校行政、比較教育行 政、組織行為 王秋絨 國立臺灣師範大學社會教育系教授 成人教育、比較師資培育、成人文化 素養教育 宋曜廷 國立臺灣師範大學教育心理與輔導學系 副教授 教育心理學、認知心理學、數位學習 共同討論,決定教育學門國際期刊加入德文、法文及未獲2004年JCR收錄的優良 英文期刊,共計32本。因此,本研究納入評比的教育學門國際期刊共計有142 本。 在本次專家座談會議中,經過與會學者的共同討論後,將教育學門國際期刊 區分為17個主要領域,包含:綜合類、教育哲史與理論、教育心理學、課程與教 學、教育科技、藝術教育、幼兒教育、特殊教育、技職教育、師資培育、高等教 育、比較教育、初等及中等教育、成人及社會教育、教育行政與政策、教育研究 法、教育社會學。

二、教育學門國際期刊品質的評比與分級方法

本研究之研究方法基於文獻探討的理論基礎,強調以下三項重點:(一)合 併考量同儕審查與書目計量做為評比指標;(二)合併考量國際期刊資料庫與本 土期刊資料庫的引用次數做為評比指標;(三)合併考量多元的教育學門國際期

(17)

刊。因此,在期刊學術水準的評比上,主要根據上述三項重點,區分為三項指 標,分別是:國內學者評價、影響係數與國內TSSCI教育期刊引用次數。其中, 國內學者評價視為主觀評比指標,影響係數與國內TSSCI教育期刊引用次數視為 客觀評比指標,最後合併主、客觀評比指標,以群集分析(cluster analysis)方 法進行教育學門國際期刊之分級。 其次,本研究參考Fernández-Cano與Bueno(2002: 88)綜合過去科學期刊評 比的相關研究,所發展之科學期刊評比模式,將期刊的影響力分為期刊聲望調查 資料、期刊常模與科學引用分析(請參見圖1)。進而將之轉為圖2的教育學門國 際期刊評比模式,期刊調查資料即為主觀評比指標:國內學者評價,期刊常模為 客觀評比指標:影響係數,而科學引用分析則為客觀評比指標:國內期刊引用 數。 圖2 教育學門國際期刊評比模式

(一)主觀評比指標:國內學者評價

為了確保多數受訪者都能對受評價的國際期刊有一定程度的瞭解,並避免因 為接受施測的學者人數過多,致使資料蒐集成本太高,本研究的國內學者評價的 資料蒐集,只針對最近3年(2003-2005)內曾經申請過國科會教育學門研究計畫 主觀評比指標:國內學者評價 客觀評比指標:影響係數 客觀評比指標:國內期刊引用數 教育國際期刊品質

(18)

18 教育研究集刊 第53輯 第2期 的學者,進行郵寄問卷的調查。 在問卷當中,主要請受訪學者針對列入評比期刊的學術水準,在「水準很 高」、「水準高」、「水準平平」、「水準低」、「水準很低」及「不熟悉,無法評定」 6個選項中,勾選適合的選項。 各國際期刊國內學者評價指標的建立,首先要根據學者對於6個選項所進行 的勾選,「不熟悉,無法回答」一欄為缺失值,「水準很高」為5分,「水準高」為 4分,「水準平平」為3分,「水準低」為2分,「水準很低」為1分,以此計算學者 對於教育學門國際期刊評價的平均分數。

(二)客觀評比指標:影響係數與國內TSSCI教育期刊的引用次數

除了主觀評比指標之外,本研究以ISI在2004年出版的期刊引用報告(JCR) 所刊載的教育學門國際期刊影響係數做為客觀評比指標之一。 其次,本研究亦針對國內在2001年至2005年所出版的TSSCI教育學術期刊, 調查其引用教育學門國際期刊的次數,進行計次分析。而在國內TSSCI教育學術 期刊的選取標準部分,主要是以2006年1月列入TSSCI的教育學術期刊為主(請 參見表2)。 表2 計次分析所使用之教育學門國內TSSCI期刊 期刊名稱 主要研究領域 教育研究集刊 綜合類 師大學報:教育類 綜合類 教育與心理研究 綜合類 當代教育研究 綜合類 教育學刊 綜合類 臺灣教育社會學研究 教育社會學 特殊教育研究學刊 特殊教育 教育心理學報 教育心理 教育政策論壇 教育行政與政策 課程與教學 課程與教學 藝術教育研究 藝術教育

(19)

本研究針對國內TSSCI教育學術期刊引用教育學門國際期刊的次數進行計次 分析。目的在於計算近5年內(2001-2005)教育學門國際期刊被國內TSSCI教育 學術期刊引用的次數,以建構教育學門國際期刊平均每篇論文被國內TSSCI教育 學術期刊引用的次數,做為本研究的第二項客觀評比指標。

(三)主客觀評比綜合指標:期刊評比總分

本研究參考Fernández-Cano與Bueno(2002: 88-89)所發展的科學期刊評比模 式,將期刊的影響力分為期刊聲望調查資料、期刊常模與科學引用分析。期刊調 查資料即為國內學者評價,期刊常模則為影響係數,而科學引用分析則為國內期 刊引用次數。因此,本研究以影響係數做為評比教育學門國際期刊的主要指標, 國內學者的評價及國內TSSCI教育學術期刊的引用次數做為輔助評比教育學門國 際期刊的指標。 其次,由於文獻探討與專家座談的結果均指出兼顧國際與國內觀點的必要 性,因此將代表國際化的影響係數之權重設為2,國內方面則以國內學者評價與 國內期刊引用次數之權重各設為1,因此在權重的比例上,影響係數、國內學者 評價與國內期刊引用次數為2:1:1。國際觀點(影響係數)與國內觀點(國內 學者評價+國內期刊引用次數)之權重比例則為2:2。這樣的權重比例,除了能 夠兼顧期刊聲望調查、期刊常模與科學引用的權重均衡性之外,也能滿足國際觀 點與國內觀點的權重均衡性。 而在教育學門國際期刊的總分計算層面,本研究首先將影響係數、國內學者 評價與國內期刊引用次數三項評比指標的原始分數經過統計分析轉換為Z分數。 其次,將影響係數的Z分數乘以兩倍,將國內學者評價的Z分數乘以一倍,國內 TSSCI教育學術期刊引用次數的Z分數乘以一倍,再進行加總所獲得的總分,即 為各教育學門國際期刊所獲得的評比總分。其計算公式如下: 教育學門國際期刊評比總分=影響係數Z分數×2+國內學者評價Z分數×1 +國內TSSCI教育學術期刊引用次數Z分數×1

(20)

20 教育研究集刊 第53輯 第2期

(四)期刊分級:群集分析

在建立教育學門國際期刊評比總分之後,會有一些期刊在總分上的差距很 小,不容易區分出何者較佳,因此,需要將分數相近的若干國際期刊合併而成若 干等級,同級的期刊可視為具有類似的學術水準(馬信行,1999;章英華、黃毅 志、呂寶靜,2000;黃毅志等,2004)。本研究即以群集分析方法,將所有的教 育學門國際期刊進行等級區分,以選取最適配的分級結果。並且進一步使用區別 分析(discriminant analysis)方法,計算群集分析的正確百分比率。

三、問卷編制過程

本研究所編制的問卷,主要是參考過去國內學術期刊評比的相關研究成果與 經驗(馬信行,1999;章英華等,2000;黃毅志等,2004),進行本研究預試問 卷的建構,初步規劃研究問卷之架構。其次,於2006年2月26日與6位專家學者進 行專家座談,針對預試問卷的內容進行討論,並選取應當列入問卷當中的教育學 門國際期刊,進一步確認研究問卷的選取變項、整體形式。最後則根據專家學者 所提出的意見,修正問卷,做為本研究之正式調查問卷。

四、正式調查過程與回收樣本分布

(一)回收樣本分布

本研究於2006年3月1日開始,至2006年4月30日為止,共計兩個月的時間, 以電子郵件與紙本郵寄兩種方式,將812份學者問卷寄給符合研究條件的對象進 行調查,經過不斷催收與補寄遺失問卷之後,最後回收的有效問卷共183份,回 收率22.5%。由於本研究旨在透過學者對於教育學門國際期刊的主觀評價做為評 比教育學門國際期刊品質的評比指標之一,因此,取樣學者的研究專長與研究方 法的平均性相當重要。表3與表4為本研究回收樣本之研究專長與專長研究方法的 人次與百分比分布情況,均為複選題的分析結果。 在回收樣本的研究專長分布部分,除了教育科技、藝術教育與技職教育專長 的學者較少外,其餘各研究專長領域均在11人次以上,顯示回收樣本在各研究專 長領域的分布頗為平均。而在回收樣本的專長研究方法分布部分,無論是理論探

(21)

討、量化研究與質化研究均有50人次以上,應具有一定程度之代表性。 表3 回收樣本之研究專長分布 研究專長 人次(百分比) 教育哲史與理論 19(10.4%) 教育心理學 32(17.5%) 課程與教學 49(26.8%) 教育科技 8( 4.4%) 藝術教育 2( 1.1%) 幼兒教育 20(10.9%) 特殊教育 31(16.9%) 技職教育 6( 3.3%) 師資培育 28(15.3%) 高等教育 11( 6.0%) 比較教育 11( 6.0%) 初等及中等教育 18( 9.8%) 成人及社會教育(含親職教育、家庭教育) 19(10.4%) 教育行政與政策(含教育經濟學) 28(15.3%) 教育研究法(含測驗統計) 28(15.3%) 教育社會學(含教育人類學、多元文化教育) 22(12.0%) 其他 11( 6.0%) 表4 回收樣本之專長研究方法分布 專長研究方法 人次(百分比) 純理論探討與詮釋 51(27.9%) 量化的經驗研究 112(61.2%) 質化的經驗研究 87(47.5%)

(22)

22 教育研究集刊 第53輯 第2期 由於樣本回收率略低,因此使用T檢定與ANOVA,檢驗不同背景變項的國內 學者對於每一國際期刊評價的差異性。這些背景變項包含:任職單位、擔任職 位、最高學位國家、其他發表語言、國際發表篇數。統計考驗的分析結果發現不 同背景的國內學者對於絕大多數的國際期刊的評價並未具有顯著性的差異,換言 之,背景變項並沒有影響國內學者對於國際期刊的評價,這樣的結果也顯示出, 本研究的問卷回收率雖然略低,但研究樣本的同質性相當高,因此回收資料具有 一定程度的代表性。

五、測量品質分析

本研究進一步對於評比指標的測量品質進行分析,首先以各指標之間的一致 性進行信度分析。其次,由於區別分析能夠透過觀察值在自變項之線性方程組 合,瞭解觀察值在依變項上分類的正確性(王保進,2004:132),因此本研究使 用區別分析,以國際期刊的主、客觀評比指標做為自變項,群集分析的分組結果 做為依變項,以瞭解國際期刊群集分析的正確百分率,以期能夠進一步確認本研 究之主、客觀評比指標做為群集分析的測量變項的測量品質。 本研究根據各項期刊評比指標之間的相關係數(r),分析各指標的一致性信 度,包括了Cronbach’s alpha內部一致性信度。內部一致性信度的計算,需要符合 指標所測量到的是單一向度的條件,因此需要先使用因素分析,以檢視是否符合 單一向度(黃毅志等,2004:163;Carmines & Zeller, 1979)。

從表5的各項指標相關係數,可知教育學門國際期刊的國內學者評價與國內 期刊引用次數的相關係數達到顯著水準,為.207。教育學門國際期刊的影響係數 與國內學者評價的相關係數亦達到顯著水準,為.280。教育學門國際期刊的影響 係數與國內期刊引用次數的相關係數亦達到顯著水準,為.265。 本研究根據這三項評比指標進行因素分析,以主成分法抽取因素,只抽取一 個特徵值大於1的因素,其特徵值為1.502,能解釋三個指標的變異達50.08%(請 參見表6)。所計算出來的Cronbach’s alpha值為.5008,尚具不錯的水準。

(23)

表5 教育學門國際期刊各項評比指標相關係數 國內學者評價 國內期刊引用次數 影響係數 評比總分 國內學者評價 1.00 .207* .280** .602** 國內期刊引用次數 .207* 1.00 .265** .593** 影響係數 .280** .265** 1.00 .868** 評比總分 .602** .593** .868** 1.00 *P<.05;**P<.01;N=110 表6 教育學門國際期刊各項評比指標因素分析 因素一 國內學者評價 .695 國內期刊引用次數 .680 影響係數 .746 特徵值 1.502 解釋變異 50.08% 其次,教育學門國際期刊經過群集分析後,所選取之最為適配的分級結果為 4級,因此本研究將教育學門國際期刊區分為4個等級。區別分析的考驗結果指 出,有99.1%的原始檔案資料獲得正確的分類,顯示群集分析的分級區別性相當 良好。

肆、研究結果分析與討論

本研究根據文獻探討建立教育學門國際期刊評比架構,綜合考量主、客觀評 比指標,亦即合併影響係數、國內學者評價、國內期刊引用次數三項指標,經過 加權分析計算後,使用群集分析對於教育學門國際期刊的學術水準加以分級,將 教育學門國際期刊區分為4級。

(24)

24 教育研究集刊 第53輯 第2期

一、第一級教育學門國際期刊名單

教育學門經過群集分析的分級之後,最後得到4個等級,評價最高的第一級 教育學門國際期刊有3本,評比總分最高為10.53,最低為5.66,第一級教育學門 國際期刊的評價總分均值為8.369。評為第一級之期刊名單如下:

1.《Review of Educational Research》(USA/SSCI)(10.53)(綜合) 2.《Journal of the Learning Sciences》(USA/SSCI)(8.92)(教育心理學) 3.《Learning and Instruction》(UK/SSCI)(5.66)(教育心理學)

這3本期刊除了《Review of Educational Research》為綜合類外,其餘2本為教 育心理學類。這3本期刊獲得高分的主要原因是影響係數很高,排名分占2、1、3 名。值得注意的是,《Journal of the Learning Sciences》的國內學者評價和影響係 數雖高,但是引用的次數卻很低。

二、第二級教育學門國際期刊名單

第二級的教育學門國際期刊共有27本,分數最高為6.61,最低為0.84,第二 級教育學門國際期刊的評價總分均值為3.0130。評為第二級之期刊名單如下:

1.《American Educational Research Journal》(USA/SSCI)(6.61)(綜合) 2.《Journal of Learning Disabilities》(USA/SSCI)(6.46)(特殊教育) 3.《Journal of Applied Behavior Analysis》(USA)(6.01)(特殊教育) 4.《Harvard Educational Review》(USA/SSCI)(5.71)(綜合)

5.《Journal of Research in Science Teaching》(USA/SSCI)(5.47)(課程 與教學)

6.《Educational Evaluation and Policy Analysis》(USA/SSCI)(5.14)(教 育行政與政策)

7.《Sociology of Education》(USA/SSCI)(4.52)(教育社會學)

8.《American Journal on Mental Retardation》(USA/SSCI)(3.50)(特殊 教育)

(25)

10.《Journal of Teacher Education》(USA/SSCI)(3.19)(師資培育) 11.《Journal of Special Education》(USA/SSCI)(3.05)(特殊教育) 12.《Reading Research Quarterly》(USA/SSCI)(2.99)(教育心理學) 13.《Mental Retardation》(USA/SSCI)(2.79)(特殊教育)

14.《Journal of Intellectual Disability Research》(UK/SSCI)(2.45)(特殊 教育)

15.《Elementary School Journal》(USA/SSCI)(2.38)(初等及中等教 育)

16.《Computers in Human Behavior》(UK/SSCI)(2.13)(教育科技) 17.《Studies in Higher Education》(UK/SSCI)(1.97)(高等教育) 18.《Remedial and Special Education》(USA/SSCI)(1.89)(特殊教育) 19.《International Review of Research in Mental Retardation》(USA/SSCI)

(1.86)(特殊教育)

20.《Topics in Early Childhood Special Education》(USA/SSCI)(1.86) (特殊教育)

21.《Language Learning》(UK/SSCI)(1.66)(課程與教學) 22.《Journal of Fluency Disorders》(USA/SSCI)(1.2)(特殊教育) 23.《Behavior Modification》(USA)(1.17)(特殊教育)

24.《Journal of College Student Development》(USA/SSCI)(1.09)(高等 教育)

25.《Research and Practice for Persons with Severe Disabilities》(USA/SSCI) (1.06)(特殊教育)

25.《Annals of Dyslexia》(USA/SSCI)(0.91)(特殊教育) 26.《Gender and Education》(UK/SSCI)(0.84)(教育社會學)

其中,教育行政與政策、師資培育、教育心理學、初等及中等教育、教育科 技的教育學門國際期刊各有1本;綜合類、課程與教學、教育社會學、高等教育 的教育學門國際期刊各有2本;特殊教育的教育學門國際期刊則有14本。

(26)

26 教育研究集刊 第53輯 第2期

為.711,在所有期刊的前31名之內。而在國內學者評價的部分,大多數獲得良好 的評價,平均得分都在4.0以上。波動較大的部分是國內教育學門期刊引用次數 的部分,最高的引用次數為125次(《Journal of Learning Disabilities》),最低的引 用次數則為0次(《Journal of Fluency Disorders》、《Research and Practice for Per-sons with Severe Disabilities》)。

三、第三級教育學門國際期刊名單

第三級的教育學門國際期刊共有39本,分數最高為1.48,最低為-1.49,總分 均值為.1041。評為第三級之期刊名單如下:

1.《Research in Higher Education》(USA/SSCI)(1.48)(高等教育) 2.《Journal of Educational Research》(USA/SSCI)(1.43)(綜合) 3.《Educational Administration Quarterly》(USA/SSCI)(1.38)(教育行政

與政策)

4.《British Journal of Sociology of Education》(UK/SSCI)(1.37)(教育社 會學)

5.《Teaching and Teacher Education》(UK/SSCI)(1.04)(師資培育) 6.《Journal of Philosophy of Education》(UK/SSCI)(1.02)(教育哲史與

理論)

7.《British Journal of Educational Studies》(UK/SSCI)(1)(綜合) 8.《Journal of Educational Measurement》(USA)(0.98)(教育研究法) 9.《Journal of Experimental Education》(USA/SSCI)(0.93)(綜合) 10.《Journal of Educational and Behavioral Statistics》(USA/SSCI)(0.91)

(教育研究法)

11.《Journal of Higher Education》(USA/SSCI)(0.9)(高等教育) 12.《Comparative Education Review》(USA/SSCI)(0.88)(比較教育) 13.《Research in Developmental Disabilities》(UK/SSCI)(0.85)(特殊教

育)

(27)

15.《Journal of Education Policy》(UK/SSCI)(0.59)(教育行政與政策) 16.《Applied Measurement in Education》(USA/SSCI)(0.59)(教育研究

法)

17.《Instructional Science》(Netherlands/SSCI)(0.5)(課程與教學) 18.《British Educational Research Journal》(UK/SSCI)(0.47)(綜合) 19.《Academic Psychiatry》(USA/SSCI)(0.37)(特殊教育)

20.《Journal of Curriculum Studies》(UK/SSCI)(0.32)(課程與教學) 21.《Early Childhood Research Quarterly》(USA/SSCI)(0.14)(幼兒教

育)

22.《Higher Education》(Netherlands/SSCI)(0.07)(高等教育) 23.《Learning Disability Quarterly》(USA/SSCI)(-0.01)(特殊教育) 24.《High Ability Studies》(UK/SSCI)(-0.27)(特殊教育)

25.《Gifted Child Quarterly》(USA/SSCI)(-0.34)(特殊教育) 26.《Oxford Review of Education》(UK/SSCI)(-0.52)(綜合) 27.《Theory into Practice》(USA/SSCI)(-0.55)(教育哲史與理論) 28.《Minerva》(Netherlands/SSCI)(-0.63)(特殊教育)

29.《Journal of Moral Education》(UK/SSCI)(-0.8)(教育哲史與理論) 30.《Review of Higher Education》(USA/SSCI)(-0.81)(高等教育) 31.《ETR & D: Educational Technology Research and Development》(USA/SSCI)

(-0.86)(教育科技)

32.《Curriculum Inquiry》(UK/SSCI)(-0.87)(課程與教學) 33.《Comparative Education》(UK/SSCI)(-0.89)(比較教育)

34.《Research in the Teaching of English》(USA/SSCI)(-0.98)(課程與 教學)

35.《Economics of Education Review》(UK/SSCI)(-1.02)(教育行政與 政策)

36.《International Journal of Educational Development》(UK/SSCI)(-1.14) (比較教育)

(28)

28 教育研究集刊 第53輯 第2期

37.《British Journal of Developmental Disabilities》(UK/SSCI)(-1.16) (特殊教育)

38.《British Journal of Educational Technology》(UK/SSCI)(-1.44)(教 育科技)

39.《Journal of Intellectual & Developmental Disability》(UK/SSCI)(-1.49) (特殊教育) 在教育學門國際期刊第三級當中,教育社會學、師資培育、幼兒教育的國際 期刊各有1本;教育科技的國際期刊有2本;教育行政與政策、教育哲史與理論、 教育研究法、比較教育的教育學門國際期刊各有3本;高等教育、課程與教學的 教育學門國際期刊各有4本;綜合類的教育學門國際期刊則有6本;特殊教育的教 育學門國際期刊則有14本。 入選第三級的教育學門國際期刊在國內學者評價的部分表現良好,所有的國 際期刊的平均得分均在4.0以上,最高的得分為4.51,最低的分數為4.05。而在國 內期刊引用次數的部分,則表現略差,雖有期刊的引用次數達70次(《Teaching

and Teacher Education》(UK/SSCI)),但也有13本期刊的引用次數在10次以下。

第三級的教育學門國際期刊在影響係數的表現則略差,大多數的期刊皆在.500以 下。

四、第四級教育學門國際期刊名單

第四級的教育學門國際期刊共有41本,分數最高為0.43,最低為-5.64,第四 級教育學門國際期刊的評價總分均值為-2.6956。評為第四級之期刊名單如下: 1.《Educational Leadership》(USA/SSCI)(0.43)(教育行政與政策) 2.《Journal of Creative Behavior》(USA/SSCI)(-0.94)(教育心理學) 3.《Computers & Education》(UK/SSCI)(-1.18)(教育科技)

4.《Adult Education Quarterly》(USA/SSCI)(-1.52)(成人及社會教育) 5.《Journal of Social Work Education》(USA/SSCI)(-1.63)(成人及社會

教育)

(29)

7.《Quest》(USA/SSCI)(-1.78)(綜合)

8.《Educational Policy》(USA/SSCI)(-1.82)(教育行政與政策) 9.《Teaching of Psychology》(USA/SSCI)(-1.86)(教育心理學) 10.《American Annals of the Deaf》(USA/SSCI)(-1.93)(特殊教育) 11.《Educational Research》(UK/SSCI)(-1.94)(綜合)

12.《Educational Review》(UK/SSCI)(-2.04)(綜合)

13.《Anthropology & Education Quarterly》(USA/SSCI)(-2.07)(教育哲 史與理論)

14.《Journal of Literacy Research》(USA/SSCI)(-2.08)(成人及社會教 育)

15.《Journal of Early Intervention》(USA/SSCI)(-2.17)(特殊教育) 16.《Zeitschrift fur Padagogik》 (Germany/SSCI & SOLIS)(-2.19)(綜

合)

17.《Urban Education》(USA/SSCI)(-2.28)(教育社會學) 18.《Phi Delta Kappan》(USA/SSCI)(-2.3)(綜合)

19.《Creativity Research Journal》(USA/SSCI)(-2.31)(教育心理學) 20.《Journal of Economic Education》(USA/SSCI)(-2.43)(教育行政與

政策)

21.《Education and Training in Developmental Disabilities》(USA/SSCI) (-2.53)(特殊教育)

22.《School Effectiveness and School Improvement》(UK/SSCI)(-2.57) (教育行政與政策)

23.《Foreign Language Annals》(USA/SSCI)(-2.58)(課程與教學) 24.《Teaching Sociology》(USA/SSCI)(-2.82)(教育社會學)

25.《Journal of Adolescent & Adult Literacy》(USA/SSCI)(-2.87)(成人 及社會教育)

26.《Education and Urban Society》(USA/SSCI)(-2.88)(教育社會學) 27.《Journal for the Education of the Gifted》(USA/SSCI)(-2.93)(特殊

(30)

30 教育研究集刊 第53輯 第2期

教育)

28.《Reading Teacher》(USA/SSCI)(-3.29)(師資培育)

29.《Journal of Geography in Higher Education》(UK/SSCI)(-3.3)(高等 教育)

30.《Journal of Computer Assisted Learning》(UK/SSCI)(-3.61)(教育科 技)

31.《Volta Review》(USA/SSCI)(-3.62)(特殊教育)

32.《American Journal of Education》(USA/SSCI)(-3.64)(綜合) 33.《Educational Gerontology》(USA/SSCI)(-3.65)(成人及社會教育) 34.《International Journal of Art & Design Education》(UK/SSCI)(-3.67)

(藝術教育)

35. 《 Innovations in Education and Teaching International 》 ( UK/SSCI ) (-3.73)(教育科技)

36.《Intervention in School and Clinic》(USA/SSCI)(-3.76)(特殊教育) 37.《Educational Studies》(UK/SSCI)(-4.13)(綜合)

38.《Infants and Young Children》(USA/SSCI)(-4.14)(幼兒教育) 39.《Russian Education and Society》(USA/SSCI)(-4.2)(比較教育) 40.《Young Children》(USA/SSCI)(-5.25)(幼兒教育)

41.《Chinese Education and Society》(USA/SSCI)(-5.64)(比較教育) 在教育學門國際期刊第四級當中,教育哲史與理論、師資培育、高等教育、 藝術教育的教育學門國際期刊各有1本;幼兒教育、課程與教學、比較教育的教 育學門國際期刊各有2本;教育心理學、教育科技、教育社會學的教育學門國際 期刊各有3本;教育行政與政策的教育學門國際期刊有4本;成人及社會教育的教 育學門國際期刊有5本;綜合類的教育學門國際期刊則有7本。 入選第四級的教育學門國際期刊在國內學者評價的部分表現略低,平均得分 低於4分的國際期刊有25本,最高的得分為4.11,最低的分數為3.53。第四級的國 際期刊的國內期刊引用次數相當低,大多數的國際期刊引用次數都在20次以下, 其中更有28本期刊的引用次數在10次以下。第四級的教育學門國際期刊在影響係

(31)

數的表現亦不佳,大多數的期刊皆在.500以下,其中在.300以下的有21本。 在第四級當中較為特殊的國際期刊是《Educational Leadership》,其引用次數 高達99次,但是在國內學者評價與影響係數兩部分的表現較之其他國際期刊為 差,因此被列入第四級。事實上,《Educational Leadership》的發行週期為月刊 制,且歷史悠久,自1943年創刊至今,已有700期以上,因此,國內學者引用次 數很高的原因可能在於其大量的內容及廣泛的討論層面,然而其所收錄的論文內 容較屬實務性的探討,較少理論與學術性的研究,可能為其影響係數與國內學者 評價不高的原因。

五、非SSCI教育學門國際期刊的評比結果

在本研究的教育學門國際期刊評比架構中,主要以2004年JCR的影響係數做 為分級的主要指標之一。因此,沒有被列入SSCI的教育學門國際期刊,則使用 描述性統計分析國內學者對於這些非SSCI國際期刊的不熟悉百分比、評價平均 數與國內期刊引用次數(請參見表7)。其次,進一步選取國內期刊引用次數大於 3次的非SSCI國際期刊,並以國內學者評價平均數與國內期刊引用次數兩項指 標,進行群集分析,以瞭解這些沒有影響係數,但引用次數高的國際期刊的品質 與分級狀況(請參見表8)。 表7 其他教育學門國際期刊的描述性分析結果 序號 期刊名稱 不熟悉 (百分比) 學者 評價 引用 次數 18 《Educational Researcher》(USA) 83(45.4) 3.83 61

19 《International Journal of Educational Research》(UK) 102(55.7) 3.88 30

91 《Teacher Education Quarterly》(USA) 116(63.4) 4 11 110 《Tertiume》(Germany) 180(98.4) 4.33 0 108 《Compare》(USA) 158(86.3) 4.16 5

29 《 Vierteljahrsschrift für Wissenschaftliche Pädagogik》

(32)

32 教育研究集刊 第53輯 第2期 表7 其他教育學門國際期刊的描述性分析結果(續) 序號 期刊名稱 不熟悉 (百分比) 學者 評價 引用 次數

142 《Zeitschrift für Soziologie der Erziehung und

Sozialisa-tion》(Germany/SOLIS) 178(97.3) 4.2 0 20 《Bildung und Erziehung》(Germany/SOLIS) 176(96.2) 4.14 0 135 《Educational Assessment》(USA) 146(79.8) 4.05 3 109 《International Journal of Education》(USA) 133(72.7) 4.04 0

23 《Pädagogische Rundschau》(Germany/SOLIS) 177(96.7) 4 1 28 《Studies in Philosophy and Education》(Australia) 156(85.2) 4 1 119 《Studies in The Education of Adults》(UK) 164(89.6) 4 1

21

《Empirische Pädagogik: Zeitschrift zu Theorie und Praxis

erziehungswissenschaftlicher Forschung》

(Germany/SOLIS)

179(97.8) 4 0

22 《Zeitschrift für Erziehungswissenschaft》

(Germany/SOLIS) 177(96.7) 4 0

54 《Sciences et Techniques Educatives》(France) 182(99.5) 4 0

120 《Zeitschrift für Sozialpädagogik》(Germany/SOLIS) 179(97.8) 4 0 121 《 Deutsche Jugend:Zeitschrift für Jugendfragen und

Jugendarbeit》(Germany/SOLIS) 179(97.8) 4 0 118 《Convergence》(UK) 172(94.0) 3.82 3

92 《European Journal of Teacher Education》(Europe) 158(86.3) 3.84 0

87 《Zeitschrift für Berufs- und Wirtschaftspädagogik 》

(Germany/SOLIS) 179(97.8) 3.75 0

95 《Recherche et Formation》(France) 179(97.8) 3.75 0

117 《New Directions for Adult & Continuing Education》

(USA) 162(88.5) 3.67 3

93 《Formation et Prospective》(France) 180(98.4) 3.67 0

(33)

表7 其他教育學門國際期刊的描述性分析結果(續) 序號 期刊名稱 不熟悉 (百分比) 學者 評價 引用 次數 123 《Developpement et Emploi》(France) 180(98.4) 3.67 0 40 《Psychological Monographs》(France) 177(96.7) 3.5 3 30 《Revue Francaise de Pedagogie》(France) 181(98.9) 3.5 0

33 《Penser L’Education》(France) 181(98.9) 3.5 0

31 《Revue des Sciences del’ Education》(France) 182(99.5) 3 0

32 《Cahiers Pedagogigues》(France) 182(99.5) 3 0 94 《Pratiques de Formation》(France) 180(98.4) 3 0 表8 其他教育學門國際期刊的分級結果 序號 期刊名稱 不熟悉 (百分比) 學者 評價 引用 次數 學者評價 (Z分數) 引用次數 (Z分數) 總分 (註) 分級 18 《EducationalResearcher》 (USA) 83 (45.4) 3.83 61 -0.1593 2.21594 2.06 1 19 《International Journal of Educational Research》 (UK) 102 (55.7) 3.88 30 0.0767 0.72664 0.8 1 108 《Compare》(USA) 158 (86.3) 4.16 5 1.39834 -0.47442 0.92 2 91 《Teacher Education Quarterly》(USA) 116 (63.4) 4 11 0.64312 -0.18616 0.46 2 135 《Educational Assess- ment》(USA) 146 (79.8) 4.05 3 0.87913 -0.5705 0.31 2 118 《Convergence》(UK) 172 (94.0) 3.82 3 -0.20651 -0.5705 -0.8 3

(34)

34 教育研究集刊 第53輯 第2期 表8 其他教育學門國際期刊的分級結果(續) 序號 期刊名稱 不熟悉 (百分比) 學者 評價 引用 次數 學者評價 (Z分數) 引用次數 (Z分數) 總分 (註) 分級 117

《New Directions for

Adult & Continuing Education》(USA) 162 (88.5) 3.67 3 -0.91453 -0.5705 -1.5 3 40 《 Psychological Mono-graphs》(France) 177 (96.7) 3.5 3 -1.71695 -0.5705 -2.3 3 註:評價總分=國內學者評價Z分數×1+國內期刊引用次數Z分數×1 在非SSCI教育學門國際期刊中,美國的期刊有6本,英國的期刊有3本,德 國的期刊有10本,澳洲的期刊有1本,法國的期刊有11本,歐洲的期刊有1本。從 統計分析結果得知,國內教育學者對於歐陸的教育學術期刊較不熟悉,除了 《European Journal of Teacher Education》(Europe)之外,其餘如德國、法國的 國際期刊,國內學者的不熟悉程度皆在95%以上。其次,在其他國際期刊國內引 用次數層面,也大多相當低,除了美國的期刊之外,皆在5次以下,《Educational Researcher》(USA)與《International Journal of Educational Research》(UK)兩 本期刊雖未列入2004年的期刊引用報告書中,但是引用次數相當高,分別為61次 與30次。

伍、結論與建議

學術期刊的發表與發展促成學術知識的累積,而學術的專業化與多元化也促 成各種新的學術期刊的出版。過去國內對於教育學門國際期刊的瞭解不夠深入, 往往認為能夠列入SSCI教育學門國際期刊,便是品質優良的保證,這樣的觀點 可能忽略了教育學門國際期刊彼此之間的影響係數差異性,以及教育學門國際期 刊對於臺灣本土教育學術研究影響力的差異性。因此,本研究透過文獻探討,建 構教育學門國際期刊評比架構,進一步透過影響係數、同儕審查與國內期刊引用

(35)

分析三項指標,針對教育學門國際期刊進行評比與分級。經過嚴謹的文獻探討、 問卷設計、資料蒐集與統計分析,本研究將142本教育學門國際期刊區分為4個等 級。本研究的研究成果希望能夠將教育學門國際期刊的國際影響力與本土影響力 合併考量,期能真正區分高品質且對臺灣具影響力的教育學門國際期刊,進而做 為未來國內教授升等、績效評鑑、研究考核與高等教育評鑑的重要參照。 最後,本研究針對未來教育學門國際期刊的評比,提出6項未來研究建議如 下:

一、國際期刊評比宜採取多元學術評鑑方法

本研究針對書目計量與同儕審查進行文獻探討,提出社會科學領域進行國際 期刊評比所必須考量的三項重點:(一)同儕審查與書目計量的合併考量;(二) 國際期刊資料庫與本土期刊資料庫的合併考量;(三)國際期刊收錄的多元考 量。在社會科學期刊的學術評鑑過程中,不論單以同儕審查或書目計量做為評鑑 指標均有其限制,加之社會科學對於本土社會人文的關懷特色,以及全球化之下 對於全球學術社群的同等關懷,建議未來各社會科學的學術領域在進行國際期刊 的評比研究時,可參考或修正本研究所建構之教育學門國際期刊評比架構,採取 多元的學術評鑑方法以獲得更加公平與全球視野的國際期刊評比結果。

二、教育學門國際期刊應進行後續的追蹤評鑑

本研究所進行的教育學門國際期刊評比,使用2004年ISI的JCR影響係數,以 及2001年到2005年的國內教育學門TSSCI本土期刊的引用次數分析,做為教育學 門國際期刊分級的書目計量指標,並以國內183位教育學門學者對於國際期刊的 評價做為同儕評鑑的依據。由於ISI出版的期刊引用報告與影響係數會定期更 新,且國內TSSCI期刊資料庫也隨著日漸發展成熟而擴張,因此,建議未來國內 學術單位與研究者繼續進行後續的教育學門國際期刊的追蹤評鑑,以做為國內日 後教授升等、績效評鑑、研究考核及高等教育評鑑的重要參照。

(36)

36 教育研究集刊 第53輯 第2期

三、發展非SSCI國際期刊的評鑑方法

本研究在進行國際期刊評比的過程中,考量影響係數為反應國際期刊的國際 影響力的重要依據,因此,以2004年ISI的JCR影響係數做為分級的主要指標之 一。然而其他沒有列入SSCI的國際期刊,本研究則選取國內期刊引用次數大於3 次的國際期刊,並且以國內學者評價平均數與國內期刊引用次數兩項指標,進行 群集分析,以瞭解非SSCI但引用次數高的教育國際期刊的品質。研究結果顯 示,部分非SSCI的教育學門國際期刊,雖未列入SSCI,但本土教育期刊的引用 次數仍多,例如,在非SSCI教育學術期刊中分占前二名的《Educational Re-searcher》與《International Journal of Educational Research》,這兩本期刊的國內 學者評價具有不錯水準,同時引用次數也都在30次以上,對於國內的教育學術仍 具一定程度之影響力。 其次,非SSCI且寫作語言非英語的教育學術期刊,由於大多數學者的熟悉 度不高,因而引用次數也很低,並無法明確評量其學術品質。因此,建議未來研 究能夠探究非英語系世界主要國家的學術期刊資料庫(例如,德國的SOLIS資料 庫、西班牙的ICYT)現況,進一步透過非英語系世界主要國家的學術期刊資料 庫,進行引用次數分析與同儕審查綜合分析性的國際期刊評鑑。

四、提升國內學者對於非SSCI國際期刊的熟悉度

本研究的研究結果顯示,雖然國內教育學者普遍對於SSCI所收錄之教育學 門國際期刊熟悉度尚佳,但是國內教育學者對於歐陸的教育學門國際期刊熟悉度 偏低,除了《European Journal of Teacher Education》之外,對德國、法國的國際 期刊熟悉程度皆在5%以下。也因此,歐陸的教育學門國際期刊的國內引用次數 也大多相當低,大部分在5次以下。建議國科會與教育主管單位除了推動國內的 教育學者對於英、美教育學門國際期刊的認識之外,也應當加強國內的教育學者 對於歐陸教育學門國際期刊的認識,以達到真正的教育學術國際化。

(37)

五、未來國際期刊評比研究可區分次領域進行深入評比

本研究所進行的教育學門國際期刊評比,主要是針對所有2004年JCR收錄的 教育學門國際期刊,以及其他世界主要國家的教育學門國際期刊進行評比,雖然 可以獲得整體教育學門國際期刊的品質現況,不過誠如文獻探討所指出,影響係 數沒有考量不同學科領域之間引用方式與習慣的差異,這樣的學科差異在教育學 門的次領域之間也存在。因此,建議未來進行國際期刊的評比研究時,能夠進行 更加微觀性的各學門次領域學術期刊評比研究,以兼顧各學門次領域之間的引用 習慣與學科差異性,獲得更公平的國際期刊評比結果。

六、國內教育學門學術期刊應建立引用資料庫

本研究為瞭解國內教育學門期刊對於教育學門國際期刊的引用情況,花費相 當多的人力、物力進行2001-2005年國內TSSCI教育學術期刊的引用計次工作。我 國的本土期刊引用計次分析資料庫對於國內相關學術評鑑,例如教授升等、研究 評鑑與期刊評比,以及未來本土期刊與國際期刊的對話機制而言相當重要。因 此,建議國內相關研究單位能夠參考美國科學資訊研究所的期刊引用資料庫的方 法,建立一個長期性、追蹤性的期刊書目計量資料庫。除了能夠做為評鑑本土、 國際期刊的客觀指標外,也能夠做為未來高等教育機構、研究單位、學者評鑑的 客觀指標。 致謝:本研究係國科會補助專案研究計畫(NSC 94-2420-H-194-008)之部分研 究成果,僅此向國科會敬致謝悃。兩位匿名審查人的細心指正,併此致 謝。

參考文獻

王保進(2004)。多變量分析:套裝程式與資料分析。臺北市:高等教育。 馬信行(1999)。國內教育相關期刊排序。國科會研究彙刊:人文與社會科學,9(2), 234-253。

(38)

38 教育研究集刊 第53輯 第2期 高建民(2004)。學術期刊評選制度與教育學門重要國際期刊概況。教育資料與研究, 62,145-166。 章英華、黃毅志、呂寶靜(2000)。臺灣地區社會學、社會福利與社會工作專業期刊排 序。臺灣社會學刊,23,103-139。 傅雅秀(1999)。以同儕評審或科學計量的方法進行學術評估。資訊傳播與圖書館學,6 (2),31。 黃毅志、吳武典、馬信行、郭實渝、曾進興、黃秀霜、劉淑蓉(2004)。國內教育學門學 術期刊評比研究。教育研究集刊,50(3),145-178。 劉京玫(2001)。影響係數、被引用次數與期刊重要性和作者影響力關係之探討─以數學 學科為例。。。。國立臺灣大學圖書資訊學研究所碩士論文,未出版,臺北市。 劉益東(1998)。問題譜系比較評議法:同行評議方法新探。自然辯證法研究,14 (10),31。 蔡明月(1987)。書目計量學。教育資料與圖書館學,24(3),262。

Aksnes, D. W., & Taxt, R. E. (2004). Peer reviews and bibliometric indicators: A comparative study at a Norwegian university. Research Evaluation, 13(1), 33-41.

Arunachalam, K., & Manorama, K. (1988). Are citation-based quantitative techniques adequate for measuring science on the periphery? Scientometrics, 15(5-6), 393-408.

Bordens, M., Fernandez, M. T., & Gomez, I. (2002). Advantages and limitations in the use of impact factor measures for the assessment of research performance in a peripheral country.

Scientometrics, 53(2), 195-206.

Campbell, D. F. J. (2002). Conceptual framework for the evaluation of university research in

Europe. Retrieved September 22, 2004, from http://www.gwu.edu/~cistp/PAGES/campbell_

2002.pdf

Carmines, E. G., & Zeller, R. A. (1979). Reliability and validity assessment. Beverly Hills, CA: Sage.

Cole, S., & Cole, J. R. (1967). Scientific output and recognition. American Sociological Review,

32, 377-390.

Cole, S., & Cole, J. R. (1968). Visibility and the structural bases of awareness of scientific re-search. American Sociological Review, 33, 397-413.

Fernández-Cano, A., & Bueno, Á. (2002). Multivariate evaluation of Spanish educational re-search journals. Scientometrics, 55(1), 87-102.

參考文獻

相關文件

In 2006, most School Heads perceived that the NET’s role as primarily to collaborate with the local English teachers, act as an English language resource for students,

• to develop a culture of learning to learn through self-evaluation and self-improvement, and to develop a research culture for improving the quality of learning and teaching

Radiographs of Total Hip Replacements 廖振焜 林大弘 吳長晉 戴 瀚成 傅楸善 楊榮森 侯勝茂 2005 骨科醫學會 聯合學術研討會. • Automatic Digital PE

In implementing the key tasks, schools should build on past experiences and strengthen the development of the key tasks in line with the stage of the curriculum reform, through

Generic methods allow type parameters to be used to express dependencies among the types of one or more arguments to a method and/or its return type.. If there isn’t such a

Given a graph and a set of p sources, the problem of finding the minimum routing cost spanning tree (MRCT) is NP-hard for any constant p &gt; 1 [9].. When p = 1, i.e., there is only

In the proposed method we assign weightings to each piece of context information to calculate the patrolling route using an evaluation function we devise.. In the

Therefore, this study will be preliminary information gathered by literature review related to quality of service refers to the heading, through depth interviews, expected