• 沒有找到結果。

一、社學、社福社工的期刊評價測量品質之分析

在文檔中 社會學門專業期刊排序 (頁 68-71)

(一) 各項主客觀評估指標的一致性分析

為了確定本研究所採用之兩個主觀評估指標與客觀評估指標的一致性,我 們進行了各項指標的相關分析、因素分析以及用相關係數計算 Cronbach's alpha 值的一致性信度分析。表5-1.A顯示兩項主觀評估指標之「夠國際水準 百分比」與「學者評分:學術水準平均評價」之相關高達0.98,這兩項主觀評 估指標與客觀評估指標之「近六年被引用率」之相關分別為.63與.64。表5-1.B 的因素分析之主成份分析的結果顯示,這三個主客觀指標萃取出一個因素,指 向單一的一個向度,特徵值高達2.516,能解釋三個指標的變異量高達83.85%。

我們用這各項指標間的相關係數(r)計算進一步Cronbach's alpha 值11的結 果顯示:包含三個評估指標的alpha值為.97,表示本研究所使用之主客觀評估 指表的內部一致性高,具有極高的信度。

表5-1.A:各項主、客觀評估相關係數(r)

夠國際水準百分比 學術水準平均評價 近六年被引用率

夠國際水準百分比 1.00

學術水準平均評價 .98** 1.00

近六年被引用率 .63** .64** 1.00

**P<.01, N=20-21

10

同上註。

11

Cronbach’s Alpha = (N*ř)/{1+(N-1)* ř},其中 N 是相關係數的總數,ř 是所有相關係數的平均。

表5-1.B:各項主、客觀評價因素分析 因素1

夠國際水準百分比 0.963 學術水準平均評價 0.967 近六年被引用率 0.807

特徵值 2.516

解釋變異 83.85%

接下來分析用以排序期刊的主要兩個綜合評估指標之間的相關性,亦即主 觀評價因素分數與主客觀評價因素分數之間的相關程度,且比較不同學術社群 中此相關程度的差異,若相關性高則表示跨社群或總體來說主觀與主客觀綜合 指標有高的一致性信度。從表5-2左上角的三個相關係數可看到包括社學、社 福與社工兩社群所有學者、只有社福社工學者、只有社學社群之主客觀綜合評 價兩兩互相之間的相關都很高(相關係數r= .95-.99),這顯示主客觀綜合評 價在不同社群間具有很高的一致性。在看表5-2右下方三個相關係數得知,在 主觀綜合評價方面,兩社群與總體間的相關也很高(r=.95 與.96),而兩社 群間的相關較低,也有.87;這顯示這些主觀綜合評價間也具有高的一致性信 度。主觀評價與主客觀綜合評價間的相關程度在社學與總體社群中顯得比較高

(見表中粗斜體字,分別是r=.92與.90),對社福社工來說,雖然兩指標間的 相關程度相對較低,但也有.86的高度相關。總的來說在在顯示,本研究所產 生的排序因所引用的指標一致性高,是很有信賴度的。

表5-2.:不同樣本的各項期刊評價指標之相關(r)分析

1.

2. 3. 4. 5. 6.

1. 總體:主客觀評價因素分數

1.00 .99** .98** .90** .79** .91**

2. 社福社工:主客觀評價因素分數

1.00 .95** .93**

.86

** .90**

3. 社學:主客觀評價因素分數

1.00 .86** .72**

.92

**

4. 總體:主觀評價因素分數

1.00 .96** .95**

5. 社福社工:主觀評價因素分數

1.00 .87**

6. 社學:主觀評價因素分數

1.00

**p<0.01,

N=18-19

就測量品質來說,各社群之主客觀綜合評價指標的相關均高於主觀評價指 標,而且從總體的主客觀評價指標與其他兩社群分別的相關係數極高來看,依 總體樣本主客觀綜合評價所建立的期刊排序,是優於總體樣本主觀綜合評價所 建立的。不過,由於社區發展季刊無法計算客觀指標(期刊引用率),其排序 則可用總體樣本的主觀綜合評價作替代。

(二)各專業期刊主觀評價的影響因素

本研究所用以分析個人層次與期刊層次中影響各專業期刊評價之因素,是 依循五年前研究的原則,利用熟悉該期刊的學者對各期刊學術水準的主觀綜合 評價,亦即兩個主觀評價指標所計算出來的因素分數。

1.個人層次分析:影響學者個人對各期刊個別主觀評價的因素

根據受訪學者對所任職單位發行的期刊是否給與較高評價的迴歸分析結 果顯示(附表5-3的模型二),會有這種偏誤的情形發生在《台灣社會學》、

《東吳社會學報》、《政大社會學報》與《東吳社會工作學報》。其中,《台 灣社會學》的主觀評價在台大任職的學者有明顯偏高的情形,但對任職於中研 院的學者來說則無此偏誤。其次,從研究興趣的專門領域來看受訪學者對各期 刊學術水準的評價是否有偏誤,附表5-3顯示,相對於兒童,少年,婦女或老 人社會工作領域,自認有興趣於社學理論研究(表中的社會學(一))的學者 則對《台灣社會學刊》、《思與言》與《政治與社會哲學評論》的評價較高。

而專業於教育,醫療,家庭,族群或組織(社會學(二))研究者對於《人文 及社會科學集刊》、《人口學刊》、《台灣社會學刊》與《台灣教育社會學研 究》的學術水準有偏高的評價。自認研究興趣為社福、社工中心理衛生、醫務 等領域(社福社工(二))的學者對以下期刊的評價比較高:《社區發展季刊》、

《社會政策與社會工作學刊》、《東吳社會工作學報》與《台大社會工作學刊》;

但對《台灣社會研究季刊》則有較低的評價。

再從學者所屬的最高學位的專長領域來看,屬於社會福利與政策領域的學 者對《人文及社會科學集刊》、《人口學刊》、《台灣社會學刊》、《台灣社 會學》、《政大社會學報》、《社會政策與社會工作學刊》、《東吳社會工作 學報》、《台大社會工作學刊》以及《台灣社會福利學刊》的學術水準有較高 的評價。屬於社會工作研究領域者,對於《社會政策與社會工作學刊》、《東 吳社會工作學報》與《台大社會工作學刊》傾向較高的評價;但對《資訊社會 研究》有較低的評價。。而研究專長為社會學者則對《人口學刊》、《台灣社 會學刊》、《台灣社會研究季刊》《台灣社會學》與《政大社會學報》的評價 有顯著偏高的現象;但對《中華心理衛生學刊》有較低的評價。最後,除了《台 灣教育社會學研究》與《思與言》之外,大部分的期刊多因受訪學者曾擔任過 期刊編審而被主觀評價明顯偏高的情形(0.05顯著水準)。這個發現與五年前 完全不同。

綜合而言,本研究受訪學者對於和自己有密切關連的期刊的評價多少會因 其是否為學者所任職單位出版的,是否擔任過編審工作,研究興趣與研究專長 而產生偏高的偏誤,這尤其容易發生在所屬研究興趣與專長領域。儘管如此,

從本研究調查學者所屬機構分配比例較不集中於某少數機構,以及以上研究專 長與期刊評價間,仍可發現社福領域學者對社學專業期刊有較高主觀評價的現 象來看,對整體期刊評價偏誤的影響應該不會太明顯。在分析期刊排序之際,

我們也考慮到任職機構可能引起的偏誤效應,進而除了比照五年前排除不熟悉 該期刊的學者之外,也同時排除任職於發行該期刊之機構的學者,因這更嚴密 的處理,所產生的期刊排序應更正確。

2.期刊層次分析:影響各期刊評價高低的制度因素之探討

為了確定先前所建立的各項期刊評價與排序的建構效度,在期刊層次我們 進一步分析有哪些因素對期刊評價有所影響。所進行的迴歸分析是參考五年前 的研究(章英華等人,2002)。由於是以期刊為分析單位,且期刊數並不多,模 型分析中的自變項若多且彼此間的相關若可能很高時,參數估計會有多重線性 相關的問題且推估的誤差加大的情形,因此我們先對一些預期會有多重相關問 題的自變項作因素分析,得到因素分數作為最後迴歸分析中的自變項(關於哪

些變項納入因素分析,詳見本章前面自變項的具體說明)。其他不進行因素分 析而納入迴歸分析的變項有「期刊發行單位」與「評審為外部人員比率」,其 操作型定義均比照五年前,亦即,前者是二分虛擬變項,以學術社團或中研院 為1,其餘包括學校、政府機構為0。後者是對各期刊編輯作問卷調查所得到的 資料,評審主要是外部人員為3,內外部均有為2,主要內部人員為1,數值越 高代表外部人員越高。

表5-3的因素分析結果顯示共得到三個因素,且與五年前的發現完全相 同。因素一中的高負荷值落在學者問卷顯示的「各期刊投過稿的比率」、「擔 任過各期刊評審或編輯的比率」與「各期刊審稿很公平的比率」上;此因素可 定義為「學者問卷顯示的各期刊編審制度之開放性」。因素分數越高表示學者 認為該期刊的編審制度越開放。在因素二中的高負荷值落在各期刊出版期數達 成率與年份達成率上,此因素可命之為「出刊穩定性」。因素分數越高表示該 期刊出刊的穩定性越高。因素三中高負荷值則落在從各期刊出版所顯示的編委 會開放性與外稿率上,此因素可詮釋「期刊出版顯示的編審制度開放性」。因 素分數越高,表示從期刊出版的情況所顯示的該期刊編審制度越開放。這三因 素間兩兩的相關程度,無論是正或負值均不高(表5-3.B),這表示多重線性 相關問題在未來迴歸分析中可避免。

表5-3:期刊的各制度面向之因素分析 A. Pattern Matrix:

在文檔中 社會學門專業期刊排序 (頁 68-71)