內容探勘技術在教育評鑑研究發展趨勢分析之應用

教育科學研究期刊 第五十六卷第一期 2011 年，

56 ( 1 )

,

129-166

內容探勘技術在教育評鑑研究發展

趨勢分析之應用

曾元顯

國立臺灣師範大學資訊中心 研究員

摘要

林瑜一

臺北市立教育大學教育學系 研究生 由於大型資料庫時代的來臨，各種教育評鑑研究的數位文件，累積的速度相當快，相關 的統計、探勘分析方法，需求漸為殷切。本研究以專家問卷、資料庫搜尋等方式，來界定教 育評鑑研究領域的核心期刊 O 另外，透過引文分析、文字探勘技術等方法，自動從核心期刊 中偵測出校長領導、班級大小、評鑑、改革、教師認證、學習機會、留級、教育券等概念， 為顯著的研究議題。從評鑑方法的主題中，本研究探勘出 Chen 、 Weiss 與 Rossi 等學者討論的 方法，比 Cook 、 Compbell 等人的還新，此點從領域學者 AIkin (2004) 在主題樹中對上述專 家的擺設位置，也觀察到相同的現象。最後，本研究透過主題趨勢的分析，發現教育評鑑裡 的主要議題，其論文數量有愈來愈少的趨勢 O 然而，這些結果的意義，仍有待領域專家的深 入解讀。本研究所提方法可應用在不同學科領域，不僅能增進內容分析的效率，還可定期追 蹤主題的演變，甚至標示出重要學者的位置，提供後續相關研究的線索與素材。 關鍵字:主題偵測、科學計量學、核心期刊、評鑑理論樹、趨勢分析 通訊作者.曾元顯、 E-mail:

[email protected]

~!Z 稿日期

2010/01117

;修正日期 2010/06/21 、 2010/09/03 ; 接受日期

2010/09/14

0

• 130

.教育評鑑研究內容採勘

宜、 DU 百

曾元顯、林瑜一 統計分析方法，在教育領域的各種研究中，扮演相當重要的角色。針對各項結構化數據

(

stn叫ured

data)

，如學生年齡、智商、家庭收入等資料，透過各種統計運算，可以客觀地驗 證研究假說、推論觀察結果。因此，適當地運用統計技術，對提升研究的水準與效率有莫大 的貢獻。隨著近年來大量教育數據的累積，更引發進階統計技術的需求，如資料探勘(

data

mining) 等方法的運用，以便從一堆數據中，探勘其中隱而未顯、潛在有用的資訊或知識

( Baker

&

Yacef

,

2009

)。

相對於結構化數據，另一種重要的資料是由自由文字 (free text) 組成的非結構化資料

(unstructured data)

，如科學研究論文、專利技術文件、質性訪談資料，以及開放性問卷中的 回答內容等具有分析或研究價值之文獻O 分析這些非結構化資料的探勘方法，仰賴對自由文 字的進階處理與統計運算，也就是文字探勘(

text

mining) 的技術。 近 20 年來學術文獻資料庫蓬勃發展，不僅文獻數量，快速成長，文獻內容也同時包含結構 化與非結構化等豐富資料 Q 針對大量學術文獻的分析探索，如主題辨識與趨勢分析，需結合 上述不同技術的內容探勘 (content mining) 方法，以便快速掌握學術領域中各研究主題歷年 的脈絡演變或發展軌跡，從而對後續研究的發展方肉，提供有價值的參考資訊。 本文提出一套文獻內容探勘方法，以教育領域中的教育評鑑研究為對象，進行相關文獻 的分析。教育績效的評鑑，近年來在臺灣受到極大的重視，由大專院校的系所評鑑，到中、 小學的校務評鑑、課程評鑑，甚至特殊教育評鑑等不勝枚舉。此現象一方面肇因於近年來教 育政策的變動、大量資源的投入，需要瞭解其成效;一方面希望透過評鑑的回饋來發現問題， 提升整體的教育品質。在探討教育評鑑方法或策略時，若能參酌文獻上記載過的發展軌跡， 對後續教育評鑑的研究與發展，當具有啟發反思之功效O 對於學術研究的主題趨向，常常依賴領域專家的知識與經驗，或以人工方式分析整理大 量文獻，以提供資訊作為參考判斷之依據。此種方法雖然可以得到精確有效的結果，但也往 往容易流於主觀的篩選或判斷，或受人力、物力與時間上的限制，而難以持續O 若有自動化 的分析模式與方法，可以全面性、持續性地長期觀察教育評鑑研究領域的發展趨勢、主題演 變、研究活動，以及相關重要研究人員的社會網絡分布狀況，當可彌補或輔助人工分析的不 足。 基於上述需求，本文提出一套文獻探勘的模式與方法，運用在教育評鑑研究的主題發展 與趨勢分析上。其主要的目的與內容歸納如下: 一、發展可應用於學術文獻分析與探勘的技術和工具C 二、界定教育評鑑領域的核心期刊，以供主題、趨勢分析之用O

三、運用上述方法與資料，探索、解析出教育評鑑領域近數 10 年來的研究主題、趨勢脈 絡、並確認此研究領域的重要學者，以供後續研究的參考。 本文結構如下:第貳部分將介紹相關的研究，第參部分則詳細介紹本文提出的分析方法， 第肆部分則以教育評鑑領域為例，根據專家意見與資料庫收錄狀況，決定教育領域的核心期 刊，再運用本文所提之方法，分析、比較、解讀教育評鑑領域近數 10 年來的研究主題、趨勢 與重要研究學者。本文特別著重分析結果的可靠程度，因此不僅以不同的分析方法來互相比 較，另外也根據專家的知識，來檢驗結果的有效性。最後，則摘要本文的重要結果，並說明 其意涵。

貳、相關文獻探討

針對具備學術價值的文件所進行的內容分析或探索，在數個學術領域中都有各自的研究 與發展。例如，在圖書資訊領域有科學計量學( scientometrics)( 蔡明月，

2003 ; Andres

,

2009;

Leydesdorff

,

2001 )

，在人文社會學領域有內容分析法(

content analysis) (

K呻pendorff，

2003)

,

在電腦科學中則有文字探勘技術 (Feldman

&

Sanger

,

2006) 。其具體內容與技術細節，在各領

域中或有不同，但目標或方向卻大致一樣。以文獻計量學而言，國內學者何光國(

1994)

提到:舉凡利用數學、統計和邏輯理論及方法，對各類文獻的特質、結構，做數量、品質及

運用上的研究和分析，通稱為文獻計量學。國外學者Holsti (1969) 則定義內容分析法為:任

何客觀、系統化的訊息特徵辨識，以供推論的技術。Lasswell (1964) 闡述內容分析的核心問

題，在瞭解英文中的W 開頭疑問字的意義，亦即:“Who

says what

,

to whom

,

why

,

to what

extent and

w地 what

effect?"

0

Hearst

(2003) 說明文字探勘為:由電腦從各種文件自動擷取資

訊，以發現新知的過程，其重點在連結各種被擷取的資訊，以形成新的線索或假說，俾利傳 統方法的進一步探索與驗證。 為達上述目的，各領域皆發展出相關的模式與方法。由於相關的研究範圍很大，以下僅 回顧幾項啟發本文的研究與其分析技術'並做簡要的評論，以凸顯本文所提分析方法的特色。

一、日本學者村田忠禧的歷史分析法

日本學者村田忠禧曾提出了一種探勘歷史新聞，來分析政治變遷的方法(村田忠禧' 2002) 。他以 1949 年到 2002 年《人民日報〉每年的元旦社論為材料，先白訂待觀測的關鍵詞 彙，然後統計這些詞彙出現的篇數與年代。依此資料分析每年焦點詞彙的變化，並觀看某年 焦點祠彙在其他年份出現的狀況，以瞭解該年份與其他年份的連動關係。村田忠禧認為這些 詞彙的變化可以宏觀地觀察歷史變動，且此種分析結果不是在推翻過去對歷史的解釋，而是 做進一步的補充(亦即讓資料自己說話) ，他認為這正是其詞彙頻率統計分析有效性之所在 O 其分析方法使用到詞彙索引、年代分布圖、互動式的年代重點詞彙提示與查詢，以滿足歷史

.

132

.教育評鑑研究內容探勘 曾元顯、林瑜一 學者的分析需求。然其最重要的起始步驟，需自訂「待觀測的關鍵詞彙 J '是此方法最耗費專

業知識、人力與時間的地方。

二、 IBM 的術語趨勢分析法

與村田忠禧 (2002 )的方法比較， IBM 的 Lent 、 Agrawal 與 Srikant

( 1997

)則提出較自 動化的作法 O 他們以資料探勘中的關聯探勘( association) 技術，自動擷取專利文件中常常連 續出現的字詞，來獲得專利術語，並根據其出現的文件篇數與年代分布，計算出每個術語的 趨勢。將這些術語按照其趨勢分類成:漸熱門、漸冷門、熱門後冷卻等類別，提供用戶瀏覽 或查詢，以方便瞭解某些術語的趨勢。此方法提供相當有效的研究趨勢演變分析。可惜其所 擷取出來的重要詞彙相當龐雜，而且大部分屬於「言司彙」的層次，而非概念、主題或領域等 較上位層次。因此，若能將相同主題的詞彙'歸類成概念或主題，再進行趨勢分析，當可改 進其缺點。

三、荷蘭茉登大學科學與技術研究中心的領域分析法

荷蘭萊登大學的 Noyons 與 van Raa叭 1998) 從研究文獻中，分析與觀測科學技術的演進， 經過長期的經驗累積，發展出一套通用的方法:透過學術文獻蒐集、詞彙擷取與過濾、索引 檔建構、共現字分析、文件分類、主題地圖視覺化呈現、專家解讀等步驟，來分析科學與技 術文獻。然而，即便文獻經過各式文字探勘的歸類處理，並繪製成主題圖，其解讀仍不容易。 他們的網站曾提到:如果知道如何解讀的話，這樣的地圖可提供研究領域的簡要概觀，以供 進一步發掘資訊。因此，若能加入更多額外的資訊(特別是額外的結構化資料，如作者、國 家、引用文獻等) ，應當能提升其結果的可解讀性。 綜上所述，這些方法雖具成效，但仍屬專家層級才能使用、解讀;而且在應用時，視待 分析文件的範圍、數量、特性與應用而定，各有特殊環境，因而在某種程度上需要客製化分 析流程或方法。這些緣由，促成本文擬自行開發一套分析流程，期能整合上述方法的優點， 避開其缺點，讓有興趣的研究者，如研究生、初入門之學者、跨領域研究者等，分析探勘學 術文件，進而達到探索瞭解領域概觀之目的。

參、研究方法

參考上述文獻的作法，本文提出的分析技術比較接近荷蘭萊登大學 Noyons 與 van

Raan

(

1998) 提出的方法。然而在一些重要的步驟，如多階段主題歸類、類別描述詞擷取、主題

一、相關文獻界定

根據文獻對一個領域進行分析之前，先界定待分析文件的範圍是一件非常重要的工作。 界定方法相當多元，而見成本與應用情形而定。可以簡單到以某個特定詞彙的查詢結果為待分 析文件的集合，也可以複雜到每一篇文件都經由專家反覆討論，來確認是否包含在待分析文 件中。有關教育評鑑方面的文獻，無法用簡單的概念詞檢索來涵蓋。在考量時間與成本之後， 本文透過數篇種子論文與資料庫收錄狀況，配合專家的問卷調查，整理出該領域的重要期刊， 簡稱為「核心期刊 J '將其包含的論文視為相關文獻，依此界定出待分析文件的範圍。

二、文獻下載剖析

本文提出的分析方法可適用於任何具備自由文字的文獻，如學術論文、專利文獻、新聞、 訪談稿等具備主題論述的文件。惟本文分析的對象以期刊論文為主。考量到文獻收錄範圍、

資料整理、名稱權威控制、引文加值處理等面向，

Thomson

Reuters 的 Web

of Science

(簡稱

WoS) 論文資料庫，乃現今做得較好的期刊資料庫之一，方便本文的運用或自行再處理。因 此，依據上一步驟界定的文獻範圍，本步驟從WoS 資料庫下載歷年來的資料，並進行更細緻 的文件記錄切割、分欄擷取、資料正規化(例如，處理大小寫不一致的情形)、偵測重複或不 完整資料等處理，以驗證資料的正確性、一致性，確保後續分析結果的可靠性。同時，將其 論文編號、篇名、摘要、關鍵詞、描述詞、分類詞、出刊年代、作者、機構、國別、期刊名 稱、引用文獻等資訊，解剖出來儲存至關聯式資料庫中，以便於管理與運用，甚至直接進行 結構化資料的量化分析與圖表製作，從而掌握其統計特性，對其有初步之認識。 從 WoS 資料庫下載的論文紀錄，均為純文字檔案，每一篇皆包含約四十個項目，每個項 目古據一到數行，以項目簡稱開頭，並以空格和換行字元排列項目內容版面。由於其版面具 有規則性，經歸納整理後，以程式擷取其中十三個重要項目供後續應用，其項目簡稱、意義 與內容範例列舉如下:

AU: 作者，例: Anagnostopoul肘， D;

Bali

,

VA; Roberts

,

R

0

TI: 論文標題，例:

Toward a political explanation of grade

retention 。

SO: 期刊全名，例:

EDUCATIONAL EVALUATION AND POLICY ANALYSIS

0 DE: 論文關鍵詞，例:

district policy; grade retention; race

0

ID

:論文描述詞，例:

CLASS SIZE; REFORM; URBAN SCHOOL DISTRICTS; ...

...。 AB: 論文摘要，約 100-300 個英文字。

Cl

:作者所屬之國家(原為作者地址，經程式剖析後，得其國家名稱)。

CR: 參考文獻，例:

CIBULKAJG

,

2001

,

EDUC POLICY

,

V15

,

P12 。

NR: 參考文獻篇數，例: 103 。 TC: 被引用的次數，例 :4 。

.

134

.教育評鑑研究內容探勘 PY: 論文出版年，例:別的。

SC: 論文所屬領域別，例:

Education

&

Educational Research

0

UT:

WoS 之論文主鍵，例: ISI:000230839500002。

曾元顯、林瑜一

三、文件關聯計算

為顯現待分析文件隱含的知識結構，此步驟在建立兩兩文件之間的關f系， f:共後續主題自

動偵測運用。有三種常見的文件關聯計算方式:共被引(co-citation) 、書且對(

bibliographic

coupling) 以及共現字(

co-word) (Moed

,

2005

)。如圖 l 範例所示，共被引是指 2 篇文件(如

Paper

A 與 B) 被同一篇文件(如Paper

1

)所引用，則此 2 篇文件產生共被引關係，且這 2 篇 文件被愈多論文共同引用到，則其關係(通常為主題上的相似度)被認為愈強，如圖 l 中論 文 A 與 B 的強度為卜但 C !M D 則為 2 。書日對則指 2 篇文件(如 Paper C 與 D) 若引用到共 同的書目資料(如 Ref.

2)

，則此 2 篇文件產生了調合關係(coupling) 。同樣地，共同的書目 資料愈多，表示此2 篇文件在主題上愈相似、關係愈強。至於共現字，則是指2 篇文件的內 文(如標題或摘要)裡，使用到相同的關鍵祠彙(亦即某關鍵詞彙共同出現在此2 篇文件的 情形，如 Word2 同時出現於Paper A 與 B 中) ，當共現宇愈多，則此2 篇文件的主題相似度也 俞高。 不管是哪一種關聯強度(整數值)，最後都會以適當方式將其正規化為相似度(0 到 1 的 分數值)。本文採用Dice 係數 (Salton， 1989) 方式進行正規化，其計算方式如公式(1)所示:

Sim(X

,

Y) =

2xIS(X) 們 S(Y)I

/ (IS(X)I + IS(Y)I)

公式(1)

以書日對為例， SeX)代表文件 X 的參考書目所組成的集合，們代表兩集合的交集，

IS(X)I

代表集合 SeX)的元素個數。依公式(1) ，圖 l 論文 C !M D 的書且對相似度為 2x l/(3+2) 三 2/5=

0.4

0 在計算共現宇關係時，需要用到資訊檢索或文字探勘的技巧，以刪除停用詞、正規化詞 彙(大小寫一致化，再取英文詞幹)、擷取關鍵詞(如 multi-word phrases) 、進而建立詞彙到 文件的反向索引資訊檔案，以方便任意兩文件之間的共現字快速運算。這部分我們已投入多 年的研究與實作，有成熟的程式可以直接應用。在計算書且對關係時，則需要將參考文獻正 規化(或進行權威控制) ，使不同作者引用到的相同論文，可以容易被辨識、比對出來。從 WoS 下載的資料，其參考書目已被正規化在其 CR 項目裡'因此可以直接進行書且對計算。 至於計算共被引關係所需要的引用文獻，則要針對每一篇待分析文件，到 WoS 另行下載，不 僅相當費時費事，而且不同時間點下載到的資料可能會有所不同。這是因為 l 篇文件可能隨 著時間愈久，而獲得愈多的引用。亦即不同時期進行的共被引分析，其結果將會不同!對共 現字與書且對而言，這是不會發生的問題。基於上述說明，在時間與成本的考量下，後續將 僅依書日對與共現字來計算文件之間的關聯相似度。

共被引、書目對、共現字關係示意 圖 l 四、主題自動偵測 在上述步，驟中，不管是根據哪一種方法，針對 n 篇文件的兩兩文件(如品與 d) 計算， 最後均可算出如下的相似度矩陣: 可 lIll-Ill--ttill--ltJ nnn vl;v

dszaS

d

₂ 512 5 22 叫 51! 5 21 吭吭

...

dn 5 n2 依此矩陣，有三種方法可以自動將多篇文件群聚起來，達到主題偵測的效果。第一種是 以「奇異值分解J

(Singular Value

Decomposition) 為基礎的「特徵向量分析 J (E眼n

Vector

Analysis) (Golub

&

Van Loan

,

1996) 或「因素分析 J

(Factor Analysis) (Gorsuch

,

1983

)。其可 把這 n 篇文件投影到少數幾個特徵向量上，每個特徵向量可代表一個主題，且每篇文件在每

個主題上都有其權重。根據這些權重以及適當的門檻值，可以得知哪些主題包含哪些文件，

或哪些文件屬於哪個主題。第二種方法是以「多維縮放 J

(Multidimensional Scaling

,

MDS

)技

術( Krusk祉， 1977)' 將這 n 篇文件依照其相似度，投影到 2 維或 3 維人眼可見的地圖上，使

得相似度高的文件群聚在互相靠近的位置，而相似度低者則相距在較遠的位置。達到類似這

種效果的方法還有「自我組織圖 J

(Self-Organization Map) (Kohonen

,

2000

)等技術。第三種

.

136

.教育評鑑研究內容探勘 曾元顯、林瑜一

方法則是「文件歸類 J

(Document Clustering) (Jajuga

,

Sokolowski

,

&

Bock

,

2002; Salton

,

1989)

，其中的「層次凝聚歸類法J

(Hierarchical Agglomerative Clustering)

，不需使用者指定 類別數，可反覆地將最相似的文件或類別聚集在更大的類別中，如此逐漸由下而上的將所有

文件組織起來。特別是其中的完全連結法(

complete link)

，可將彼此相似度都高的文件歸在同

一群組。根據過去的研究經驗，實際應用多維縮放與層次凝聚歸類於主題偵測上，可獲得良

好的結果 (Tse嗯，

Lin

,

C.-J.

, &

Lin

, Y.-I.,

2007) 。因此，本文也就以這兩種歸類方法為主。

五、多階段主題歸類

理論上，層次凝聚歸類法可將文件組織起來。實際上，受限於文件關聯的實際情形(例 如，待分析文件的共同參考書目不多，僅一群群少數的文件可以形成書目對) ，直接進行文件 歸類的結果，可能造成為數眾多的小類別。男外，若以較高的相似度門檻'作為文件聚類的 條件，以期得到議題上較為一致的類別，也同樣可能會造成為數眾多的小類別。如此的資訊 組織結果，對主題分析的助益並不大。但若把這些探討類似議題的少數文件所組成的小類別， 視為一個個不同的「概念 J

(concepts)

，那麼將這些小類別(實做時將類別中的文件合併成一 份虛擬文件)再做一次上述的歸類動作，如圖2 所示，則可將「概念」歸類成「主題」

(topics)

，如有需要，可將「主題」再歸類成「次領域J

(domains)

,

r 次領域」再歸類為「大 領域 J (fields) 。如此，可不受文件實際關聯情形的限制，總是可以得到類別數量與類別大小 都便於解讀的歸類結果。這樣的歸類策略，在此稱為多階段主題歸類 (multi-stage clustering) 。 這裡提到的概念、主題、領域等知識範圍，均是主觀的認定，因此嚴格的對其加以區分並不 重要。只要人工分析歸類結果時，可以辨識出待分析文件中的知識結構，則此種多階段歸類 過程，可在任何階段停止。 圖2

A

圖 2 中的示意，僅是一種理想狀況。實務上，兩個明確的概念，即便有一定程度的相似 性，歸類合併後可能無法聚焦成一個有意義、可解讀的主題。例如，當「校長領導」與「班 級大小」兩個概念被歸類在一起時，將難以解讀出一個清楚的主題。其背後的原因，可能是 這兩個概念的文件都參考到相同的教育政策文獻，而形成書目對，或是校長領導的卓越與否， 間接影響到班級大小的決定而存在共現字。因此，多階段主題歸類僅是一種類別合併或類別 排序的策略(方便管理、辨識類別)。在某一階段無法解讀出類別主題時，可以回溯上一階段 去解讀其所包含的概念，而不必受限、拘泥於在同一階段作主題上的判讀。亦即，實務上在 進行多階段歸類結果的分析時，分析焦點可能會在不同階段的類別之間來回遊移，以便進行 有意義的結果歸納與解讀。

六、類別描述詞擷取

前述歸類結果，僅知類別中包含哪些文件，要解讀類別的內容主旨，至少需瀏覽過文件 的篇名，甚至摘要。為協助人員快速解讀類別內容，本文採用 Tseng (2010a) 的作法，在每 個歸類階段，自動擷取各類別特徵詞彙作為其描述詞，以便利主題的快速判讀。其作法是以 關鍵詞自動擷取方法(

Tseng

,

2002

)擷取篇名與摘要中的重要片語或詞彙'再根據表 1 的篇數 交叉分析表，計算詞彙與類別的相關係數:

(TP

x

TN- FN

x

FP)

Co(T

,C)= ,

、J(TP+FN)(FP+TN)(TP+FP)(FN+TN) 公式(2) 其中 TP 、 FP 、 FN 、 TN 分別代表詞彙 T 出現在類別 C 中的篇數( TP) 、 T 在其他類別中的篇 數 (FP) 、 C 不包含 T 的篇數 (FN) 以及其他類別也沒出現詞彙 T 的篇數 (TN) 。 表 l 詞彙 T 在類別 C 中的出現篇數交叉分析

TennT

Yes

Cluster C

Yes

No

TP

FP

。 -NN

N-F

公式 (2) 的意義，在於當詞彙 T 只出現在類別 C 中的每一篇文件，而在其他類別都不出現 時(亦即 FP=FN=O) ， 則 C 與 T 為最大正相關，有最高值 +1 ;反之( TP=TN=O) 為最大 負相關，有最低值 -1 。因此，本項係數可反映詞彙 T 在類別 C 中的相關程度。據此，針對每 個類別，可以計算每個詞彙的相關係數(或者稱為該詞彙在該類別的代表性係數) ，再根據此 係數由高到低排序詞彙，最後選取其中的前數個詞彙，即可作為該類別的描述詞(即類別的 代表性詞彙)。

﹒ 138· 教育評鑑研究內容探勘 曾元顯、林瑜一 此相關係數對包含坦文件且數量眾多的小類別，可發揮統計優勢而得出不錯的結果。但 因沒有考慮到詞彙在文件中的出現次數，對包含長文件且數量不多的類別效果有限，常常擷 取出過於特定的狹義詞，造成類別描述詞主題涵蓋面不夠廣泛的結果。為解決此問題，本步 驟的實際作法，是將出現篇數過低的詞彙(低於類別篇數的二分之一者)排除，並以乘積法 則，將此相關係數與詞彙在該類別中的出現次數相乘，作為新的類別代表性係數，再依此排 序，並取前數個詞彙'以獲得較常見、涵蓋面較廣的類別描述詞。因此，若一個類別的描述 詞是空的(因篇數過低而被排除掉) ，表示此類別的文件所使用的詞彙大多不同，因而難有一 致的詞彙可被選為類別代表詞。 在實作時，為正確統計篇數，本步驟還對英文詞彙進行大小寫轉換，並修改 Porter

( 1980 )

取詞幹( stem) 的演算法，只進行複數詞彙轉單數詞彙、動名詞轉原形等處理。例如 size 、也zes 、 sizmg 這三種詞彙，都轉化成 size 一詞。

七、多面向資料交叉分析

一旦非結構的主題資訊擷取出來後，可結合其他既有的結構化資料(如發表年代、作者、

期刊出虛、引用文獻等) ，建構交叉分析與統計資訊，以提供多樣性的判讀素材。此種交叉分

析資訊，比起單獨一項資料的統計，常能提供更豐富的解讀素材。例如，可從中得知重要的 作者在不同主題發表的論文篇數(即其專長分布) ，而不只得知這些作者的生產力(論丸總篇

數)。甚至研究領域中有哪些重要的作者 (Who) 在做哪些主題 (What) 、何時開始 (When)

,

以及其熱門趨勢(

emerging trends

'例如最近幾年才在這個領域出現的主題或是關鍵詞) ，都可

經由多面向的交叉分析獲得相關訊息。

一個領域的研究發展趨勢，經常是各個研究者關心的對象。本文採用 Tseng 、Y.-I.

Lin

、

Y.-Y.

Lee

、 Hung

W

C.-

H.

Lee

(2009) 所印證的趨勢指標，來量化各主題的研究趨勢。此指標

其實是年代篇數序列的線性迴歸斜率，其計算公式如下:

SiD

=

L;=l

XiYi

r5;:lxf

其中 Xz=i一這i 且 Yt

f t

i=l

=dt-4zdt

f t

i=l

公式的 在 n 個時間區段中，假設某主題的第 i 個區段有論文 d

_i

篇，則[的，也 ...， dnl 為該主題的篇數 時間序列，依照上述公式計算出來的線性迴歸斜率巾，可代表此主題的趨勢指標，其值愈大， 代表愈晚近有愈多篇數。 與其他趨勢指標比較，在不同領域、不同規模的文件集、各種時間區間、甚至考量個別 期刊有不同重要性的多種情況下，線性迴歸斜率被印證是表現最穩定的優良趨勢指標(

Tseng

et a

I.,

2009

)。以此指標來比較各主題的研究趨勢，可以提供有用的參考資訊。

八、結果呈現與視覺化

上述主題偵測、多階段歸類的結果，僅是一堆電腦化的數據，需要以視覺化的工具，配 合其他資訊一起呈現，才能使其方便解讀，甚至快速瞭解各類別間的關係、觀察到電腦化數 據所無法顯露的訊息。本步驟以兩種視覺化方式呈現結果: ，.主題樹 J

(Topic

Tree) 和「主題 地圖 J

(Topic

Map) 。主題樹是根據前述凝聚歸類與多階段歸類結果，配合類別描述詞自動擷 取以及多面向資料交叉分析，將所有結果以HTML 標示的網頁形式呈現，以方便檢視各個主 題群落的細節。主題地圖則是以前述多維縮放技術製作出來的。本步驟特別增強此技術的特 性，在地圖中除了以圓圈(而非單一點)來代表一群被歸類在一起的文件，還以圓圈大小來 代表該群文件的篇數多寡。相關的結果範例，將於後續詳述。

九、比較與印證

上述的分析方法、流程與結果呈現，能否得出有效或有意義的結果，是值得關切的議題。 為此，除了建議以書目對與共現字兩種不同的方法來互相比較外，針對教育評鑑領域的分析 結果，本文也參考AIkin

(2004

)的評鑑理論樹(

evaluation theory tree)

(可參見網頁電子檔:

http://www.sagepub.co

m/

upm-dat

a/

5074_AIkin_Chapter_2. pdf)

，來進行結果的比對，以印證系

統自動偵測主題的可靠程度。

AIkin 為 UCLA 大學(

University of California

,

Los

Angeles) 教育與資訊研究所的名譽教

授，他以 40 年的經驗，整理評鑑領域的各種理論、方法與應用，並以評鑑理論樹將各種面向、 主題關聯起來。他將著名的學者，依照其研究的重點與貢獻，呈現在該主題樹上，以方便大 家追溯各種理論與實務的來龍去脈。AIkin 並邀請了 22 位當代的評鑑學者，描述其自身的評 鑑觀點、評論其在評鑑理論樹中的定位、以及探討各種觀點對他們的影響。透過這樣的分類 體系與知識關聯，提供評鑑學者與實務者新的啟發、開創新的概念，且得以藉此檢討加強既 有的認知(

AIkin

,

2004

)。

肆、結果與討論

根據前述方法，本節分三小節說明:一、核心期刊的篩選過程與結果，並說明篩選的依 據與考量;二、單一相關期刊的探勘經驗，解說主題樹與主題地圓的細節與意酒，其中並包 含書目對與共現字方法的互相比較與印證;三、六種核心期刊的主題歸類與交叉分析，並以 領域專家的知識來驗證結果的正確性。

、核心期刊篩選

本研究的一項重點，是經由資料庫搜尋和專家問卷，篩選出教育評鑑領域的核心期刊，

• 140

.教育評鑑研究內容探勘 曾元顯、林瑜一 以供後續研究的參考與運用。其篩選步驟分兩階段進行:首先，從數篇教育評鑑領域導論性 論文(簡稱種子文獻，詳如後述)的引用參考文獻中，蒐集與教育評鑑內容相關的期刊，並 連同其被資料庫收錄、國內師範大學訂閱的情況，作為核心期刊判斷的參考條件，如表 2 所 示(最後一欄除外)。其次，根據這份列表，邀請國內相關的專家學者，進行核心期刊的判斷。 表 3 驢列受邀學者名單，其判斷結果如表 2 最後一欄所示。在進行表 2 的判斷時，同時也請 專家增補重要期刊，並列舉重要學者。表 4 顯示專家們額外推薦的期刊名稱，表 5 則為專家 所列舉的重要學者名單。 表 2 教育評鑑領 I或核心期刊學者專家判斷 編號 候選期刊

EBSCOhost

( Professional

Development

Collection

,

PDC)

(篇數) 資料庫

Webof

Science

(WoS)

(篇數)

國內師專家

判斷

文獻之範大學

_(請勾

EBSCOhost 參考圖書館

_選出核

(ERIC)

期刊收錄之 λ祖

(篇數) 資訊 °LJTQJ 刊) 1

Educational Assessment

Assessment

&

Evaluation in

2Higher Educatlon

3

Journal ofEducation Policy

4

Educational Policy

5Drugs -Education

,

Prevention

& Policy

6Educational Adbnagernent

Administration

&

Leadership

7perspectIves--PollCJV&

Practice in Higher Education

Educational Administration

8Quarter砂

9

Journal ofHigher Education

Policy

&

Management

Assessment in Education:

10

Principles

,

Policy

&

Practice

Educational Research

&

11

Evaluation

12 Arts Education Policy Review

161

683

395

593

362

133

249

402

206

341

235

549

458

611

528

111

297

464

449

4

765

3

257

V V V

1

,

2

,

3

1

,

2 1

,

2

1

,

2

,

3

1

,

2

,

3

3

8

O

O

O

2

4

4

O

表 2 (續)教育評鑑領踴核心期刊學者專家判斷 資料庫

國內師專家

判斷 文獻之範大學 _(請勾 EBSCOhost 參考圖書館 _選出核

(ERIC)

期刊收錄之 λ曲 (篇數) 資訊

.

LJ7'QJ 刊) 編號 候選期刊

EBSCOhost

( Professional

Development

Collection

,

PDC)

(篇數)

Webof

Science

(WoS)

(篇數)

13

Evaluation

&

Research in

4

Education

Educational Management

&

14

Administration

15 Higher Educational Quarterly

16 Educational Researcher

Studies in Educational

17

Evaluation

Educational Evaluation and

18

Policy Analysis

American Journal of

19

Evaluation

20 Evaluation Review

21

Evaluation Practice

Evaluation and Program

22

Planning

23 Evaluation

24 Evaluation Comment

New Directions for Program

25

Evaluation

26 Evaluation Researcher

27 New Directions for Evaluation

Evaluation Studies Review

Annual

28

Journal ofPersonnel

29

Evaluation in Education

30 Evaluation News

64

339

508

413

322

493

寸， AU 寸， A 守 ，、 uti

867

74

28

1

,

2

2

O

2

7

9

7

9

6

7

寸，可企

2

4

287

V

₁

_,

₂

5

5

6

V

1

,

219

V

₁

_,

₂

_,

₃

737

V

₁

_,

₂

_,

₃

730

V

₁

_,

₂

_,

₃

255

V

637

159

V

₁

_,

₂

_,

₃

1

,

2

,

3

V

537

V

₁

_,

₂

_,

₃

6

,

058

14

V V V V V

1

,

2

V

₁

_,

₂

_,

₃

293

V

1

,

2

,

3

6

V

.

142

.教育評鑑研究內容探勘 曾元顯、林瑜一 吳清山教授 王麗雲教授 郭昭佑教授 張德銳教授 劉春榮教授 潘慧玲教授 蘇錦麗教授 表 3 教育評鑑領蜴核心期刊專家學者問卷名單(依姓氏筆畫排序) 學者專家 服務學校/系所( 2007年7月) 丁一顧教授 臺北市立教育大學教育行政與評鑑研究所 王保進教授 臺北市立教育大學教育行政與評鑑研究所 國立臺灣師範大學 教育學系/教育評鑑研究中J 心資料組組長 臺北市立教育大學教育行政與評鑑研究所 財團法人高等教育評鑑中J 心基金會執行長 臺灣藝術大學師資培育中J心 臺北市立教育大學教育行政與評鑑研究所 臺北市立教育大學教育行政與評鑑研究所 國立臺灣師範大學教育學系/教育評鑑研究中J 心副主任 國立新竹教育大學教育學系 表 4 專家推薦增補之重要期刊刊名 項;欠 推薦增補之期刊名稱

International Journal ofEducational Research

2

Journal ofEducational Research

3

Journal of

Multi-disciplinaη Evaluation

4

Quality in Higher Education

5

Research Evaluation

推薦專家 WoS篇數 蘇錦麗教授 蘇錦麗教授

661

蘇錦麗教授 王保進教授 王保進教授

174

以下詳細說明表 2 中各欄位內容的意義:

(一)候選期刊

由種子文獻所引用參考的資料中，蒐集與教育評鑑內容相關的期刊，作為候選期刊。

(二)資料庫

從下列資料庫中搜尋候選期刊被收錄的情況(空白者表示沒收錄)

:

1. WoS (Web of

Science) 資料庫

提供理、工、醫、農、社會科學等各學科領域之文獻書目、作者摘要及引用文獻等資料。 該系統收錄期刊超過9，000 種，每年提供超過 110 萬筆書目及 2，300 萬筆引用文獻，其中包

表 5 專家列舉教育評鑑3頁I或重要學者(重要文獻作者共 42 位)

AIkin

,

M. C.

Davidson

, 1.

Leviton

, L.

C.

Preskill

,

H.

Tyler

,

R. W.

Boruch

,

R.

F.

Eisner

,

E. W.

Lincoln

,

Y.

S.

Provus

,

M.

Weiss

,

C. H.

Campbell

,

D.

Fetterman

,

D. M.

MacDonald

,

B.

Rossi

,

P.

H.

Wholey

, 1.

S.

Chelimsky

,

E.

Guba

,

E. G.

Millm阻，

J.

Sanders

,

J. R.

Wingate

, L. A.

Chen

,

H.-T.

Hopkins

,

D.

Nevo

,

D.

Scriven

,

M.

Wolf

,

R.

L.

Cook

,

T. D.

House

,

E. R.

Owen

,1.

M.

Shadish

,

W. R.

Worthen

,

B.

R.

Cousins

, 1.

B.

Kellagham

,

T.

Owens

,

T.

Stake

,

R.

Cronbach

, L. 1.

Kells

, H.

R.

Patton

,

M.

Q.

Stufflebeam

,

D.

L.

Darling-Hammond

, L.

King

,1. A.

Popham

,

W. J.

Suchm 曲， E.

註:此份名單為海慧玲與蘇錦麗教授提供

合 SCI

(Science Citation

Index) 、 SSCI

(Social Sciences Citation

Index) 與 AHCI

(Arts &

Humanities Citation

Index) 。

2.

PDC (Professional Development

Collection) 資料庫

專為教育工作人員設計，收錄了分科細密的五百二十種高品質教育期刊，還包括近三百 五十個同儕評鑑標題。本資料庫亦收錄逾200 份教育報告，堪稱為最專業的教育期刊集合。

3.

ERIC (Educational Resource Information

Center) 資料庫

收藏逾 1 ，000 種教育相關的期刊及其他教育參考資料。

(三)種子文獻之參考期刊

本研究參考的教育評鑑導論性論文，亦即候選期刊的種子文獻，主要為一本教育評鑑模 式論文彙編，以及數篇教育評鑑概論方面之文章(王保進，

2002

;吳清山、王湘栗，

2004 ;

郭昭佑，

2006

;黃德祥、薛秀宜，

2004

;劉春榮，

2004

;潘慧玲，

2005

;蘇錦麗譯，

2005)

,

其主要作者包括:王保進、吳清山、郭昭佑、黃德祥、劉春榮、潘慧玲、A. Steinmetz 、 D. L. Stufflebeam 、G.

F.

Madaus 、 H.

S.

Bhola 、L.

J.

Cronbach 、 M. Scriven 、 R.

E. Stake

、 R.

W.

Tyler

、

T.

Kellaghan 等(按姓氏筆畫、字母順序排序)。

(四)國內師範大學圖書館收鋒之資訊

指候選期刊在國內北、中、南 3 所師範大學圖書館於 2007 年 6 月被收錄的情形。其中:

.

144

.教育評鑑研究內容探勘 曾元顯、林瑜一 (五)專家判斷 表 2 的最後一欄數值，為表 3 中 9 位專家判斷該期刊為核心期刊的累計次數。數值愈高， 表示愈多專家認為此期刊乃重要的核心期刊。此專家判斷於 2007 年 7 月進行，表 3 中專家的 服務單位為當時的現況。 為了決定最後的核心期刊，除了累計專家的判斷外，本文也統計了表 5 中的重要學者在 這些期刊中發表論文的篇數。表 6 列出被專家判斷為核心期刊最多次(超過五次)的九種期 刊，以及重要學者在其中發表論文的總和篇數(檢索時間為 2007 年 8 月)。從表 6 中，本研 究決定了編號 18-22 以及 29 這六種期刊，作為本次分析的核心期刊。其中編號 17 的期刊，與 教育評鑑主題非常相關，重要學者的發表數量也多，但由於沒有被 WoS 資料庫收錄而無法進 行書日對分析，因此只好將其排除。 表 6 專家判斷累計次數超過五次之期刊與重要學者在其中發表篇數總和統計 資料庫 專家 重要學 編號 _候選期刊 判斷 者發表

PDC

WoS

ERIC

累計 文章篇 (篇數) (篇數) (篇數) _{;欠數 數總和}

2

Assessment

&

Evaluation 的 Higher

Education

683

297

8

2

17

Studies in Educational Evaluation

737

7

40

18

Educational Evaluation and Policy Analysis

322

730

9

25

19

American Journal ofEvaluation

508

493

255

7

68

20

Evaluation Review

413

577

637

9

23

21

Evaluation Practice

140

159

6

30

22

Evaluation and Program Planning

867

537

7

15

23

Evaluation

6

,

058

7

29

JournalofPersonnel Evaluation in Education

74

293

6

17

與教育評鑑領域有關的期刊，可能有三十五種(三十種作者整理的候選期刊，以及五種 專家增補的期刊) ，但在考量資料的可得性與篩選合理性之情況下，最後選擇以下六種:

Educational Evaluation and Policy Analysis

(EEPA) 、 American

Journal of Evaluation

(AJE) 、

Evaluation Review

(ER) 、 Evaluation

Practice

(EP) 、 Evaluation

and Program Planning

(EPP) 、

Journal of Personnel Evaluation in Education

(JPEE) 。至於其他未被本研究選為核心期刊者，

上述各種表格的資訊，仍可供個別應用時的參考。

在 Thomson Reuters 的 Journal

Citation Report (

JCR) 資料庫中， EEPA 屬於 Education

(impact

factor) 為1. 133 '排名前 25 名。而 AJE 、 ER 、 EPP 則屬於 JCR 的 Social

Sciences

,

Interdisciplinary 領域，其包含六十一種期刊，此三種期刊於 2008 年的影響指數分別為: 1.1 04 、 1. 051 、 0.735 '排名各為 :11 、 13 、 28 。至於 EP 只於 1994-1997 年這 4 年間被 WoS 收錄，而 JPEE 也只於 1989-1992 年這 4 年間被 WoS 收錄，因此，在 JCR 中都找不到 o

二、單一期刊分析

在進行核心期刊的分析前，本文先對唯一屬於 Education

&

Educational

Research 領域的

EEPA 期刊進行分析，以瞭解在狹義的範圍中，教育評鑑研究主題的特色。 EEPA 自 1992 年起， 始收錄於 WoS' 截至 2005 年底，共有 318 篇論文，其年代篇數資料，如表 7 所示。依表 7 中 的年代篇數序列，耳耳其線性迴歸線來預測趨勢，所得回歸線之斜率為-1.1 736 '顯示整體研究 趨勢呈現緩步下滑。為何如此，可能和此期刊採編政策有關，或與研究人口、經費、主題熱 門程度有關，需專家進一步瞭解與解讀。 表 7 EEPA 期刊的 318 篇論文年代篇數統計 年代 ，但 '93

'94

'95

'96

'97

'98

'99

'00

'01 啦啦 '04 '的 篇數

30

28

31

29

22

24

21

24

22

18

17

23

17

12

依照上一節研究方法的說明，針對這些論文，以書目對進行三階段歸類的結果，如圖 3 的主題樹所示;而依照共現字三階段歸類的結果，如圖 4 的主題樹所示。在圖 5 中，本研究 將兩種歸類結果可解讀的部分(如圖 3 、圖 4 中被圈起來的部分) ，翻譯成中文詞彙'然後將 其並列，再把相似的主題連線起來，以方便分析比較。

1.

143: 崎 :0 伽 (~ership:

6.7

,

schoo川princi向于 teacher: 近互訪)

o

11 筆:

0.025397

(函ses-smιat:

1.5

,

kentuel[j':-t前wale:

1

.4,

england: 1

.4)

﹒ 7筆:

0.020 ( )

.4筆:

0.010 (wale:

1.

4

,

england:

1.

4

,

autonomous: 0.

7)

o

35筆:

0.040 (leadership: 9.0

,

teacher: 3.9

,

school: 3.3

,

managemen

t:

3.0)

圖 28筆:

0.044 (leadership:

6人

educationalleadership: 2.8

,

teacher: 2.8)

﹒ 15筆:

0.011 (teacher:

1.

9

,

performance:

1.

2

,

involvemen

t:

1.

1

,

instructional: 0.9

,

school: 0.7)

團 13筆:

0.023 (case:

1.

2

,

model: 0.7

,

reform: 0.5

,

education: 0.3)

•

7筆:

0.017 (school: 0.7)

.

146

.教育評鑑研究內容探勘 曾元顯、林瑜一

2.189:41 筆:

O.OOjY(size: 7.8

,

school:

4.~resource:

2.1

,

effect: 2.1

,

specia

l:

2.0)

o

37筆: O.O~ 血 e:

9

.4,

effect: 3.5

,

,t

hool: 3.3

,

special: 2

.4,

social: 2

.1 )

•

31 筆:在加今咚d船H控~6.9，

special: 3.0

,

achievement: 2

.4,

tennessee: 2.3 )

•

8筆:

0.005 (title: 1.3

,

school: 0.9

,

achievemen

t:

0.5 )

•

23筆:

0.019 (size: 7.0

,

class: 6

.4,

class

si問:

6.2

,

effect: 1.6

,

achievement: 1

.4)

•

6筆:

0.054 (size: 1.6

,

high: 1

.4,

high school: 1.0

,

schools-within-schools: 0.7)

o

4筆:

0.021 (bad: 0.7

,

religious-education: 0.7

,

choose: 0.7

,

drive: 0.7)

3.

116:67 筆:

0.009

(rna由ematic:

7.1

,

school: 6.3

,

student: 4.7

,

state:

3 人 poli叮:

3.2)

o

61 筆:

0.016 (mathematic:9.0

,

school:5.2

,

student:3.7

,

middle:3

.4,

high: 3

.4)

•

53筆:

0.056 (mathematic:6.8

,

high school:5.6

,

test:3.6

,

state:3.5

,

graduation:3

.4)

•

37筆:

0.005 (high: 6.0

,

mathematic: 5.2

,

school: 2.9

,

studen

t:

2.6

,

secondary:

2.

1)

•

16筆:

0.015 (reform: 4.3

,

sta能:

3.3

,

practice: 2.0

,

instruction: 1

.4,

mathematic:

1.

2)

•

8~: 0.01~豆沙2 叫e的:

1.

4

叫…

,

s

e位此叫

X紅叫:汁l 叫

o

6筆

:

0.0位23 (付V叫u闆e:汁1.4，

teacher:

1.2句

politic: 0.8

,

r昀官郎c臼ei甘ve缸:

0.7

,

a叮i地站d止: 0.7竹

)

4.

16“8:峙

l悶暉…

8嘩時恥一…筆早引刊

:0

圳

ωOω

州

O∞吋

O

o 14

筆

:

0.0位22 (v刊alid副it句句y:汙1.6， lei剖ig阱h: 1.4， e肝V剖ua例ti切on:汙1.1， a肘ss閥es“sme凹nt叫:汙1.1， 0側utcωorne:汁1.0的

)

•

8筆:

0.011 ( )

•

6筆:

0.054 (gender:

1.

4

,

difference:

1.

4

,

science:

1.

4

,

test:

1.

0

,

approximation: 0.7)

o

4筆:

0.040 (evaluation:

1.

6

,

research: 0.8

,

demonstration: 0.7

,

federally: 0.7

,

nature: 0.7)

5

拘仿:2時

l嘩筆 :0ωOIl 0鮑通吾弘…

t仇仙仙叫

u叫II

policy-making: 1.6)

o

17 筆:

0.048880 (opportunity to learn: 4.0

,

international: 4.0

,

mat曲hemat叫t“ic:

1.

4

mat曲hemat“ic

and science: 1

.4,

implement: 1

.4)

•

10筆:

0.009 (system: 1.0

,

policy: 0.3 )

•

7筆:

0.023 (learn: 1.0)

o

4筆:

0.037 (examine: 0.7

,

innovation: 0.7

,

centralization: 0.7

,

education: 0.7

,

prominence:

0.7 )

6

止 17筆:叫

Oω

仰川

Oω

伽

3指6呸互沙沙沙

c恤h恥

hoic

仙

0ω伽

ic恥c臼e叫:江

2

o

4筆

:

O.ρ創O叫15 (i峙d由e叫a叫址I:力O.盯..7， s“ch加O∞O叫l吋引it臼e:力O.盯.7， z昂冶叫a叫呦Ian吋d:力0.7

,

pr戶rin犯叫cip伊a叫l呵entω:力0.7，

school-based:

0.5討

)

o

I日3筆: O.ρ圳O叫19 cs恤心毛ι~心hool.

2

.4,

public. 口~ε~

1.1

,

national: 0.6 )

7.

6:

19筆:

0.0461 certification:7.0

,

teacher:4.5

,

teacher

certification:狗，

matter:2.0

,

value: 1.6)

o

5筆:

0.076 (certi

fiC

a

tI

on. 4

.1,

teacherωtification :I荒 certi 命:

0.7

,

traditionally: 0.

7)

o

14筆:

0.011 (teacher: 5.0

,

school: 0.3)

8.132:9筆:

0.007 (gift:

1.

4

,

employer:

1.

4

,

cost-analysis: 0.7

,

signa

l:

0.7

,

school-to-wor

k:

0.7)

04筆:

0.031 (employer: 2.0

,

academy: 0.7

,

signal: 0.7

,

scale: 0.7

,

ged: 0.7)

o

5筆:

0.013 (gif

t: 1.

4

,

ana1ysi:

1.

2

,

equal: 0.7

,

cost-analysis: 0.7

,

education: 0.7)

9.

242:

4筆:

0.014 (testimony:

1.

0

,

reframe:

1.

0

,

litiga位on:

1.

0

,

democratic community:

1.

0)

10. 241:

4筆:

0.014 (help:

1.

0

,

diego:

1.

0

,

affirmative:

1.

0

,

attrition:

1.

0

,

increase:

1.

0)

1

1.

239:

5筆:

0.011 (child-care: 2.0

,

poverty: 1

.4,

family: 1

.4,

preschool: 1

.4,

shadow: 1.0)

l口2 圳 :9嘩筆 :0ω013 (cω叫0叫岫mmun

proprietary school: 2.0)

圖 3 (續)根據書目對分析的歸類結果

1.

179:

71 筆:

0

.1

47 (high school: 84.5

,

teacher: 25.9

,

policy: 22.3

,

grade: 19.6

,

new: 14.8)

o

67筆:

0.232 (high school:

97和電iZe:

41.6

,

c古樹 35.5 ，

small: 2

1.

0)

﹒鉛筆:

0.331 (high

scho()J;.立2.2...!區~，

class: 4

1.

7

,

teacher: 29.8)

.44筆:

0.502 (size: 6

1.

0

,

high schoo

l:

60.5

,

class: 52.0

,

small: 32.1 )

﹒鉛筆:

0.233 (high school: 84.6

,

studen

t:

30.5 、 co叮se:

27.8

‘

math:

22.1μ斗斗

﹒ 18筆:

0.152 (teacher: 18.3,

design:

15.7司 class:

12

.4‘

effec

t:

9.7

‘

positive:

L互之

• 12

﹒ 11 筆:

0

.2

23 (college: 39.0

‘

student: 4

.4,

education: 2.2 )

O 4筆:

0.176 (high-stakes: 5.6

,

skill: 4.2

,

high-stakes test: 4.2

‘

sa1arv:

3.5 咽。Ian:

3.5)

2.

88:

25筆:

0.236

(f

und: 22

.1,

district: 20.6

,

finance: 16.8

,

new: 12.8

,

school: 9

.2)

o

1暐9啤筆

:0

叫n…al組捌沁酹削肌叫叫nE叩削刷叫c倪蛇叫叫e缸叫叫叫:22剖川l

.6筆: 0.34位2 (e叫qU叫I且it仰v: 7.7‘ s“ch加O∞O叫1

finance: 7.7

,

debate: 4.9. attention:

4.2‘ svst紀em: 3.6扒)

﹒ 13筆:

0.316 (district: 14.3

‘

reform: 10.8

,

school distric

t:

10

.3‘

spend: 7.2)opportunity

O

6筆:

0

.4

43 (federal: 14.0

‘

title: 8.8

‘

fund:

6.2、 evaluation:

5.3. schoo1wide:

4..9-不/to

learn

/一\~

3.

67:

38筆:

0.263 (test: 32.2

,

assessmen

t:

27人 performance:

20.0

,

0tl: 1

9)

8

,

accountability:

15.2 )

027筆:

0.308 (assessment: 37.5

,

test: 23.2

,

otl: 2

1.

0

,

accountability: 19.0

,

score: 17

.4)

.17筆:

0.187 (assessmen

t:

41.8

‘

test: 8

.4.

performance: 7.0

‘

national: 6.2 )

.10筆:

0.205 (score: 14. L test: 6

.4.

hands-on: 4.9. science:

1.6、 high:

1.6)

o

11 筆:

0

.1

60 (qua1itv: 15.5

‘

work-based: 5.6

‘

teacher: 5

.2‘

learn: 2.3

‘

program: 1.9)

.

148

.教育評鑑研究內容探勘 曾元顯、林瑜一

4.

13:

38筆戶相(teach叮: 35.~ification:

22.5

,

practice:

2肘，

policy: 20.0

,

m枷matic:

16

.4 )

o

30華毛主492 (teach叮: 25 .4，吵Huc“onal:

18

.4,

knowledge: 16.0

,

content:

I 刀，

practice:

12.5 )

.II 筆:

0.184 (content: 15.5.leadership: 9.0. subiec

t:

5.0

‘

mathematic: 3.6 ')

﹒ 19筆:

0

.1

17 (teacher: 19.8

‘

read: 12.9. instructional: 10

.4.

policy: 9.9.

Practice: 5.2 ')

O 8筆:

0.321 (applv: 1

1.

0. model: 3.0. national: 2.9

‘

policv: 2.2. school: 1.7')

5.207:21 筆:

0

.1

29 (social: 16.1

,

rate: 9.7

,

education: 8.5

,

higher: 4.9

,

system: 4

.1 )

。 16筆: 0.263 甘心…帥ator: 17 叫仙呸亟抄3， cohes川)

-9筆:

0.234 (characteristic:

7.9、 state:

6

.4‘

level: 5

.4,

opportunity: 4.0

,

distric

t:

4.0 ')

.7筆:

0.330 (social: 17.6. capital: 8

.4.

social capital: 7.7. social cohesion: 6.3 ')

: 0.180 (reviewer: 9.8. oroductivitv' 7 O. external reviewer: 6.3

‘

research: 5.7

6.

8:

12筆:

0

.4

4

t{

segre'gation: 14.6

,

group: 13.8

,

ethnic: 9.0

,

rac1句:

7.6

,

achievement: 6.9)

O 4筆:

0.399 (abi

ffiV:

8.9.

ability 且IVUυ:-5 ιllll山re:4玄。 olitical:

3.9. honor: 3.5

O 8筆:

0

.3

08 (difference: 12.8. california: 4.5

‘

science: 3

.3‘

achievement: 2.5. test: 2.0 ')

7.

I:

8筆:

0.541 (succe:

14人

massachusett: 7.6

,

bonu: 5.6

,

sign: 4.9

,

institution: 4.9)

O 4筆:

0

.4

83 (succe: 7.5

‘

institution: 4.2. budge

t:

3.9、 defeate:

2.8

,

statistically: 2.8 ')

O 4筆:

0.374 (massachuset

t:

8.

1.

bonu: 4.9. sign: 4.2. enrollment: 4.2. intervention: 3.9 ')

8.

32:

16筆:

0

.3

24

(C

retention:

46:可 preschool:

20.9

,

children: 18.6

,

family: 11

.2,

service: 10.9)

O 12筆:

0

.2

12(

child也區-29.8‘ preschool:

19.0. special education: 9.7

‘

special: 9.7

‘

lower: 7.3 ')

O

4筆:

0.329 (voucher: 4.9

,

familv: 4.9

‘

program: 3.

1.

service:

3正詞Eiatio叫 voucher芳百

司、、--一-9.

39:

15筆:

0

.3

08 (evaluation: 18.0

,

program: 6.9

,

decision: 6.5

,

teacher:

6人

question: 6.1 )

O 9筆:

0

.2

61 (question: 10.2. evaluation: 8.3. data: 5.0. research:

3.5角 program:

1.7)

O 6筆:

0.269 (participation: 7.7,

decision: 5.

1.

program: 3.8

‘

willingne to participate: 3.5

10.83:9 筆:

0.242 (systemic: 8.3

,

change: 8.3

,

proprietary school: 6.3

,

problem: 5.6

,

growth: 4

.2)

O 4筆:

0.204 (proprietarv: 4.9. proprietarv school: 3.9

‘

growth: 3.9

‘

metric:

3.5. 臼rv:

3.5)

O 5筆:

0

.4

99 (svstemic: 6.3

‘

problem: 4.9

‘

change: 4.7

‘

frame: 3.5

‘

policy change: 3.5)

I

I.

12:

12筆:

0.398 (implementation: 9.6

,

case: 8.0

,

school reform: 7.6

,

testimony: 6.3

,

rule: 6.3 )

O 8筆:

0.239 (reform: 13.1. school reform: 10.0. adoption: 5.6. ems: 4.9. foundation: 4.9 ')

O 4筆:

0.383 (testimonv: 5.6. rule: 5.6. intermediarv: 5.6. expert: 5.6. case: 5.6 ')

12.35:21 筆:

0.317 ( choice: 31.3

,

resource: 20.5

領導、校長、改革 高中、班級大小;校長、領導

c><三

2

班級大小、資源、效應 資金、(學校)財務、改革、學區

3

數學、高中、留級 測驗、評估、績效、學習機會 (OIL)

4

評鑑、方案、效力、結果 教師、認證、政策

5

學習機會 (Opportunity

to Learn

,

社會資本、機會、(教育)生產力 OIL) 、國際、州、決策

6

教育券、選擇、授權、父母、競爭 隔離、種族、能力、成就

7

教師認證 _{成功、成本效益}

8

雇主、成本分析、資優、教育 留級、學前、孩童、家庭、教育券

9

證詞、訴訟、民主社會 評鑑、方案、決策

1

υn 協助、支援、耗損 全面的、改變、技職學校

11

小孩照顧、家庭、學前 學校改革;專家、證詞

12

社區學院、補救教育 選校、資源、特許、資優 (gifted) 圖 5 兩種歸類結果的比較 註:左邊為書目對結果，右邊為共現字結果 這些主題樹所代表的意義，以圖 3 第一棵主題樹為例，其第一行，-

143 :

46 筆:

0.006

(l

eadership: 6.7

,

school: 5

.1,

principal: 3.7

,

teacher: 3.5

,

reform:

2.6)J' 分別代表此類別的內部 (程式給的)編號為 143 '共包括 46 篇文章，是由各含 11 篇與 35 篇文章的兩個小主題所組 成，且此兩個小主題之間的相似度不低於 0.006 。另外，此類別內的 46 篇文章中，最具代表 性的關鍵詞彙為 leadership ，代表性係數為 6.7 '其次為 school' 代表性係數為 5.1 等等。 從實務的角度看，這些自動偵測的主題，除印證本研究對教育評鑑領域的一般認知外(如 「教師認證」、「評鑑」、「改革 J) ，也提供額外的主題項目與數據(如篇數) ，因此這些結果具 有相當的參考牲。然而，從研究的角度，要如何驗證這些自動化分析結果的正確性或有效性? 從圖 3 、 4 可知，不同的文件相似度定義(書目對與共現字) ，會得出不同的歸類結果。 這些相似度都有其主題近似上的意義，因此這兩種結果，不難看出其共通性，如圖 5 中相同 的詞彙: i 校長、領導」、「班級大小」、「評鑑」、「改革」、「教師認證」、「學習機會」、「留級」、 「教育券」等。這種共通性，顯示這群文件中確實存在這些主題的可能性極高，才有可能經 由不同的途徑而獲致相似的結果。 雖然本研究沒有尋求專家的協助，來閱覽、分析、解讀這群文件的主題，以致於無法完 全確認上述共通主題類別的存在性(有效性) ，但即便專家也會有主題分析看法不一致的情 形，而難以完全互相確認彼此的結果。像這樣透過不同的自動方法而獲得的共同主題，就好 像同時問了 2 位看過這些文件的人(或專家) ，他們各自有主題相似度判斷的標準(各自有不 同的專長領域和程度) ，可是卻從他們之口中，獲得相同的結果。在類似的研究中(如資訊檢

.

150

.教育評鑑研究內容探勘 曾元顯、林瑜一 索的相關判斷) ，這些一致的專家判斷結果，常被視為(較為嚴格的)，-標準答案」來看待。 從圖 3 、 4 的異同，也可觀察到每一種主題歸類的方法，都有其優點與缺點之處。例如， 依照書目對來歸類，主要是靠論文之間的引用情況來計算相似度。其明顯的好處是，論文A 與 B 的用語可以差異極大，即使其共現字極罕見，只要A 與 B 共同引用足夠多的相同丈獻， 則 A 與 B 即有足夠高的相似度。反之亦然，若論文A 與 B 探討相同的主題，卻因為某些因素 而沒有相同的參考書目時， A 與 B 就不被書目對的關係對應起來。此時，若A 與 B 共用一些 主題詞彙'則他們就可被共現字的關係對應起來。也就是說，書目對與共現字的分析可以互 補，也可以彼此強化對方的結果。因此，單一方式偵測到的主題也值得探究。這包括利用書 目對得到的: ，-補救教育 J' 以及利用共現字得到的: ，-社會資本」、「種族教育問題」等主題o 表 8 與表 9 分別顯示書目對與共現字的主題歸類結果與年代交叉分析的篇數資料，其中 第一欄為主題編號，第二欄為該主題內的篇數，第三欄則根據第四欄到第十七欄的年代篇數 序列，以線性迴歸方式計算的趨勢斜率，此斜率可作為趨勢指標來預測該主題的熱門程度。 表中第二列為這 12 大主題的篇數累計，其總和不到318 篇的原因，乃多階段歸類過程中，取 相似度門檻將低相似度者過濾不計造成的結果。此種結果在科學計量中相當普遍，因為雖然 有眾多丈獻在探討主流議題，仍會有為數不少的丈獻在探討獨立的小議題，而無法與其他丈 獻歸類在一起。此種現象也常可用網路書店銷售統計曲線的長尾理論來理解。 表 8 書目對歸類結果的主題年代交叉分析與趨勢指標

Cluster df

Trend

'92

'93

'94

'95 鳴 '97

'98

'99

'00

'01

'02

'的 '04 '的

Total

260 -0.8659

22

20

28

25

17

23

16

20

14

16

16

20

12

11

句3 司3. 且，且可 -1IAV 司 1 ， I

44721012ooo2-

21613lllovolo-4 1 5 3 『 F I l l o o o 2 ­

12322132loo1E

•• 且 E

一題

4 0 3 5 3 1 2 o o -o -王

一之

526313lolooo-滑 一下 1 2 2 5 0 0 3 2 4 4 4 8 -# 刀

496643164459--r

句3rOA 且可唱且 A 且可可 VOOA 且可 AUAU'1 ， 1-Hq 。 3 ， B O O -i

a叫

0.0.aaaddaaAa

一示

--K 糊 6 1 7 8 1 7 9 9 4 4 5 9 一﹒者 A 『凡『后 U冒且， ba--1 且 -JAi

一體

一且 h v -d 鳴叫， 123456789KH 口一

註

咀且， I/OOOOOAυnυAυ'I'IAU 句37E 司3 。"，且 AV 司 1 ， 1 ， IAUAUAU '、 UA 且可正 U 。"，且司 3 ， IAUAUAUAUAU 咀且 A且可 ro 。"。"司 3 ， IAUAUAUAU'1

1460002loo20

262003looooo

o951102oolo

表 9 共現字歸類結果的主題年代交叉分析與趨勢指標

Cluster

df

Trend

'92

'93

'94

'95

'96

'97

'98

'99

00υ

'01

'02

'03

'04

'05

Total

286

-0.9714

28

26

27

25

18

20

17

23

21

17

16

21

15

12

71

-0.0549

6

4

3

8

8

3

10

8

6

4

6

2

2

2

25

-0

.1

297

O

7

3

3

2

3

O

O

2

3

38

-0.2813

4

4

2

8

1

3

4

3

2

3

2

1

_。

1

4

38

0.0747

2

3

4

2

3

2

2

4

3

4

5

2

5

21

-0

.1

604

3

3

4

2

O

6

12

-0.0791

3

O

O

2

O

O

O

O

2

7

8

0.0264

O

2

O

O

O

O

O

O

O

2

8

16

0.0132

2

O

2

O

2

O

3

9

15

-0.2264

4

3

3

1

_。

1

_。

1

_。

_。

1

_。

1

_。

10

9

-0.0813

2

O

O

O

O

O

2

O

O

11

12

0.0308

O

2

O

O

O

3

O

2

O

12

21

-0.1033

2

2

4

O

2

2

2

3

O

O

註:粗體者顯示趨勢下滑之主題 表 8 中顯示，這 12 大類的總體趨勢指標為-0.8659 '同前述，顯示整體研究趨勢呈現緩步 下滑。其中各主題之間下滑得相對嚴重的類別有 1 、 4 、 5 三類(在表 8 中以粗體顯示) ，特別 是第 4 類(評鑑、方案、效力、結果)與第 5 類(學習機會、國際、州、決策) ，這兩類在 2000 年以後幾乎沒有相關的論文出現。在表 9 中，總體趨勢斜率為-0.9714 '各主題之間趨勢下滑 相對嚴重(以粗體顯示)的有第 3 類(測驗、評估、績效、學習機會)與第 9 類(評鑑、方 案、決策)。此結果顯示，在趨勢預測的結果中，書日對與共現字都一致得出「評鑑、方案、 學習機會」是相對趨勢下滑的研究課題。在教育評鑑領域中，這些看似是主要的議題，居然 論文數量愈來愈少，實在值得深入探究。不過他們的趨勢斜率都比總體趨勢斜率高，或許並 非真正的愈來愈少人研究。無論如何，這些量化數據剛好可以作為研究假說(主要議題是否 愈來愈少被探討)的重要支柱。 上述歸類的結果，除了以主題樹呈現外，也以多維縮放技術，計算類別之間在二維空間 的相對關係，從而繪製出其主題地圖，如圖 6 所示。在主題地圖中每個有編號的圓圈代表一 群被歸類在一起的文件，圓圈的大小代表該群文件的篇數多寡，圓圈的距離代表該群文件與 另一群文件的關聯強度，距離愈短表示主題上的關聯性愈高。 此主題地圖與主題樹是互相對應的。在主題地圖中每個圓圈的編號，都對應到主題樹中 一個主題的內部編號，如圖 6 書目對編號 189 的圓圈，其所代表的類別，是圖 3 中編號 189 的類別。此兩張圖互相對照，可以將文件之間的主題關係與知識結構呈現出來，方便專家的