伍、結論與建議

(0 8 ^@

0.9

@

。由

。明

圖8 書目對(左)與共現字(右)的主題地圖

伍、結論與建議

本研究試圖從教育評鑑的研究文獻中找出核心期刊，並以引文分析與文字探勘等方法為 基礎，提出一套文獻探勘模式，以探索教育評鑑領域中隱而未顯、潛在有用的資訊或知識。

此探勘模式可以分析教育評鑑領域中的What (哪些主題)、When (何時開始)、Who (有哪些 重要的作者在進行研究) ，因而可以快速掌握教育評鑑各主題領域，以及其歷年來的發展軌 跡。透過書目對與共現字方法的互相驗證'並與 Aikin 的評鑑理論樹比對後，驗證本研究文獻 探勘模式與方法應用於教育評鑑領域之有效程度。

經由文獻分析、資料庫檢索與專家判斷的交相確認後，本研究歸納出 Educational

Evaluation and PolicyAna加is 、 AmericanJournal ofEvaluation 、 EvaluationReview 、 Evaluation

Practice 、 Evaluationand ProgramPlanning 這六種期刊可為評鑑領域核心代表期刊。至於沒有

.

透過書日對與共現字的相互印證，在 Educational Evaluation and PolicyAnalysis 期刊中，

本研究找出了「校長、領導」、「班級大小」、「評鑑」、「改革」、「教師認證」、「學習機會」、

「留級」、「教育券」等是較為明確的研究主題。透過主題趨勢分析，則發現教育評鑑裡的主 要議題，其論文數量似乎有愈來愈少的趨勢。而在主題地圖中，本研究指出某些主題可能的 關聯，從共現字的主題地圖中也發現，此領域使用的詞彙有限，不管研究什麼議題，主要的 詞彙重疊性(重複性)頗高，亦即大家關心的內容相當集中在某些概念上。

針對六種核心期刊分析的結果，發現在從事方案評鑑 (program evaluation) 或評鑑方法 (Methods) 的學者中，至少包括了:Cook 、 Compbell 、 Chen 、 Weiss 與 Rossi 等重要學者，

而且在評鑑方法的主題中， Chen 、 Weiss 與 Rossi 討論的方法，可能比 Cook 、 Compbell 的還 幸斤。從 AIkin 在主題樹中對專家的擺設位置，也可觀察到相同的現象c 除此之外 'Patton 、 Cousins 與 Preskill 等研究者，被本研究的方法歸類在一起，同時也被AIkin 歸類在一起 O 此種一致性，

顯示本研究的方法具有一定程度的效力。然而，由於此種資料與結果不具結構性，因此無法 以統計考驗的方式，來驗證其統計上的意義。只能從輔助人工作業、降低分析工作成本的觀 點來說明其有效性。

任何一個學科的發展，都有一些重要的研究主題、重要的研究者，以及研究發展的趨勢 和脈絡 O 學科領域專家或許因為有多年的學術涵養，對該領域的研究主題演變可以了然於胸，

如同 AIkin 可以畫出一棵引領後進的評鑑理論樹一樣。然而，並非每一個領域都能輕易找到這 樣的專家。本研究方法的分析探勘結果，與AIkin 的評鑑理論樹對照，可看出有一定的效果。

因此，此方法應該也可以用在不同學科領域，繪製出該領域的主題樹或主題演進圖，以瞭解 該學科有哪些重要的研究主題、研究脈絡，甚至標示出重要學者的位置，從而形成以證據為 基礎的 (evidence-based) 假說，提供進一步探索、研究的素材。

而即使達不到上述效果，其所提示的資訊也具有增補專家既有知識之功效。例如，較新 的專有名詞:Daniel empowermentevaluation 、 developmental evaluation 、 diffusionof innovation

the。可、 evaluatorcompetency、 groupevaluation、 stakeholder-based evaluation 等，可用於修訂該 領域的索引典。文如，Hedges (或 Nye 、 Konstantopoulos) 在班級大小的相關議題中，也許是 值得注意的人物，因而可以提供 AIkin 的理論樹，針對較晚進的議題、人物，進行擴展、茁壯 的材料與線索。

本研究方法(第三節)的步驟二到步驟八，已寫成一套名為 CATAR (Content Analysis Toolkit for Academic Research) 的工具程式 (Tseng， 2010b) ，其先前版本，已陸續應用於谷 佳臻 (2008 )、訐育問 (2009 )、曾元顯(2007 ' 2009)、Y.-H. Chang 、 C.-Y. Chang 與 Tseng( 20 I0 )

等人的研究或計畫之中，以便從中獲得各種試驗、印證、回饋與修正。本研究乃此分析技術

最成熟、最完整的呈現，以及全新的應用。未來將繼續擴大應用範圍，以深入瞭解其實務應 用上的各種效應，從中累積經驗，並尋求精進改善之處，以提供各領域的實務者與研究者更 為有效地運用。

誌謝

本文由國立臺灣師範大學教育研究與評鑑中心(計畫編號: 96E0012-04-03) 以及行政院 國家科學委員會補助部分經費(計畫編號: NSC96-2221-E-003-017- 、 NSC99-2631-S-003-002-),

並由丁一顧、王保進、王麗雲、吳清山、郭昭佑、張德銳、劉春榮、潘慧玲、蘇錦麗等教授 (依姓氏筆畫排序)協助，才得以完成，謹此誌謝。

• 160 .教育評鑑研究內容探勘