教育研究集刊
第五十五輯第四期 2009年12月 頁97-122
從需求面探究技術學院教職員 評鑑能力建立之內涵
曾 淑 惠 、 謝 佩 蓉 摘 要
評鑑能力建立在各國高等教育機構已有二十餘年的實踐歷程，我國技術學院 在當前的評鑑成果下顯示，不僅技術學院的辦學品質有待提升，教職員的評鑑能 力亦亟待加強。為奠立技術學院教職員評鑑能力建立的基礎，本研究旨在建構評 鑑能力建立需求量表，並調查技術學院教職員對評鑑能力建立的需求程度。經文 獻分析、訪談 11 位專家、6 位專家審查及問卷調查 1,054 位技術學院教職員後發 現，技術學院教職員評鑑能力建立的需求，除了從文獻中所彙整的能力內涵外，
尚由訪談發掘數項特殊需求；而不同背景教職員對於評鑑能力建立之需求程度，
達統計上顯著水準，值得進一步探究成因。研究結論包括：一、評鑑能力建立需 求量表包含「理解評鑑工作之方針」、「熟悉評鑑工作之要求」、「參與評鑑工作之 運作」、以及「落實評鑑工作之內涵」等四大面向共 21 題項，經驗證結果模式適 配情形良好。二、技術學院教職員對評鑑能力建立的需求顯著高於高度需求的程 度。最後根據研究結果，提出四項具體建議以供參考。
關鍵詞：技術學院、教職員、評鑑能力建立
曾淑惠，國立臺北科技大學技術及職業教育研究所副教授（本文通訊作者）
謝佩蓉，國立臺北科技大學技術及職業教育研究所博士班研究生 電子郵件為：tsengsh@ntut.edu.tw
投稿日期：2009 年 6 月 23 日；修改日期：2009 年 10 月 5 日；接受日期：2009 年 11 月 20 日
Bulletin of Educational Research
December, 2009, Vol. 55 No. 4 pp. 97-122
The Needs in Evaluation Capacity Building of the Faculty in Technical Colleges
Shu-Hui Tseng Pei-Jung Hsieh Abstract
The evaluation capacity building has been practiced over twenty years among higher educational organizations. The results of technical college evaluation in our country reveal that both the quality of educational management and the evaluation capacity of the faculty need to be improved. To better build the foundation of the evaluation capacity for the faculty in technical colleges, the purpose of this study aims to construct the scale of the needs in evaluation capacity building and to investigate the demands of the staff in technical colleges on evaluation capacity building. The scale construction process includes the literature analysis, interview from 11 experts, consultation with 6 experts, and the questionnaires from 1,054 faculty in technical colleges. The results of interview indicate that there are specific needs in evaluation capacity building of the faculty in technical colleges besides the capacities listed in the references. In addition, faculty of different backgrounds calls for different evaluation capacity building, which requires further investigation. The overall conclusions are as the follows: First, evaluation capacity building scale contains four dimensions. They are: (1) realizing the principle of evaluation, (2) being familiar with the intension of evaluation, (3) getting involved in evaluation,
and (4) practicing evaluation management. The scale has four subscales with 21 questions. After the confirmatory factor analysis, the model fit is good. Second, the needs in evaluation capacity building for the faculty in technical colleges are much higher than the higher demand level. Finally, four suggestions are proposed.
Keywords: technical colleges, faculty, evaluation capacity building
Shu-Hui Tseng, Associate Professor, Institute of Technological and Vocational Education, National Taipei University of Technology
Pei-Jung Hsieh, Doctoral Student, Institute of Technological and Vocational Education, National Taipei University of Technology
E-mail: tsengsh@ntut.edu.tw
Manuscript received: Jun. 23, 2009; Modified: Oct. 5, 2009; Accepted: Nov. 20, 2009
壹、研究緣起與目的
Taylor-Powell與 Boyd（2008）認為，當前評鑑能力建立（evaluation capacity building, ECB）的需求，起因於實務工作上之實證需求，並和大學所處之脈絡以 及學術文化有關。為此，教育人員需將理論與實務相結合。然而，此一需求伴隨 而來之內外在壓力，分別來自於教育機構外部對於績效責任及實證文件的要求，
以及內部將評鑑視為內部核心功能，因而使得評鑑不但成為教育機構的責任，亦 是每一個人工作的一部分。技術學院身為高等教育機構的一員，自不能置身於事 外；然而，國內文獻中對於技術學院組織或個人層次上評鑑能力的討論付之闕如，
同時若檢視 2006-2007 年受評的 34 所技術學院評鑑結果，行政類獲評一等的學校 僅約佔三分之二，至於獲評一等的專業類系所亦僅約佔二分之一（教育部技職司，
2008）。由於評鑑能力建立在組織層次上，可以幫助組織決定所欲達成的意圖，並 連結到評鑑的最終目標（Taylor-Powell & Boyd, 2008）；再者，技術學院評鑑的目 的在診斷教學品質及評核辦學成效（曾淑惠，2008），易言之，技術學院教職員評 鑑能力之建立，是達成提升教學品質與辦學成效目的的重要途徑。鑑於技術學院 評鑑結果未盡理想，顯見不僅技術學院的辦學品質有待提升，教職員的評鑑能力 亦亟待加強。
若從國外對評鑑能力建立議題的討論歷程觀之，Preskill（2008）檢視美國評 鑑協會（American Evaluation Association, AEA）2000-2007 年的研討會議程發現，
242場研討會中，每場至少有 1 篇有關 ECB 的文章。另外，AEA 也在 2006 年成 立了「組織學習與 ECB 討論小組」，14%的 AEA 成員參與其中；同時，AEA 最 近的調查發現，54%的填答者自陳在組織中有參與 ECB 的經驗。另外，許多國家 如加拿大、瑞典、英國、法國、德國、芬蘭、紐西蘭、挪威及丹麥等國家，均自 1970年代後致力於評鑑能力建立的實務工作（Boyle & Lemaire, 1999）。近年來，
評鑑能力之建立更成為人員專業發展的重要訴求（Manning, Sisserson, Jolliffe, Buenrostro, & Jackson, 2008），相較之下，國內對於評鑑能力建立的討論相對稀 少，多數散見於對中小學教師的倡議，如陳美如（2002）、曾淑惠（2006）、李俊
湖（2007）、徐昊杲、饒達欽、黃采婕與張天民（2007）等，少有對高等教育機構 中評鑑能力建立的探究。
然而，以今日的國際情勢觀之，評鑑能力建立的議題仍受到廣泛的討論，國 內的技術學院面對社會大眾對教育績效責任的要求，誠如林尚平（2009）所言，
整體社會對評鑑結果之討論與關切比以往劇烈，對學校在國內外大學排行榜更敏 感，不但追求國內的各項教育認證，亦同步追逐國外教育機構之各式認證，在在 反映出大專校院有相當的壓力必須回應社會對高等教育之觀感與期待。據此，對 建立我國技術學院組織及成員的評鑑能力的需求更形迫切。然個人乃組織的組成 基礎，組織評鑑能力的建立有賴於個人評鑑能力的群體發揮，為探究技術學院中 個人層次對評鑑能立建立的需求，爰擬定本研究之主要研究目的如下：
一、建構評鑑能力建立需求量表。
二、調查技術學院教職員對評鑑能力建立的需求程度。
貳、文獻探討
一、評鑑能力建立的意義與重要性
「評鑑能力建立」至今已有許多學者嘗試將其加以定義，但由於各學者均在 各自研究的脈絡下對 ECB 下定義，因此並沒有任兩篇學術性文章的作者對 ECB 的定義是相同的（Compton & Baizerman, 2007）。然最常受到廣泛引用的定義是：
指引評鑑歷程與實務的能力，並與組織所處背景脈絡密切相關、且富含意 圖性的行動；是一些平常性且持續進行的實務工作，以便於在組織或方案 中，產出有品質的評鑑。（Stockdill, Baizerman, & Compton, 2002）
Naccarella、Pirkis、Kohn、Morley、Burgess 與 Blashki（2007）從許多學者對 評鑑能力建立的定義歸納出一些特徵，例如：（一）強調組織中的成員擁有建構精 確評鑑的技能，同時所建構的評鑑是和日常工作脈絡相結合，以便確保評鑑成為 例行業務的一部分；（二）為達成將高品質評鑑置入例行性實務中，必須使組織具
有支持評鑑活動的文化，包含適切的學習環境與充足的資源；（三）評鑑能力建立 能促進評鑑結果之利用，也就是將評鑑的結果用於服務或方案的修正。本研究依 據上述的討論及本研究的需求，將評鑑能力建立定義為：是一個對個人或組織而 言，能在例行的實務工作中置入、支持並指引有品質評鑑及其歷程與成果使用的 行動系統，目的在培養組織／方案的參與者之評鑑文化與技能，且具有與背景脈 絡相依、意圖性、例行性、持續進行、組織管理、反省與學習等特性。也就是說，
一位具備評鑑能力的組織成員，能夠精準地掌握評鑑的脈動，並能針對評鑑的要 求確實地完成任務。
至於 ECB 的目的，Baizerman、Compton 與 Stockdill（2005）認為，是在創造 並維持整體組織建立有品質評鑑及其例行性使用的歷程；King（2007）指出，評 鑑能力建立的目的是在藉由下列一系列活動強化並支持有效的方案評鑑實務：
（一）增加組織設計、實施以及管理有效評鑑計畫的能力；（二）獲取、建立並使 用評鑑的知識與技能；（三）培養持續的組織學習、改進以及績效責任之精神；
（四）創造對評鑑的認知與支持，當成一種績效改進的策略。因此，在個人層次 上，個人的 ECB 是人們擁有對評鑑的特定知識、技能與意向，包含設計並使用評 鑑工具、建構調查與訪談、分析資料、發展評鑑問題並使用邏輯方法、呈現邁向 評鑑的整體態度或意向等（Huffman, Thomas, & Lawrenz, 2008）。而在組織層次 上，ECB 可以幫助一個組織決定所欲達成的意圖層次，並使 ECB 的意圖與角色 更加明確，而其成果可以被定義為與個人、團體方案或組織的改變相關，並連結 到評鑑的最終目標，亦即幫助組織對更好的社會做出貢獻（Taylor-Powell & Boyd, 2008）。如果將評鑑能力建立後，對於個人和組織之變革所形成的影響，以邏輯模 式圖表示（如圖 1），則更能顯現評鑑能力建立的重要性與價值。亦即評鑑能力建 立後，首先造成個人於認知、情意、行為，以及心理動力四方面的改變，進而和 個人所隸屬之團隊、組織，以及方案四者互動，產生改變；這樣的變革，最後形 成整體之社會性改善。
二、評鑑能力的內涵
對於評鑑人員應備的能力，在國外有一些研究者曾提出一些論點，例如：
圖 1 評鑑能力建立影響個人和組織變革之邏輯模式圖
資料來源：修改自 Taylor-Powell & Boyd（2008: 67）。
Smith（2001）整合十幾位學者的論點後指出，評鑑人員的角色所需的技能涵蓋善 用資訊革命的策略、發展針對評鑑所引發政治面參與及對抗與運用的策略、強化 組織學習之技能、處理人際關係與組織動能之技能、具備處理有關文化爭議的敏 銳性，可以調停並解決一些利害衝突，以及具備專業性專家的能力、能夠提供組 織成員訓練的技能等。Gail、King、Stevahn 與 Minnoma（2006）將評鑑人員能力 歸納為 6 類，包括專業實務、系統探究、情境分析、計畫管理、反省實務，以及 人際關係。也有一些評鑑專業團體亦曾委託專案研究以界定評鑑人員的能力，例 如：CES 進行一項「支持倡議與專業發展」的計畫，界定了評鑑人員應有的能力，
共分系統化探究、勝任評鑑實務、評鑑實務的一般技能，以及評鑑專業等四大項，
累積的努力 成果
活動
ECB
團隊改變
方案改變
組織改變
社會性改善
‧共享了解
‧增加對評鑑的需求
‧為評鑑配置資源
‧決策時使用資料
‧改進的問題解決
‧整個組織都有評鑑 性的思考
‧改進學習與績效
‧加速改變理論
‧評鑑依規劃而行
‧更多有效的評鑑
‧更強大的成果
‧決策時使用資料
‧應用學習到的課題
‧共享了解
‧團隊工作的關鍵性 探索
‧決策時使用資料
‧團隊共同為評鑑努力
‧團隊共有評鑑價值觀
‧改進評鑑實務 個人的改變
‧認知
‧情意
‧行為
‧心理動力
其下分 16 中項、49 小項能力（McGuire, 2002）。在國內有許多碩博士論文投入評 鑑人員能力的建構，亦有學者進行歸納探究，例如：郭昭佑（2007）將教育評鑑 者所需的能力與特質分為擁有足夠的研究方法與評鑑相關專業技術、了解教育評 鑑客體及其脈絡、人際關係技巧、具備評鑑的權力與責任觀念等四項；徐昊杲與 曾淑惠（2008）的研究指出，高職學校評鑑人員應重視的評鑑能力，主要可分為 系統化的探究、評鑑技巧，以及評鑑專業等三項主要構面，共有 27 項評鑑能力。
Dewey、Montrosse、Schröter、Sullins 與 Mattox（2008）則將評鑑能力分成內容 領域專業、資料管理、評鑑理論、現場資料蒐集、工具發展、文獻分析、單變量 統計分析、多變量分析、質化分析、質化方法、報告技能、計畫規劃、計畫撰寫、
研究設計、計畫及團隊管理、與關係人及當事人的聯繫、語法撰寫、報告撰寫、
出版刊物撰寫等 19 項能力。晚近如 Russ-Eft、Bober、Tega、Foxson 與 Koszalka
（2008）在彙集當前評鑑專業團體對評鑑人員能力的規範、專書及研究報告中所 指「評鑑人員應有能力的陳述」，規劃出內部及外部評鑑人員均應具備的能力，共 計包括了：（一）專業基礎能力：以書面、口頭及視覺的形式進行有效溝通；建立 並維護專業的可靠度；展示有效的人際技巧；遵守倫理與法令標準；展示對評鑑 政策的認知。（二）規劃並設計評鑑的能力：發展有效的評鑑計畫；發展評鑑的管 理計畫；設計資料蒐集策略以支持評鑑的問題與設計；對資料蒐集的工具及程序 進行預試。（三）實施評鑑計畫：蒐集資料；分析並解釋資料；傳播並追蹤發現與 建議。（四）管理評鑑：監督管理計畫；與關係人一起有效的工作等四大類共 14 種能力。然 Naccarella 等人（2007）認為，由於外部評鑑人員不能總是對特定給 予的服務或方案有全盤的了解，不能適切地擷取正在進行的事務，因此，許多資 金提供者都要求組織發展内部的評鑑能力，並投注一些專家輔助組織建立其能 力。而 Taylor-Powell 與 Boyd（2008）進一步指出，評鑑能力的建立不只是執行 評鑑的一部分，它可能包含發展一般的認知、技能、資源與下部組織，以支援評 鑑的工作。換言之，外部評鑑人員評鑑能力的界定對內部評鑑人員評鑑能力的參 照是很重要的基礎。
從文獻中對評鑑能力的相關論述可知，學者對應有評鑑能力的分類有不同的 邏輯，有從在組織評鑑時扮演的角色分，有從目標分類中的認知、情意及技能分，
有從評鑑能力的屬性分，也有未加以分類者。有分類者，傾向將能力的陳述細部 化，有些更具有多達數十項能力的細項，未分類者，傾向將能力的陳述綜合化，
而以較少的陳述較為複雜的能力項目。然而，這兩種思維在現實的研究環境中各 有優缺點，若能將評鑑能力先分類，而在各分類項下用較精簡的陳述項目表達分 類能力的應備概念，則對實徵性的探究較為可行。據此，本研究在審視各學者所 提出之評鑑能力最細部的陳述後，將文獻中所提及，內部評鑑人員應具備的評鑑 能力歸納為理解評鑑工作之方針（含了解評鑑之目的與目標；認知評鑑的原理與 方法；區別研究與評鑑的程序）、熟悉評鑑工作之要求（含有計畫、設計並建構一 項評鑑工作的經驗；認同評鑑的歷程與自身的任務；運用專門技術去蒐集資料；
有知識與能力去統計分析資料）、參與評鑑工作之運作（含尊重其他人員意見；可 以與方案或評鑑工作有關人員做清楚、有效的溝通；有知識與能力去管理維護一 個適度的資料庫），以及落實評鑑工作之內涵（如區分不同的評鑑類型與要求；了 解並可回答形成性評鑑及總結性評鑑的問題；監控並執行評鑑方案；撰寫並編輯 簡要的說明報告；省思由專家提出的意見與問題）等四大面向。「應具備之能力」
從另一角度而言，亦可說是內部評鑑人員所需求之能力，因而本文從需求面出發，
建構內部評鑑人員評鑑能力測量工具，並尋求實證資料對於測量工具和評鑑能力 需求論述之支持。
參、研究方法
本研究主要採取專家訪談、專家審查以及問卷調查法，分述如下。
一、專家訪談
受訪對象分兩部分，依北、中、南、東四區選取，其中教學主管（系所評鑑 等第為二等之主任）共 6 人，行政主管（校長、副校長、教務長，以及總務長）
共 5 人，所有受訪人員共來自 11 校，訪談期間為 2008 年 9 月 29 日至 12 月 15 日。
本研究藉由自編之半結構式訪談大綱進行訪談，主要的訪談議題為：「學校評鑑已 然對技術學院的發展形成一股強大的外部驅力，身處於學校教育現場的教職員（含
教師及行政職員），感受到這樣的外部驅力，而形成哪些對評鑑能力建立的需求？」
接著，將訪談錄音謄寫為逐字稿，以 NVivo 8 軟體輔助分析，以提高信實度
（trustworthiness）。資料編碼方式以兩段碼為之，各段碼間以「-」隔開。第一段 碼為人員的代碼：A1-A6，代表 6 位教學主管；B1-B5，代表 5 位行政主管：第二 段碼為評鑑能力建立需求分項的代碼。
二、專家審查
專家審查係將訪談結果邀請 6 位教育評鑑領域專家進行審查，所選之專家包 含具評鑑學養或訪評實務經驗，亦具備評鑑研究和規劃領域專家 2 人、具委託或 受託承辦評鑑經驗之專家和資深評委 2 人、教育領域行政主管代表 2 人。其中，
接受訪談及受聘本研究之審查專家完全不重複，以符擴大參與原則。審查期程從 2008年 12 月 20 日至 2009 年 1 月 8 日。
三、問卷調查
本研究採自編之量表進行調查，研究工具之設計，首先依據文獻分析結果擬 訂初稿，再經專家審查、項目分析及信度分析確立預試量表的信效度。量表內容 分兩部分，一為「基本資料」係由教職員個人背景變項及學校背景變項所組成。
二為「評鑑能力建立的需求」，共計 21 個題項所組成，各題項以 5 代表「非常需 要」、4 代表「需要」、3 代表「無意見」、2 代表「不需要」、1 代表「非常不需要」。
依每校發放 40 份的原則，於自 2009 年 2 月 9 日至 27 日止，分北、中、南三區共 選取一所公立和四所私立技術學院專任教師和職員 200 人進行預試。另依教育部 統計處（2009）公布「97 學年度技術學院校別資料」中查得 40 所（公立 7 所及 私立 33 所）技術學院之專任教師與職員共計 10,991 人，以 The SurveySystem 線 上抽樣計算系統（http://www.surveysystem.com/sscalc.htm），選擇 95%信賴水準及 3%抽樣誤差後計算抽樣樣本至少為 973 人。本研究採「分層比例隨機抽樣」方式，
依據北、中、南、東及離島四區學校數所佔全部學校校數之比例抽取，共計發放 1,235份量表，合計 31 所技術學院。正式抽樣樣本與回收率如表 1 所示。
總計回收量表 1,057 份，剔除漏答情形嚴重之量表 3 份，得有效量表 1,054 份，有效回收率 85.34%。正式有效量表之填答者背景分布情形如表 2 所示。
表1 抽樣樣本及回收率
區域 公立校數 私立校數 發出數 有效回收數 比例
北區 3 11 595 543 91.26%
中區 1 3 160 124 77.50%
南區 0 12 360 274 76.11%
東區及離島 1 2 120 113 94.17%
小計 5 26 1,235 1,054 85.34%
表2 正式量表填答者背景變項分布情形一覽表
類別 變項名稱 項目 人數 百分比（%）
男 456 43.26%
性別 女 597 56.64%
博士 248 23.53%
碩士 398 37.76%
最高學歷
學士以下 407 38.61%
5年以下 357 33.80%
6-14年 323 30.60%
教育界年資
15年以上 374 35.50%
一等 644 61.10%
二等 372 35.29%
任職單位最近一次 評鑑結果
三等及四等 38 3.61%
有兼行政 266 25.24%
教師 未兼行政 322 588
30.55% 55.60%
兼主管 57 5.41%
個人背 景變項
身分
職員 非主管 408 465
38.71% 44.31%
公立 169 16.03%
學校屬性
私立 885 83.97%
北部 543 51.52%
中部 124 11.76%
南部 274 26.00%
學校背
景變項 學校所屬區域
東部及離島 113 10.72%
註：部分背景變項加總人數略少於1,054，係為該變項缺答之故。
在置換遺漏值（replace missing value）方面，Heppner 與 Heppner（2004）建 議，利用其他填答者所填答值之平均數，做為取代遺漏值的方法。因此本研究採 以該變項之平均數（group mean）來插補「評鑑能力建立需求量表」題項之遺漏 值。至於在量表調查中所獲量化資料，除以描述統計陳述量表填答者背景及其對 各量表題項意見的集中與分散情形外，採用驗證性因素分析（confirmatory factor analysis）來檢驗評鑑能力建立需求各測量面向，是否能獲得研究資料的支持，以 獲得評鑑能力建立需求量表之聚歛效度（convergent validity），並以最大概似法
（maximum likelihood）估計參數。另對各需求議題以單一樣本 t 檢定檢視整體填 答者意見傾向，以獨立樣本 t 檢定及單因子變異數分析檢定不同背景學校人員知 覺的差異。
肆、研究結果與討論
一、評鑑能力建立需求量表的模型原型建立
本研究對評鑑能力建立需求量表的初擬程序，係經文獻探討及訪談 11 位專家 後彙整量表題項，最後經 6 位專家審查以確立量表的原型結構，整體過程陳述如 下：
（一）訪談萃取的量表題項
在訪談中所歸納的題項彙整陳述如下：
1.認同評鑑對組織的重要性
受訪者認為教職員是否認同評鑑的重要性攸關評鑑的成效與學校的發展，而 對評鑑重要性的陳述包括：
我想評鑑制度的用意是非常的好的，可以讓董事會、學校投入基金、資源 來做建設及改進，然後可以凝聚學校的所有教職員及同仁來一起努力，來 建立達成評鑑的目標。（B5-01）
因為現在評鑑愈來愈重要，不管是技職或是一般大學，對於評鑑的要求都
很重要，尤其是像我們這種擔任行政主管的，評鑑上面會有一些指標……
其實我覺得從正面意義來看，可以提升整個系的一些發展，系的競爭力或 是學生的未來就業方面，其實都是有幫忙的。（A4-01）
從新聞的報導整個層面的影響，像南部幾個學校，就因為評鑑不好，遭受 到像是假考部隊的攻擊，其實學校體質並不是那麼差，就因為輿論的影響，
所以評鑑真的是對大部分學校來講，是一個非常重要的工作。（B4-01）
除上面的引述外，受訪者 A4、B1、B2、B4、B5 均認為，唯有先認同評鑑，
才可能願意投入評鑑工作，並提升本身評鑑能力，因此雖然認同評鑑對組織的重 要性並非能力，卻是評鑑能力建立的基本需求。
2.營造或認知組織願景
與認同評鑑的重要性相似，受訪者 B2 大力倡議營造或認知組織願景對評鑑 能力建立需求的必要性：
要經營一個願景，我不是跟別人去比賽是跟自己去比賽，跟自己去比賽心 裡就要有願景，否則你頂多不過跟別人一樣。……有共同的願景目標，自 己一定要達到的是什麼，然後在過程裡面呢，刺激、引導、跟溝通以後，
它們都願意去面對跟承擔這個工作。（B2-02）
因之有共同的願景，才能幫助受評人員達到組織的目標，但是其過程還是必 須要經過溝通、討論才能達成。
3.了解評鑑工具的特性
對於評鑑工具的發展與選用，有許多文獻如 Preskill（2005）、曾淑惠（2008）
以及 Dewey 等學者（2008）都曾論及是屬於重要的評鑑能力之一：
老師們對於評鑑工具的認知也要有，當然問卷可能是訪談式問卷，也可能 是問卷式的問卷，如果是訪談式問卷他要知道問卷可能有信度效度這樣一 個問題存在，他為了讓信度效度能夠提升，他必須要花點時間去研究什麼 是信度什麼是效度，什麼樣情況可以提高信度？什麼樣情況可以提高效
度？（B1-03）
從上述訪談可知，受訪者認為精準掌握工具性能，才能施展評鑑能力。
4.具備蒐集資料的方法與能力
幾乎所有相關文獻都支持資料蒐集方法的知識與技能是重要的評鑑能力，受 訪者也提及：
教學單位也要整理很多的資料，在學校行政單位也會盡量去協助教學單位 的資料整理，包括平常建立資料庫概念。（B4-04）
這樣的過程裡面，準備是從歷程中準備，不能直到關鍵那一年才準備，只 不過是說到了關鍵那一年是這些資料的呈現、整理、彙整，這個部分而已。
（B2-06）
受訪者認為，蒐集資料的方法與能力是評鑑能力的基本功。
5.熟知評鑑項目
文獻上支持需要建立的評鑑能力包括了解評鑑的範圍與內容（Preskill, 2005;
Preskill & Boyle, 2008），在實務上就等同於對評鑑項目的理解：
對評鑑項目的認知能力要具備。比如舉例來講，老師接受評鑑，他在服務 上有什麼樣的能力，在教學上需要具備什麼樣的能力，在研發方面需要什 麼樣的能力，在輔導方面需要什麼樣的能力。（A1-05）
受訪者認為，熟知評鑑項目才能對準評鑑項目的需求做好接受評鑑的準備。
6.清楚有效地溝通
溝通能力在評鑑中一向受到學者的重視，如 McGuire（2002）、Preskill
（2005）、Russ-Eft 等人（2008）、郭昭佑（2007）均認為溝通的能力對評鑑人員 而言十分重要：
我當時開了很多個導師會議，導師如果對於系的經營跟學校的經營有困 難、不了解，我們就在這裡溝通，你弄清楚了，你有意見可以表達，你再
回去跟你的學生溝通。（B2-06）
受訪者覺得，對評鑑影響最為重要的關鍵因素還是在於與人員的溝通方面。
7.以多元方式展現評鑑資料
雖然文獻中強調評鑑人員要能有「各種不同評鑑過程與發現的報告策略」，但 受訪者認為，多元展現評鑑資料包括資料的彙整技巧、口語及書面報告技巧等。
與「溝通」不同的是，溝通強調雙向的人際互動，多元方式展現評鑑資料則是單 向的訊息傳播：
包含如何去撰寫一個比較良好的評鑑報告，如何去呈現量化、質化的成果 等等，這些關於如何把評鑑工作做好的相關議題，是有很強烈的需求。……
我認為評鑑工作，有很好的成果沒有錯，如果沒有呈現出來的話，也是會 大大折扣。所以在評鑑報告的口頭報告訓練，雖然不是核心，但是也是非 常重要的部分。（B4-07）
「人家要看什麼資料我要怎麼展現」這一件事情就變得很重要，可是這件 事情就牽涉到有一些是叫做技巧、彙整技巧的問題。（B2-07）
受訪者認為，以多元方式展現資料是很重要的評鑑能力，才能使評鑑委員了 解學校曾做過的努力和成果。
8.管理並維護評鑑所需的資料與檔案
Patton（2008）在對評鑑的定義中就指出，資料蒐集是評鑑活動中基本的要件 之一，為進行價值的判斷，資料蒐集後的管理與維護就成為重要的工作。尤其在 組織中人員職務的異動，使得資料管理與維護的議題更形複雜，受訪者表示：
因為人事會更迭的問題會出現，還有環境背景不同的問題……不管怎麼樣 去傳承，未來總是有人事更迭，但是這些都已經有記錄啦，對不對？有白 紙黑字啊，也有人家給你的意見啊，總是有東西可以去追尋跟調整。（B2-08）
在教職員評鑑能力上，受訪者認為資料的傳承與維護，是重要的需求，也才 能促使經驗的累積與意見的傳承。
9.妥善進行自我時間管理
雖然文獻指出，評鑑應是方案日常運作的一部分而非額外的業務，然而對技 術學院教職員而言，評鑑的資料蒐集與整理似乎尚未融入日常業務之中，而有如 下的討論：
你要做研究、你要做教學、你又要做學生的輔導、然後你又要做專業服務，
那這有四大區塊，然後又多出一塊似乎叫做評鑑……必須要額外去花出人 力、時間、精力去準備評鑑……其實我覺得是排擠的啦。（A2-09）
因之在當前人員對評鑑的概念尚未調整之際，受訪者認為「時間管理」在當 前的環境下對教職員是很重要的。
綜合上述，從專家訪談中所指出的評鑑人員應具備的評鑑能力建立需求可歸 納為以下四大面向共 9 項：1.理解評鑑工作之方針，包含(1)認同評鑑的重要性；
(2)營造或認同組織願景。2.熟悉評鑑工作之要求，包含(1)熟知評鑑項目；(2)了解 評鑑工具的特性；(3)具備蒐集資料的方法與能力。3.參與評鑑工作之運作，包含 (1)清楚、有效的溝通；(2)以多元方式展現評鑑資料；(3)管理並維護評鑑所需的資 料與檔案。(4)落實評鑑工作之內涵，包含妥善進行自我時間管理。
（二）專家審查後的量表定稿
依據文獻分析所得 16 項評鑑能力建立的需求，再加上專家訪談的 9 項，依據 類似者加以合併、其餘外加的方式，共計獲取 21 項需求題項。經專家審查後，除 題項用字依專家意見修正（例如：將「熟知評鑑項目」修改成「熟知評鑑項目、
具體指標，以及佐證資料」）外，原所列需求項目之排序，並未依需求四大面向 排列，專家建議「各項目的順序建議調一調」，故將 21 項需求依需求四大面向歸 類呈現，並設法使「各題項的敘述與說明方式更為一致」。在技術學院教職員評鑑 能力建立需求方面，於「理解評鑑工作之方針」、「熟悉評鑑工作之要求」、「參 與評鑑工作之運作」，以及「落實評鑑工作之內涵」四大面向之下共計 21 項，整 體需求的評鑑能力如圖 2 所示。
1.了解評鑑之目的與目標。
2.認同評鑑對組織單位的重要性。
3.認知任職組織之共同願景。
4.認同評鑑的原理與方法。
理解評鑑工作 之方針
5.區別研究與評鑑的異同。
1.有參與、計畫、設計或建構評鑑工作經驗。
2.熟知評鑑項目、具體指標，以及佐證資料。
3.了解評鑑工具的特性。
4.認同評鑑的歷程與自身的任務。
5.具備蒐集資料的方法與能力。
熟悉評鑑工作 之要求
6.具備統計與分析資料的能力。
1.尊重其他人員意見。
2.與方案或評鑑工作有關人員進行清楚、有效的溝通。
3.以多元方式展現評鑑資料。
參與評鑑工作 之運作
4.管理並維護評鑑所需的資料與檔案。
1.區分不同的評鑑類型與要求，據此準備相關資料。
2.了解並可回答形成性評鑑及總結性評鑑的問題。
3.妥善進行自我時間管理，及時完成評鑑準備。
4.監控並執行評鑑方案。
5.撰寫並編輯簡要的說明報告。
評 鑑 能 力 建 立 需 求
落實評鑑工作 之內涵
6.願意依專家意見省思自身任職單位的問題。
圖 2 評鑑能力建立需求量表原型結構
二、評鑑能力建立需求量表的確立
預試量表回收後項目分析採極端組檢驗法，據以刪除決斷值（CR 值）未達顯 著水準的題項（吳明隆、涂金堂，2006）。經檢驗結果，各題項之 CR 值均達顯著，
且與總分相關係數亦均達顯著。至於信度分析結果 α 值為.942，如表 3 所示。這
顯示本量表內部一致性良好，且各題項均未達修題或刪題標準，故以量表初稿做 為正式量表內容，進行施測。
表3 評鑑能力建立需求量表信度分析摘要表
面向 α值
理解評鑑工作之方針 .844 熟悉評鑑工作之要求 .862 參與評鑑工作之運作 .789 落實評鑑工作之內涵 .856
總量表 .942
由表 4 可知，評鑑能力建立需求量表四大面向間的零階相關皆達統計上顯著 水準，且相關係數介於.5～.8 之間，為中度相關（Cohen, 1988），顯示面向間具有 一定的關係且不致於相關過高。接著進行驗證性因素分析，本研究以 Global χ2
（chi-square）和 df（degrees of freedom）、平均概似平方誤根係數（RMSEA）、模 式基準合適尺度（NFI）、模式比較合適尺度（CFI），以及契合度指標（GFI），評 估測量模式的適配性（Heppner & Heppner, 2004）。
表4 評鑑能力建立需求量表4面向描述性統計與零階相關
面向 M SD 1 2 3
1. 理解評鑑工作之方針 20.8 2.7
2. 熟悉評鑑工作之要求 24.2 3.5 .597**
3. 參與評鑑工作之運作 17.1 2.3 .536** .625**
4. 落實評鑑工作之內涵 24.8 3.3 .603** .695** .715**
* p < .01
如表 5 所示，χ2（2, N＝1054）＝15.97, p < .05，且 χ2 / df 為 7.985，兩者皆表 示模式適配不理想。但由於本研究之樣本數為 1,054 人，而 χ2在大樣本的情況下 通常都達統計上顯著水準（Kline, 2005; Tabachnick & Fidell, 2007），故再進一步 以其他適配指標評估。
理解評鑑工作之方針
熟悉評鑑工作之要求
參與評鑑工作之運作
落實評鑑工作之內涵
評鑑能力 建立需求 .70
.80
.80
.88 .51
.36
.36
.23
表5 評鑑能力建立需求量表統計值摘要表
適配指標 χ2 df RMSEA NFI CFI GFI
15.97 2 .083 .99 .99 .99
RMSEA＝.083，NFI＝.99，CFI＝.99，GFI＝.99，四者皆顯出模式適配良好
（Tabachnick & Fidell, 2007）；亦即研究者所提出的模式和真實資料間的落差很 小。
圖 3 呈現評鑑能力建立需求單因素模式之標準化徑路係數。由圖中可知，理 解評鑑工作之方針、熟悉評鑑工作之要求、參與評鑑工作之運作，以及落實評鑑 工作之內涵四大面向之測量，標準化因素負荷量分別為.70、.80、.80、.88，四項 因素負荷量皆高於.6，且其 t 值皆大於 1.96，達統計上顯著水準，顯示聚歛效度良 好（Kline, 2005）。再者，誤差變異量只有「理解評鑑工作之方針」略高於 50%，
其他三面向之誤差變異量皆小於 50%，符合 Bagozzi 與 Yi（1988）所主張「平均 變異量抽取超過 50%」之要求。因此，所蒐集的資料可支持研究者所提出的單因 素模式。
圖 3 評鑑能力建立需求驗證性因素分析圖
另依據回收之有效量表 1,054 份資料進行統計分析所得，運用單一樣本 t 考驗 評鑑能力建立的需求量表之差異情形。評鑑能力建立的需求量表之調查係採李克 特式五點量表，本研究對各題項的需要程度的評分以「1」為非常不需要，「5」為 非常需要，填答者對 21 個題項的意見經常態分配考驗，均達顯著水準，顯示呈常 態分配，同時將常態曲線下之面積三等分，各稱之為「高度」、「中度」、「低度」
需要，查表得知第二等分的 z 值為.44，經計算得常態分配曲線三等分的兩個分界 點分別為 2.748 及 3.251，由於填答者對 21 題項之平均值均高於 2.748，因此，四 個需求面向以 3.251 為高度需要之分界點進行單一樣本 t 檢定。統計結果如表 6 所示。
表6 評鑑能力建立的需求檢定分析摘要表
面向 M SD t檢定值＝3.251
理解評鑑工作之方針 4.16 .54 54.484***
熟悉評鑑工作之要求 4.04 .59 43.806***
參與評鑑工作之運作 4.28 .57 58.295***
落實評鑑工作之內涵 4.13 .56 51.071***
整 體 4.14 .48 59.878***
***p < .001
由表 6 可知，填答者對於各因素符合程度平均分數皆達顯著差異。全體樣本
「評鑑能力建立的需求」平均數為 4.14，標準差為.48。由 SPSS 12.0 統計結果當 中的顯著性（雙尾）達到顯著水準（t（1053）＝59.878，p < .001），可知整體而言「評 鑑能力建立的需求」顯著高於 3.251 的「高度需要」程度。且就評鑑能力建立的 需求各面向而言，以「參與評鑑工作之運作」的最高，其餘依次為「理解評鑑工 作之方針」、「落實評鑑工作之內涵」以及「熟悉評鑑工作之要求」，各面向之需要 程度亦均顯著高於 3.251 的「高度需要」程度。
其次，在不同背景變項的教職員其對於評鑑能力建立需求之差異情形則如表 7所示。
表7 不同背景變項的教職員對評鑑能力建立的需求之差異情形一覽表
背景變項 變項名稱 理解評鑑工作之方針
熟悉評鑑 工作之要求
參與評鑑 工作之運作
落實評鑑
工作之內涵 整體 1.公立
學校屬性
2.私立 n.s. n.s. n.s. n.s. n.s.
1.北部 2.中部 3.南部 學校區域
4.東部及離島
n.s. n.s. 1＞4 n.s. n.s.
1.男
性別 2.女 n.s. n.s. 2＞1 n.s. n.s.
1.博士 2.碩士 最高學歷
3.學士以下
2＞1,3 2＞3 n.s. 2＞3 2＞3
5年以下 6-14年 教育界
年資 15年以上
2,3＞1 n.s. n.s. 2＞1 2＞1
1.一等 2.二等 任職單位 最近一次
評鑑結果 3.三等及四等
n.s. n.s. n.s. n.s. n.s.
兼行政 1.教師
未兼 行政
n.s. 1＞2 1＞2 1＞2 1＞2
兼主管 身分
2.職員
非主管 n.s.
1＞2 n.s.
1＞2 n.s.
1＞2 n.s.
1＞2 n.s.
1＞2
註：「n.s.」代表無顯著差異
由表 7 所示可知，不同學校屬性、不同評鑑結果，以及是否兼任主管的職員，
在各項需求上均無顯著差異。整體而言，碩士學歷者的需求高於學士以下者的需 求，顯示碩士學歷者對評鑑能力自覺不足且求知心切的意識高於學士學歷者；年 資 6-14 年者顯著高於 5 年以下者，顯示在校穩定工作者較初任者對評鑑能力建立
需求殷切；另，教師的需求顯著高於職員，有趣的是，教師中兼行政者的需求又 高於未兼行政者，此現象是否顯示在技術學院評鑑中著重對教學單位的要求，而 其負擔多落於兼職行政者上，是項有趣的議題。
伍、結論與建議
一、結論
文獻分析後經專家訪談、專家審查及問卷調查等三階段歷程，歸納出本研究 目的所列議題之結論如下。
（一）評鑑能力建立需求量表包含四大面向共21題項，經驗證結果 模式適配情形良好
評鑑能力建立需求量表包含理解評鑑工作之方針、熟悉評鑑工作之要求、參 與評鑑工作之運作，以及落實評鑑工作之內涵等四大面向；也就是一位內部評鑑 人員被期待具備的評鑑能力，除能了解評鑑的精髓、熟稔評鑑相關工作，並需實 際參與評鑑運作、達成評鑑整體的要求。
（二）技術學院教職員對評鑑能力建立的需求顯著高於高度需求的 程度
經抽樣調查 1,054 位技術學院教職員的意見，以常態分配曲線將填答者意見 分為低、中及高度三等分，在 95%信賴水準及 2.87%抽樣誤差下，經考驗得知結 果顯示，技術學院教職員對於評鑑能力建立的需求無論從四大面向或整體而言均 顯著高於高度需求的程度。如若進一步區分不同背景變項教職員對評鑑能力建立 的需求程度，則不同學校屬性、不同評鑑結果，以及是否兼任主管的職員，在各 項需求上均無顯著差異；對參與評鑑工作之運作需求，北部地區教職員高於東部 及離島地區人員，女性亦大於男性；碩士則除參與評鑑工作之運作需求面向外，
其餘均高於學士；年資在 6-14 年者於理解評鑑工作之方針、熟悉評鑑工作之要求、
落實評鑑工作之內涵及整體面向的需求高於年資 5 年以下者；教師的需求顯著高 於職員，教師中兼行政者的需求又高於未兼行政者。
二、建議
（一）學校教育主管依據本研究發展的量表，衡量學校教職員對評 鑑能力建立的需求程度，並依據衡量結果採取必要的評鑑能 力建立各項措施
經研究結果證實，所蒐集的資料可支持研究者所提出的單因素模式，亦即所 建構量表確實成立。因之學校教育主管若能依據本研究發展的量表，衡量學校教 職員對評鑑能力建立的需求程度，則可了解學校教職員對評鑑能力建立各項目的 需求程度，同時若能運用衡量的結果，進一步採取必要的評鑑能力建立各項措施，
對於提升學校教職員的評鑑能力，應有極大的助益。
（二）進一步規劃學校實踐評鑑能力建立之組織及個人的發展目 標，累積國內組織建立評鑑能力的經驗
有鑑於評鑑能力建立對於組織及個人學習與發展的重要性，文獻亦指出評鑑 能力建立對個人、團隊、方案及組織均可達成某些特定的效果，學校在實踐教職 員評鑑能力建立各項措施之前，可借鏡許多國外研究所做的透過相關策略或作 法，或是透過評鑑過程，建立組織成員的評鑑知能的作法，由學校成員共同討論 研訂學校組織及個人對評鑑能力建立措施的發展目標，並以此共享的目標以團隊 的力量共同達成期望的結果，同時藉以累積國內發展評鑑能力建立的經驗，對實 務的需求將有更大的幫助。
（三）針對不同背景教職員對評鑑能力建立的不同需求程度，探究 其原因並據以設計不同的評鑑能力建立之活動
經研究結果顯示，部分不同背景教職員對評鑑能力建立有不同的需求程度，
學校主管應進一步理解形成的原因，除判別對自知能力不足者與能力不足而不自 知者的因應策略外，更應為自己校內的教職同仁規劃設計一套適合教職員的建立 評鑑能力活動，以量身訂作的方式來提升學校整理的評鑑能力，更能有效地達成 所預定的評鑑能力建立目標。
（四）積極推動技術學院校內教職員評鑑能力的認證，發揮擴散與 整體的發展能量
認證有助於提升專業知識程度，促進團體及個人之優勢競爭力。以技術學院 當前的受評成果而言，推動教職員評鑑能力認證，不僅可促使教職員為獲取專業 認證，積極理解、熟悉評鑑工作的特性，汲取評鑑專業知識，建立評鑑的方法與 能力，進而認同評鑑的精神與目標，完備受訪者所提之各項在評鑑中應有而未有 的能力，對於技術學院整體教育品質的提升亦會相得益彰。同時，由於組織的學 習也會藉由經認證人員在評鑑及組織的發展上的表現獲得「擴散」的效果，參與 認證的人員將啟發校內其他人員學習與從事評鑑與組織發展的活動，進一步發揮 整體的發展能量。
致謝：
本研究為 97 年國科會補助專題研究計畫部分成果，感謝國科會的支持及 鄭美蘭、鄭理謙與何權修三位研究助理的協助；對三位審查委員及編輯委 員會給與修正意見，以使本文更加成熟完備，亦深表謝忱。參考文獻
吳明隆、涂金堂（2006）。SPSS 與統計應用分析。臺北市：五南。
李俊湖（2007）。從教師評鑑談教師專業發展評鑑。研習資訊，24（1），139-148。
林尚平（2009）。以「利益關係人角度」解析新一輪技專校院評鑑。評鑑雙月刊，19，45-48。
徐昊杲、曾淑惠（2008）。高職學校評鑑人員評鑑能力與角色之研究。當代教育研究，16
（2），101-131。
徐昊杲、饒達欽、黃采婕、張天民（2007）。高職學校自我評鑑能力建立策略之研究。學 校行政，48，151-167。
教育部技職司（2008）。技專校院評鑑資訊網。2008 年 6 月 16 日，取自 www.tve-eval.
yuntsch.edu.tw
教育部統計處（2009）。大專校院概況統計（97 學年度）。2008 年 6 月 16 日，取自 http://www.
edu.tw/statistics/publication.aspx?publication_sn=1197 郭昭佑（2007）。教育評鑑研究：原罪與解放。臺北市：五南。
陳美如（2002）。當教師遇見課程評鑑：轉變與成長。師大學報，47（1），17-38。
曾淑惠（2006）。高職教職員對學校自我評鑑能力建立之知覺。教育行政與評鑑學刊，2，
1-18。
曾淑惠（2008）。教育評鑑：理論與實務的對話。臺北市：師大書苑。
Bagozzi, R. P., & Yi, Y. (1988). On the evaluation of structural equation models. Academic of Marketing Science, 16, 74-94.
Boyle, R., & Lemaire, D. (1999). Building effective evaluation capacity: Lessons from practice.
New Brunswick, NJ: Transaction.
Baizerman, M., Compton, D. W., & Stockdill, S. H. (2005). Capacity building. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 38-39). Thousand Oaks, CA: Sage.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). New York:
Lawrence Erlbaum.
Compton, D. W., & Baizerman, M. (2007). Defining evaluation capacity building. American Journal of Evaluation, 28(1), 118-119.
Dewey, J. D., Montrosse, B. E., Schröter, D. C., Sullins, C. D., & Mattox, J. R. (2008). Evaluator competencies: What’s taught versus what’s sought. American Journal of Evaluation, 29(3), 268-287.
Gail, G., King, J., Stevahn, L., & Minnoma, J. (2006). A professional development unit for reflecting on program evaluation competencies. American Journal of Evaluation, 27(1), 108-123.
Heppner, P. P., & Heppner, M. J. (2004). Writing and publishing your thesis, dissertation, and research: A guide for students in the helping professions. Belmont, CA: Brooks Cole.
Huffman, D., Thomas, K., & Lawrenz, F. (2008). A collaborative immersion approach to evaluation capacity building. American Journal of Evaluation, 29(3), 358-368.
King, J. A. (2007). Developing evaluation capacity through process use. New Directions of Evaluation, 116, 45-59.
Kline, R. B. (2005). Principles and practice of structural equation modeling (2nd ed.). New York:
Guilford.
McGuire, M. (2002). Canadian evaluation society project in support of advocacy and professional.
Retrieved January 5, 2007, from http://consultation.evaluationcanada.ca/ results.htm Manning, C., Sisserson, K., Jolliffe, D., Buenrostro, P., & Jackson, W. (2008). Program evaluation
as professional development: Building capacity for authentic intellectual achievement in Chicago small schools. Education and Urban Society, 40, 715-729.
Naccarella, L., Pirkis, J., Kohn, F., Morley, B., Burgess, P., & Blashki, G. (2007). Building
evaluation capacity: Definitional and practical implications from an Australian case study.
Evaluation and Program Planning, 30, 231-236.
Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks, CA: Sage.
Preskill, H. S. (2005). Building evaluation capacity: 72 actives for teaching and training. Thousand Oaks, CA: Sage.
Preskill, H. (2008). Evaluation’s second act: A spotlight on learning. American Journal of Evaluation, 29(2), 127-138.
Preskill, H., & Boyle, S. (2008). A multidisciplinary model of evaluation capacity building. American Journal of Evaluation, 29(4), 443-459.
Russ-Eft, D., Bober, M. J., de la, Tega, I. Foxson, M. J., & Koszalka, T. A. (2008). Evaluator competencies: Standards for the practice of evaluation in organizations. San Fancisco, CA:
Jossey-Bass.
Smith, M. F. (2001). Evaluation: Preview of the future II. American Journal of Evaluation, 22(3), 281-300.
Stockdill, S. H., Baizerman, M., & Compton, D. W. (2002). Toward a definition of the ECB process: A conversation with the ECB literature. In D. W. Compton, M. Baijerman, & S. H.
Stockdill (Eds.), The art, craft, and science of evaluation capacity building (pp. 7-25). San Francisco, CA: Jossey-Bass.
Tabachnick, B. G., & Fidell, L. S. (2007). Using multivariate statistics (5th ed.). Boston, MA:
Pearson Education.
Taylor-Powell, E., & Boyd, H. H. (2008). Evaluation capacity building in complex organizations.
New Directions for Evaluation, 120, 55-69.
