• 沒有找到結果。

教育評鑑㆟員專業發展之研究

N/A
N/A
Protected

Academic year: 2021

Share "教育評鑑㆟員專業發展之研究"

Copied!
32
0
0

加載中.... (立即查看全文)

全文

(1)

教育評鑑㆟員專業發展之研究

摘 要

由於評鑑涉及評鑑人員對評鑑資訊與結論之價值判斷,故評鑑人員之 專業表現如同社會科學研究工具之信、效度,是影響評鑑工作品質最重要的 因素。為確保評鑑學成為一門專業,以提升其專業地位與形象,評鑑人員表 現績效之要求益顯得格外重要。

我國自1975年起,陸續推動各級各類學校評鑑,其作法堪稱穩健,亦 頗見成效。然多位學者在實施各類學校評鑑之後設評鑑研究後,皆認為若干 影響教育評鑑人員表現之因素,例如:養成教育、在職訓練、遴選方式、職 涯發展機會及倫理行為規範等評鑑人員專業發展議題,除應給予格外重視以 滿足評鑑預期目的及重要利害關係人需求外,亦應尋求改進之道。

爰此,本研究旨在探討美國教育評鑑人員專業發展之理論與實務,並 針對我國教育評鑑人員專業發展政策,提出具體建議。為達成目的,本研 究採文獻探討、專家訪談及焦點團體法。研究結果可供政府機構、評鑑專業 團體及大學,未來規劃、實施及評鑑教育評鑑人員專業發展相關政策時之參 考。

關鍵詞:教育評鑑、教育評鑑人員、專業發展 黃曙東

黎明技術㈻院㈾訊管理系助理教授

蘇錦麗

國立新竹教育大㈻教育㈻系教授

(2)

Abstract

An evaluation is the systematic process of valuing the descriptive and judgmental information of an object by evaluators’ viewpoints. Consequently, the evaluators’ performances affect the quality of evaluation results. In order to make the educational evaluation into a profession, the quality of evaluators’ performance has been crucial to the development of evaluation profession.

Since the mid 70s, Taiwanese government has promoted different kinds of school evaluation and some positive results were seen. However, numerous local meta-evaluation reports have indicated that the evaluators’ training programs, relevant professional guidelines, job options as an educational evaluator, as well as the establishment of a professional organization have not yet met the criteria to qualify as a profession.

The aim of this study was to explore the theory and practice of professional development of educational evaluators in the United States. The methods of literature review, interviews, and focus group were employed in the study to construct the feasible programs of professional development for educational evaluators. The results of the study may provide the useful information and advice for Taiwanese government, higher educational institutions, and educational evaluation society when making professional development programs for Taiwanese educational evaluators.

Keywords: educational evaluation, educational evaluator, professional development

Shu-Tung Huang

Assistant Professor, Department of Information Management, Lee-Ming Institute of Technology

Jin-Li Su

Professor, Department of Education, National Hsinchu University of Education

A Study on Professional Development for Educational

Evaluators

(3)

壹、緒論

一、研究目的與動機

教育評鑑係有系統地採用各種有效方法,蒐集質性與量化資料,再 對照評鑑準則(criteria),以判斷任何教育對象之價值(worth)或優點

(merit)的過程,並將其結果做為改進教育決策之依據(蘇錦麗,1997;

蘇錦麗、黃曙東,2009)。由於評鑑乃評鑑人員對評鑑資訊與結論的價值 判斷,故評鑑人員的專業表現是影響評鑑工作品質最重要的因素,尤其在 評鑑逐漸成為一門專業學門,為保障其專業地位及提升其專業形象,講求評 鑑人員及其產出品質益顯得格外重要(Cronbach, Ambron, Dornbusch, Hess, Hornik, Phillips, Walker, & Weiner, 1980; King, Stevahn, Ghere, & Minnema, 2001; Smith, 2001, 2003; Worthen, 1994)。

再者,Bickman 與 Reich(2005)認為評鑑學門若要成為一門專業

(evaluation as a profession),其要素包括:對社會提供潛在且必要的利 益、建立專業證照或認證制度、訂定一套具共識的專業標準、評鑑人員具備 特定專業知能、提供評鑑人員養成方案、評鑑人員有穩定的職涯發展機會、

設有功能完善的專業評鑑機構與教育機構、評鑑人員能對評鑑工作投入與 自律等。綜言之,評鑑人員專業素質及其整體表現為評鑑專業發展的關鍵因 素。

然自國外相關研究,吾人發現若干評鑑人員專業表現不甚令人滿意,

包括:未從事研究以具備足夠評鑑關鍵知識(Scriven, 1999; Smith, 2003)、

專業能力不足(Bickman & Reich, 2005; Stufflebeam, 2001b)、缺乏客觀與公 平的態度(Scriven, 1994)、無法抗拒不當壓力(Scriven, 1991)、嚴重違反 倫理規範(Scriven, 1994; Smith, 2003; Stufflebeam, 2001b),以及結果運用 違反私密條款(Morris, 2003)等。故不少學者認為惟有透過有效的教育訓 練方案的涉入、評鑑人員自我反思及不斷的學習與貢獻,以及一套可供遵循 的評鑑人員行為準則規範等,才是解決上述問題,進而達成評鑑專業目標之 重要途徑(Bickman & Reich, 2005; Scriven, 1991; Shadish, Newman, Scheirer,

(4)

& Wye , 1995; Smith, 2003; Stufflebeam, 2001;蘇錦麗、黃曙東,2009)。

此外,我國政府自1975年起,陸續推動各類學校評鑑,這種透過評鑑 以瞭解各校或各學門辦學績效,進而改善教育品質作法,以及先由局部試 辦到全面實施,並由大專學門擴及至幼稚園之評鑑,逐步漸進累積經驗,

其作法堪稱穩健,亦頗見成效(蘇錦麗、楊瑩、王偉中、呂鴻德、詹惠雪,

2000)。然一套完善的教育評鑑專業條件中,影響評鑑人員工作表現之因 素,例如:評鑑人員之養成教育、在職訓練、遴選方式、職涯發展機會及倫 理行為規範等評鑑人員專業發展議題,皆為我國學者在實施後設評鑑研究 後,認為應給予格外重視的(曾淑惠,1996;黃政傑、李隆盛、游家政,

1994;黃曙東、蘇錦麗,2005;蘇錦麗,1997;蘇錦麗等,2000)。

真正系統化與科學化的評鑑起源於美國的教育方案評鑑(蘇錦麗譯,

2005);而綜覽美國教育評鑑人員專業發展相關文獻,可發現我國在教育評 鑑人員之養成教育、在職訓練、遴選方式、職涯發展機會,以及倫理行為規 範等評鑑人員專業發展作法上,與其發展實況存有頗大差距。故美國評鑑人 員專業發展之相關內涵與實務為何?如何借鏡以做為建構我國教育評鑑人員 專業發展方案?這些議題都值得本研究深入探討。

二、研究方法及步驟

為達研究目的,本研究採文獻探討、專家訪談及焦點團體等方法;首 先透過文獻探討,瞭解評鑑人員專業發展相關內涵,以及美國與我國教育評 鑑人員專業發展之實況。其次依據文獻探討結果,研擬訪談大綱訪問四位國 外著名評鑑學者,並綜合文獻及專家訪談結果,研擬符合我國國情之教育評 鑑人員專業發展具體政策建議初稿,以供焦點團體專家審查,最後依據審查 意見加以修正後完稿。

貳、教育評鑑人員專業發展之相關內涵

本節將探討教育評鑑人員專業發展之相關內涵,包括:教育評鑑人員

(5)

及其專業能力、專業發展意義、評鑑人員專業表現的品質保證作法。

一、教育評鑑人員及其專業能力

評鑑適用範疇頗為多元,運用在教育相關領域即為教育評鑑範疇,包 括:教育方案(如:教育政策、課程、教學等)、校務/系所/教育機構/

學程、教育人員(如:校長、教師、行政人員等)、學生等評鑑(Scriven, 1976, 1996; Stufflebeam, 2001b)。教育評鑑人員係指從事教育領域評鑑之人 員,至於評鑑人員則指能運用可靠、具辯證的資訊,並對照評鑑準則以形成 相關表現結論的個人或團隊(Smith, 2005);其主要職責乃擁有合理能力,

以從事具挑戰性、技能性之評鑑工作(Scriven, 1996)。

由 於 評 鑑 事 涉 大 眾 利 益 , 評 鑑 人 員 被 期 待 成 為 一 位 能 夠 滿 足 最 大 公共利益的執行者(Scriven, 1976, 1996)、具備跨領域能力的研究者

(Stufflebeam, 2001b)、協助評鑑結論運用的組織發展與學習者(Patton, 1996; Torres & Preskill, 2001; Wholey, 2001)、善用資訊革命的經營管理者

(Love, 2001)、能對抗政治面及不同議題(教育、社會、商業及心理等)

挑戰的策略規劃者(Fetterman , 2001; Stake, 2001),以及能影響政治人物、

政策規劃者、組織高階主管及社會大眾之教育家(Newcomer, 2001)。具體 而論,評鑑人員的專業能力即指在達成評鑑委託任務,以及與環境互動時所 應具備的專業知識、技能及態度。不同學者對評鑑人員的專業能力內涵之看 法如表1所示:

表1 評鑑人員專業能力內涵一覽表

學者與出版時 專業能力內涵項目

Scriven (1991) 可被評鑑的態度、務實的邏輯分析能力、同理心或角色扮演能力、成 人教育的教學能力、一般評鑑者的能力

Scriven (1996) 評鑑邏輯能力、評鑑方法論能力 Smith (2001) 處理人際關係與組織動能之技能

Datta (2001) 能技巧性地發展高品質的工作成果、有處理相關文化爭議的敏銳性,

能調停、協商並解決利害衝突

(6)

學者與出版時 專業能力內涵項目

King et al. (2001) 系統化研究能力、特定資格的評鑑經驗、評鑑實務所需的一般性能力

、評鑑人員的專業特質

King (2004) 支持與促進評鑑的使用、和諧的人際關係、能教育評鑑參與者相關評 鑑的使用、能持續發展評鑑理論與實務經驗

Stevahn, King, Ghere, &

Minnema(2005) 能執行專案實務與系統化研究、現實情境分析、方案管理、實務反

黃曙東(2007)

1.評鑑規劃專業能力:評鑑專業知識、評鑑專業倫理、評鑑專業技 能。

2.瞭解評鑑對象的專業能力:對評鑑對象的研究能力、評鑑對象的實 務經驗。

3.領導與輔能力:領導統整能力、輔導與諮詢能力。

徐昊杲、曾淑惠(2008) 系統化的探索、評鑑技巧、評鑑專業 資料來源:研究者整理。

此外,美國教育評鑑團體亦對有意成為教育評鑑人員者,訂定一套資 格條件與能力期望標準,包括:

1.美國中北部各州校院學會(North Central Association of Colleges and Schools, NCA, 2003):具備高等教育知識、認可經驗、口語與書寫溝 通能力、傾聽能力、參與團隊之能力、時間管理與執行力、資訊科技技 能、組織能力、公平與客觀、質疑與判斷、與人和諧相處之能力、文化 敏感度,並具備開放的心胸,對受評機構及其多元運作取向給予充分尊 重等。

2.美國中部各州校院學會(Middle States Association of Colleges and Schools, 2003):個人基本學歴、額外教育學歷、曾擔任評鑑人員/小組召集 人次數、曾擔任學會委員/評鑑委員會成員/後續追蹤委員會成員的資 歷、其他評鑑經驗、自我評鑑與諮詢經驗、現職的職責、特殊專長及參 與專業社群之性質與名稱等。

3.師資培育認可審議會(National Council for Accreditation of Teacher Education, NCATE, 2003):在教育、教學、研究及評鑑等領域的專業

表1 評鑑人員專業能力內涵一覽表(續)

(7)

表現、有效運用評鑑技能、良好文字書寫能力、能依據標準公平地進行 專業判斷、良好的人際關係技能,以及文書處理與使用電子郵件的技能 等。

綜言之,教育評鑑人員的專業能力除講求必要的評鑑經驗、受評領域 的學經歷等外,其核心能力大致區分為:社會科學研究能力(資料蒐集與 分析及價值判斷)、受評對象或領域的研究與執行實務的能力、評鑑專業知 能(評鑑方法論與評鑑邏輯論能力等)、方案管理能力(領導溝通、人際關 係、文字書寫、文化敏銳、組織動能、成人教學及輔導與諮商等),以及願 意接受評鑑、自我反思(self-reflection)及具同理心的態度。

二、專業發展意義

專業(profession)與職業(occupation)及行業(trade)不同,它是一 種需要特殊訓練而成崇高地位的職業,且其專業人員須透過持續不斷、終 身學習訓練以獲取卓越知識和能力,來影響公眾的生死或利益(楊國賜,

1985;簡茂發,2003),例如:醫師、律師、會計師及教師等專業。

發 展 係 不 斷 學 習 、 持 續 成 長 以 提 升 自 我 的 歷 程 ; 它 的 變 化 可 能 屬

「質」或「量」的,其方向可能是「正向」或「負向」。惟發展通常指透過 人為努力以提升並改進某項心理或特質,或指某事物從低層次到高層次、從 舊到新的改變過程(黃炳煌,1996)。故專業發展乃一具系統性與目標性的 持續學習歷程,以提升專業人員現在與未來應有的專業知識、技能及態度。

專業人員的專業發展途徑除職前養成教育外,更重要的是在職時透過 持續不斷的學習與訓練,以獲取現在與未來所需的卓越知識與能力,以影響 公眾利益(楊國賜,1985;簡茂發,2003)。詳言之,一位專業人員的專業 發展模式除需接受長時間的職前養成教育之課程與實習外,亦包括在職時接 受各類型講習/訓練,以及參與觀察/評量、學習小組、調查/行動研究、

個人發展活動/方案及師徒制等(陳嘉彌、鍾文郁、楊承謙、柯瓊惠及謝元 譯,2000)。

故專業團體為求對人類社群有所貢獻,大都致力強化所屬專業發展途

(8)

徑及其內涵,以針對其現在、未來的專業能力,進行一連續的動態學習歷 程,除可增進專業人員對工作環境及新事物的熟悉,更可提升其個人素質與 組織的生產力,以及員工職涯發展及其生活品質。

三、評鑑人員專業表現的品質保證作法

除優質的專業能力、持續不斷的專業學習外,社會大眾亦要求專業 學門或公共領域的從業人員,必須遵守一套專業社群共同遵守的行為準 則,以做為執行專業服務的規範,並確保其專業表現的品質(Stufflebeam, 2001a, 2003)。教育評鑑領域亦不例外,第一套評鑑人員指導原則係由美國 評鑑學會(American Evaluation Association, AEA)於1995年委託Shadish、

Newman、Scheirer及Wye所發展的《美國評鑑學會方案評鑑人員指導原則》

(AEA Guiding Principles for Program Evaluators),內容包括:系統化的資 料蒐集、能力、廉潔與誠信、尊重他人,以及對社會與公眾福祉之責任。此 外,Stufflebeam(2001a)亦據此原則發展《評鑑人員後設評鑑指導原則檢 核表》(Guiding Principles Checklist for Evaluating Evaluators),以供潛在 使用者針對評鑑人員之專業表現進行後設評鑑。這些指導原則除能在評鑑前 有效指引評鑑人員的評鑑規劃與實施外,亦能在評鑑後評估其整體專業表現

(引自蘇錦麗、黃曙東,2007)。

上述指導原則及其檢核表亦成為其他國家發展相關指導原則之重要 參考,例如:澳洲與紐西蘭於2002年出版之《評鑑倫理行為之指導原則》

(Guidelines for the Ethical Conduct of Evaluations)、加拿大於1999年制 訂的《倫理行為之指導原則》(Guidelines for Ethical Conduct)及英國於 2001年制訂的《良好評鑑人員實務指導方針》(Good Practice Guidelines for Evaluators)等(引自蘇錦麗、黃曙東,2007)。

至於歐美國家評估教育評鑑人員專業表現的途徑,包括(Henkelman, 2003; Jackson, 2002; Scriven, 1996; Smith, 2003):

1.內部或外部後設評鑑:內部後設評鑑係由原評鑑組織委託第三者或由原評 鑑規劃者,於評鑑實施結束前,為管控評鑑人員實際表現,所進行以自

(9)

我改進為目的之形成性評鑑。而外部後設評鑑則由獨立第三者,於評鑑 結束後評估原評鑑中評鑑人員專業表現符合專業化標準的程度(引自黃 曙東,蘇錦麗,2005)。

2.同儕評鑑:係評鑑人員彼此針對對方的實際表現,所進行的相互評鑑,

例如:大學護理教育學會(Commission on Collegiate Nursing Education, 2008)要求於實地訪評結束,評鑑小組成員彼此應對同儕評鑑人員之任 命及業務執行是否違反利益廻避等情事進行問卷調查。

3.受評機構評鑑:乃由受評機構針對評鑑人員專業表現進行評鑑,此模式 常為美國區域性及專業領域之認可組織所採用,例如:師資培育認可 審議會(NCATE, 2003)與全國工程科技學會(National Association of Industrial Technology, NAIT, 2009)皆規定評鑑結束後,應由受評機構代 表針對所有評鑑小組成員之整體表現進行評鑑;其中師資培育認可審議 會更要求所有評鑑成績除決定人員是否續聘外,亦供未來訓練時參考。

4.評鑑小組召集人評鑑:由評鑑小組召集人針對成員專業表現進行評鑑,例 如:全國工程科技學會(NAIT, 2009)除要求由受評機構評鑑外,亦規定 評鑑小組召集人應於訪評結束,對每位成員的相關表現填寫一份問卷調 查意見,包括:小組成員的訪評前準備、執行訪評的細心度、完整性及 專業性、對學會標準的熟悉度、對訪評報告的貢獻度、即時更新與回應 評鑑報告、整體表現滿意度,以及未來是否能擔任評鑑小組召集人等。

5.評鑑人員檢定、認證或證照:檢定(certificate)係機構針對完成特定學 程並通過規定之標準化測驗者所發給之檢定書,認證(credential)乃機 構針對修畢並通過特定課程、實習及訓練等條件者所發給之證明,至於 證照(license)係由政府核發的官方許可證/執照(Altschuld & Austin, 2005)。建立評鑑人員的檢定、認證或證照機制有其困難度,包括:

界定評鑑人員核心能力、檢定/認證/證照程序;評鑑人員訓練需多樣 化;以及某些訓練機構可能掌握絕大部分的訓練資源,並己充足考量對 消費者保護之利益等(Altschuld, 1999; Altschuld & Austin, 2005; Worthen, 1994)。惟加拿大評鑑社群(Canadian Evaluation Society, CES)及美國路

(10)

易斯安納州教育局(Louisiana Department of Education)皆曾發展其評鑑 人員認證系統,他們認為透過評鑑人員的認證或檢定,可有效提升評鑑 人員的聲望、強化其專業精神,進而改進受評方案的功能等(引自曾淑 惠,2002;Altschuld, 1999; Jones & Worthen, 1999)。目前,加拿大評鑑 社群(CES)(2008)自2006年起即將評鑑人員專業發展列為其社群發展 的四大願景之一,並且組成工作小組,長期針對該社群評鑑人員的認證 機制進行專業對話與問卷調查。

綜言之,上述專業標準及指導原則除可在評鑑實施前/後,指引評鑑 人員的評鑑規劃與實施外,亦可於評鑑實施後,評估評鑑人員的專業表現 或評鑑方案整體的實施成效。至於評估教育評鑑人員專業表現的可行途徑,

包括:內部或外部後設評鑑、同儕評鑑、受評機構評鑑、評鑑小組召集人評 鑑,以及評鑑人員檢定/認證/證照等。

參、美國與我國教育評鑑人員專業發展實務

茲說明美國與我國教育評鑑人員職前養成教育、遴選及在職訓練等作 法。

一、美國教育評鑑人員職前養成教育

1960年代起,美國在國會立法下投入大筆經費,補助評鑑研究並開 設訓練課程,當時全美大學計有超過100個評鑑人員養成方案(Scriven, 1976);然自1980年代起,聯邦經費補助從學術機構轉向州政府與私人企 業(Bickman & Reich, 2005);1990年代起,雖仍有不少評鑑人員品質議題 的討論,但評鑑人員教育與訓練方案在美國已沒引起太多且迫切需要的注意

(Smith, 2003, 2005)。至今,全美大部分評鑑人員的養成教育都是透過直 接進場實習或者由有經驗的評鑑人員帶領等方式,而非透過正統的養成與在 職教育訓練之課程(Bickman & Reich, 2005)。

雖 然 目 前 大 學 開 設 的 評 鑑 人 員 養 成 教 育 課 程 沒 有3 0 年 前 那 麼 多

(11)

(Bickman & Reich, 2005),但從美國評鑑學會(AEA)網站上可以發 現一些大學開設評鑑碩、博士學位或學程證書,例如:克雷蒙研究大學

(Claremont Graduate University)的行為與組織科學學院、佛羅里達州立 大學(Florida State University)的教育學院、明尼蘇達大學(University of Minnesota)的教育與人力發展學院、加州大學柏克萊分校(University of California, Berkeley)的教育學院、西密西根大學(Western Michigan University)的教育學院與評鑑中心等(請參閱http//www.eval.org/university_

programs.htm)。

總之,大學開設評鑑研究所課程的系所,包括:教育、人力資源、企 業管理、心理及公共行政等,課程規劃包括兩大類:各類教育/方案評鑑之 理論與實務,以及評鑑方法論。前者開設之課程科目包括:政策、學校、人 員及學生等領域的評鑑原則與哲學觀、方案評鑑理論與模式、教育評鑑成本 分析、評鑑程序與設計、跨學科或跨領域議題之評鑑、評鑑實務討論及實習 等;至於後者包括:質性/量化研究方法、測量研究及其進階實務、質性評 鑑、量化統計(因果分析、廻歸分析、實驗設計、後設分析、多變量分析)

等課程。

二、美國教育評鑑人員遴選方式

評鑑強調做中學;一個穩定的就業機會對評鑑人員,不僅可透過實 務經驗以精熟技能,更可累積評鑑動能、貢獻所學。此外,評鑑係一新 興學門,急需不同學門的專家學者涉入,以增加評鑑對公共利益的貢獻

(Stufflebeam, 2001b)。故歐美各評鑑專業團體皆提供不少評鑑工作供其會 員或有興趣人士參與,以研究者在2006年12月間自美國評鑑學會(AEA)網 站搜尋的結果為例,共找到250個以上的評鑑工作職缺,至於在聯邦政府、

非營利事業單位及私人諮詢公司等網站上,亦可發現許多甄選評鑑人員的廣 告。

至於各教育評鑑機構如何遴選合適的評鑑人員,其程序包括:先由評 鑑者個人自薦,或者認可團體及他人之推薦,再由評鑑團體依預定標準加

(12)

以審核,視需要要求申請人必須參加某特定之小團體討論、網路教學、工作 坊、模擬訓練等,最後再由同儕、訓練講師或認可團體等評定研習成績,以 決定是否核准成為評鑑人員(NCA, 2003; NCATE, 2003; Spangehl, 1998)。

三、美國教育評鑑人員的在職訓練

相對於由美國大學開設評鑑人員之養成教育學程或學位,評鑑人員在 職訓練課程絕大都由評鑑專業社群所提供。目前由評鑑專業組織提供的在 職專業課程、活動,包括:召開評鑑研討會和工作坊、發行期刊、制定及 發行方案評鑑標準等,其主要目的在提升評鑑人員的專業利益(Russon, 2005)。

依據研究者於2006年2月至2007年5月間自美國評鑑組織網站,搜尋 有關評鑑專業團體提供專業活動,計有:評鑑人員學院(The Evaluators’

Institute, TEI)、美國評鑑學會(AEA)及其附設機構如:俄亥俄方案評 鑑團體(Ohio Program Evaluators’ Group)、東部評鑑研究社群(Eastern Evaluation Research Society)、密西根評鑑組織(Michigan Association for Evaluation)等評鑑社群(AEA, 2006),所提供給現職或未來評鑑人員的課 程,包括:評鑑實務(評鑑議題、智慧與創新、同儕訓練、經驗交換、評鑑 政治等)、評鑑模式與方法(需求評估、資料蒐集與分析、方案評鑑方法、

文化脈絡與價值判斷、隨機取樣、協同參與評鑑、網路調查、多地點評鑑、

評鑑設計與統計等)、評鑑結果運用的成效與結果管控(撰寫評鑑報告、

協助利害關係人運用結果、運用公共資料庫進行方案改進、強化評鑑效能 等),以及評鑑人員指導原則及其相關倫理議題等。

四、我國教育評鑑人員專業發展現況

目前,我國大學開設評鑑專業之碩、博士學位課程,計有:臺北市立 教育大學教育行政與評鑑研究所、國立新竹教育大學教育學系碩士班的教育 行政與評鑑組、國立臺北教育大學教育創新與評鑑碩士班等;至於教育相關 系所開設一門或以上評鑑相關必選修課程,計有:台灣師範大學教育學系/

(13)

工業教育學系、彰化師範大學教育學系/工業教育與技術學系、國立臺北教 育大學教育經營與管理學系、暨南大學教育政策與行政學系、臺北市立教育 大學教育學系、新竹教育大學教育學系、高雄師範大學教育學系、臺北科技 大學技職教育研究所、淡江大學教育政策與領導研究所/課程與教學研究所 等系所(依據研究者於2010年3月間自我國大學系所網站搜尋之資訊)。上 述課程僅供該系所學生選讀,並無開設相關教育評鑑學分班或學程,提供給 現職或未來評鑑人員做職涯發展之用。

除開設評鑑相關系所或課程外,大學亦設置評鑑相關研究中心,例 如:國立新竹教育大學的教育評鑑與專業發展中心(前身為國立新竹師範學 院學校教學與學校評鑑中心)、淡江大學高等教育研究與評鑑中心(2006年 8月改組成學習與教學中心的教育評鑑發展組)、國立臺灣師範大學教育研 究與評鑑中心(於2009年2月教育研究中心與教育評鑑與發展研究中心合併 更名之)。上述部分大學系所、中心亦曾多次辦理評鑑學術研討會,以傳播 評鑑新知、交換評鑑實務,以增進社會及教育工作者對評鑑專業的瞭解與信 心。此外,新竹教育大學教育評鑑與專業發展中心更曾多次推動我國各級各 類學校評鑑之規劃、執行與後設評鑑之實務發展與理論研究。

近年來,我國教育評鑑實務發展重心轉至專業評鑑機構,包括:台灣 教育政策與評鑑學會、社團法人台灣評鑑協會及財團法人高等教育評鑑中 心基金會等。台灣教育政策與評鑑學會每年皆辦理教育政策、教育品質保證 等議題研討會;台灣評鑑協會負責2004年大學校務評鑑、大學師資培育中心 評鑑規劃與實施計畫、2005年科技大學評鑑等評鑑政策。高等教育評鑑中心 基金會自2006年開始推動大學校院系所評鑑,預計以五年時間完成臺灣所有 大學校院系所評鑑與認可。此外,財團法人國家衛生研究院醫學院評鑑委員 會、中華工程教育學會、中華民國管理科學學會等亦曾負責近幾年我國大學 相關學門之認可與評鑑。

由於我國歷年來校務評鑑大都為外部評鑑,故有關教育評鑑人員選用 方式,大抵僅由評鑑主辦單位、教育主管機構提供評鑑人員名單,較少由有 意願參與者主動申請、受評單位推荐等方式來參加評鑑人員之遴選與訓練。

(14)

至於評鑑人員亦皆由兼職人員或退休人員擔任,並無專職之評鑑人員,更 遑論職涯發展之機會與活動;同時評鑑人員資歴大都侷限具相同學經歴之同 儕,而其有關訓練亦僅一天或半天之作業說明會。

最後,我國目前亦無一套具共識之評鑑人員指導原則等,俾作教育評 鑑人員倫理行為之事前規範(蘇錦麗、黃曙東,2007),同時評鑑主辦單位 對評鑑人員專業表現亦無任何具體內部品質管控機制,故較難瞭解評鑑人員 整體表現、有無評鑑人員違反利益迴避之情事,對評鑑人員品質管控經驗亦 無法有效累積,以做為未來篩選與訓練評鑑人員之依據。

肆、實證研究之實施與結果

一、訪談大綱、對象及實施程序

依據文獻探討結果完成訪談大綱,再由第一研究者利用擔任美國西密 西根大學評鑑中心訪問學者之時,於2006年2-3月間先後訪談四位國外著名 評鑑學者,包括: Daniel Stufflebeam、Michael Scriven、Jerry Horn及Gary Miron;前兩位是當今評鑑學門的巨擘,後兩位亦曾多次擔任美國國家級或 跨國評鑑研究案之主持人。由於訪談前曾先對受訪者說明我國教育評鑑發展 情形,故四位受訪者除瞭解我國情形外,並對本研究目的與範疇具備足夠學 養與實務經驗,同時樂意提供本研究相關之建議與協助。每位受訪者訪談時 間為70至100分鐘不等。為確保資料之信、效度,訪談過程在徵求受訪者同 意下以錄音進行,事後由訪談者整理逐字稿供訪談者確認,其中兩位學者除 做文字校正外,並提供書面資料,以利本研究資料之整理。

二、訪談結果

茲依據訪談大綱逐題說明結果:

(一)請評論美國教育評鑑專業的發展情況為何?教育評鑑人員品質對 評鑑專業的發展有何影響?

「自60年代至今,大部分教育評鑑範疇確有進展,但仍有許多尚

(15)

未符合實際需要,例如:學生評鑑仍缺乏系統化的實務,教師評 鑑亦常個別、片段地展開,其評鑑結果並未產生實質變化。較之 教育評鑑,方案評鑑範疇才是美國評鑑專業化最成功的領域。」

(Stufflebeam)

「評鑑的起源為教育評鑑,現在美國評鑑學會(AEA)會員中 教育評鑑人員最多,我認為教育評鑑專業化發展還不錯;但總覺 得還不夠,問題出在教育評鑑人員大都缺乏足夠訓練、從事評鑑 工作亦過於守舊、固定、平淡,就是我常提到的缺乏關鍵思考能 力。故任何可協助評鑑人員發展關鍵思考能力方案,皆能有效提 升整體成效。評鑑涉及價值判斷,評鑑人員素質如同社會科學方 法論的信、效度一樣;評鑑人員專業不足,評鑑就如同一個沒有 信、效度的研究。」(Scriven)

「部分教育評鑑人員較沒有經過專業訓練,他們不知如何將評鑑 知能運用在方案的規劃與執行上。或許現有太多意識形態干預,

尤其這幾年過於強調以學生測驗分數來評斷學區的好壞,加上教 育評鑑職場上沒有任何評鑑人員的門檻限制等,我認為這是造成 無法吸引專業評鑑人員進入的重要因素。」(Miron)

綜上所述,教育評鑑領域雖是歐美評鑑發展的起源、參與人數亦占多 數,但仍缺乏系統化、科學化及持續性的養成教育與在職訓練。此外,如同 上述相關文獻所述,部分教育評鑑人員在未具備足夠能力即投入職場,故若 有協助評鑑人員發展關鍵思考能力的任何專業發展方案,當能有效強化評鑑 滿足社會與公眾之福祉。

(二)您認為有哪些因素影響美國教育評鑑人員的整體成就表現?

「提供評鑑人員必要資源很重要;美國一些大學區像佛羅里達 州邁阿密學區(Miami-Dade County School District, Florida),有 完整的評鑑團隊部門,人員受過完整訓練、有專人處理資料、

(16)

經費也十分充足,如此團隊就可從事具挑戰性的評鑑工作。」

(Miron)

「我認為達拉斯獨立學區(Dallas Independent School District)

可能是全美擁有最佳評鑑部門的學區;他們評鑑人員絕大都受 過 完 整 訓 練 、 學 區 董 事 會 對 教 育 局 長 及 其 推 動 的 政 策 亦 十 分 支 持 ; 近 年 來 也 產 出 許 多 影 響 政 府 高 層 決 策 的 評 鑑 研 究 。 」

(Stufflebeam)

「評鑑人員自我反思與自我學習的能力與態度,要盡可能參與各 種促進自我專業發展之訓練,除從做中學累積經驗外,亦可透過 研究強化評鑑使用。」(Miron)

「一個健全的專業組織才能支持評鑑專業發展目標,並影響評 鑑人員的整體表現。何謂健全組織?以西密西根大學評鑑中心 為例,其中心宗旨-評鑑理論的實務運用;六項願景:研究、發 展、教學、宣傳、服務及領導。研究包括發展CIPP、消費者取向 等評鑑理論與模式;發展係建構各項評鑑檢核表、設計方案/學 生/人員評鑑標準;教學則提供跨領域評鑑學門博士學程與各類 型評鑑人員之中短期訓練;宣傳包括發行期刊《Journal of Multi Disciplinary Evaluation》與設置評鑑中心的網站;服務則辦理各 類型的方案、人員與學生評鑑等研究;最後,領導則指擔任美 國評鑑學會(AEA)主席,以及成立教育評鑑標準聯合委員會

(The Joint Committee on Standards for Educational Evaluation,以 下簡稱聯合委員會)及教育績效責任和教師評鑑研究聯合會(The Consortium for Research on Educational Accountability and Teacher Evaluation)等。」(Stufflebeam)

綜上所述,設有一功能健全的評鑑中心,以及政府所能提供適宜的資 源等都是影響評鑑人員專業發展之重要因素;此外,評鑑人員接受足夠的教 育訓練、自覺與自我學習、評鑑委託者高度支持、利害關係人能有效運用評

(17)

鑑資訊等因素,亦能影響評鑑人員的整體表現。

(三)您認為教育評鑑人員的核心能力為何?不同評鑑工作類型是否 需要不同的工作能力?

「除關鍵思考能力外,基本的評鑑專業能力至少應再包括:評鑑 領域所需之基本知識、社會科學方法論(包括:調查設計、質性 研究、量化統計、測量工具等)、確認問題與資訊的價值性、準 則建構的理論。」(Scriven)

「除社會科學研究能力:行政管理、方案規劃、預算管控及人際 關係等之外,還需跨領域專業能力;此意即在組織評鑑團隊時,

除評鑑專家外,亦須該領域實務或研究之人才參與;例如,如您 找Stufflebeam設計全美高等法院年度業務成效之評鑑計畫時,他 就需要一些司法領域專家的協助。」(Horn)

「將不同領域專家帶入評鑑團隊,有些具備統計技術、有些有質 性研究經驗,透過意見交流,他們會融合。故在組成團隊時即需 一位領導者,他可讓人員與意見交流互動。」(Scriven)

「評鑑管理者、評鑑人員及評鑑規劃人員三者工作內涵與能力要 求則不盡相同,因為評鑑管理者要具備較多的行政管理技能,較 少的評鑑專業知識,這些知識、能力和經驗與主持大型研究頗為 類似,包括:經費預算管控、時程掌握、促進團隊成員的溝通、

結論報告編製及傳送等方面。」(Horn)

「這些工作是有所不同,雖不需額外不同種類的訓練課程,但評 鑑規劃人員要比評鑑人員更專業化,更能瞭解內、外部評鑑之間 所有相關議題,如何規劃受評方案之評鑑標準,以及其資料蒐集 工具和方式。」(Scriven)

綜言之,教育評鑑人員專業知能至少包括:關鍵思考能力、社會科學

(18)

方法論、受評方案領域知識、評鑑專業知能/技術,以及一般的領導、行政 管理、人際溝通及預算管控等技巧與能力;至於在組織教育評鑑團隊時,必 須邀請具備該領域實務與研究能力者涉入協助;最後由於評鑑工作項目甚為 多元,需要不同能力要求類型之評鑑工作者,包括:評鑑規劃人員、評鑑管 理者及評鑑人員等。

(四)誰可提供教育評鑑人員的教育訓練?其中養成教育的課程內涵 為何?有何成功例子?

「提供評鑑人員教育訓練方案有大學與評鑑社群;比較1970年 代,我認為目前優質的美國大學評鑑研究所非常少,縱然您可以 找到一長串學校系所名單,但您仔細觀察他們辦學成效,並無特 別傑出。…實習課程是整個課程概念的關鍵。」(Stufflebeam)

「目前美國優秀、權威的評鑑研究者不多,投入研究努力與貢獻 也不夠;至於還算優秀的機構就只有西密西根大學評鑑中心、明 尼蘇達大學及克雷蒙研究大學等二至三所而已。至於大學系所開 設一或兩門評鑑相關課程則很多,但沒有太顯著的成效與價值。

此外,運用評鑑的領域非常複雜,包括:政策、人員、學校及方 案等評鑑範疇,所牽涉理論基礎包括:教育、心理、人力資源、

行政、財務、資訊、品質管理及倫理規範等領域,故有必要提供 非教育領域人員一些跨領域的評鑑課程,給這些希望成為評鑑人 員進來的管道,做職涯發展之用。」(Scriven)

一套完善的教育評鑑人員課程方案,尤其是跨領域的評鑑課程,確可提升教 育評鑑專業之程度;至於課程方案內涵為何?受訪者認為:

「有三方面課程:核心的應為社會科學方法論,因為那是評鑑學 門的起源;其次為受評領域的知識,這可能是最根本的亦可能高 於前者的重要性;最後是評鑑專業知識與技能,這是融合前面兩 項的重要基石。」(Scriven)

(五)有何機構提供教育評鑑人員在職訓練?課程內涵為何?其實施

(19)

成效如何?

「專業團體比大學提供更好的課程;目前美國評鑑學會(AEA)

及其附屬社群所提供評鑑人員教育訓練活動,例如:短期工作 坊、年度/半年度會議、研討會、期刊發表等,其質量相對優異 且充足,這可能因為他們接觸人員比大學廣泛,課程也較符合學 員需求。」(Horn)

「M. Smith主持評鑑人員學院(TEI)的訓練課程與內涵,可供 台灣參考。但一般機構辦理的訓練方案成功例子不多;以我曾 參與南加大醫學院(The Keck School of Medicine of University of Southern California)醫護人員專業發展方案為例,結果發現其成 效並非符合預期目標。主要原因乃事先未進行需求評估,以瞭解 是否可透過評鑑結果運用來對參與者行為產生實際改變。我認為 在推專業發展方案前,應先進行需求評估及成本效益分析以免投 資浪費。」(Stufflebeam)

「目前與未來評鑑人員專業發展方案的實施對象,最重要的是 行政人員,因為讓他們熟悉且認知評鑑不再是他們的敵人,透 過評鑑實施,能強化方案的規劃、展開及結果運用的成效。」

(Stufflebeam)

如同上述文獻探討之相關結果,受訪者皆認為評鑑專業團體及社群相 對能提供質量較優的評鑑人員教育訓練方案與活動,包括:工作坊、年度會 議、研討會、期刊發行等。然而專業團體在建構專業發展方案前應先評估需 求及其成本效益,俾瞭解該方案對參與者及其實務過程是否可透過評鑑結果 進行改善。

此外,四位學者皆認為西密西根大學評鑑中心所辦理為期三週的評鑑 人員專業工作坊是另一個相當成功的典範。該課程包括:

「評鑑專業標準及其運用、質性及量化研究法、評鑑方法與工

(20)

具、實習演練、實務議題討論(評鑑設計、評鑑預算、評鑑契 約、質性及量化資料蒐集與分析、評鑑結論傳送、評鑑結論運 用、後設評鑑)等;至於授課方式為:入學評量、課堂講授、期 刊評論、每週一次研討會、期末展示與實習等。」(Miron)

(六)專業評鑑機構如何選擇評鑑人員?目前全美教育評鑑人員的職 涯發展機會為何?

「我會先找評鑑中心與專業學會的網站,或找Stufflebeam,因為 他口袋有名單,這不也是您們中國人常說的關係。」(Miron)

「 沒 有 一 定 標 準 , 除 一 些 認 可 學 會 有 些 制 式 的 申 請 與 審 查 標 準 外 ; 這 應 視 實 際 個 案 需 求 而 定 , 通 常 我 會 依 據 個 人 受 訓 或 養 成 教 育 的 課 程 內 涵 , 以 及 他 過 去 工 作 內 容 與 績 效 而 定 。 」

(Stufflebeam)

「近年來美國因《把每一孩童帶上來》(No Child Left Behind)、

《政府表現與成效法》(Government Performances and Results Acts)等要求,利害關係人抱持較以往更重視學校測驗分數,以 做為評斷學校與學區之辦學績效,這也造成評鑑人員工作機會之 大增。」(Horn)

「目前大部分評鑑工作是由民間小公司,而非由大學或評鑑中心 來承包,這些獨立公司在承包評鑑個案後即會上網刊登廣告,以 招募兼職的評鑑人員,這也就造成目前許多網站皆張貼徵才廣告 的原因。」(Scriven)

綜上所述,目前美國評鑑人員的職涯機會很充足,而遴選評鑑人員會 考量:養成教育或受訓的課程內涵、過去工作績效及人際關係等條件;至於 必要的徵才程序,可透過專業團體、專業人士或可靠人士的推薦,以及公開

(21)

上網等途徑招聘人員。

(七)教育評鑑人員專業表現如何評估及管控? 有何標準或指導原則?

聯合委員會(Joint Committee)的《方案評鑑標準》與美國評鑑學會

(AEA)所建構的《評鑑人員指導原則》等,是四位受訪者咸認可做為管控 評鑑人員專業表現的指導原則;其中《方案評鑑標準》係評估如何有效執行 評鑑,而《評鑑人員指導原則》則為判斷評鑑人員行為是否符合專業標準之 基礎。

此外,受訪者另提供兩類評鑑專業標準,可供某些特定情境使用,包 括:

「《關鍵評鑑檢核表》(Key Evaluation Checklist)對評鑑人員在評鑑 規劃時特別有用。」(Scriven)、「《政府審計標準》(Government Auditing Standards)對任何涉入公部門教育評鑑方案尤其重要。」

(Stufflebeam)

至於如何評估評鑑人員專業表現,四位受訪學者皆認同本研究文獻探 討之結果,評估途徑可由「評鑑人員的自省、評鑑人員同儕、評鑑規劃者或 管理者、評鑑委託者等來發動內、外部評鑑人員之後設評鑑。」但是對於評 鑑人員認證的可行性,受訪者仍持保留態度,他們認為:

「過去美國評鑑學會(AEA)、美國評鑑期刊(American Journal of Evaluation)曾多次對此議題進行討論,但事隔多年我仍覺得現 有條件仍不成熟;這要考慮許多因素:認證考試的科目、考試機 制、誰發動、是否排除非認證人員工作機會、課程是否需要認證 等。」(Stufflebeam)

「過去我們亦曾多次討論是否要辦理認證考試、或者我們評鑑 中心在實施評鑑人員認證時的角色為何?結論我們或許可以是 認證單位,也可建構一套認證程序與標準,這仍有很多阻力。我

(22)

認為這應是美國評鑑學會(AEA)及其全體會員共同推動。」

(Miron)

「實施認證,首先要有一套具共識的標準或行為準則,其次應由 一個全國性評鑑組織發展一套認證的考試機制,最後有一套考核 機制,以針對違反標準的個人做出必要的懲處。在尚無評鑑人員 認證制度前,美國的民事法庭則提供委託者一個請求損害賠償的 途徑,這也是一種較常見的品質管控方式。」(Miron)

綜言之,若美國要建立一套嚴格的評鑑人員認證機制,四位受訪者皆 認同上述相關文獻對「美國評鑑專業化的條件仍不成熟」的看法,以及其主 因乃在於缺乏一套具共識的認證課程、考試機制及後續配套措施等,至於透 過民事訴訟以針對任何違反評鑑契約事件申請實質求償,則為目前美國對教 育評鑑人員常見的品質管控作法。

(八)對台灣教育評鑑人員專業發展方案有何建議?

「政府,尤其是評鑑剛起步的國家,是教育評鑑最重要的利 害關係人;評鑑人員專業發展需要大量經費,為有效推動,政府 應積極輔導成立評鑑研究中心、評鑑專業團體(像AEA);此外 評鑑乃標準化作業流程,建構一套評鑑人員行為指導原則也是很 重要的。」(Stufflebeam)

「我覺得大多數國家在評鑑發展初期可能也是最大問題就是評 鑑人員質與量不足,這需要鼓勵不同背景的專業人士進入,並 辦理一些符合實際需要的跨領域評鑑專業訓練活動;為什麼要找 不同領域專家進入評鑑領域?因為透過不同學門人士對社會科學 工具的建構,方案價值的討論與澄清,這將有助於將評鑑發展成 一個具清楚定義、學科本質、邏輯架構及多方領域應用的學門。

這是政府最主要的責任,若無法推動,可由名間或非營利單位來 辦。」(Scriven)

(23)

「政府應定期補助辦理評鑑人員的專業訓練外,吸收他國或其他 組織成功經驗也很重要。」(Miron)

三、焦點團體法之取樣與實施程序

焦點團體座談於2007年元月間進行,會中邀請國內六位學者專家參 與,並對本研究草擬之結論初稿,提供意見與建議;結論初稿乃依據上述 文獻與國外專家訪談之結果,並於審查會議前十日寄發。參與者目前皆任 教於國內大學教育系所,長期投入教育評鑑實務與理論研究,並有評鑑專門 論著。審查會議約進行二小時四十五分,並徵求參與者同意進行全程錄音並 做逐字紀錄;最後再由兩位研究者據之修正,並充分討論後定稿。與會學者 專家意見,大致集中在美國教育評鑑人員或方案評鑑人員專業發展現況及其 優缺點,以及我國教育評鑑人員專業發展現況、困境以及解決之道等兩大部 分,由於篇幅所限,僅將定稿結論於下文呈現。

伍、結論與建議

一、結論

(一)影響美國教育評鑑專業的因素,包括:政府、評鑑社群、評鑑 人員專業表現及評鑑委託者的資源與支持等

教育評鑑孕育方案評鑑,但相較後者,美國部分教育評鑑人員在未具 備足夠能力前即投入職場,其整體專業表現即無法符合評鑑預期目標。美國 教育評鑑蓬勃發展起源於1960年代政府的立法要求,以及巨額經費補助以鼓 勵大學評鑑系所與課程開設,故政府一直都是教育評鑑的發動者,也是最重 要的利害關係人。此外,評鑑專業亦需一健全的專業組織加以支持與推動;

這可借鏡美國西密西根大學評鑑中心的設立宗旨:「評鑑理論的實務運用」

及發展願景:「研究、發展、教學、宣傳、服務及領導」。最後,評鑑委託 者提供必要資源、高度支持及有效運用評鑑資訊等,亦能影響評鑑人員專業 表現,以及評鑑專業的發展。

(24)

(二)教育評鑑人員核心能力包括:社會科學研究能力、受評領域知 識、評鑑專業知能、方案管理能力,以及接受評鑑與自我反思的態度等,不 同評鑑任務亦有不同能力要求

評鑑涉及大眾利益的分配,故教育評鑑人員從事評鑑業務時即需具備 適切的專業能力,此為資格條件,也是責任義務;評鑑人員除具備必要評鑑 經驗及受評領域學經歷等外,亦應具備關鍵思考能力、跨領域能力、資訊力 及行政管理能力等,且能抗拒不當壓力、處理不同議題挑戰及協助評鑑結論 運用,而成為一位能促進最大公共利益的實踐者與推動者。

再者,評鑑工作任務繁雜,其角色可區分規劃評鑑計畫之評鑑規劃 者、推動評鑑計畫之評鑑管理者,以及執行評鑑實地訪視與資料蒐集/分 析/價值判斷之評鑑人員共三類,其各有不同能力之要求。其中教育評鑑人 員核心能力除包括領導、行政管理、人際溝通及預算管控等一般方案管理能 力外,尚包括社會科學方法論、受評領域知識、評鑑專業知識與技能等;而 社會科學方法論是評鑑方法的起源,而受評領域專業知識是判斷受評方案價 值的入門途徑,至於評鑑專業知能則指融合社會科學方法論與受評領域知識 之知能,包括:發展評鑑工具、建構評鑑準則、探討受評方案價值、進行資 訊蒐集/分析/價值判斷,以及形成評鑑結論的立論基礎。

(三)相較目前美國僅少數大學提供優質的教育評鑑人員碩、博士學 位或學程,評鑑專業組織所提供的評鑑人員在職訓練課程,種類多元且務實 亦較受好評;此外,評鑑人員自我反思與自我學習等途徑亦能提升評鑑人員 整體成效

目前美國大學評鑑專業系所提供養成教育課程品質雖不如過去,但仍 有西密西根大學評鑑中心、明尼蘇達大學及克雷蒙研究大學等優質課程可供 參考;同時,由於評鑑重視做中學,評鑑實習與演練為訓練方案中最為關鍵 的核心科目。此外全美大多數教育評鑑人員培養方式大都透過直接進場實習 或由具經驗的評鑑人員帶領等,故為協助評鑑人員扮演價值判斷者角色,即 需要一套有效的在職訓練方案,以協助其擁有適切的評鑑專業能力,例如由 西密西根大學評鑑中心、評鑑人員學院(TEI)、美國評鑑學會(AEA)及

(25)

其附設機構等,定期辦理專業活動。至於工作坊課程包括:評鑑實務議題、

評鑑模式與方法論、實習演練、評鑑結果運用,以及評鑑專業標準及其運用 等。

此外,教育行政人員亦是在職訓練最重要的對象,應使其瞭解評鑑,

不會聞評色變,進而推動評鑑的規劃與執行,以強化方案的成效。最後,除 養成教育與在職訓練外,評鑑人員自我反思與自我學習亦可提升其評鑑專業 能力。

(四)美國教育評鑑人員職涯發展機會與選訓方式較我國校務評鑑實 務更多元、開放與系統化,亦能有效鼓勵跨領域學者專家涉入教育評鑑範疇 由於評鑑運用涉及的理論包羅萬象,例如:教育、心理、人力資源、

行政管理、財務、資訊管理、品質管理、倫理規範等,故在組織教育評鑑 小組時,邀請有意願參與評鑑的受評領域與跨領域之學者專家的加入,方能 有效探討受評領域之價值與優缺點外,亦較能強化評鑑專業目標之達成。我 國目前教育評鑑領域僅校務與學門評鑑發展較具成效(教師評鑑近年來才開 始發展),各級各類教育評鑑參與人數為數不多,且專業訓練活動亦明顯不 足。

美國教育評鑑人員專業發展方案較為多元,包括:主辦單位、參與 者、課程內涵、課程教學之傳送方式等,其中大部分評鑑組織,已建構一套 鼓勵跨領域、學有專精、對評鑑有熱誠之學者專家涉入的遴選機制,意即透 過評鑑主辦單位、受評單位推荐及參與者主動申請等程序,並經一定資格審 核、訓練及考核,以擴大各評鑑利害關係人對評鑑參與之動力與信任。這種 透過不同學門專家對社會科學工具的建構、方案價值的澄清,以及評鑑人員 自我反思等過程,確能協助評鑑成為清楚定義、學科本質、邏輯架構及多領 域應用的專業學門。

(五)為有效確保評鑑人員專業表現符合專業標準,歐美國家皆致力 建構一套專業標準及/或指導原則,並據此發展合宜的管控途徑

歐美國家判斷評鑑人員倫理行為之專業標準與指導原則,包括:《評 鑑人員指導原則》、《方案評鑑標準》、《關鍵評鑑檢核表》及《政府審計

(26)

標準》等,除能在評鑑前有效指引評鑑人員的評鑑規劃與實施外,亦能在評 鑑後評估其整體專業表現。至於對評鑑人員專業表現品質保證途徑,包括:

內部或外部發動之評鑑人員後設評鑑、同儕評鑑、受評機構評鑑、評鑑小組 召集人評鑑,以及評鑑人員檢定/認證/證照等;主辦單位可選擇最適合評 鑑目的之途徑,以強化評鑑資訊的可辯證性,並對評鑑人員的專業表現發揮 品質保證之效果。最後,有關美加部分地區之評鑑人員檢定/認證/證照機 制,其實施條件與成效等情況仍有待吾人持續觀察。

二、建議

根據結論,本研究自政府機構、專業評鑑機構與大學、評鑑人員及後 續研究四方面提出建議。

(一)政府機構

1.持續鼓勵大學對其內部評鑑人員培訓及對外部評鑑人員資格之落 實,以及專業評鑑機構對外部評鑑人員資格與評鑑人員專業發展方案之重 視與落實

政府是教育評鑑最重要的利害關係人;目前政府大多依據評鑑結果做 為增班設科、調整招生名額或決定獎補助經費等重大決策依據,故如何有效 提升評鑑人員專業表現,以產出具信、效度及辯證力的評鑑資訊,即成為政 府協助教育評鑑專業化發展之首要責任。目前教育部己於98年3月25日訂定

「大學自我評鑑結果及國內外專業評鑑機構認可要點」,鼓勵大學自我評鑑 實施符合一定規定者,可就其評鑑結果申請認可;經認可者,於五年內,得 免接受政府之相關評鑑。這些規定包括:對外部評鑑人員資格之規範、參與 內部評鑑之校內人員每學期至少參加一次評鑑相關課程與研習等。此外,教 育部對國內外專業評鑑機構之認可審查,係依該機構一定事項之表現情形辦 理,其中一項包括機構對評鑑委員之資格、培訓、遴聘與評估方式。上述規 定與作法實值得教育部繼續推動,並在審查時,特別重視大學與國內專業評 鑑機構對其規定之落實情形。

2.從事或鼓勵各種評鑑專業標準與指導原則的建構與運用

(27)

評鑑專業標準與指導原則係指評鑑社群一致同意的標準與原則,除 可指引評鑑工作之實施外,亦可據之判斷評鑑工作的價值及品質,為認定 評鑑實務是否符合專業的要件之一。目前廣為運用的有聯合委員會(Joint Committee)制訂之方案、人員及學生三種評鑑專業標準,以及美國評鑑學 會(AEA)出版之方案評鑑人員指導原則,除奠定美國為評鑑專業龍頭老 大的地位外,亦成為其他國家發展專業標準與指導原則的重要借鏡及取法對 象。故政府宜從事或鼓勵各種評鑑專業標準與指導原則的建構與運用,除能 提升國內教育評鑑工作之品質與促進教育評鑑專業化外,亦能促進教育評鑑 人員之專業發展。

(二)專業評鑑機構與大學

1.積極發展一套適合我國國情之外部評鑑人員、機構內部評鑑規劃人 員、評鑑管理人員及評鑑人員之品質保證機制

專業評鑑機構於實施評鑑方案前、中、後,可參考美國專業組織對外 部評鑑人員專業表現評估途徑,例如:同儕評鑑、受評機構評鑑及評鑑小組 召集人評鑑,以及評鑑人員內部或外部後設評鑑等,選擇最適合評鑑目的之 時機與途徑,對評鑑人員的專業表現進行管考。同時亦提供評鑑人員對話輔 導機制,並發揮汰劣獎優的效果。再者,「評人者人恆評之」,專業評鑑機 構亦可參考上述外部評鑑人員品質保證途徑,針對內部評鑑規劃人員、評鑑 管理人員及評鑑人員,進行專業表現之管考。

2.積極發展教育評鑑人員專業能力內涵,並據此建構內、外部教育評 鑑人員之教育訓練方案與課程

評鑑專業機構與大學於推動評鑑方案前,建議先界定評鑑人員應有之 評鑑核心知識、技術與態度等,並據此發展一套適合我國國情之教育訓練方 案課程內涵;此外,亦宜多吸收國外組織成功的經驗,例如:西密西根大學 評鑑中心、評鑑人員學院及美國評鑑學會(AEA)等所辦理之養成教育方案 與評鑑人員專業課程,皆值得參考及修正後採用。

3.建構一套鼓勵跨領域專家及有意參與者擔任評鑑人員之申請與審核 機制

(28)

評鑑專業機構宜鼓勵其他領域學有專精及對評鑑有熱誠之學者專家自 願擔任評鑑人員,藉由建構一套主動申請與審核之機制,除能擴大參與外,

亦能平衡多方觀點,進而強化完善的評鑑服務。

(三)評鑑人員

1.宜依據評鑑專業標準與指導原則,進行自身評鑑工作之評估與自我 反思

評鑑專業標準與指導原則能有效確保評鑑人員專業表現,故評鑑人員 可依據《方案評鑑標準》與《關鍵評鑑檢核表》等內涵,做為評鑑方案之 規劃或成效評估之重要依據;亦可依據《評鑑人員指導原則》內涵進行評鑑 人員的倫理及專業表現之評斷;此外,自我反思亦是評鑑者一個內部評鑑途 徑,評鑑人員透過不斷自我反思、修正及改善等持繼不斷精進的過程,將可 協助達成「評鑑為一專業學科」及評鑑專業化之目標。

2.持續學習歐美評鑑新知,透過評鑑實務參與累積經驗,進而自我反 思與專業對話

我國教育評鑑專業發展之關鍵在於評鑑人員如何有效推動評鑑、產出 精確評鑑結果,以及正確使用評鑑結果做為決策依據,這需要評鑑人員針對 評鑑工作不斷參與、學習與自我反思,以促進專業成長。故評鑑人員除應積 極參與各類評鑑實務與教育訓練外,亦應不斷學習先進國家之評鑑實務經驗 與研究成果,再透過論文發表、經驗交流及專業對話,以增進專業發展,並 對我國教育評鑑實務提出具體可行之建議。

(四)後續研究

1.探討我國教育評鑑人員專業發展方案之內涵並進行實施成效評估。

2.持續探討歐美各國教育評鑑人員檢定/認證/證照機制。

3.進行我國實施教育評鑑人員檢定/認證/證照機制之可行性研究。

(29)

參考文獻

徐昊杲、曾淑惠(2008)。高職學校評鑑人員評鑑能力與角色之研究。當代教育研

究,16(2),101-131。

陳嘉彌、鍾文郁、楊承謙、柯瓊惠、謝元(譯)(2000)。T. R. Guskey著。專業

發展評鑑(Evaluating professional development)。臺北市:五南。

曾淑惠(1996)。我國專科學校後設評鑑之研究。國立台灣師範大學工業教育研究

所博士論文,未出版,臺北市。

曾淑惠(2002)。教育方案評鑑。臺北市:師大書苑。

黃政傑、李隆盛、游家政(1994)。國民小學教育評鑑之研究。國科會專題研究

報告。臺北市:師範大學教育研究中心。

黃炳煌(1996)。教育改革-理念、策略與措施。臺北市:心理。

黃曙東(2007)。教育評鑑規劃人員能力內涵之研究。新竹教育大學教育學報,

24(1),109-126

黃曙東、蘇錦麗(2005)。後設評鑑研究:以九十年度大學校院實施自我評鑑計

畫成果報告書為例。教育研究集刊,51(2),31-65

楊國賜(1985)。教育專業精神之內涵與策進。台灣教育,41,45。

歐用生(1996)。教師專業成長。臺北市:師大書苑。

簡茂發(2003)。國民中小學教師教學專業發展之研究。臺北市:李連教育基金

會。

蘇錦麗(1997)。高等教育評鑑:理論與實際。臺北市:五南。

蘇錦麗(譯)(2005)。G. F. Madaus, & D. L. Stufflebeam 著。方案評鑑:

歷史的回顧。載於蘇錦麗(審訂),評鑑模式:教育及人力服務的評鑑觀 點(Evaluation models: Viewpoints on educational and human services evaluation)(頁3-22)。臺北市:高等教育。

蘇錦麗、黃曙東(2007)。世界重要國家評鑑專業標準與原則發展對我國之啟

示。高教評鑑,1(1),51-82

蘇錦麗、黃曙東(2009)。美國大學教師評鑑制度之探討。教育政策論壇,12

(2),1-44

蘇錦麗、楊瑩、王偉中、呂鴻德、詹惠雪(2000)。大學後設評鑑研究。臺北

市:揚智。

(30)

Altschuld, J. W. (1999). The case for a voluntary system for credentialing evaluators.

American Journal of Evaluation, 20(3), 507-518.

Altschuld, J. W., & Austin, J. T. (2005). Certification. In S. Mathison (Ed.), Encyclopedia of evaluation, (pp. 49-50). Thousand Oaks, CA: Sage.

American Evaluation Association (2006). Affiliates. Retrieved April 20, 2010, from http://www.eval.org/Affiliates/affiliates.htm1.

Bickman, L. & Reich, S. (2005). Profession of evaluation. In S. Mathison Encyclopedia of evaluation (pp. 331-334). Thousand Oaks, CA: SAGE.

Canadian Evaluation Society (2008). Annual report 2007-2008. Retrieved May 29, 2009, from http://evaluationcanada.ca/txt/annual_report_2007-2008.pdf

Commission on Collegiate Nursing Education (2008). Accreditation standards for baccalaureate and graduate degree nursing programs. Retrieved May 2, 2009, fromh ttp://www.aacn.nche.edu/Accreditation/pdf/standards.pdf.

Cronbach, L. J., Ambron, S. R., Dornbusch, S. M., Hess, R. D., Hornik, R. C., Phillips, D.

C., Walker, D. F., & Weiner, S. S. (1980). Toward reform of program evaluation. San Francisco: Jossey-Bass.

Datta, L. (2001). Coming attractions. American Journal of Evaluation, 22(3), 403-408.

Fetterman, D. M. (2001). The transformation of evaluation into a collaboration: A vision of evaluation in the 21st century. American Journal of Evaluation, 22(3), 381-385.

Henkelman, J. (2003). The person matters: The importance of the evaluator in evaluation.

Crossing Boundaries-an Interdisciplinary Journal, 1(3).

Higher Learning Commission of the North Central Association (2003). Expectation of the commission’s consultant – Evaluators, Retrieved Jan. 20, 2006, from

http://www.ncahigherlearningcommission.org/.

Jackson, G. (2002). Evaluation ethics considerations, Retrieved April 20, 2010, from http://www.gwu.edu/~gjackson/281_EthicsConsid.PDF.

Joint Committee on Standards for Educational Evaluation (2009). The personnel evaluation standards: How to assess systems for evaluating educators. Newbury Park, CA: Corwin.

Jones, S. C. & Worthen, B. R. (1999). AEA members’ opinions concerning evaluator certification, American Journal of Evaluation, 120(3), 495-507.

King, J. A., Stevahn, L., Ghere, G., & Minnema, J. (2001).Toward a taxonomy of essential evaluator competencies. American Journal of Evaluation, 22(2), 229-247.

King, A. J. (2004). The roots of participatory evaluation. In M. C. Alkin (Ed.), Evaluation roots (pp. 331-342). Thousand Oaks, CA: Sage.

Love, A. J. (2001). The future of evaluation: Catching rocks with cauldrons. American Journal of Evaluation, 22(3), 437-444.

Middle States Association of Colleges and Schools (2003). MSACHE evaluator training

(31)

and support. Retrieved Jan. 24, 2006, from http://www.msache.org.

Morris, M. (2003). Ethical considerations in evaluation. In T. Kellaghan, D. Stufflebeam,

& L. A. Wingate (Eds.), International handbook of educational evaluation. (pp.

302-327). The Netherlands: Kluwer.

National Association of Industrial Technology (2009). ATMAE accreditation team chair

& team member documents. Retrieved March. 24, 2009, http://www.nait.org/accred/T eamInfo.html.

National Council for Accreditation of Teacher Education (2003). NCATE handbook, Retrieved April 24, 2010, fromhttp://www.ncate.org/documents/handbook/handbook.

pdf..

Newcomer, K. E. (2001). Tracking and probing program performance: Fruitful path or blind alley for evaluation professionals? American Journal of Evaluation, 22(3), 337-341.

North Central Association of College and Schools (2003). Consultant-evaluator crops applications, Retrieved Jan. 4, 2007, from http://www.ncahigherleaningcommission.o rg/cecorps/docs/index.htm1.

Patton, M. Q. (1996). Utilization-focused evaluation (3rd ed.). Thousand Oaks, CA: Sage.

Russon, C. (2005). Evaluation associations. In S. Mathison (Ed.), Encyclopedia of evaluation, (pp. 22-23). Thousand Oaks, CA: Sage.

Scriven, M. (1976). The intellectual dimensions of evaluation research. Paper presented at the 4th annual Pacific Northwest Evaluation Conference, Seattle, WA.

Scriven, M. (1991). Evaluation thesaurus (4th ed.). Beverly Hill, CA: Sage.

Scriven, M. (1994). Evaluation is a discipline. Studies in educational evaluation, 20, 147-166.

Scriven, M. (1996). Types of evaluation and types of evaluator, Evaluation Practice, 17(2), 151-161.

Scriven, M. (1999).The nature of evaluation. Part II: Training. Practical assessment, Research & evaluation, 6(12). Retrieved April 14, 2010, from http://edresearch.org/par

e/getvn.asp?v=6&n=12.

Shadish, W. R., Newman, D.L., Scheirer, M. A., & Wye, C. (1995). Guiding principles for evaluators,New Directions for Program Evaluation, 66.

Smith, M. F. (2001). Evaluation: Preview of the future#2. American Journal of Evaluation, 22(3). 281-300.

Smith, M. F. (2003). The evaluation profession. In T. Kellaghan, D. Stufflebeam, & L. A.

Wingate (Eds.), International handbook of educational evaluation (pp. 269-277). The Netherlands: Kluwer.

Smith, M. F. (2005). Evaluator. In S. Mathison (Ed.), Encyclopedia of evaluation, (pp.

146). Thousand Oaks, CA: Sage.

(32)

Spangehl, S. (1998). Preparing the team report: Suggestions for team members consultant

evaluator professional development program. Retrieved April 24, 2010, from http://www.ncahigherleaningcommission.org.

Stake, R. E. (2001). A problematic heading. American Journal of Evaluation, 22(3), 349-354.

Stevahn, L., King, J. A., Ghere, G., & Minnema, L. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26(1), 43-59.

Stufflebeam, D. L. (2001a). Guiding principles checklist for evaluating evaluators. Retrieved March 24, 2010, from http://www.wmich.edu/evalctr/checklists.

Stufflebeam, D. L. (2001b). Interdisciplinary Ph. D. programming in evaluation. American Journal of Evaluation, 22(20). 445-455.

Stufflebeam, D. L. (2003). Professional standards and principles for evaluation. In T.

Kellaghan, D. Stufflebeam, & L. A. Wingate (Eds.), International handbook of educational evaluation(pp. 279-302). The Netherlands: Kluwer.

Torres, R. T., & Preskill, H. (2001). Evaluation and organization learning: Past, present, and future. American Journal of Evaluation, 22(3), 387-395.

Wholey, J. S. (2001). Managing for results: Role for evaluators in a new management era.

American Journal of Evaluation, 22(3), 343-347.

Worthen, B. R. (1994). Is evaluation a mature profession that warrants the preparation of evaluation professionals?New Direction for Program Evaluation, 62, 3-15.

數據

表 1 評鑑人員專業能力內涵一覽表(續)

參考文獻

相關文件

 教師評鑑TE (Teacher Evaluation) / 專業成長PG (Professional Growth).. 

Australian Government, Department of Education, Employment and Workplace Relations. Evaluation strategy for Job Services Australia

Through arranging various reading activities such as online reading, book recommendation and extended reading materials, schools help students connect reading to

“In assessing the impact of the PNET Scheme on the professional development of local teachers, the centralised seminars have made a significant contribution and their value should

 After a school term ends, schools should evaluate the effectiveness of work plans and all aspects of their work over the past year (Evaluation) before setting up

3.1 Phase I and Phase II Impact Study reports, as a composite, have concluded that with self-evaluation centre stage in school improvement and accountability, the primary

From the perspective of promoting children’s learning, briefly comment on whether the objectives of the tasks were achieved with reference to the success criteria listed in the

The results indicated that packaging of products which reflects local cultural characteristics has a direct and positive influence on consumers’ purchase