• 沒有找到結果。

地方教育行政機關校務評鑑運用之研究

N/A
N/A
Protected

Academic year: 2021

Share "地方教育行政機關校務評鑑運用之研究"

Copied!
37
0
0

加載中.... (立即查看全文)

全文

(1)

地方教育行政機關校務評鑑運用之研究

鄭淑惠

摘 要

研究目的 本研究旨在探討地方教育行政機關的校務評鑑運用情形,以及 影響評鑑運用的因素。 研究設計/方法/取徑 本研究採取質性取徑,以半結構式訪談法蒐集資料,選取持續 實施中小學校務評鑑且有評鑑運用意圖的縣市。受訪者為地方教育 行政機關之校務評鑑主辦及業務相關單位代表,共訪談三縣市 23 位 行政人員。 研究發現或結論 針對地方教育行政機關的校務評鑑運用,首先,在結果性運用 方面,包括:瞭解學校辦學情形、協助學校改善辦學品質、輔助行 政決定,以及政策說服。其次,在過程性運用方面,包括:增進對 學校辦學及意見的瞭解、促進專業學習,以及引導學校發展。第三, 影響校務評鑑之結果性運用的因素,包括:追蹤輔導制度的設置、 評鑑人員的可信度、評鑑報告的溝通、評鑑報告的回應性、對評鑑 結果運用的態度,以及組織權責與資源。最後,影響校務評鑑之過 程性運用的因素,則包括:評鑑參與機制,以及對評鑑參與的態度。 鄭淑惠,國立臺灣師範大學教育學系、教育政策與行政所助理教授 電子郵件:shcheng@ntnu.edu.tw 投稿日期:2016年 4 月 30 日;修正日期:2016 年 8 月 8 日;接受日期:2016 年 9 月 10 日

(2)

研究原創性/價值

評鑑運用是評鑑專業化不可忽略的部分,也是國內教育評鑑研 究較少探討的議題,透過本實徵性研究,能加深對行政機關評鑑運 用的瞭解,並提供評鑑實務與研究的建議。

(3)

SCHOOL EVALUATION USE AMONG LOCAL

EDUCATIONAL AGENCIES

Shu-Huei Cheng

ABSTRACT

Purpose

This study aims to explore school evaluation use among local educational agencies and the factors affecting it.

Design/methodology/approach

A qualitative approach was adopted with semi-structured interviews. The interviewees were recruited from three agencies that had continually performed elementary and junior high school evaluations, with an intention to use the evaluations. In total, the interviewees included 23 administrators whose responsibilities were related to evaluation processes and reports within the agency.

Findings

First, school evaluation findings were used by local educational agencies to understand school development, assist in school improvement, assist in decision making, and convince external agencies to support a particular position. Second, regarding process use, school evaluations were used by local educational agencies to understand school development and opinions about schools, enhance professional learning, and direct school improvement. Third, the factors affecting the use of evaluation findings included follow-up assistance, evaluator credibility, communication of evaluation reports, responsiveness of evaluation reports, attitude toward the use of evaluation findings, and authority and resources. Finally, the factors affecting process use comprised the mechanism of evaluation involvement and attitude toward evaluation involvement.

Shu-Huei Cheng, Assistant Professor, Department of Education & Graduate Institute of Educational Policy and Administration, National Taiwan Normal University.

E-mail: shcheng@ntnu.edu.tw

(4)

Originality/value

Evaluation use is an indispensable part of professional evaluation. Research on evaluation use has seldom been conducted in Taiwan. This study provides empirical evidence that assists in an understanding of evaluation use and provides suggestions for evaluation practice and research.

Keywords: evaluation use, school evaluation, educational evaluation, local educational agencies

(5)

壹、前言

國民教育是國家教育的根本,隨著地方制度法的通過,明確規範地方 政府為國民教育興辦與管理的主體,具有促進及確保學校品質的權力與責 任。為瞭解所屬學校的辦學情形,作為督導與協助學校發展的參照,同時 檢視教育決策的合理性,地方教育行政機關(或教育局 處)辦理校務評 鑑已逐漸普遍並朝向制度化發展(鄭崇趁,2007;謝杏佳,2011)。 然而校務評鑑的實施,不但需要謹慎周全地規劃與執行,還必須具有 評鑑運用(evaluation use or utilization)的意圖,始有助於評鑑功能的發 揮。自 1960 年代中期起,美國實施評鑑的數量漸增,如何運用評鑑成為 重要議題,也帶動國際間對評鑑運用的探討(Christie & Alkin, 2013; Shadish, Cook, & Leviton, 1991),美國評鑑標準委員會還將此納入評估評 鑑專業性的依據之一(Yarbrough, Shulha, Hopson, & Caruthers, 2011)。 在我國教育領域,也逐漸關注促進評鑑運用的重要性(曾淑惠、周士琦, 2014;黃政傑,2005;黃嘉雄,2010)。 校務評鑑雖以學校為受評鑑對象,然地方教育行政機關為校務評鑑的 發動者,也是評鑑的重要利害關係人。而校務評鑑結果不僅涉及學校的權 責,也與教育局 處的業務範圍有關。行政機關欲有效地督導與協助學校 發展,除辦理校務評鑑外,也必須妥善運用校務評鑑,以促進評鑑預期目 的之達成。曾淑惠與周士琦(2014)分析高職校務評鑑計畫時,即將行政 主管機關列為校務評鑑結果的運用者之一。另外,教育局 處能否運用校 務評鑑,以及如何運用以促進學校發展,不但為學校人員所高度關注(郭 昭佑、陳美如,2012;陳錦玉,2016),更會影響其對校務評鑑專業的信 任度,實需加以重視(郭昭佑、陳美如,2012)。 分析目前國內校務評鑑的實徵研究,以評鑑實施、評鑑指標、後設評 鑑等探討較多,少部分則研究評鑑人員能力與培訓、評鑑途徑與方法、教 師角色與評鑑態度、他國評鑑制度。至於以校務評鑑運用為主題,僅見者 如黃嘉雄(2012)分析影響國民小學運用校務評鑑結果的因素,周士琦 (2014)、陳錦玉(2016)則分別探討高職、國中運用務評鑑的現況及影 響因素,惟此些研究皆僅關注學校層級的評鑑運用。然而,評鑑運用具有 情境脈絡性(Shulha & Cousins, 1997),目前研究尚未以地方教育行政機 關為探討對象,實有研究的必要性。

(6)

因此,本研究以地方教育行政機關所辦理的中小學校務評鑑為對象, 探討行政機關的評鑑運用及影響因素。具體言之,研究目的包括: 一、探究地方教育行政機關的校務評鑑運用情形。 二、分析影響地方教育行政機關的校務評鑑運用因素。 三、依據研究結果,對於校務評鑑實務與研究提出建議。

貳、文獻探討

以下文獻首先探討評鑑運用的概念,其次分析校務評鑑的內涵,以提 供實徵研究的基礎。

一、評鑑運用的概念

(一)評鑑運用的意涵 評鑑運用的意涵,主要關注評鑑結果或過程之使用,所能產生的效果 (Alkin & Taut, 2003; Højlund, 2014; Johnson et al., 2009)。隨著參與式評 鑑的興起,除評鑑結果所提供的系統性回饋外,也發現參與評鑑可發揮評 鑑運用的效果(Johnson et al., 2009; Patton, 2008)。上述二種評鑑運用的 來源,構成了結果性運用(findings use)與過程性運用(process use)(Weiss, Murphy-Graham, & Birkeland, 2005)。Højlund(2014)主張,結果性運用 係指取得評鑑報告後,所運用的正式評鑑結果,而過程性運用則指評鑑報 告取得前的評鑑參與(可能獲得初步評鑑結果)所產生的運用情形。 以結果性與過程性運用為分析,評鑑結果及參與過程皆可能促進不同 類型的評鑑運用,其中最受重視者為工具性運用(instrumental use)與概 念性運用(conceptual use)。前者係指透過評鑑,能影響政策的研擬或督 導的行動;後者則指促進思考、增進瞭解,甚至改變看法與態度的情形 (Hofstetter & Alkin, 2003; Højlund, 2014; Weiss et al., 2005)。

此外,還有其他評鑑運用類型的提出,例如,學者分析合法化運用 (legitimizing use)係指評鑑結果用於證明既有決定的正當性,象徵性運 用(symbolic use)是指實施評鑑能顯示組織對品質與績效的重視,以增 加組織聲望(Alkin & Taut, 2003; Owen, 2007),惟此二者通常不是理想

(7)

的評鑑運用(D’Ostie-Racine, Dagenais, & Ridde, 2016)。此外,有學者提 出策略性運用(strategic use),係指透過評鑑過程或結果,以倡導個人立 場、說服他人(Højlund, 2014)。而說服性運用(persuasive use)的提出, 則納入前述的合法化、象徵性與策略性運用的意涵,指運用評鑑結果或過 程,為影響他人的方式,以合法化立場、提高聲譽,或以證據本位知識, 說服他人或作為辯護,此突顯說服性運用有其積極的效果(D’Ostie-Racine et al., 2016)。至於過程性運用,除可促進工具性、概念性等評鑑運用外, 還可能產生其他運用情形,包括:專業知能提升、網絡建立、共享理解、 彰權益能、組織發展等(Amo & Cousins, 2007; Patton, 2012)。而除擴大 評鑑運用外,評鑑誤用或濫用的提出,則指出評鑑不當運用的可能性,必 須檢視及避免(Patton, 2008)。 針對評鑑效果,Kirkhart(2000)另提出評鑑影響(evaluation influence) 一詞,旨在納入漸進、非預期、多方向性和非工具性之效果。Alkin 與 Taut (2003)分析評鑑影響與評鑑運用的意涵,指出前者關注較長的期程範 圍,且包含對於受評鑑範圍外或非預期之評鑑運用者所產生的影響;後者 則聚焦於立即性與評鑑後(含追蹤輔導)期程,以預期或非預期方式,對 預期評鑑運用者的影響。為確保評鑑功能之發揮,評鑑運用仍應為評鑑規 劃或執行者優先關注的議題,本研究亦採取此觀點。 (二)影響評鑑運用的因素 評鑑運用會受到許多因素的影響,已成為不少研究關注的議題。例 如,Cousins 與 Leithwood(1986)分析 1971 至 1985 年的實徵研究,歸納 影響結果性運用的因素包括評鑑實施以及決策 政策情境。前者指評鑑品 質、評鑑人員與評鑑過程的可信度、評鑑與運用者資訊需求的相關性、溝 通品質、評鑑結果與報告閱讀者的期待或決策價值一致、評鑑報告傳佈及 時性;後者則涵蓋資訊需求、決策特質、政治氣氛、其他相競爭資訊、個 人特質,以及對評鑑的承諾與回應。Johnson 等人(2009)則分析 1986 至 2005 年的實徵研究(含結果性與過程性運用),其發現除 Cousins 和 Leithwood於 1986 年所歸納的因素外,還有第三類因素為評鑑參與,指出 參與評鑑有助於評鑑規劃對資訊需求的回應性、促進評鑑利害關係人與評 鑑者的互動溝通、提高對評鑑者與評鑑過程的可信度,並增進對評鑑結果 的瞭解。

(8)

除前述分析外,許多研究亦從評鑑實施(含評鑑參與)與組織情境二 方面,探討影響評鑑運用的因素。例如,Saunders(2012)指出組織情境 因素包括將評鑑整合於決策循環中、發展調適性高的組織、具有評鑑運用 的擁護者;評鑑實施因素則包含與可能的評鑑運用者討論評鑑規劃、研討 評鑑報告的意涵與運用,以及提高評鑑報告的可讀性、回應性與時效性 等。至於,Fleischer 與 Christie(2009)特別分析影響結果性運用的評鑑 因素,除前述提及者外,還包括事前規劃評鑑運用之促進以及評鑑後的持 續追蹤等。至於,Højlund(2014)以歐盟委員會(European Commission) 為個案,發現評鑑設計具品質、時效與獨立性,能確保評鑑結果運用於預 算的編擬程序。而 Chelimsky(2015)分析政策情境中影響評鑑結果運用 的因素,包括政府不同層級或部門的權力競爭、相關行動者對於評鑑目的 認知殊異等組織因素,而藉由利害關係人參與評鑑設計,可促進評鑑運用。 至於國內有關評鑑運用的實徵性研究,主要以教師專業發展評鑑,以 以及學校的校務評鑑為對象。例如,潘慧玲與陳文彥(2010)、鄭淑惠(2011) 皆發現,組織因素是影響評鑑運用的重要因素,例如,組織既有脈絡的助 益、校長支持、組織政治等。而黃嘉雄(2012)、周士琦(2014)與陳錦 玉(2016)分別探討國小、高職與國中人員的校務評鑑運用。其中,黃嘉 雄(2012)發現評鑑報告、評鑑規劃(如評鑑細項具體明確、具追蹤輔導 機制)等評鑑因素,以及校長對評鑑報告之處理與態度對結果性運用的影 響程度較高。此外,周士琦(2014)分析影響評鑑運用的因素,除評鑑報 告品質與公信力、評鑑設計品質外,還包括組織學習與利害關係人的參與 等。另外,陳錦玉(2016)分別探討影響學校過程性與結果性運用的因素, 前者包括教師定位、領導者態度、團體動力、溝通管道與人員對評鑑認知 等組織因素,後者則包括評鑑建議參考性、行政人員更替、逾越職權等評 鑑與組織因素。 由上可知,影響評鑑運用的因素甚多,主要可從評鑑實施與組織情境 二方面探討。在評鑑實施方面,涉及評鑑品質、評鑑人員可信度、評鑑報 告內容(如具體完整、可執行性)、溝通管道可及、符合時效與資訊回應 性、事先規劃促進評鑑運用、評鑑參與以及追蹤輔導機制等。而在組織情 境方面,涵蓋領導者支持、個人特質(如職務、經驗、訊息處理型態)及

(9)

評鑑態度、組織既有評鑑歷史、組織的調適性、決策性質、資訊需求、溝 通管道、團體動力、政治氣氛、其他相競合的資訊來源,以及將評鑑結果 納入組織決策之機制等。而校務評鑑為行政機關針對所屬學校所辦理的評 鑑,影響此評鑑運用的因素尚缺乏實徵研究,值得加以探討。

二、校務評鑑的內涵

校務評鑑又稱為學校評鑑,係教育行政機關透過系統性的資料蒐集、 分析、報告與運用,以協助學校發展並確保績效責任(林天祐,2002;王 保進,2003;鄭崇趁,2007;Sanders & Davidson, 2003)。以下分析校務 評鑑的目的、內容、實施方式,以及報告與運用。 (一)校務評鑑目的 校務評鑑主要包括形成性與總結性目的,前者旨在促進學校發展,後 者則強調績效責任確保(王保進,2003;吳清山,2002)。首先,校務評 鑑能提供學校辦學優勢與待改進的回饋,除引導學校自我改善、強化特色 外,也可作為行政機關協助學校發展的依據(吳清山,2002;林天祐,2004; 郭昭佑,2007)。其次,評鑑是行政機關對學校課予責任的方式之一(王 麗雲,2011),依據評鑑指標,能檢視學校辦學績效(王保進,2003;吳 清山,2002),還可能連結獎懲制度,以強化對學校的督導(吳清山、黃 美芳、徐緯平,2002)。 (二)校務評鑑內容 校務評鑑為機構評鑑,評鑑內容係以學校促進學生學習的規劃、執 行、檢討與成果為範圍(林天祐,2004),而評鑑指標所具備的優質學校 內涵,則提供了描述與判斷校務運作品質的基礎(王保進,2003;鄭崇趁, 2007;Sanders & Davidson, 2003)。依據謝杏佳(2011)所蒐集的 13 份 校務評鑑文件顯示,各縣市校務評鑑的內容項目不一,但大致包括:行政 領導與管理、課程教學、專業發展、學生事務與輔導、環境規劃與資源運 用、家長與社區參與、學校特色、董事會設置與經營(私立學校適用)等, 評鑑內容具有統整性與全面性。 (三)校務評鑑實施方式 校務評鑑需要妥適的規劃與執行,一般而言,評鑑規劃包括組成評鑑 委員會、確定評鑑目的、研擬評鑑指標,並據此規劃資料蒐集、分析與報

(10)

告方式(Fitzpatrick, Sanders, & Worthen, 2004),通常會邀請專家學者或 利害關係人參與規劃(鄭崇趁,2007)。

至於校務評鑑的執行,通常包括學校自我評鑑與外部評鑑。評鑑資料 蒐集除文件分析外,還可採用觀察、訪談、問卷、測驗及其他多元評量方 法,以反映受評對象的多元實體(林天祐,2004;Fitzpatrick et al., 2004; Sanders & Sullins, 2006)。而資料分析需聚焦於評鑑指標,並作多元檢證, 以產生高品質的評鑑結果,使利害關係人對評鑑具有專業信任(吳清山, 2002;林天祐,2004;郭昭佑、陳美如,2012)。 (四)校務評鑑報告與運用 評鑑報告旨在使評鑑結果易於瞭解、獲得運用,因此,報告內容宜掌 握精確、明晰、平衡與公平的原則,並符合運用者的資訊需求。而報告形 式可採取書面或口頭方式,也可利用圖表、圖片或影片等輔助(Alkin, 2011; Fitzpatrick, et al., 2004; Weiss, 1998)。至於評鑑報告時程,宜注意即時性, 以不同形式多次報導,可增強訊息溝通的效果(曾淑惠,2002;Alkin, 2011; Fitzpatrick et al., 2004)。 而校務評鑑文獻所分析的評鑑運用,主要包括:評鑑結果作為追蹤輔 導或評鑑的依據、獎勵表現良好的學校與人員,或績優學校辦學經驗的分 享(吳清山,2002;林天祐,2004;鄭崇趁,2007)。至於評鑑結果與校 長遴選或資源分配等連結,學校人員對此意見分歧(吳煥烘、蕭永勝、魏 玉縣,2005;林和春、張素貞,2005;鄭崇趁,2007),然此作法的適切 性也與評鑑目的有關(蘇錦麗,1997)。周士琦(2014)則調查高職學校 主管的評鑑運用情形,存在工具性、概念性與象徵性運用,又以政策宣導 與行銷的象徵性運用最多。 綜合前述文獻分析,本研究採取評鑑運用的觀點,以地方教育行政機 關人員為預期的評鑑運用者,探討校務評鑑結果與過程所引發的評鑑運用 情形,以及影響評鑑運用的相關因素,所探討的範圍包含參與評鑑規劃與 執行的過程,以及取得評鑑報告後的結果運用。

(11)

叁、研究設計與實施

以下說明研究取徑與方法、研究對象、研究工具、資料分析與信實度, 以及研究倫理。

一、研究取徑與方法

本研究採取質性取徑,以反映行政機關與校務評鑑的情境脈絡。資料 蒐集採半結構式訪談法,訪談期間為 2015 年 3 月至 6 月,各訪談約 30 到 90分鐘,受訪者以三縣市及各縣市之訪談次序編碼,例如,X1 表示 X 縣 市的第一位受訪者。為增進對評鑑脈絡的瞭解,訪談前輔以校務評鑑規劃 文件分析(評鑑結果則未公開),以及針對協助受訪縣市規劃或執行校務 評鑑的人員進行訪談,然未納入結果分析。又本研究採取回溯式訪談,文 件資料也作為訪談時,協助受訪者回應的參考。

二、研究對象

本研究旨在探討評鑑結果及參與過程所引發的評鑑運用情形,研究對 象包括地方教育行政機關的評鑑主辦及業務相關單位代表。為有效選取能 提供本議題看法的縣市人員,故在縣市層級的取樣標準有二:(一)校務 評鑑計畫能顯示評鑑預期運用方式;(二)持續實施校務評鑑,且獲一級 主管同意參與研究。首先透過網際網路蒐尋,獲得 15 件年度不一的縣市 校務評鑑計畫,能呈現評鑑預期運用者共 11 個,惟無法確認其評鑑是否 持續實施。其次,考量縣市參與研究的可行性,並含納不同組織與評鑑因 素,透過曾合作的局 處人員或學者,從上述縣市中引薦持續實施校務評 鑑的四個縣市(直轄市與非直轄市各半)。最後在研究期間,獲得一級主 管同意者共有三縣市,而參與研究的縣市,實施中小學校務評鑑皆已超過 一個評鑑周期,其中二個為直轄市。 在個人層級的抽樣方面,包括地方教育行政機關的評鑑主辦與業務相 關單位主管。首先確認校務評鑑主辦單位,其次請其推薦參與校務評鑑或 獲得評鑑報告的單位主管、督學,以提供其評鑑運用情形的訊息。最後, 各縣市實際受訪對象皆包括督導校務評鑑的一級主管(含新、舊任)、校 務評鑑主辦與相關業務主管(或代理人),二直轄市還推薦校務評鑑主辦

(12)

的股長或承辦人受訪,以補充評鑑脈絡資訊。除一縣市的督學職務出缺 外,其中二縣市皆訪談二位督學(以年資較久、有意願者優先)。最後, 訪談對象涵蓋三縣市共 23 位,其中二縣市各訪談 9、11 位,另一縣市因 規模較小、人員流動,共訪談 3 位。

三、研究工具

本研究依據理論意涵,發展研究工具,並經二位評鑑學者審查修正後 定案。訪談題綱除個人基本資料外,還包括該縣市校務評鑑目的、個人參 與評鑑的角色與任務、所獲得的校務評鑑報告內容與方式、校務評鑑結果 或參與對於業務推動的影響、影響校務評鑑運用的因素,以及對於促進校 務評鑑運用的建議。

四、資料分析與信實度

本研究分析架構,首先依據研究目的,分為評鑑運用以及影響因素二 大部分。其次,透過逐字稿的仔細閱讀,以逐行分析進行開放性編碼。接 著,經反覆推敲,將相關聯之類別進行更上一層的主軸編碼。為增加研究 的信實度,除徵求受訪者同意全程錄音,繕打成逐字稿外,同時,針對包 括所述與縣市校務評鑑文件內容有不同之處,會於訪談過程中適時追問。 此外,針對不同受訪資料來源(包括一級主管、評鑑主辦單位、其他相關 業務單位)進行比對檢證,以釐清意涵。另外,持續自我省察,以降低研 究者對研究主題或受訪縣市既有價值觀的影響。

五、研究倫理

本研究於訪談前,首先提供訪談同意書與訪談題目,說明研究目的與 方式,使受訪者充分瞭解研究性質,同時尊重參與意願。其次,為避免受 訪縣市及人員易被辨識,本研究除採匿名呈現外,針對受訪者資料、訪談 中提及的人員、單位或計畫名稱等盡量以模糊化處理,並盡力確保受訪資 料的安全性。

(13)

肆、研究結果與討論

以下先分析地方教育行政機關藉由評鑑結果或過程所引發的評鑑運 用情形,其次探討影響校務評鑑結果或過程性運用的相關因素。

一、校務評鑑運用的情形

(一)結果性運用 1. 瞭解學校辦學情形 行政人員透過校務評鑑報告,能增進對學校辦學情形的瞭解。受訪者 表示:校務評鑑是行政機關對學校的總體檢(Y2)。此評鑑能提供學校 不同面向的結果,包括哪些學校在評鑑向度上表現較弱、需要協助,或者 校務發展的優點為何(X5,Y9,Z1)。 行政機關雖有其他機制瞭解學校情形,但校務評鑑能提供較全面性的 結果(X3,X8),可與平日互動時所獲得的資訊相印證(X3,Y6),甚 至修正對學校發展的看法,例如,發現學校原來還具有其他強項(Z1), 或不見得每項表現都一樣好(X3)。 除各校結果外,藉由跨校或跨年度分析,還能協助行政機關瞭解所有 學校在「哪一個(評鑑)向度待改善的比較多」(Y7),或者發現「通 案性的問題」以預先因應(X6),尤其對整體政策推動提供有用的回饋。 一位一級主管解釋: (透過)校務評鑑,... 我可以看到整體性的觀感,...做政策規 劃的時候,這種輔助性的參考,其實我覺得還蠻重要。...當我們 在分析學校出了一些問題的時候,可以...更全面性地知道說,原 來這個問題不是單方產生,你可能必須要給予一些額外的協助。 (X3) 透過校務評鑑結果的掌握,能增進行政機關人員對所屬學校辦學情形 的瞭解,甚至調整對學校的看法,此概念性運用,還可能促進其他類型的 評鑑運用,具有關鍵的效果(Owen, 2007)。

(14)

2. 協助學校改善辦學品質 校務評鑑設有追蹤輔導制度,透過評鑑結果所呈現之待改善或不通過 的情形,賦予行政科室督導與協助的角色,以提升學校辦學品質。 除 Z 縣市未有列為追蹤輔導的學校外,其他受訪機關則依各科室權責 進行督導與協助,例如,針對辦學表現相對較弱的學校,督學會「於適當 的場合出現給予宣導...、嘉勉...或關心」(X2),或適時地引薦「其 他校務經營較有經驗者一起來協助」(Y6)。相關業務單位具有督導權 責及協助資源,會「要求學校按照既定規劃的方向做處理、定時瞭解(其) 進度」(X8),也有業務單位具有輔導團資源,會請其到校協助(X5, Y9),包括指導「會議要怎麼開、開會要討論甚麼」(X5)。而受訪的 督學與業務單位主管表示,會視學校需求,提供資訊或協助學校申請經費 (X2,X6)、爭取人事員額(X5,Y9),或結合業務訪視,以關心學校 的改進情形(X5,Y6)。校務評鑑結果結合追蹤輔導機制,使評鑑結果 能影響行政單位採取督導與協助的行動,為工具性運用的展現。 3. 輔助行政決定 校務評鑑所反映的校長或學校整體辦學結果,雖非針對特定政策目的 所辦理,然仍可提供行政機關辦理校長遴選時的參考,而校務評鑑結果的 分析,亦可成為行政機關推薦標竿或試辦學校,以及研擬教育政策方向的 參據,以下分述之: (1)校長遴選 目前各縣市皆組成校長遴選委員會,依據遴選機制提出校長遴選結果 的建議,再交由行政首長做最後決定。在遴選過程中,委員會實施校長訪 談,同時參採學校政策執行、行銷成效等資料,綜合考量校長表現與遴選 學校的適合度。校務評鑑結果被視為能反映校長辦學風格與整體表現的資 訊,行政機關則會提供給遴選委員會參考(X3,Y1,Z2)。受訪者解釋: (協助遴選委員)理解之前(校長)辦學的情況,...很多的委員, 其實透過這樣的資料描述,去想像這校長大概在這校務經營上面 具備什麼樣的風格,然後這(遴選)學校的特質是什麼,依據這 部分做評估跟判斷。(X3)

(15)

透過校務評鑑,瞭解這校長在辦學期間,整體表現好還是不好, 在哪些方面又特別好,那再跟他的志願學校有符合需求,...(提 供)一個比較公平的依據。(Z1) 校務評鑑結果的提供,成為行政機關辦理校長遴選程序之一環,有工 具性運用的精神。雖然遴選建議是由委員會提出,且校務評鑑結果非決定 的唯一依據,惟行政機關運用時,仍需留意其與校長評鑑本質的差異(湯 志民、陳木金、郭昭佑、朱佳如,2012)。 (2)標竿與試辦學校推薦 標竿學習與計畫試辦是教育政策推動的策略之一,而校務評鑑由外部 評鑑人員蒐集與分析資料,其評鑑結果所呈現之學校優勢具有客觀性,督 學及業務單位會做為推薦標竿學習學校時的依據(X1,X5,Y6)。例如: 我們遇到...(校務評鑑結果好)的,...(在)主任會議的時候 會找他來分享,...他是怎麼做的?...(或)推薦(其他學校) 去找他...取經。(X5) 而業務單位也會優先選擇評鑑結果好的學校參與計畫試辦(X1, X3),受訪者解釋:考量體質相對好的學校,有利於試辦計畫推動與績 效展現(X7)。另外,說明時也有論據,例如「(局 處長)關心為什 麼找這幾間學校,我覺得這我講得出理由」(Z1)。顯見校務評鑑結果, 能影響行政人員的推薦決定,也可成為溝通時引用的依據,有工具性、說 服性或策略性的運用情形。 (3)教育政策研擬 校務評鑑結果所呈現的整體學校發展趨勢,能提供政策研擬的參考 (X1,X2,X3,X6,Y1),為工具性運用的情形。以一受訪縣市的校務 評鑑結果為例,學校整體在教師專業發展向度的表現相對較弱,業務單位 獲知後,增加促進教師專業發展的經費(X1)。而該縣市的督學也在分 區視導及主任甄試時,著重學校人員在教師專業發展方面的意識與能力 (X2)。

(16)

我們督學室的一個視導作為裡面,我們也相應做調適,包括說要 配合督學來做公開觀課,這都訂在我們的視導指標裡面。...我們 也可以透過分區視導、平日視導這部分去強化學校比較弱的地 方,那因為我們視導同仁的重視,我想對學校還是有一定的帶動 作用啦。...我覺得最重要回歸到對人才的培育,...像我擔任主 任口試的工作,我就會特別著重在主任對教學方面、學生學習上 他的認知完整不完整。...假設我們現在已經看到學校在教師專業 發展是趨於比較需要加強(的狀態),那我們對人才培育就應該 要更重視他們在這部分的潛能。(X2) 另一縣市的一級主管表示,彙整各校之校務評鑑等結果顯示,整體學 校在課程教學方面有精進的需求,以及學校所反應的心聲:評鑑「重複、 擾民」。而該縣市所推動的課程教學專案,以及校務評鑑的整合工作,皆 是回應校務評鑑等結果的行動展現(Y1)。正如 Weiss(1998)指出,彙 整各校評鑑結果或跨年度分析,能強化單一評鑑結果的可信度,適合提供 政策形成之參考。 此外,校務評鑑結果的討論,能促進跨科室的業務研討,以逐步形成 行政機關的決策方向。Saunders(2012)的研究也顯示,透過會議討論評 鑑結果的意涵及其可能的運用,有助於結果性運用。一受訪者舉例: (評鑑)委員就會寫說:那針對校長的部分,應該要在「在職成 長」的部分再多一些資源或相關課程的規劃,...副局長(問)誰 現在在做這件事,...慢慢的,我們就覺得說,校長(專業發展) 這一塊是不是就要做個整合、有統一的單位。(X6) 4. 政策說服 行 政 機 關 研 擬 及 推 動 政 策 時 , 需 要 與 不 同 人 員 溝 通 、 爭 取 支 持 (Chelimsky, 2015),校務評鑑結果所呈現的數據、問題或建議,可成為 政策說服的有利論據(X1,Y1,Z1),具有策略性或說服性用途的效果。 例如,二位受訪者引用評鑑結果,強化個人論點,以爭取教育經費或政策 調整的可能性:

(17)

我們在跟...爭取預算時,至少評鑑報告書也可以呈現出來,... 評鑑委員們就是建議這樣子。(Y1) 在跟...外部的單位去談(提政策建議)的時候,...你會有比較 多的說法,可以當作論證,跟他們說這個計畫可能會對學校產生 什麼...效果,因為我們之前校務評鑑的時候,(發現)面臨到怎 樣怎樣的結果。(Z1) (二)過程性運用 1. 增進對學校辦學及意見的瞭解 除評鑑結果能促進對學校情形的瞭解外,參與校務評鑑也能帶來類似 的效果。受訪二縣市的督學會陪同參與外部評鑑,其參與可協助督學瞭解 學校整體辦學與意見反應,二位督學表示: 督學在評鑑訪談、...校長簡報,或者是說在那個綜合座談討論和 實地校園走察的時候,督學都可以去參與...,校務評鑑...是最 快掌握學校辦學情況的一個很好的場合。(Y3) 平常我們去學校好了,我們的時間也有限,那能談的對象也有限, 那...我們一整天的評鑑過程中,其實不管是各個面向都顧及到 了,我們也可以聽到各個對象他們發言的狀況,那我覺得對我們 來說,對學校的了解不會比我們平常還要少,甚至比我們平常去 還要多。(X4) 由此可知督學參與校務評鑑,確能增進對視導學校辦學及意見的瞭 解,發揮概念性運用的效果,有助於視導工作的推動。 2. 促進專業學習 部分行政人員參與評鑑,而增進了政策知能與實務經驗,產生了多面 向的學習效果(Amo & Cousins, 2007)。例如,透過評鑑規劃的專家諮詢, 二位曾任或現任評鑑主辦科的科長表示增進了政策規劃或實務運作的知 能:

(18)

不管是各縣市或是國外的資訊,...可以看到不一樣的單位或是其 他人的作法,...類似的業務我們可以做一些參考。...透過這樣 的討論,我們可以做個反思,可以做怎麼樣的調整。...所以參與 這樣子的工作...會有一些收穫。(X6) 我們可以去瞭解這個政策規劃要瞭解什麼事情,學理跟實務上是 怎麼運作的,對於同仁的規劃上來講是一個非常好的學習。(X1) 二受訪縣市組成評鑑指導委員會,邀請相關業務單位參與評鑑指標的 研討,一位參與者掌握此機會,參考其他業務科的推動策略: 他們提說...指標要看什麼,怎麼看,然後有一些操作的策略,... 比如說...做分區觀摩研討,...我就把它放到我的(業務推動策 略)。(X5) 另外,督學參與外部評鑑,掌握此學習機會,使訪談技巧更專業,而 評鑑主辦科人員積極投入評鑑資料的彙整分析,則引發其對校務運作、政 策規劃等學習效果。例如: 專業發展、課程、評量那三樣東西,對我們行政來說是最不容易 看到的。...(評鑑時)...去參加(訪談),...(能學習)怎麼 問、...(專業)的角度是什麼。(X4) 我整理(初步評鑑資料)過程中,會分析為什麼這學校會有這樣 的問題,...有時候遇到其他校長或其他學校,...就會問一下 說...學校為什麼會這樣?有沒有什麼改變的方式?...有很多小 細節,甚至這個計畫未來要怎樣調整,都是從那個時候去學。(Z1) 3. 引導學校發展 受訪縣市所規劃的校務評鑑制度,其指標融入教育重要理念與縣市政 策方向,並規劃評鑑結果回饋與公開獎勵機制,透過此校務評鑑制度,以 傳達對於學校品質的期許與引導。受訪者解釋:

(19)

(校務評鑑)...讓(學校)知道說,其實(局/處)裡對學校是 有期待,在那個教育品質的掌握,還有我們對校長校務經營的一 個期許。(Y6) 透過評鑑的引導,...讓(學校)知道說(政策)...具體執行的 內涵,對於(局/處)來講,...是一個領導的機制。(X1) 行政機關透過校務評鑑制度,期許學校:掌握自己的優缺點(X7)、 促進「向上的動力與共識」(Y6),以及形成自我改善機制(Y1,Y2, Y4,Y6)。受訪者認為,如果沒有校務評鑑,學校可能「不知道問題出 現在哪裡」(Y1)、「行政工作可能沒辦法處理的這麼好」(X8),評 鑑則可督促學校改善(X1)。另外,受訪縣市的校務評鑑皆設有公開頒 獎的機制,以認可校務評鑑結果表現較佳的學校(X7,X8,Y3,Z2)。 而行政機關透過校務評鑑的規劃與執行,有意傳達對所屬學校辦學品質的 期許,並具有引導學校發展方向的意圖,能發揮過程性運用的效果。 綜上可知,地方教育行政機關的校務評鑑運用以結果性運用為主,也 包括過程性運用。具體言之,透過校務評鑑結果,產生了文獻所探討的概 念性、工具性,以及說服性或策略性運用。相對於國內較常探討的學校層 級評鑑運用,行政機關透過評鑑結果,所增進對於學校情形的瞭解,並非 針對單一學校,而是一種跨校、甚至跨年度的瞭解。且由於學校才是受評 鑑對象,行政機關所採取的決策或行動,係以督導或協助學校為主,另外 亦能作為行政機關研擬或調整政策的參考。此外,行政機關透過評鑑結果 說服他人,以爭取經費或政策調整,此說服性或策略性運用亦見於學校情 境,然其主要為激勵校內士氣(黃嘉雄,2012)、說服成員改變(周士琦, 2014;陳錦玉,2016)或對外宣傳行銷(周士琦,2014),此與行政機關 政策說服的樣貌不同。至於評鑑的過程性運用,包含文獻所指的概念性、 說服性或策略性運用,以及專業學習的情形。由於行政機關為校務評鑑的 規劃者,過程性運用所增進的專業學習多為政策規劃的相關知能。另外, 透過校務評鑑制度,引導所屬學校的發展方向,此雖與說服性或策略性運 用有部分相似之處,然所呈現的實例,尚少見於目前的評鑑運用文獻。

(20)

二、影響校務評鑑運用的因素

(一)結果性運用 1. 追蹤輔導制度的設置 受訪縣市設有追蹤輔導制度,以針對校務評鑑結果較不佳的學校進行 督導與協助;教育部在特殊教育評鑑時,也要求縣市政府必須呈現追蹤輔 導的記錄,此皆強化了行政機關對於校務評鑑結果的重視及運用。具體言 之,各行政科室特別關注哪些學校、哪一個評鑑向度不通過或待改善,以 進行專案列管,據此審核學校的改進計畫,同時督導及提供協助。受訪者 解釋:「我們會叫學校去提改善意見,...那(教育局 處)這邊也要針 對這問題,連帶做處理」(X3)。 受訪縣市由評鑑主辦單位統籌列管,並依據評鑑結果所反映的問題, 請相關業務科及督學共同列管、協助。二位科長表示,業務科必須回應校 務評鑑結果所反映的問題,做必要的督導與協助: (如果學校)改善計畫根本沒有寫到(所需改善的設備),我們 科就不會給它(審核)過。...(而學校)有報來(設備需求), 我們就會勘,(學校)確實沒有,那我們就趕快簽錢給他。(X5) 我們都有適度去追蹤這所學校目前辦理的一個狀況是怎麼樣,... (例如)學校的行政團隊對這塊沒有處理好,我們就是要求學校 按照我們既定已經規劃的一個方向去做處理,...透過局的行政力 量,特別專案為學校加強。(X8) 部分受訪者也表示,在追蹤輔導制度下,行政科室會依據校務評鑑結 果及學校提報的改進計畫,評估學校需求以提供協助,例如:補助設備、 人事員額、請輔導團入校輔導等(X5,X8,Y9)。如因資源或法令等限 制,而無法即時提供,則會向學校說明(X6)。督學與業務科也會將學 校改善的進度或遭遇的困難,納入視導或訪視過程予以關心、協助(X2, X3,X5,Y1,Y6)。一位一級主管表示,曾有一所學校同時有數個評鑑 向度結果不佳,在追蹤輔導期,他先找校長談其優先需求及目標,之後協 調跨科室資源,提供如校舍改建、外語師資、專業社群等資源,以協助學 校提升辦學品質(Y1)。

(21)

校務評鑑的追蹤輔導制度,事實上規範了行政機關必須運用評鑑結 果,以督導及協助校務評鑑結果表現較不佳的學校,此要求縣市政府運用 評鑑結果的作法,類似 Weiss 等人(2005)所分析的強制性運用(imposed use),能增強結果性運用。而黃嘉雄(2012)、Fleischer 與 Christie(2009) 亦發現評鑑之後的追蹤輔導,確能促進評鑑結果的運用。 2. 評鑑人員的可信度 評鑑人員負責校務評鑑的資料蒐集與分析,受訪者認為該縣市邀請的 評鑑人員具有專業性,因此所分析的評鑑結果,具有相當的可信度,有助 於結果性運用。具體言之,受訪者表示:學者所「看到的東西是有理論依 據去支撐」(X4),實務專家則能有效地反應學校的現象與問題(X1, Z1),尤其是原縣市的退休校長擔任評鑑人員,能夠「瞭解學校的氛圍, 以及它前後的歷史背景...,(評鑑結果)會比較客觀」(X1)。而評鑑 人員在學術或實務的專業性,能提出以學理為依據、反映實際辦學情形的 評鑑報告,具有可信度,有助於行政人員運用評鑑結果,以引導行政決定 或政策說服(X1,X3,X4,Y2,Y6,Z1,Z2)。 一位督學表示,專業的評鑑人員能提供值得參考的評鑑結果,他會據 此向提供學校建議,或引薦資源入校協助: 我們是請了...各個領域裡面不同的專業的專家學者去看,那他們 對於學校診斷出來的部分,或者是給學校建議的部分,一定有非 常高的那個參考的價值,...那我們會...併同委員的意見,一起 去建議學校或者是幫他們連結資源。(Y6) 而在 Cousins 與 Leithwood(1986)、Johnson 等人(2009)的研究, 亦發現評鑑人員執行評鑑的可信度,有助於評鑑結果的運用。 3. 評鑑報告的溝通 評鑑報告完成後,需要有效的溝通以促進對結果的瞭解及運用。從本 研究顯示,受訪縣市主要採取書面方式溝通評鑑結果,除公布各校通過校 務評鑑向度與否的結果外,評鑑主辦科還可提供學校完整的評鑑報告,但 各科室業務普遍繁忙,除需追蹤輔導外,通常不會索閱,以致所能溝通的 訊息有限,部分業務科受訪者甚至對於最近週期的校務評鑑結果印象模糊 (Y8,Y10)。二位受訪者也表示:

(22)

我們會有一張總表,學校通過不通過這樣,...那(各校評鑑報 告)...沒通過我就會看,通過我就不看,沒時間啦,你知道那麼 厚,誰有時間去看。(Y3) 承辦同仁只給(通過校務評鑑向度與否)數據,那委員(質性) 意見彙整成檔,科長你要看,再來調閱,有時一忙就忘記(調),... 我就回想一下,糟糕了,去年在做校務評鑑,學校有沒有哪些建 議,我沒有印象,我只知道學校表現好壞。(Z1) 即使行政人員主動閱讀學校的評鑑報告,但其內容龐雜,不易完整掌 握意涵,一受訪者表示:「你還要每個學校(評鑑報告)去翻(閱),翻 到第 20 頁的時候,你就忘記前面在講什麼了」(Y9)。 為因應類似挑戰,一縣市會從評鑑報告中摘述對教育局的建議,並「標 示是涉及哪些科(業務權責)」(X3),此不但可避免各科室遺漏重要 資訊,也降低大量資料閱讀的負擔(X1,X6,X8)。 然而不論是各校評鑑報告或已彙整出來的結果,仍有不夠完整或具體 的情形,妨礙對評鑑結果的瞭解及運用。一位業務科代表反應:「(質性 評鑑意見)文字還是少,……沒有辦法看到很細的項目,所以通常我們還 要搭配其他的措施去瞭解(學校情形)」(Y9)。評鑑主辦科長也表示, 「這幾年(評鑑委員)給…...的建議蠻少的」,無法藉此瞭解教育局處可 以提供給學校怎樣的資源(Z1)。一位業務科的科長解釋:沒有完整的資 訊,「就不太適合去做決策的依據」(X5)。 此外,部分校務評鑑報告內容不夠具體清晰,行政單位尚需詢問學校 或自行猜測,不利精確掌握評鑑結果所表達的意涵,而妨礙評鑑結果的運 用(Owen, 2007),例如: 比如說他寫說該校無障礙設施相當缺乏,...如果你寫沒有坡道、 沒有電梯、沒有扶手或什麼的,我馬上處理,那像這個(所寫的), 我沒辦法主動處理,(還要向學校再瞭解)。...比如說寫宜加強 三級輔導橫向聯繫,三級輔導橫向聯繫也很多,...那因為不具 體,所以我只能針對三級輔導的橫向聯繫,那一定是專業跟專業 之間(猜猜看是什麼意思)。(X5)

(23)

而除了書面報告外,輔以口頭報告及討論等互動性較高的溝通方式, 有助於評鑑結果的運用(Saunders, 2012)。例如,一受訪縣市透過口頭 報告,以加深成員對報告內容的掌握度: 每學期評鑑完後都會有一個評鑑指導委員會,在這個會議上,我 們就會請我們的承辦團隊...做一個橫向的分析報告,他就會用簡 報的方式在會議上跟大家所謂的講重點,...那這個會議...都會有 單位主管在嘛,他們可能沒有時間讀厚厚的一疊報告,所以他可 以透過口頭上的報告瞭解。...會議通常是副局長主持,如果有特 別有某一項、或者是要特別重大、特別關切的...那可能副局長就會 在會議上特別的指示,...列為優先推動重點。(X9) 同時,針對評鑑結果所涉及的跨科室業務,尤能透過面對面的互動, 研討可行的因應策略,促使評鑑的結果性運用,例如: 透過這樣(會議討論)的機制,慢慢的我們就覺得說,比如說校 長(專業發展)這一塊是不是就要做個(業務)整合,由統一的 單位(辦理),...其實是在討論(評鑑委員的建議)的過程中有 了這樣的念頭。...對組織來講,我覺得是可以做一些政策的討論 或者是政策的統整,...對於組織是有收穫的。(X6) 而評鑑報告的溝通內容與方式,對於結果性運用具有重要的影響,此 可從相關研究獲得支持(周士琦,2014;黃嘉雄,2012;Cousins & Leithwood, 1986; Johnson et al., 2009; Patton, 2012)。而本研究顯示,如何使校務評鑑 報告的溝通內容完整、具體、可讀性高,並善用互動性高的溝通方式,仍 需持續改善。一位受訪者也建議,應該增強評鑑人員對於行政機關之評鑑 溝通需求的瞭解程度(X5)。而除自我檢視外,評鑑人員亦可透過利害 關係人的回饋,以強化評鑑報告的溝通品質(Lawrenz, Gullickson, & Toal, 2007)。

4. 評鑑報告的回應性

校務評鑑是以數年度為一實施週期,且涵蓋學校發展的多元向度結 果,此特性雖能提供有關學校發展的整體性資訊,然卻難以對應行政機關 專案推動之範圍與時程。

(24)

從訪談過程中發現,行政機關業務科多以專案計畫的方式,進行政策 推動與督導。然而,校務評鑑需橫跨數年度才能完成所有學校的評鑑行 程。部分業務科受訪者表示:校務評鑑報告實施的時程,難以配合業務推 動與督導的資訊需求(X8,Y7,Y8,Z2,Z3),例如: 我不能等到(數)...年一次的校務評鑑,...像我們每年...業務 執行完,...我就已經開我新學年度那個規劃會議,那同時也去檢 討我過去這一學年(情形)。(X8) 此外,校務評鑑指標設計,係以學校整體發展向度為考量,難以一一 回應各專案計畫督導所需的資訊(X7,Y7,Y8)。例如,一受訪者表示, 校務評鑑與其業務相關的「項目比較少,...指標敘寫...比較籠統」,對 於業務科資訊需求的回應性較低,比較不好運用(Y8)。另一位也解釋: (校務評鑑)是一個比較整體的面向,跟我們這邊需要的,... 是比較個別(業務)的資訊,我是覺得有一點點差異啦。(Y7) 從業務單位的角度,評鑑報告的特性難以回應專案計畫督導的資訊需 求,因而不利於評鑑結果的運用,其他相關研究也發現,評鑑報告回應性 會 影 響 評 鑑 結 果 的 運 用 ( Cousins & Leithwood, 1986; Johnson et al., 2009)。而 Højlund(2014)發現,不同利害關係人有不一樣的資訊需求, 整體性、評鑑週期長的評鑑,則較難回應方案改善所需之細部、具體、及 時性的資訊需求,不利於方案管理者的結果運用。惟資源有限的情況下, 單一評鑑恐難以回應不同利害關係人的資訊需求,因此,校務評鑑實施 前,宜針對評鑑運用的議題進行討論,包括界定主要的評鑑運用者及其運 用需求,以納入評鑑規劃之優先考量(Fleischer & Christie, 2009; Patton, 2012)。 5. 對評鑑結果運用的態度 行政人員對於校務評鑑的功能,以及教育局 處運用評鑑結果的角色 有不同的態度。事實上,各行政科室皆有其瞭解學校情形的管道,然有些 受訪者格外珍視校務評鑑所產生的結果,並試圖發揮其對業務推動的增值 功能。例如,一位一級主管認為:校務評鑑結果透過分析與彙整,可發揮 「智庫」的功能,提供其政策研擬之參考,並成為說服他人的論據(Y1)。

(25)

另一位業務科長則看重校務評鑑資料的價值,在業務推動上積極運用: (校務評鑑)有人去現場幫我蒐集資料,我求之不得啊!...我自 己有機制沒錯,...(但)我們人力有限,不可能像他們...年走 完一輪,...蒐集這麼多東西為什麼不用?...委員有寫這個學校 什麼做的比較不錯,我們會記喔,因為這個就是我們要他分享的, 那委員寫要改善的,那一定會被摘錄下來處理。(X5) 然而,一位一級主管觀察:有些行政人員較關注學校的評鑑運用,卻 忽略行政機關也有評鑑運用的角色(Y1)。一位受訪者回應:「在我們 的工作裡面,其實比較不會去想到這一個部分」(Y6),另一位也表示: 「其實...大部分同仁還是按自己的計畫在做」(Y9)。此也反映在部分 科室的意見:既有管道已能獲得業務所需資訊,對於校務評鑑結果並沒有 積極瞭解的需求。而缺乏對校務評鑑結果的關注與理解,並不利於評鑑結 果的運用(Owen, 2007)。例如,二位業務科的科長表示: 我們...平常在溝通、在做的時候,學校哪裡做得好、哪裡作不好, 我們就很清楚,...所以說有沒有看到(校務評鑑)報告...我是 覺得不是那麼重要。(Z3) 我所有的專案都有訪視,所以基本上來講,確實沒有太多的需 求。...我們...好像也不太瞭解那個最後(校務評鑑)的結果。 (X7) 此外,一級主管對於校務評鑑結果運用的倡導,會促使行政人員更重 視評鑑結果及其運用,此在一受訪縣市特別明顯: (局/處長)會在我們的局務會議或者是相關場合就會提到說, 這是今年校務評鑑的結果,那請各科室務必要去做一些瞭解或是 一些追蹤處理,所以局裡面的業務科或是督學有這樣的風氣。(X6) 結果性運用深受人員對其態度的影響,其他研究也有類似的發現 (Cousins & Leithwood, 1986; Højlund, 2014; Johnson et al., 2009)。針對 部分行政人員尚未具有評鑑結果運用的態度,除了在評鑑規劃之初,即邀

(26)

請 預 期 運 用 者 共 同 研 討 評 鑑 運 用 的 重 要 性 及 需 求 性 ( Patton, 2012; Saunders, 2012),另外,讓評鑑結果與決策機制相連結,亦可強化行政 人員對於結果性運用的承諾(Højlund, 2014)。 6. 組織權責與資源 評鑑結果涉及工具性運用,尤需具有組織權責與可用資源,以提供決 定或行動的支持條件。而受到決策權責的侷限,例如,評鑑結果所反映的 校務改善問題,涉及法令、政策,或其他單位的權責範圍,非教育局 處 或單一科室能依其權責處理,便無法直接依據評鑑建議作出決策或行動 (X6,Y1,Y4,Z1)。 另外,受訪縣市反應地方教育預算有限,因此,涉及經費投入的工具 性運用,針對不同性質的建議會有不同的資源分配考量,例如: 以被補強的校舍(為例),...在總體經費沒有辦法急遽擴增的情 形下,必須依照(學校建物)鑑定出來的耐震係數、環評...去排 (經費補助)順位。第二種狀況是...特色的挹注,...在資源互 相有排擠性的時候,(某校)可能會優先,(考量)這個經費給 (它)更有效益。不過從另外一個補強正義的角度來看,...那基 本面...都是孩子有需要就給。(X2) 在預算額度的限制下,行政機關會將校務評鑑所反映的學校問題,納 入到校會勘行程或相關審查機制,並通盤考量全縣市學校需求的急迫或優 先次序,不一定能直接採納評鑑建議以補助經費(X1,X2,X3,X8,Y1)。 而決策權的有無(陳錦玉,2016;黃嘉雄,2010;Weiss, 1998),以 及能否投入改變所需的資源(Weiss, 1998),皆會影響工具性運用的可能 性。針對前述所可能產生的運用限制,部分受訪者表示,會掌握如 Loud (2014)所指之評鑑運用的「機會之窗」,對於無法於權責內決定或預算 不足的需求,則進一步向教育部或其他單位表達立場、爭取支持,而促成 評鑑結果的說服性或策略性運用(X6,Y1,Z3)。而對於教育局 處所 屬科室運用評鑑結果的權責侷限,受訪者則建議由一級主管進行跨科室的 業務與資源協調,以利突破組織分工的限制(X2,X3,Y1)。

(27)

(二)過程性運用 1. 評鑑參與機制 過程性運用聚焦於評鑑規劃或執行過程,能對個人或組織所產生的影 響。而本研究顯示,校務評鑑所規劃的參與機制,能增進對學校辦學情形 的瞭解,以及促進參與者的專業學習。 在受訪縣市的評鑑參與機制中,除了評鑑主辦科統籌校務評鑑外,其 中二個縣市尚透過會議機制,邀請相關業務科室參與評鑑指標的討論,而 督學則參與外部評鑑的資料蒐集過程。分析上述三種不同的參與角色,評 鑑機制提供評鑑主辦科以及督學相對較多的參與機會,從訪談中發現,其 產生過程性運用的程度相對較高。例如:一位評鑑主辦科的科長,描述評 鑑參與機制如何增強其專業學習: 我們在(研擬)這些(評鑑)向度、指標的時候,...資深優秀的 退休校長,...基於他們曾經辦學...的經驗,知道指標要怎麼訂 定,比較真正可以反應學校現場,所以這邊就真的可以學到很 多,...學者又會給我們一些比較高的 view,像比如說現在國際趨 勢。(Y2) 而督學親至學校現場,透過評鑑資料蒐集之參與,不但能增進對學校 辦學及意見的瞭解,還有助於教學相關的訪談技巧。 聽取學校的簡報,校園環境的參觀,到訪談的一個了解,...多注 意一些多元面向的一個校務推動的一個情形的了解...可以關注 到整個學校的推動跟發展,...是比較完整性。(Y6) 我覺得真正本位核心的東西,就是教學的東西,其實大家是比較 看不見的,...那我們就是藉由評鑑好好的去看一下,...那其實 我們也很想要從這中間學習一下,了解...(訪談的)角度是什麼, 這是我們平常不足的啦!(X4) 至於其他相關科室可透過會議機制,提供評鑑指標研擬的意見。有受 訪者提到,藉此可瞭解「其他科可能在做什麼,或者是說有什麼樣的資

(28)

源」,以提供業務的參考、交流(X6)。然亦有業務科表示,參與評鑑 會議比較像「列席」的角色,參與程度並不深入(Y7)。相較於督學或 評鑑主辦科,業務相關單位所感受的過程性運用則較有限。

由上可知,校務評鑑規劃行政人員參與評鑑的機制,能促進過程性運 用的可能性,然而參與評鑑的程度,也會影響過程性運用的情形(Preskill, Zuckerman, & Matthews, 2003)。即使是主辦科的科長也指出,面臨「真 的沒有辦法全部參與評鑑」的時間壓力,因此僅參與大方向的研定,主要 還是由外部評鑑團隊規劃辦理(Y2)。而本研究並未發現文獻中所指的 彰權益能、網絡建立、共享經驗等過程性運用,其中評鑑參與的程度可能 為 影 響 因 素 之 一 ( Amo & Cousins, 2007; Patton, 2012 ) 。 對 此 ,

D’Ostie-Racine 等人(2016)則建議,在評鑑規劃初期,即應提出評鑑參 與的重要性,而透過與評鑑預期運用者的研討,以共同研擬實務可行且較 能促進評鑑運用的參與方式。 2. 對評鑑參與的態度 行政機關雖設有評鑑參與的機制,然並非所有參與者皆反應過程性運 用的情形。細究其因,此還受到行政人員對於評鑑參與態度的影響。例如, 一位業務科的科長重視評鑑指標研擬的參與,藉此增進了專業學習,並試 圖強化校務評鑑對學校發展的引導功能: 我還蠻喜歡參與這種會議,為什麼參與?(其實)可以偷學很多 東西,可以偷藏很多東西。...偷藏先說,就是說他們在談指標, 那我就會說那東西也有(我們業務相關)的東西,...我就叫同仁 修的時候把它修進去。...各科應該踴躍參加校務評鑑的規劃歷 程,因為整個教育局對學校,就是各科組成起來的,那你如果有 一些科在校務評鑑裡面...沒放什麼(指標),那你自己又推的如 火如荼,學校會覺得怪怪的。...那學是另外一個,...在(相關 業務科室)提說他們的指標要看什麼,怎麼看,然後有一些操作 的策略的時候,有些我是把它拿來用。(X5) 另一位科長分享其曾任校務評鑑承辦人時,深度投入評鑑資料的分 析,此過程提升了其對業務推動的知能:

(29)

雖然承辦學校會幫你彙整(評鑑資料),...(但)我會自己再做 一次整理,那我整理過程中會分析為什麼這學校會有這樣的問 題,委員給這樣的建議...有很多(規劃的)小細節...,都是從 那個時候去學。...(因為)有些人除了業務工作,還加了一點自 己想要做的東西,就我們講的理想或熱情。那如果你當作工作跟 業務,你對評鑑結果不會有感覺的,反正...我就把這業務辦完, 把資料給長官。(Z1) 行政人員對於評鑑參與的態度,併同前述對結果性運用的態度,皆呼 應 Patton(2008)所強調之人員因素,具有影響評鑑運用的關鍵性,其他 研究亦有類似的發現(鄭淑惠,2011;Cousins & Leithwood, 1986; Johnson et al., 2009; Preskill et al., 2003)。因此,組織除了提供參與校務評鑑的機 會外,還需要鼓勵並強化行政人員對參與的投入,才能促進過程性的評鑑 運用。 綜上可知,影響地方教育行政機關的結果性與過程性運用之因素不 同,惟皆涵蓋評鑑與組織的相關因素。以結果性運用而言,影響評鑑運用 的評鑑因素包括追蹤輔導制度、評鑑人員、評鑑報告的溝通與回應性,而 組織因素則為人員態度、組織權責與資源。相對於國內較常探討的學校層 級評鑑運用,本研究特別指出,除評鑑報告內容完整、具體外,如能採取 互動性較高的溝通方式,則可增進評鑑結果的運用。而校務評鑑以數年度 為一實施周期,且評鑑指標旨在反映校務情形,其報告較難回應業務單位 推動專案的資訊需求,妨礙了評鑑結果的運用,此為行政機關運用校務評 鑑時的特殊影響因素。至於,對於過程性運用的影響,分別包括參與機制 的評鑑因素以及人員態度的組織因素。相較於學校以資料準備為主的參與 形式,行政機關則是透過評鑑規劃、資料蒐集或分析的過程,增進如專業 學習或概念性運用。另外,行政人員對於本身評鑑運用的角色,以及評鑑 結果或評鑑參與態度,是影響結果性或過程性運用的重要因素。此外,本 研究所發現的影響因素,較少涉及如組織調適性、團體動力、政治氣氛等 因素。推測其因,可能是行政機關本身非受評鑑對象,且所產生的評鑑運 用以協助、督導學校為主,而較少運用於行政機關本身的變革行動,因此 與變革相關的組織脈絡因素,較少被提及。

(30)

伍、結論與建議

依據前述分析討論,茲提出結論與建議:

一、結論

(一) 地方教育行政機關透過評鑑結果所促進之校務評鑑運用,包括: 瞭解學校辦學情形、協助學校改善辦學品質、輔助行政決定以及 政策說服 本研究顯示,地方教育行政機關的校務評鑑運用情形,以結果性運用 為主,且包含概念性、工具性、策略性或說服性運用。具體言之,校務評 鑑結果能協助行政機關較全面性地瞭解各校辦學情形,且校務評鑑以促進 學校改善為目的,使得工具性運用聚焦於督導或協助學校的行動。其次, 校務評鑑結果也可以輔助行政機關辦理校長遴選、推薦標竿和試辦學校, 或為全縣市教育政策研擬或調整的參考之一。另外,政策推動亟需爭取他 人支持,評鑑結果則可運用於倡導立場、說服他人,為行政機關較獨特的 評鑑運用情形。 (二) 地方教育行政機關透過評鑑過程所促進之校務評鑑運用,包括: 增進對學校辦學及意見的瞭解、促進專業學習以及引導學校發展 本研究發現,地方教育行政機關透過校務評鑑過程,所促進的評鑑運 用包括概念性、說服性或策略性運用,以及專業學習。首先,督學參與外 部評鑑資料的蒐集過程,有助於快速掌握學校整體辦學與意見。其次,行 政人員透過評鑑規劃或執行的參與,增進了政策知能與實務經驗。此外, 行政機關藉由校務評鑑制度,可傳達對所屬學校辦學品質的期許及引導。 而過程性運用所促進之專業學習的樣貌,以及對學校發展的引導,則反映 了行政機關過程性評鑑運用的獨特性。 (三) 影響地方教育行政機關運用校務評鑑結果的因素,包括:追蹤輔 導制度的設置、評鑑人員的可信度、評鑑報告的溝通、評鑑報告 的回應性、對校務評鑑結果運用的態度,以及組織權責與資源 影響地方教育行政機關運用校務評鑑結果的因素,與評鑑相關者包括 追蹤輔導制度、評鑑人員、評鑑報告的溝通與回應性,以及與組織相關的

(31)

因素則包括人員態度、組織權責與資源。首先,本研究顯示,追蹤輔導制 度的設置以及評鑑人員的可信度,有助於評鑑結果的運用。其次,評鑑報 告溝通的內容不夠完整、具體,有礙結果性運用。而採取口頭報告、討論 等互動性高的溝通方式,則可增進評鑑結果的運用,此在校務評鑑運用的 研究中較少提及。此外,校務評鑑的規劃,以數年度為一實施周期,且評 鑑指標為回應校務發展向度,難以符合地方教育行政機關推動專案業務時 的資訊需求,此為影響行政機關運用校務評鑑結果的特殊因素。另外,行 政人員對於評鑑結果運用的態度不一,較重視評鑑結果運用者,相對而 言,有較多結果性運用的情形。至於評鑑結果的工具性運用,還會受到是 否符合決策權責,以及具有必要資源的影響。 (四) 影響地方教育行政機關運用校務評鑑過程的因素,包括:評鑑參 與機制以及對評鑑參與的態度 本研究發現,影響過程性運用的因素,包括參與機制的評鑑因素以及 人員態度的組織因素。具體言之,地方教育行政機關人員主要透過校務評 鑑規劃或資料蒐集,以增進過程性運用。相對於其他參與者,評鑑主辦單 位和督學參與校務評鑑的機會較其他業務單位為多,所反應的過程性運用 也較多。此外,行政人員對於參與評鑑之重要性的態度不一,較重視評鑑 參與的功能者,顯示具有較深化的過程性運用。

二、建議

(一) 促進校務評鑑報告內容的具體完整性,並採取多元互動的溝通方 式 本研究顯示,校務評鑑報告所溝通的內容與方式,尚未能普遍有效地 增進評鑑結果的運用。因此,建議校務評鑑報告的內容,除具有一定篇幅 外,還可善用質性與量化資料,具體清晰地呈現評鑑結果,同時透過有效 地彙整與分類,以使評鑑報告的內容更為具體、完整,並提高可讀性。而 除了書面報告外,建議能輔以口頭報告與討論,以增強行政機關人員對於 評鑑報告內容的掌握度,並增加評鑑結果運用的可能性。此外,藉由相關 行政人員的回饋,亦可協助評鑑主辦單位與評鑑人員強化評鑑結果的溝通 效果。

(32)

(二) 維持校務評鑑的追蹤輔導制度,並強化評鑑的參與機制 本研究發現,校務評鑑所規劃的追蹤輔導及評鑑參與機制,能增進結 果性與過程性的評鑑運用。因此,建議維持校務評鑑的追蹤輔導制度,促 使行政機關必須運用評鑑結果,以督導或協助評鑑結果較不佳的學校。此 外,除維持督學參與校務評鑑之外部評鑑的角色,同時,宜深化評鑑主辦 與業務相關人員在評鑑參與的對話與省思,尤其在行政人員普遍業務繁忙 下,建議於校務評鑑規劃時,即能共同討論如何規劃可行且能提高參與程 度的評鑑參與方式,以有效增進校務評鑑的運用。 (三) 增強行政人員對於結果性運用及評鑑參與的態度 本研究顯示,行政人員對於評鑑運用具有正向態度者,能提高評鑑運 用的程度,而行政機關一級主管的重視以及評鑑結果連結行政決定,皆有 助於增強行政人員正向的評鑑態度。因此,建議行政機關的一級主管能倡 導評鑑運用的重要性,鼓勵相關人員積極參與評鑑、關注評鑑結果,並掌 握機會運用評鑑。同時,針對評鑑運用時所遭遇的挑戰,也需要積極協助, 包括進行跨科室協調、綜整資源或向外部單位爭取經費與政策調整的機 會,以實際行動支持校務評鑑運用。此外,建議考量以規劃將評鑑結果連 結於行政決定的程序,促使行政人員掌握校務評鑑結果與局 處之政策推 動的關聯性,有助於提升對評鑑運用的重視。 (四) 未來研究可結合其他方法,並納入學校人員觀點 本研究主要採取回溯式訪談法,由受訪者自陳校務評鑑運用及影響因 素,然受訪者可能有遺忘、高估或低估評鑑運用的情形。因此,建議未來 研究,能納入學校人員的意見調查,以檢視行政機關的評鑑運用情形與成 效,並深化對評鑑運用之理想面與實際面,以及回應評鑑領域中對於評鑑 誤用或濫用議題的瞭解。此外,本研究僅包含三個縣市,且其中一個縣市 訪談人數較少,建議未來研究能擴增不同脈絡因素的個案,或採取問卷進 行較廣泛的調查。而針對評鑑報告、評鑑結果連結行政決定,以及評鑑參 與機制等調整,建議未來能持續探究實施情形,以歸納出適合國內校務評 鑑情境的可行做法。

(33)

誌謝

本研究非常感謝研究參與者的指導與協助,同時感謝行政院科技部專 題計畫的補助(MOST 103-2410-H 003-063),以及審查委員的指導。

(34)

參考文獻

王保進(2003)。國民中小學校務評鑑現況與重要議題之省思。教育資料與研究,

50,2-11。

[Wang, B.-J. (2003). Reflections on the status of elementary and junior high school evaluation and the important issues. Journal of Educational Resources and

Research, 50, 2-11.]

王麗雲(2011)。學校課責。教師天地,174,30-34。

[Wang, L.-Y. (2011). School accountability. Teacher Garden, 174, 30-34.] 吳清山(2002)。校務評鑑的實施挑戰與因應策略。教師天地,117,6-14。 [Wu, G.-S. (2002). The challenges and strategies for school evaluation. Teacher

Garden, 117, 6-14.]

吳清山、黃美芳、徐緯平(2002)。教育績效責任研究。臺北市:高等教育。 [Wu, G.-S., Huang, M.-F., & Hsu, W.-P. (2002). Research on educational

accountability. Taipei, Taiwan: Higher Education.]

吳煥烘、蕭永勝、魏玉縣(2005)。國民小學校務評鑑之評析與建議-以臺中市 為例。教師之友,46(2),64-73。

[Wu, H.-H., Hsiao, Y.-S., & Wei, Y.-S. (2005). The comments and suggestions on school evaluation of elementary schools: An example of Taichung City. Journal

of Professional Teachers, 46(2), 64-73.]

周士琦(2014)。高職學校行政主管對學校評鑑使用及其影響因素知覺之研究 (未出版之碩士論文)。國立臺北科技大學,臺北市。

[Chou, S.-C. (2014). A study on vocational high school administrators’ awareness of

the evaluation uses in the vocational high schools and its influential factors

(Unpublished master thesis). National Taipei University of Technology, Taipei, Taiwan.]

林天祐(2002)。校務評鑑的理念與作法。教師天地,117,15-20。

[Lin, T.-Y. (2002). The ideas and implementation of school evaluation. Teacher

Garden, 117, 15-20.]

林天祐(2004)。校務評鑑專業化的探討。載於張明輝(主編),教育政策與教 育革新(頁 320-340)。臺北市:心理。

[Lin, T.-Y. (2004). A study of evaluation professionalization. In M.-H. Chang (Ed.),

Educational policy and innovation (pp. 320-340). Taipei, Taiwan:

Psychological.]

林和春、張素貞(2005)。國民中小學校務評鑑之實務探究-以桃園縣為例。人 文及社會學科教學通訊,15(6),72-90。

[Lin, H.-C., & Chang, S.-C. (2005). The practice of elementary and junior high school evaluation: An example of Taoyuan County. Newsletter for Teaching the

(35)

郭昭佑(2007)。教育評鑑研究:原罪與解放。臺北市:五南。

[Guo, C.-Y. (2007). Educational evaluation research: The original sin and the

liberation. Taipei, Taiwan: Wu-Nan.]

郭昭佑、陳美如(2012)。評鑑信任初探-校務評鑑制度專業化之可行策略。教 育行政與評鑑學刊,14,59-82。

[Guo, C.-Y., & Chen, M.-J. (2012). The study for trust of evaluation: A feasible method for specialization of the school evaluation system. Journal of

Educational Administration and Evaluation, 14, 59-82.]

陳錦玉(2016)。新北市國民中學校務評鑑應用之研究(未出版之碩士論文)。 國立臺灣師範大學,臺北市。

[Chen, C.-Y. (2016). A study on the uses of school evaluations in New Taipei

municipal junior high schools (Unpublished master thesis). National Taiwan

Normal University, Taipei, Taiwan.]

曾淑惠(2002)。教育方案評鑑。臺北市:師大書苑。

[Tseng, S.-H. (2002). Educational program evaluation. Taipei, Taiwan: Lucky Bookstore.]

曾淑惠、周士琦(2014)。促進高職校務評鑑使用的途徑。中等教育,65(2), 45-62。

[Tseng, S.-H., & Chou, S.-C. (2014). Pathways to promoting the use of vocational school evaluation. Secondary Education, 65(2), 45-62.]

湯志民、陳木金、郭昭佑、朱佳如(2012)。中小學校長評鑑層面之初構。教育 研究月刊,224,5-17。

[Tang, Z.-M., Chen, M.-J., Kuo, C.-Y., & Chu, J.-R.(2012). A preliminary study on the dimensions of principal evaluation in elementary and junior high schools.

Journal of Education Research, 224, 5-17.]

黃政傑(2005)。課程評鑑。臺北市:師大書苑。

[Huang, Z.-J. (2005). Curriculum evaluation. Taipei, Taiwan: Lucky Bookstore.] 黃嘉雄(2010)。 課程評鑑。臺北市:心理。

[Huang, C.-H. (2010). Curriculum evaluation. Taipei, Taiwan: Psychological.] 黃嘉雄(2012)。影響小學對課程與教學評鑑發現利用之因素研究。課程與教學

季刊,15(3),1-26。

[Huang, C.-H. (2012). A research on the factors that influence the uses of curriculum and instruction evaluation findings in elementary schools. Curriculum &

Instruction Quarterly, 15(3), 1-26.]

潘慧玲、陳文彥(2010)。教師專業發展評鑑促進組織學習之個案研究。教育研 究集刊,56(3),29-65。

[Pan, H.-L., & Chen, W.-Y. (2010). A case study of organizational learning prompted by teacher evaluation for professional development. Bulletin of Educational

參考文獻

相關文件

Paper presented at an invitational conference sponsored by the National Educational Research Policy and Priorities Board, the Office of Educational Research and Improvement, and

Microphone and 600 ohm line conduits shall be mechanically and electrically connected to receptacle boxes and electrically grounded to the audio system ground point.. Lines in

This paper presents a Knowledge Value-Adding Model (KVAM) for quantitative performance evaluation of the Community of Practice (CoP) in an A/E consulting firm.. The

The campus of an existed elementary school was this object of research which was evaluated according to evaluation tables of biodiversity, greenery and on-site water

The research focused on Nei-Wan, though the evaluation of tourism and make up relative researches with travel cost method, this research evaluate the Compensation Variation

The study applies Discriminate Analysis to discuss the aspects of Junior high school students living Adjustment Scale and then develops a scale to be the standard of Junior

Hence this study uses a systematic method to develop safety evaluation indices and their weights to evaluate the walking environment of way to school for

The purposes of this research was to investigate relations among learning motivation, learning strategies and satisfaction for junior high school students, as well as to identify