• 沒有找到結果。

中小學教師專業發展評鑑方案之影響評估

N/A
N/A
Protected

Academic year: 2021

Share "中小學教師專業發展評鑑方案之影響評估"

Copied!
40
0
0

加載中.... (立即查看全文)

全文

(1)

《當代教育研究季刊》第二十二卷第一期 ·2014 年 3 月,良 47-86 001: 10.6151/CERQ.2014.2201.02

醫聲

中小學教師專業發展評鑑方案之影響評估

j番慧玲* 摘要 本研究以 ft1 小學教師專業發展評鑑試辦力主為客體,運用統計控制

及理論導向評鑑(

theory-driven

evaluation) 進行方案影響評估(

impact

assessment) 。針對全同參與試辦之高巾職與同民中小學行政人員與教師進 行問卷調查,並以方案要素(支持系統、方案活動)及方案成果進行資料分 析。結果顯示,在支持系統與方案活動的介入要素中,宣導溝通落實情形優 於教師研討與自評、教師他評與成長、及諮詢輔導,而在方案成果上,以教 師教學能力提升之成果最顯薯,其次是評鑑認知的增進、及學校生態的改變。 此外,為確認方案介入所產生之影響,首以統計控制將支持系統與方案活動 依落賞程度分為商、中、低三組,結果得到三組之方案成果具顯著差異;次 以理論導向評鑑方法進行檢視,發現支持系統與方案活動對於方案成果,皆 具顯著之解釋力。總結本研究之實施,一方面呈現了有別於傳統實驗設計的 影響評估方法,另 e 方面則提供了具體數據,指陳需要有效落實以達成教師 專業發展評鑑目標的方案要素。 關鍵詞:教師專業發展評鑑、教師評鑑、影響評估、理論導向i評鑑

*

潘慧玲,淡江大學教育政策與領導所教拉(通諷作者) 電子郵件: panhlw@gmail.com 投稿日期: 2013 年 3 月 4 日,修正叮期: 2013 年 4 月 22 月,接>;是[J期: 2013 年 6 片 7 日

(2)

Contemporary Educational Research Quarterly

March

,

2014

,

Vo

l.

22

,

No.1

,

pp. 47-86

001: 10.6151/CERQ.2014.2201.02

Impact Assessment on the Program

of Teacher Evaluation for

Pr

ofessional

Development

HUi-

Li

ng Wendy Pan*

Abstract

Using the pilot program of teacher evaluation for professional development

(TEPD) as an object

,

this study employed statistical control technique and

theory-driven evaluation to assess the program impac

t.

Administrators and teachers in

primary and secondary schools attending the program were surveyed. Program

components

,

including program supporting system and program activities

,

as

well as program outcome

,

were covered in the data analysis.

It

was found that

training and communication" was the highly implemented program component

,

better than the other three components:

teacher discussions and self-assessment;'

peer assessment and teacher growth;' and

consultation and guidance:' And the

enhancement of teaching was the most obvious outcome observed

,

the score of

which was higher than the advancement of evaluation cognition and the change of

school ecology. In addition

,

in order to examine the program impact

,

three groups

reflecting different degrees of program implementation were classified firstly

using statistical control technique. Significant differences of program outcomes

were found among the three groups. Secondly

,

it was revealed from the

theory-driven evaluation analysis that both the supporting system and program activities

significantly predicted program effects. In conclusion

,

this study not only used a

new method of impact assessment distinguishing its features from the traditional

experimental design but also identified the program components which are

essential to effectively achieve the goal of TEPD program.

Keywords: teacher evaluation for professional development

,

teacher evaluation

,

impact assessment

,

theory-driven evaluation

Hui一 Ling

Wendy Pan

,

Professor

,

Graduate Institute of Educational Policy and

Leadersh 巾,

Tamkang University

E-mail: panhlw@gmai

1.

com (Corresponding Author)

(3)

潘慧上守 中小學教師專業發展評鑑方案之影響評估 i 49

壹、緒論

教育的不體 M 學生,而為促進學生的學習,教師素質!此 t:!; 近年來 世界教育改革重視的議題,而教師素質的確保,教師評鑑是 J頁F主要的 措施 O 過去教育部曾陸續召開會議,研討教師考核與計鑑制度,而《教 師法〉亦 ffi賣通過有關教師評鑑之相關條犬。雖然教師 U\V 鑑尚未Jl: 式立法,惟為發揮其促進教師成長之功能,教育部乃於 2005 年:10 月

25

II

通過「教育部補助試辦教師專業發展評鑑實施計畫J (教育部,

2006)

,並於 2006 學年度開始試辦。經過三年,口2009 學生「度取消試 辦,繼續推動教師專業發展評鑑(以F或稱教專評鑑) 對於目前刻正推動的教專評鑑,欲暸解其良鼠,方案評鑑可提供 關鍵的同饋訊息。尤其在公民意識抬頭的年代,民眾有權利知道政府 推動的政策是否達成預期日標,以及政策介入(intervention) 是否有效

( Owen

&

Rogers

,

1999) 。惟觀諸過去在教育界,鮮能針對政策方案進 行系統性評鑑'且往昔有關教專評鑑之相關研究,或著重於執行面的探 討(如:其金香、陳世穎、, 2008 ;馮莉雅,

2007 '

2010; 顏國樑、洪紹品,

2007)

,或多以個案研究進行方案成果之分析(如:周麗華,

2010

;張 德銳、李俊達、周麗草,

2010

;張德、銳、周麗華、李(在遠,

2009

;潘慧 玲、陳文厚,

2010 ;

i那淑惠, 2011) ,罕見有研究針對教專評鑑之全國 性方案,檢視其犀生之成效( effect) 或影響 (impact) ,以及哪些方案 活動是達到成效的重要要素 O 一項政策方案從頒怖,主IJ 現場的落實,通常需要歷經幾個不同階 段:剛開始條在板棋階段 (breadboard

stage)

,甫成形的方案,常以小 規模方式實施;而欲順利推動方案,進一步建構合宜的方案內容,一股 會提供可讓方案成功的優勢配套條件,此為超現實階段(

superrealization

stage)

;到 F 原型階段(

prototype stage)

,開始以正式政策實施時 所擁有的條件運作,以作為後續階段之準備;最後在運作方案階段

(4)

《當代教育研究季刊》第二十二卷第 期

50

I

Contemporary Educational Research Quarterly VoL22

,NO.1

( operating program stage)

,則進人方案之定型,政策方案將作持續性 的推動(

Cronbach et a

I.,

1980) 。以上每」階段的方案,皆需率統性的 評估,以提供下 4階段方案發展與推動之依據 o 教專評鑑目前從試辦期 進人了繼續推動期,仍補助學校推動經費,亦提供相關之支持系統(如: 立導培訓|、諮詢輔導) ,尚處於上述之超現實階段,其方案內容還在持 續發展中。此時若能針對方案進行影響評估(

impact assessment)

,只11 吋釐清方案造成參與者改變的程度,,有助於決策者確認方案是否產生規 畫Ij的效益以及暸解哪些是有效的方案活動,研究結果不僅可作為後續方 案發展之重要參據,亦可提升公共方案資源把注的績效。 在公共政策的評鑑上,影響評估常被用來檢視短期或長期源白於

方案介人所產生的改變,此種改變是一種排除干擾因素的淨影響

(net

impact)

(Barbu

,

n.d.; Ezemenari

,

Rudqvist

, &

Subbarao

,

1999)

0 而

在作法上,除了傳統所採的實驗設計,亦有非實驗設計方法o 有鑒於 實驗設計在現實環境中的實施困難,統計控制之非實驗設計遂被採用

(Ezemenari et a

I.,

1999) 。此外,在研究典範的轉移下,近年來影 響評估的方法愈趨多元,不僅有質性研究之倡議,亦出現理論本位 評鑑(

theory-based evaluation)

,或稱理論導向評鑑(

theory-driven

evaluation) 等方法 o 本研究針對教專評鑑全國性方案進行影響評估, 選擇上述的統計控制方法以及理論導向之許鑑方法進行,如此作法之考 量打I ~ 0 首先,影響評估昔日採實驗設計,需找尋未參與方案者作為對照 在且,然此非易事,尤其圍內欠缺相關資料庫,不易從未參加教專評鑑 學校中,選取與參加教專評鑑學校相當條件之樣本o 其次,影響評估 可在方案執行前,蒐集參與者之基準線(baseline) 資料,以與方案執 行完畢後作比較,惟國內政策推動常因技術性配合問題,致使研究無 法掌握基準線的蒐集時機。故在衡量上述兩項因素的限制f' 本研究 以非實驗設計的統計控制方法進行o 此外,為 F 彰顯更大的政策意涵

(5)

潘慧玲 中小學教師專業發展評鑑方案之影響評估 51

( implication)

,另則使用理論導向計鑑,以分析方案為何、以歧如何 有效。 有關理論導向評鑑之執行時機,

Baker

(2000) 指出除可在方案完 成後做,亦可在方案實施中做。肉之,本研究在決定評鑑客體(object) 時,選擇尚在實施中的教專評鑑'且以其巾的試辦方案為對象,此作法 條衡酌試辦方案是延續性的教專評鑑巾之」環,且其本身亦自成一體, 有必要探討其成效 O 此外,方案成效的展現,需要時間,而三年的試辦, 應可偵測1 1\方案參與者的改變。職此之故,本研究以全國試辦97 學年 度教專評鑑之學校為範團進行影響評估,探討焦點置於試辦方案之介人 是否有其影響,以及哪些要素(如:支持系統、方案活動)是造成影響 之關鍵。所獲得的研究結果,一方面可提供具體數據檢視教專評鑑方案 所產生的成效,另一一方面則可展示國內過去鮮見的影響評估,其執行概 念與作法。質吉之,本研究之目的有三: 一、探討中小學試辦教師專業發展評鑑的支持系統、方案活動及所獲成 果情形。 二、檢視中小學識辦教師專業發展評鑑方案介人犀生的影響。 三、分析中小學試辦教師專業發展評鑑的支持余統與方案活動對於方案 成果的解釋力。

貳、文獻探討

本研究旨在針對試辦教專評鑑方案進行影響評估,以F 首先闡釋影 響評估之意涵與方法,以確立;來研究設計之合宜性;其次針對教專許鑑 之方案與研究作分析,以突顯;小;研究之重要性與鋪陳分析之基礎。

(6)

《當代教育研究季刊》第二十二卷第 期

52

I

Contemporary Educational Research Quarterly Vo

1.

22.

NO.1

一、影響評估之闡析

(一)影響評估之意涵 過去二十餘年來,有關影響評估之意涵眾說紛耘,各有不同之下 張 o E!,\沾自影響評估所關注的不是有關方案執行的過程評鑑'亦不僅是方 案的pr.出 (output) ,而是方案介入對於成果 (outcomes) 的影響;或 謂影響評估旨在建立反事實(

counterfactual)

,亦即方案實施與方案末 實施之是異 (Barbu,

n.d.)

0 亦有人認為影響評估通常在方案介入完成 數年後進行,以有足夠時間讓方案之影響得以產生(Barbu,

n.d.)

;但 亦有人認為影響評估可測量近程與追程成果,能於方案實施中或完成後 執行 (Baker,

1999

,

2000) 。歸結而言,影響評估有幾個重要概念,一 是釐清方案造成參與者改變的程度,所探討的不是產出而是成果層次。 其次,影響評估分析的,司為方案之短期或長期成效。第三,影響評估 不同於僅是檢視成果,而須排除干擾因素,以掌握方案之淨影響,故常 涉及反事實分析,即透過觀察介入與不介入產生的結果,評估介入所帶 來的影響。 (二)影響評估之方法 如以判斷方案活動產生影響的資料作為分類依據,則影響評估的 類型可分為同類:量 1c影響評估、質性影響評估、質量整合影響評估、 以及其他影響評估類型 (Baker,

1999

,

2000) 。其中量 1C影響評估,除 以實驗或准實驗設計,透過參與、未參與方案的實驗組及控制組對照進 行反事實分析外,亦可使用統計控制之非實驗設計,判斷方案活動所產 生的影響 o 而質性影響評估,運用參與者觀察或開放式訪談等方法, 蒐集與分析方案活動資料,並建立反事實,以推論方案活動與方案影 響間的因果關條。至於質量整合的影響評估,則以互補方式,兼採量 f七與質性影響評估之優點,使影響評估結果更具系統性。最後,其他

(7)

潘慧玲

中小學教帥專業發展評鑑方案之影響評估 I 53

影響評估的類型,包括理論導向評鑑、以及成本效益分析(

cost benefit

analysis) 與成本效能分析(

cost effectiveness analysis)

(Baker

,

1999

,

2000; Barbu

,

n.d.

)。上述前者是在建立從輸入到成果的附果鏈;而後者 則是比較不同方案活動的成本與效益或效能之差異,以作方案活動的修 正或改進(

Bardini

,

2001 )

影響評估雖有上述類型,惟比較實驗組與控制組之影響是否有芹: 異,仍佔主導地位 o 只是誠如 Garbarino 與 Holland (2009) 所指陳的, 為使影響評估做得吏奸,有越來越多反傳統方法被運用,而兼採量 {c與 質性方法的質量整合影響評估類型,是其中之代表。量忙統計技術,提 供了具體測量結果,質性研究則以多元向度觀點,分析方案活動產生 的影響 o 此外,理論導向評鑑提供可深入瞭解方案為何有效、以及如何 有效的另一重要方法 o 它描繪 r 輸入如何能得到預期成果的因果連結, 亦即闡釋方案產生成效之內隱或外顯理論。此方法依據理論逐步蒐集資 料,故不待方案實施完成,口[foJ 開始 f 解方案活動在哪裡、如何,以及 為何有效或失敗。質言之,理論導向評鑑可在方案活動執行歷程中,提 供方案運作效能的早期指標,以便在方案實施有問題時,得以及早修 正,以達成預期目標 (Baker,

1999

,

2000)

二、教師專業發展評鑑之探討

(一)方案內容 教師評鑑國應、目的之不同,可分為專業發展導向與績效責任導向兩 類 o 在學校仍存在抗拒的氛閏f' 教師評鑑通常會強調其專業發展導向 之屬性 (Annunziata,

1997; Danielson

&

McGreal

,

2000)

,故在教育部 所發布的「教育部補助試辦教師專業發展評鑑實施計畫」中,清楚定位 為形成性教師評鑑'並明訂四項目的:協助教師專業成長、增進教師專 業素養、提升教師教學品質、及增進學生學習成果(教育部,

2007 '

(8)

《當代教育研究季刊》第二十二卷第一期

54

I

Contemporary Educational Research Quarterly Vo1. 22,NO.1

2008

)。此計畫自 2006 至 2008 學年度試懈,透過經費之補助,協助 試辦學校建構教師自評及同儕評鑑機制。而為顧及教師對於外部政策介 入的擁有風(

ownership)

,以校本方式運作。學校可白行選擇評鑑內 容層面,並決定評鑑規準與方法(教育部,

2007 '

2008) 。是項計畫自 2009 學牛度起,取消試辦繼續推動,試辦計畫亦改為實施要點,內容 僅微幅調整 O 其中在評鑑內容與評鑑方式上,作了進一步之規範,亦即 分別規定逐年期、多年期及核心學校所需採用的評鑑層面,另規定評鑑 方式以教學觀察為主(教育部,

2011 )

教專評鑑是攸關教師素質提升的一項重要政策方案,其推動內容包 括宣導培訓、諮詢輔導、方案活動等要素。在宣導培訓|部分, --方面協 助推動單位瞭解教專評鑑之概念與作法,一方面則培訓評鑑人才及培訓 課程之講師。在諮詢輔導部分,旨在建置教專網路平台,提供學校實施 所需之相關資訊與資料,此外,亦安排大學教師與中小學實務正作者擔 任輔導人員,在各縣市實施教專評鑑過程中,提供問題解答、建立人員 能力等服務,另亦透過中央輔導群之設立,協助地方推動教專評鑑(潘 慧玲、王麗雲、張素貞、鄭淑惠、吳俊吉、, 2010) 。以上所論及的宣導 培訓|與諮詢輔導是推動評鑑的重要支持率統,至於評鑑實施的內容則落 於方案活動中,其在教育部的試辦實施吉|畫作 f 規範 o 亦即教專評鑑之 方式,分為教師自我評鑑、校內評鑑(他評)二種,而資料蒐集可採教 學觀察、教學檔案、日前史教師及蒐tR學生或家長教學反應等多元途徑辦 理。教師在完成評鑑後,可依據評鑑結果,研訂專業成長計畫,並進行 專業發展活動(教育部,

2007 '

2008) 。此外,教師進行評鑑時,透過 研討,一起研訂評鑑指標、討論評鑑方式與工具、及評鑑結果的利用, 可增進其對評鑑意義與功能之理解,以及掌握評鑑指標意涵與工具使用 (潘慧玲等,

2010 ; Isore

,

2009)

a 由上觀之,教專評鑑的方案活動, 包括「教師研討」、「教師自評」、「校內評鑑(他評)J 、「專業成 長」等部分。

(9)

潘慧玲 中小學教帥專業發展評鑑方案之影響評估! 55 (二)相關研究 最近幾年有關教專評鑑之實徵研究,有相當數最之厚:咐,其巾以 教師態度或意見(如:其全香、陳i:f±穎,

2008

;顏國樑、洪紹品,

2007

)、以及現況調視為大東(如:柯淑惠、林海清、黃寶圓,

2009 ;

馮莉雅 '2007) ,對於成效之探討相對較少。山於本研究聚焦於成效分 析,故以下僅針對教專評鑑研究中有關成效之文獻進行探究。 觀諸教專評鑑!成效之相關研究,概 l 可歸納為兩類是針對教師 個人成長的探究,另一則是針對學校組織發展的分析,而採真實評壘

(authentic

assessment) 瞭解學生學習成果以分析教專評鑑成效者,目 前未見。在教師個人成長方面,._-~些質性研究指出參與教專評鑑,可幫 助教師學習有效的教學技巧、激發教師教學省思、提高教師自信心、增 進教師教學效能、加強教師評鑑認知、提升自我的專業形象、建立積極 的專業成長態度、以及促進專業知識成長(周麗草,

2010

;張德銳等,

2009 ' 2010

;游象昌、陳俊龍, 2010) 。且不同的參與者,其獲益亦有 差異,例如新進教師,透過訐多的經驗分享,其反應增強了教學信心與 能力,也改進了教學品質與學生學習成果;而資深教師,貝rj滿足了自我 反省成長的需求(呂仁禮,2009 )。而量t研究提供進一步比較之結果, 在分析國小教師參與教專評鑑前後情形後,陳俊龍(2010 )發現教師之 專業成長,以專業知識成長最多,人際溝通成長最少;居中的依序為: 專業態度、課程設計、教學策略、及班級經營。而有關教師參與試辦後, 增進評鑑之認知,亦在孫志麟 (2007 )研究中呈現。另馮莉雅 (2010) 拈 H~

,

6)f~鑑指標與流抖瞭解科度、 a\l~鑑過程與結果公平性能有效預測評 鑑對於教學的影響。 此外,在學校組織發展的助益上,相關研究顯示評鑑有助於教師互 助文{仁的形塑、教師專業對話的促進、學校制度與程序的改變、教師專 業社群的建立、組織學習的進行等(周麗草,

2010

;張德銳等,

2009 '

(10)

《當代教育研究季刊》第二十二卷第 期

56

I

Contemporary Educational Research Quarterly Vo1. 22,NO.1

2010

;潘慧玲等,

2010

;潘慧玲、陳文彥,

2010

;鄭淑惠,

2011 )

在國外,亦有教師評鑑促進專業發展之類似發現(如:

Airasian

&

Gullicks凹,

1997; Duck

&

Stiggins

,

1990; McGreal

,

1988)

,且教師評鑑 的實施能引發組織學習,並促進學校發展(Davis,

Ellett

, &

Annunziata

,

2002; Iwanicki

,

1990) 。綜合上述,可知參與專業發展評鑑對於教師, 有促進其反思、增長其能力之效益;對於學校,則有助於教師共識的形 成,亦改變 r 學校的生態。 總結過去的文獻分析,發現教專評鑑的相關研究,雖涉及方案成效 之探討,但尚有不足處:1.部分質性研究點出 f 方案對於教師與學校之 效益,惟未有量化數據可以瞭解方案影響之大小;

2.

.些量 t研究提供 了數據資料,只是其檢視的範間,在自變項部分,未能兼及所有之支持 系統與方案活動,在依變項部分,貝 IJ 未能含括教師個人與學校組織二層 次。此外,其所呈現的方案效益,是否就是方案產生的淨影響,亦有待 斟酌 o .向鑒於此,本研究乃意圖針對全國試辦教專評鑑方案進行影響評 估,以具體掌握方案介入所產生的改變。

參、研究設計與實施

為進行本研究所需的影響評估,以 F分別說明所採用的研究方法與 對象、研究工具、邏輯模式發展及資料分析。

一、研究方法與對象

本研究採問卷調查法蒐集資料,施測對象為參與民國 97 學年度試 辦教專評鑑之全國高中職(含特殊學校)、國民中小學之教師及學校行 政人員(組長、主任)。有關國民中小學樣本,依據學校規模於每一縣 市依教育階段抽取參與試辦學校約二分之一之校數,而高中職因試辦校

(11)

j番慧玲 中小學教帥專業發展評鑑方案之影響評估', 57 數較少,全部施測。計抽取 88 所國小、 34 所國中以及 57 所高中職, 共 4,556 名行政人員與教師。經去函聯繫所抽取之學校後,請其主任轉 達邀請參與試辦教專評鑑之教師透過電腦線上象統填答問卷。結果戶l 收 2 ,316 份問卷,回收率為 51% 。此回收樣本數已超過 Gay 、 Mills 與

Airasian

(2009) 主張當母群體超過 5 ,000 人所需有效樣本至少500 人 之要求。

二、研究工具

根據文件與文獻分析結果,本研究編擬「高級中等以下學校試辦教 師專業發展評鑑實施之調查問卷J '除基本資料(合性別、年齡、年資、 學歷、身份別、學校規模、學校層級等)之調查外,以「支持系統」、「方 案活動」及「方案成果」三部分構成問卷主要之內容。支持系統包括宣 導培訓與諮詢輔導,是推動教專評鑑之重要方案要素,另依「教育部補 助試辦教專評鑑實施計畫」歸納評鑑實施之方案活動,包括教師研討、 教師自評、校內評鑑(他評)、及專業成長。至於方案成果,參酌實徵 研究發現(孫志麟, 2007 ;潘慧玲、王麗雲、張素貞、要.~淑惠、林純雯,

2007)

,以進行反思、增長能力、獲得共識、改變生態等四面向設計題 項。答案選項採李克特式四點量表,分為「非常不符合」、「不符合」、 「符合」及「非常符合J 各給 1 至 4 分,反向題則進行反向計分。問 卷編製之初稿,經專家審題後'為求周全可行,邀請6 位實務工作者(合 國小、國中及高中各2 人)協助試填,之後根據試填結果修正問卷。 為確認施測問卷的信效度,採用項目分析,以遺漏檢驗、偏態檢 視、極端檢定、項目相關條數、及去除項目後因素負荷分析等方法,決 定刪除 9 題。之後,以 59 題進行探索性因素分析,透過主成份宜交轉 軸最大變異法 (KMO

10

.98

'球形檢定建 .001 顯著水準) ,共抽取仁 個共同因素,其特徵值各為 9.37 、 7.68 、 6.24 、 5.97 、 5.75 、 4.16 、 2 .40

'

(12)

《當代教育研究季刊》第二十二卷第 期

Contemporary Educational Research Quarterly VoL22

,

No.1

相對應的解釋變異量為 15.87% 、 13.02% 、 10.57% 、 10.12% 、 9.74% 、 7.04% 、 4.07% '累積解釋的總變異量為 70 .44% 。所抽取的仁個因素命 名與分布如 F: (一)支持呆在充:宣導培訓|、諮詢輔導; (二)方案活 動:教師研討與自評、教師他評與成長; (三)方案成果:教學能力提 升、評鑑認知增進、學校生態改變。另進行信度之考驗,得到整體問 卷之 Cronbach'sα 條數為 .99 ;三大層面問卷的 Cronbach'sα 條數各為 .94 、 .96 及 .98; 仁個因素面向的 Cronbach'sα{ 寺、數則介於 .91 ,& .96 之間。

三、邏輯模式發展

有關影響評估之方法,傳統上雖以實驗設計為主流,惟近年來方法 愈趨多元,亦鼓勵創新。本研究除以統計控制方法,暸解方案介入的落 實程度是否造成方案成效之不同,尚採理論導向評鑑,檢視哪些是造成 方案影響的重要方案要素。在進行理論導向評鑑前,首需建立方案理論 (或稱方案邏輯模式)。此邏輯模式在界定處理( treatment) 雙項與成 果變項間的因果連結( Ch凹,

1990)

,亦即方案介入與方案成效間的因 果關條。邏輯模式可透過方案人員的參與而建立,亦可透過文獻探討而 發展。本研究採取上述後者,並輔以文件之分析。從試辦教專評鑑實施 計畫得知,評鑑目的在協助教師專業成長、增進教師專業素養、提升教 師教學品質、及增進學生學習成果(教育部,

2007 ' 2008)

,其中前三

項從 Owen 與 Rogers

(

1999

)的分析中,屬於立即性( intermediate) 目 的;第四項有關學生部分則為終極性 (ultimate) 目的。有鑒於教專評 鑑在試辦期間,強調教師專業發展之政策目標,此為立即性目的,加上

試辦三年不易達成終極性目的,且學生學習成果在國內要進行全國性之

真實評量,在欠缺統一標準化測驗資料 F ,有其困難度,因之,本研究

(13)

潘慧 1令 中小學教帥專業發展評鑑方案之影響評估 159 在分析試辦實施計畫與教育部推動之相關配套措施後,歸納教專 ~\F鑑具有幾項方案要素 O 其巾支持是這統有三要素:

(

.)宣導培訓 I: 縣、 市政府或學校提供教師研習的機會與課程、以及研習的品質等; (二) 諮詢輔導:諮詢輔導提供學校相關資訊、以及問題解答之情形;方案活 動包括四要素: (---)教師研討:教師針對評鑑指標建構、評鑑方式、 評鑑工具及評鑑結果利用等進行討論; (二)教師自評:教師運用學校 所採評鑑工具進行自我評鑑; (一三)校內評鑑(他評) :教師運用學校 所採的資料蒐集方法,例如教學觀察或教學檔案評量等途徑評鑑|司儕教 師; (同)專業成長:教師根據評鑑結果擬訂專業成長計畫,並加以實 施。以上四要素經問卷施測因素分析後,重新歸類為教師研討與自評、 教師他評與成長二要素。另有關方案成效部分,參酌過去研究,瞭解教 專評鑑除發揮教師專業發展之立即性口的,亦能促進學校發展,故歸納 出進行反思、增長能力、獲得共識、改變生態四要素。惟進行問卷之因 素分析後,整併為三要素:

(

-)教學能力提升:教師增進自我得失之 瞭解、透過自我反思改善教學、增加教學信心與效能鼠、習得教學知識 與技巧、改變教學行為等; (二)評鑑認知增進:掌握評鑑的意義、瞭 解評鑑的用途、瞭解評鑑指標內容等; (三)學校生態、改變:教師對於 評鑑指標與精進教學凝聚共識、教師透過教專評鑑分享教學並瞭解努力 方向、教專評鑑{起動教師密切互動與教學熱誠等 O 根據上述四項方案要 素(宣導培訓|、諮詢輔導、教師研討與自詐、教師他評與成長)及三項 方案成效(教學能力提升、評鑑認知增進,以及學校生態改變)發展如 圓 l 所示的邏輯模式,作為;小;研究理論導向評鑑之依據。

四、資料分析

為進行教專評鑑試辦方案之影響評估,本研究採相依樣本 t 考驗、 重複量數單凶于變異數分析,分別檢視同 A群受試者在支持采統、方-案

(14)

《當代教育研究季刊》第二十二卷第 期

60

I

Contemporary Educational Research Quarterly Vo1.22. NO.1

1.支持系統 ﹒宣導堵訓 ﹒諮詢輔導 2. 方案活動 ﹒教師研討與自評 ﹒教師他評與成長 方案成果 1.教學能力提升 2. 評鑑認知增進

3. 學校生態改變

圖 1 邏輯模式 活動及方案成果中不罔聞向得分之差異。 l 其次,為以統計控制瞭解方 案介人程度所造成之影響,根據受試者的知覺反應,將支持系統、方而 活動依得分高低,各區分為三組,進行全國樣本以及不同學校層級(國 小、國中、高中職)之單因子變異數分析,以瞭解支持系統、方案活動 落實程度不同,其方案成果之差異情形。最後,為以理論導向評鑑探討 支持系統、方案活動對於方案成果之解釋力,採取三個不同模式之階層 迴歸分析,分別投人相關背景變項、支持系統變項、及方案活動變工頁。

肆、研究發現

為確認方案成果的產生源自於方案的介人,本研究採取非實驗設計 之統計控制與理論導向評鑑方法進行。以下在呈現上述兩個方法所做之 評估結果前,先就全國試辦教專評鑑之支持系統與方案活動之落實、以 &所獲成果作探討。 1 針對分星表層面得分之差異性考驗,由於是同一都受試者,故視之為相依據本(吳明隆﹒ 2003)

(15)

j番慧玲 中小學教帥專業發展評鑑方案之影響評估 i 61

一、試辦之支持系統、方案活動與所獲成果情形

(一)支持系統與方案活動落實情形

經過全國之施測,何至 IJ 巾小學教師與行政人員在「支持余統」與「方 案活動」層面之落實情形,依得分高低分別為 1主持溝通(3 .17 )、教 師他評與成長(3 .10 )、教師研討與自評(3 .09 )、諮詢輔導 (3.01

)

可見三年試辦期間,相關立導說明,以及主管機關所辦理的各項培訓|研 習,最讓學校現場人具有.所戚受;相對地, I司屬支持率統的諮詢輔導, 可能由於教專網網站尚在建費階段,而輔導夥伴(中小學實務工作者擔 任)與輔導委員(大學教師擔任)數量尚待擴充,故對中小學的服務, 教師尚未能充分知覺。至於教師研討與自評、教師他評與成長等方案活 動,原是試辦實施計畫需要在學校實踐之項F1'也因教師面對項新措 施,需要時間瞭解、熟悉與適應,故其落實程度在四個面向中位R二、 三位。有關上述面向間是否有差異,在考驗後得知受試者對於買導培訓 的知覺優於諮詢輔導,且其差異達顯著水準(I

=

16.57

,

P

<

.001)

;至 於受試者在研討自評與他評成長面向上的知覺評估,則無顯著芳:異(1=

-1.l

6

,

p>

.05)

(詳表 1 )。 如進 A步探討受試者在各ffif 向之知覺情形,可發現J言:導培訓部分, 學校人員在參與相關研習培訓時,1斬草充分機會、及充分協助與支持 方案 活 動 支持 系統 表 1 支持系統與方案活動落實情形之面向分析 I商而 面向 平均數 宣導溝通 3.17 諮詢輔導 3.01 面向小計 3.11 教師研討與自討 3.09 教師他評與成l~ 3.10 面 Itl] 小 d十 3.10 可 <.001 標准差 .59 .65 .57 .61

60

.58 16.57叫 -1.16

(16)

《當代教育研究季刊》第二十二卷第 期

Contemporary Educational Research Quarterly Vo1. 22,No.1

上,知覺最為正向(3.32 、 3.25) ,表示試辦評鑑時,有關宣導的溝通 說明、以及相關的初階研習,教師多能有機會參與o ;番慧玲等人 (2010

)

即指陳有 8 成 7 的行政人員、 7 成 8 的教師在 96 學年度曾參與初階研 習;且認為宣導資訊充足者亦高達 9 成 3 (行政人員)、 8 成 6 (教師)。 惟研習後能否實際應用所學、以及應用時遇到困難,能否得到充分協 助,落實程度則在此面向上最低(各為 3.00 )。另就諮詢輔導盲,教師 執行教專評鑑有不瞭解時,能獲得解答或幫助的程度,包括教育部教專 網之資訊提供,得自學校人員的反應(3 .00 ~

3.06)

,得分相對較低O 將此結果併同潘慧玲與陳文彥(2011 )分析指出的各縣市邀請輔導委員 或夥伴到校輔導的平均時數為l 到 3 小時,可作兩方面的資訊解讀:一 從提供端吉之,教育部的諮詢輔導工作尚待提升效能,以讓更多學校能 得到適時的協助;一則從使用端吉之,學校需要更加積極找尋並善用相 關資源,以解決所遇到的執行問題。 再者,在教師研討與自評面向上,落實程度最高的三項為:教師討 論能尊重不同意見(3.3 7)、討論時相當認真(3.2 1)、以及受評教師 知道如何白評 (3.21 )。顯示不論在評鑑規準或方式上的研討,教師均 能投入,惟對於進行討論或自評,與時間配合有關的3 個題項,得分均 較低(低於3.00) ,反應了時間受限是教師實施教專評鑑戚到困擾之事, 在過去研究中,針對時間壓力、工作負荷等困難皆有所指陳(吳金香、 陳世穎,

2008

;張德銳等 '2010) ,故知無充分時間影響了評鑑活動的 落實。在教師他評與成長之面向上,受試者對評鑑人員的知能、態度與 實施,皆有不錯的回應,只是評鑑人員對於受評教師能否開誠布公提出 針貶意見,尚讓教師有所遲疑(3.0 1) ,此題與教師討論可不擔心別人 看法(3.1 5) 相較,可發現一觸及較為敏戚的評斷溝通,教師態度就顯 得保守些。這個發現展露教師評鑑運用同儕互評,雖是為了專業發展, 但因涉及教學表現的判斷,教師仍有所顧忌。此外,在方案活動中,最

(17)

潘慧 F守 中小學教師專業發展評鑑方案之影響評估 163 後階段的專業成長計畫與專業成長活動,得分較低( 2.99 、 2.96 )。雖 說潘慧玲等人 (2007

'

2010) 的全國性研究及張德銳 (2009 )的大臺北 地區研究,亦指陳試辦前兩年有類似情形,惟至本研究所探討的試辦第 三年,卻仍依舊 O 此現象或因試辦實施計畫未強制每位教師均研訂專業 成長計畫,或因學校尚在摸索,未能顧及最後一階段的專業成長活動, 但專業成長是教專評鑑結果利用十分重要之一環,教師運用評鑑所得, 研訂專業成長計畫並執行之,對於教專評鑑促進教師專業發展之目標達 成,具關鍵作用。因之,上述發現值得關注 O (二)方案成果情形 在方案成果的探討上,本研究以教學能力提升 (3.23 )、評鑑認 知增進(3 .12) 及學校生態改變(3 .03 )作測量 o 上述王個面向,效果 最突顯的是教師教學能力的提升,且評鑑對於教師個人的影響,較之 學校組織,要來得明顯些 o 此等差異經考驗後得知達到顯著水準 (F=

220.25

,

p<.001)

(詳表 2) ,而進行事後比較後,亦得到三個向度兩兩 間的差異達到顯著水準(詳表3) 。 在方案成果中,以教師教學能力提升的面向盲,透過自評、他評, 讓教師得以檢視自己的教學,並暸解教學之優失,這些在試辦期間即 反映於教師身上(得分3 .30 ~

3.33)

,惟教學行為要作改變,需要較長 的時間(得分較低 '2.97) 0 在一些質性研究中,亦發現教專評鑑的參 表 2 方案所獲成果情形之面向分析 變異來源

SS

df

MS

F 組間 A 46.41 2 23.20 220.25'" 組內(誤差) 受試者問 S 2

,

389.28 2

,

311 1.03 殘差 (A*S) 486.91 4

,

622 .11 全體 Total 2

,

922.60 6

,

935 叫p<.001

(18)

《當代教育研究季刊》第二十二卷第一期

64

I

Contemporary Educational Research Quarterly VoL22,NO.1

表 3 方案所獲成果面向差異之事後比較 評鑑認知增進 學校生態改變 教學能力提升 向度(I因素) 向度(J因素) t (I-I) 評鑑認知

0.11

學校牛-態 。.20 教學能力

-0.11

學校生態

0.09

教學能力

-0.20

~l鑑認知1

-0.09

顯著 tl: .0。

00

.00

.00

.00

.000

事後比較 教學能力>詐,鑑認知 教學能力>學校生態 評鑑認知>學校來態 與,增進了教師的自信心、教學反思、及專業知識(張德、銳等,

2009 '

2010

;游象昌、陳俊龍,

2010

;馮莉雅,

2010)

就評鑑認知增進言,學校人員對於教專評鑑的意義與用途(3.15

)

有其正向效益,在孫志麟 (2007 )或周麗華 (2010 )研究中,亦有評鑑 認知提升之發現。另教師對於規準的掌握(3 .06) ,相對而言,較為不 易,學校如能讓教師參與規準的制定,則可增進其理解。所幸的是,在 潘慧玲等 (2010) 的全國性樣本中,看到教師在規準制訂的參與度上, 有逐年上升之趨勢;而馮莉雅 (2007 )亦指出高雄市國小教師對於透過 充分討論以決定規準的方式較為認同。 再者,評鑑對於學校生態改變的影響,由於涉及組織文他與行為 的改變,所呈顯的效應雖不若教師個人來得大,惟在 4 點量表上,面向 平均亦達 3 分。不管國內外,教師評鑑帶動學校的改變,均有研究之佐 證(周麗草,

2010

;張德銳寺,

2009 ' 2010

;潘慧玲等,

2010

;潘慧

玲、陳文彥,

2010

;鄭淑惠,

2011 ; Airasian & Gullickson

,

1997; Duck

& Stiggins

,

1990; McGreal

,

1988) 。只是本研究進-步發現,在學校裡,

教師們能否掌握評鑑規準意涵,凝聚對教師專業的共識 (2.90) ;教師

們能否支持評鑑規準,將之用來檢視教學 (2.96) ;教師們能否因教專

評鑑的參與而互動更為需切 (2.89 )、且更具教學熱忱 (2.88) ,尚待

(19)

j番慧玲 中小學教師專業發展評鑑方案之影響評估 65 要言之,教師專業發展評鑑在性質上, {年屬人員許鑑(

personnel

evaluation)

,其所獲得之成效,最容易tl\現在教師身上。在教師個人 的成長上,教學能力的提升,包括自我瞭解與反思能力的增進、教學自 信與方法的提升哼,在實施教專評鑑歷程中,教師多能明顯戚受到。相 對而言,在評鑑的認知上,可能教師過去較:不熟悉,雖經貫作,然白覺 的精進俏,形稍弱於教學能力的改善O 至於學校生態的改變,是:項方案 成果中得分較低者,顯示教專評鑑的推動,需要時間的阻釀,方能擴展 於全校,但亦有賴校長從校務經營的角度出發,除重視教師個人成長之 效益外,亦謀求學校組織透過教專評鑑的帶動而有所發展,如此,教專 評鑑在後續幾年的推動,將更能彰顯學校文忙與氛聞改變的效應、O

二、試辦方案介入產生的影響

丙方在進行影響評估時,傳統作法是採實驗設計,探討實驗組與對 照組之差異,惟國內欠缺資料庫,難以找尋與參加教專評鑑學校教師條 件雷同的未參與學校教師,故為瞭解方案介人對方案產生的影響,本研 究採取統計體制方法,以方案介入落實科度的1'2異,來檢視方案成效。2 在本研究中,方案的介入包括方案的支持采統及方案活動,此部分的分 析,首將全體受試者在方案支持余統及方案活動分量表上的題項平均得 分依高低排列,以平均數最高的的27% 和最低的後 27%3 ,作為高低分 組界限,劃分全體受試者為高、中、低表現三組,進而比較三組在方案 成果表現上的差異情形。 從表 4 得知,方案支持丟失統高、中、低表現三組,其在方案成果上 的得分依序為 3.67 、 3.14 、 2.54 ;以單因于變異數分析檢定二 2 為克服國內進行影響評估之難題,從 W*' 圈評鑑知名學者 Huey 1. Chen 討論後,決;正採 此統計拌制方法 O 3 一般合理的百分比在 25%-33% 之間,以 27% 所數據的可靠性最大(邱皓政, 2000) 。

(20)

《當代教育研究季刊》第二十二卷第←期

66! Contemporary Educational Research Quarterly Vo1.22,NO.1

表 4 全體學校支持系統與方案活動高、中、低表現三組在方案成果上之差異 分析 工貞[J 高低分組

人數

(N) 平均數(M) 標準羔(SD) F 事後比較 高表現 [A] 6自4 3.67 .34

A>B

支持 中表現 [B] 919 3.14 .3 自 1

,

209.1

7'''

A>C

系統 低表現[c] 611 2.54 .52

B>C

高表現 [A] 629 3.73 .2自

A>B

方案 中表現 [B] 1

,

036 3.15 .36 1

,

675.54'

A>C

活 動 低表現[c] 647 2.57 .4

8

B>C

..,

p<.001 的差異,可發現達到顯著水準 (F=

1,209.17

,

p

<

.001)

,而 Schef1屁事 後比較呈現支持率統表現越佳者,方案成果的表現也越佳O 男方案活動 高、中、低表現:組,其在方案成果上的得分依序為3.73 、 3.15 、 2.57

;

考驗後發現三組干均數具顯著性差異 (F=

1,675.54

,

p

<

.001) ; Scheffe

事後比較亦顯示方案活動愈落實,方案成果得分愈高。 除以全體學校作分析,亦探討不l再學校層級之情形。結果發現國 小、國中及高中職三階段,在支持余統表現高、中、低的組,其方案 成果得分具有顯著差異 (F=

577.94

,

19

1.

07

,

386.33

,

p

<

.001)

;而在方 案活動上,高、中、低表現的三組,在方案成果的得分上的差異,亦達 顯著水準 (F=

876.07

,

274.21

,

480.85

,

p

<

.001)

(詳表 5 、 6) 。 由以上全體學校及不同學校圖級之分析結果得知,支持系統與方案 活動的不同表現,可以明確區分其所獲成果之不同。易言之,教專評鑑 試辦方案之推動,如能有較好的支持孟之統,貝IJ愈能展現較佳的方案成果; 同樣地,教師研討、自評、他評與成長等方案活動愈能落實,則愈能增 益教師教學能力及對於評鑑的認知,且對於學校生態,亦有正面之效 應。過去研究雖亦曾指出評鑑有利於教師教學的精進(呂仁禮,

2009 ;

陳俊龍, 2010) 、評鑑認知的促進(周麗華,

2010

;孫志麟, 2007) 、

(21)

潘慧玲 中小學教師專業發展評鑑方案之影響評估 67 國中

F

5 77. 94叫 191.Q7" 386.3

3""

事後比較 A>B A>C B>C A>B A>C B>C A>B A>C B>C H

>

<.OOl 析一 分一 異一

差一

之一

上一

果一 成一

案一

方一羔)一-在一陣叩

-uvmu

冊一沾沾喘一詞

MAmd

組 -h( 一一一 一一一一一一一 現一一一一

表一數)一

3

一一

低一問叫

-MUM-MMUJ-MUM

中一一一一 高一數心 -M 閃的一 2 日 3-2 日 8 動一人作 -2 日4vk-HHUH-訕訕別 活一一一一 案一一一一 方一切一吋]]一]]]一]]] 一一!一 -ABC

級一睛一卅一

WUH

一川

MU--M

婦一點如何一鵡兢兢一斜斜斜一紙糾糾

朝一方甫一尚中低一一的巾低一崗山小紅

同一一 不一一截 ;一校級一小 6 一學層一崗一糾 表一 國 ql

F

876.0

7'''

274.21 叫 480.85'" 事後比較 A>B A>C B>C A>B A>C B>C A>B A>C B>C p<.001 學校合作文忱的形塑(張德、銳等,

2009 '

2010) 、».有效教學共識的營 造(潘慧玲、陳文彥,

2010)

,惟尚未能如本研究所做的,呈現方案介 入的淨影響。

(22)

《當代教育研究季刊》第二十二卷第 期

68

I

Contemporary Educational Research Quarterly Vo1. 22,NO.1

三、支持系統與方案活動對於方案成果的解釋力分析

本研究採取理論導向評鑑,檢視所發展的邏輯模式,運用階層姐歸 分析,探討方案為何以及如何犀生影響。亦即若推行方案的自變項(支 持系統、方案活動)能解釋代表方案成果(教學能力的提升、評鑑認知 的增進、學校生態的改變)的依變工頁,貝 IJ 叮推知該方案產生 f 影響。而 個別檢定支持系統、方案活動對於方案成果之解釋力,可掌握哪些是達 成預期成果的重要要素。 為進行統計迴歸分析,本研究先將教師背景資料轉換為!盡擬變項, 並以不同背景脈絡因素、支持急統層面凶素、方案活動層面 i 因素為解釋 變項,方案成果為依變工頁,依序納入解釋變工頁,以檢驗迴歸模式的統計 顯著性及其解釋力,共建立:個世歸模型 o 從表 7 得知,三個模型的變異數分析均達顯著水準。其中教師背景 變項,可解釋方案成果 3.8% 的變異量 (F=

5.27,

p

<

.001)

;教師背景 變項加上支持系統,可解釋方案成果62.3% 的變異量 (F=

197.93

,

p

<

.001)

;而教師背景變項、支持率統與方案活動~者,總共可解釋方案 成果 77.2% 的變異量 (F=

367.04,

p

<

.001)

0 在第三個迴歸頓刑巾,放入 F 教師背景、支持率統與方案活動三類 變工頁,在統計控制卡,可個別分析三類變項與方案成果是否具有顯著之 關連性。以教師背景變項而言,達顯著水准者為服務年資、學校規模、 學校層級及身份別。結果顯示服務年資 16 ~ 20 年的教師,其所知覺的 方案成果低於服務年資 21 年以上的教師(戶=

-.05

,

t

=

-3.28

, p

<

.01) ;

服務於 25 ~ 48 班之學校教師,對於方案成果的知覺低於 49 班以上之學 校教師( ~=

-.03

,

t

=

-2.58

,

p

<

.05)

;國小(戶=

-.04

,

t

=

-2.77

,

p

<

.01 )

和國中(戶=

-.04

,

t

=

-3

.4

9

,

p

<

.01

)教師,其知覺之方案成果皆低於高 中職教師;而教師較之主任,對於方案成果的知覺,顯得較低(~= -.俑,

t

=

-3.32

,

P

<

.01

)。雖然本研究的主要意圖在釐析方案介入之要素是否

(23)

潘慧玲 中小學教師專業發展評鑑方案之影響評估的 表 7 方案介入與方案成致的關保 變項 模型」 模型一二 模型乙

p

p

p

IJ)性&女性

.31

1.

62

-.02

I.

II

-.01

-1.34

30 歲以下 &51 歲以「

-.10

-2.15

-.00

-0.04

-.03

-1.3

5

31

~ 40 歲 &51 歲以上

-.08

-1.59

.00

0.02

-.00

-0.06

41

~ 50 歲 &51 歲以土

-.02

-0

.4

6

.02

0.97

02

0.94

21r以下&

21

i t'以 k

-.02

-0.61

.03

1.

43

.02

1.

44

2~5 年 &21 年以卡

.03

0.61

.02

0.93

01

。.28

6

~ 10 年&

21

1 !,-以「

-.05

-1.09

-.02

-0.72

-.02

-0.81

II

~ 15 年 &21 if以 k

-.02

-0.54

仇。 I

-0.66

-.02

-1.2

9

=變4門k三引

主主旱于~

16

~ 20 年

&21

if以上

-.10

-3.25"

-.05

-2.8

7"

-.05

-3.28

12 班以下 &49 班以 t

-.01

-0.29

-.01

-0

.4

5

01

0.86

13

~ 24 班 &49 班以上

-.06

-2.39

-.01

-0.50

.00

0.34

25

~ 48 班 &49 班以上

-.07

-2.89"

-.02

-1.

64

-.03

-2.58

非研究所&研究所以 k

-.02

-0.78

-.03

-1.

92

-.02

-1.

53

國小&高中職

-.05

-1.

92

國 .05

-2.70"

-.04

-2.77"

國中&雨中職

-.07

-2.62

-.05

-3.13"

-.04

-3

.4

9'

教師&教師兼主任

-.15

-4.36'"

-.02

-1.03

-.06

-3.32"

教師兼組長&教師兼主任

-.09

-2.84"

00

0.04

-.03

-1.

87

支持宣導培訓

.33

20.94'"

17

10.80'"

系統諮詢輔導 .4

5

24.01"

.18

10.80

方案教師研討 f1iJI'J 評

16

8

.4

1'"

活動教師他評與成長 .4

6

23.11'

F{宜

5.27'"

197.93叫

367.04'"

R

2

0.0

且可 A

0.62

0.77

.表中 00 之數字,原為 001 '同取至小數第二位,做了四捨五入。 真的造成影響,但上述背景分析,亦呈現 F 推動教專評鑑方案時,需要 考量的學校脈絡因素。從本研究的全國性樣本中,發現參與試辦教師中 服務年資 16 ~ 20 年與服務於 25 ~ 48 班學校規模的教師,其知覺較為負 向。 Day 與 Gu (2007) 扣出超過 25 年教學年資之教師,能持續關注自 己教學知識的更新,有助其專業發展,而本研究中,超過 21 年之教師,

(24)

《當代教育研究季刊》第二十二卷第 期

Contemporary Educational Research Quarterly Vo1. 22,No.1

對於方案產生之成果,較之16 ~ 20 年資昨教師,有更深刻之國受o 另 就學校規模吉,中、小型規模學校常因人力配置與負擔問題而影響政策 方案之推動,雖然小型學校,人力亦是難題,只是得力於人少易溝通協 調,對於方案推動知覺不若中型規模學校來得負面。在本研究中,任教 於 25 ~ 48 班規模之教師,相較於較大型的班以上學校教師,反應出顯 著的負向知覺,而顏國樑與洪紹品(2007 )之研究,則呈現另﹒中小型 規模國小(

13

~ 24 班)教師,是所有不同學校規模中同意試辦教專評 鑑比例最低者。 此外,對於評鑑成效的風受,主任高於一般教師,高中職教師高 於國中小教師。顯見身負推動教專評鑑之責的主任,通常會投入較多心 力瞭解與執行評鑑;而參與試辦的高中職,通常被認為教師專業白主性 高,不 A定傾向接受評鑑,但教專評鑑試辦時期,參與學校有許多是私 立,其平時即有蒐集學生意見作為瞭解教師教學表現及但]饋教學改進之 作法,故對評鑑的排拒戚較低,較能戚受到正面效應,此或可解釋本研 究為何在高中職獲得比國中小正面之回應。以上發現在相關研究中有一 些佐證,例如趙志揚、楊費琴、鄭郁霖與黃新發 (2010 )對於高中教師 對教師評鑑認知的研究指出,私立學校教師、兼任行政職教師對教師評 鑑的認知程度較高; rro顏國樑與洪紹品 (2007 )亦指出兼任行政的國小 教師對於參與教專評鑑的試辦,有高於一般教師的贊同度。 本研究運用理論導向評鑑主要在找出造成方案影響的關鍵因素。在 控制教師背景因素下,宣導培訓( ~

=

.17

,

t

=

10. 帥, p

<

.001) 、諮詢輔 導 (~=.18 , t=10. 駒, p

<

.001

)、教師研討與自評( ~=

.16

,

t

= 8.訓,

p

<

.001) 、教師他評與成長(戶=

.4

6

,

t

=

23.11

,

P

<

.001

)等四項方案介 入要素,均能顯著地解釋方案成果。其中,以教師他評與成長對於方案 成果的解釋力最大。由上可知,教師如透過各項說明與研習活動,瞭解 教師專業發展的精神與內涵,且在執行過程中遇到困難時,能獲得適時

(25)

潘慧玲 中小學教帥專業發展評鑑方案之影響評估,71 協助,則愈能戚受到評鑑的助益。而方案活動中,有關教師研討、自評、 他評與專業成長計畫的擬定與執行,如能確實實施,將使教師能))+:f所 增長,而對於何謂好的教學,也能逐漸凝聚共識,甚且,教師們會願意 聚在一起專業對話,形成樂於學習、成長與教學的組織氛閣。~之,有 別於過去文獻(如:周麗草, 2010 ;張德銳等, 2010 ;潘慧玲、 [j東文彥,

2010)

,本研究以所發展的邏輯模式進行檢定,能具體掌握哪些是可以 產生方案成效之要素,對於未來的政策推動,具有重要的做示作用。

伍、結論與建議

過去在教育界,罕能針對全國性教育政策方案進行評鑑,檢視執 行之優失、困難與成效,以作為政策後續推動與修訂之參照o 而針對刻 正進行之教專評鑑,攸關教師素質之提升,甚具重要性,惜目前相關研 究,或多為地區性或個案研究,或多{屆於執行面的探討,即使有針對方 案成效之分析者,亦尚無法確知是否源於方案介人自身所產生的結果。 肉之,為了解全國性教專評鑑方案經過之年的試辦,是否能達成教師專 業發展的預期目標,影響評佔提供f 布效的評鑑取徑 (approach) 。 影響評估經過多年的發展,對於方法的多元應用、以及方法的執行 時機,漸有共識 O 以方法的應用言,傳統上除採實驗組與對照組設計, 進行反事實分析,以確認在沒有介人的情形下,+會有任何方案成果的 產生。本研究循此邏輯,但突破傳統方法,設想在無法取得對照組以瞭 解「無介人」之效果時,應可在介人的群體中,分析介人程度不同,所 獲成果的差異 O 故而本研究依方案介人(支持系統、方案活動)落實程 度,區分高、中、低表現三組分析其所呈現的方案成果。這樣的作法, 帶出了影響評佔的新方法o 再者,以方法的執行時機言,影響評估呵在 方案完成後或在方案推動中執行;前者的優點是能檢視方案長期所造成

(26)

《當代教育研究季刊》第二十二卷第 期

72

I

Contemporary Educational Research Quarterly Vo1. 22,NO.1

的影響,後者的好處則是能即時瞭解問題,進行方案修正,有利目標之

達成。

影響評估如選擇在方案執行中做,口 I 採用理論導向評鑑方法。誠如 Owen 與 Rogers (1999) 所言,在方案實施時,找尋與建立方案理論, 並透過實徵資料蒐集,可以掌握方案之運作,哪些部分有效、哪些部分 有問題,提供了未來方案發展的重要回韻。也因此,本研究在選擇評鑑 客體時,考量試辦王年的方案為教專評鑑連續體中的一部份, .向-方案尚 在實施中的意味, u平佔結果對於後續方案內容之修訂,具有重要意義。 尤其理論導向評鑑用於教育政策方案之評估,在國內較為罕見,值得 苦力。 一" 、 4.±圭合 iT\口口 tttl

(一)在四項方案要素中,以宣導溝通之落實情形為最佳

從參與教專評鑑試辦之全國性樣本調查得知,有關方案介入的四項 要素,其落實程度均達 3 分以上,而其中以宣導溝通落實度最高,其次 為教師他評與成長、教師研討與自評、以及諮詢輔導。此發現顯示三年 的試辮,在各項宣導說明與培訓研習部分,學校人員能獲得充分機會、 及充分協助與支持。只是支持系統的另一環一一諮詢輔導,在落實度上 顯得弱些,可再加強教育部教專網以及相關諮詢輔導工作的推行。 此外,試辦實施計畫所規範的教師研討與自評、教師他評與專業成 長等方案活動,在教育現場落實度位居四項方案要素中的二、三位。其 中教師進行研討與自評均屬時間壓力,以致影響落實度。而教師對於他 人教學表現,尚有溝通上的顧忌,以及教師專業成長計畫的擬訂與活動 的進行,皆在試辦最後一年,仍呈現其得分稍低的問題。

(27)

潘慧士令 中小學教帥專業發展評鑑方案之影響評估 173

(二)評鑑實施對於教師教學影響最大,其次為教師評鑑

認知與學校生態改變

經過三年的試懈,教專~~f鑑的成效,除展現在教師個人)曾次,亦呈 顯於學校層次。其巾教學能力提升之影響最為 l口1顯,其次為評鑑認知, 至於學校生態的改變,涉及內京較多,也較為複雜,所需時間較長,故 其成效相對而言較為隱微。尤其,如何讓教專詳鑑促發教師的教學熱 誠、互動對話,以及凝聚教學共識,願意運用評鑑檢視向我,皆是未來 可再著力之處。

(三)支持系統與方案活動之介入對於方案成果具影響

力,而相關背景變項亦呈現其解釋力 為確認方案介入產生的影響,本研究首以統計控制方法,將支持 率統與方案活動之表現依落實程度區分為高、中、低三組,進行差異分 析,結果顯示不論是全體學校或不同層級學校(國小、國中、高中職)

,

王組在方案成果上具顯著性差異,表示教專評鑑方案之介入,確有其成 效 o 其次,為進一步釐清方案成效可由哪些方案要素解釋,本研究採理 論導|句評鑑取徑,依據所建立的邏輯棋式(方案理論)進行檢定 O 超越 過去研究著重於學校層級之瞭解,本研究從教育政策推動角度出發,以 中央與地方所實施之宣導培訓|、諮詢輔導設計施測內涵;以試辦實施計 畫歸納教師研討與自評、教師他評與成長之方案活動,作為整個教專評 鑑方案介入之要素,並分析這些要素對於方案成效iff.生之影響。經階)曾 迴歸分析後發現,上述四項方案要素是達成教專評鑑預詢問標的關鍵要 素,且以教師他評與成長對於方案成果的解釋力最大。尤其教師專業成 長活動落實度稍低,但其對於方案造成的改變卻具關鍵作用。至於相關 背景部分,得到教師服務年資、身份別以及服務之學校規模、學校屬級 對於方案成果有顯著解釋力。教師服務年資為 16 ~ 20 年者,所知覺的 方案成果低於 21 年以上者,而教師兼主任對於方案成果的知覺高於未

(28)

《當代教育研究季刊》第二十二卷第 期

Contemporary Educational Research Quarterly Vo1.22,NO.1

兼行政教師。此外,服務於 25 ~ 48 班之學校者,對於方案成果之知覺 低於 49 班以上者;國小和國中教師對於方案成果之知覺則均低於高中 職教師。

二、建議

(一)掌握關鍵方案要素,確實推動以達成預期方案目標 本研究異於過去相關研究,以具體數據拈陳宣導培訓與諮詢輔導之 支持互交統、以及教師研討與自詐、教師他已于與成長之方案活動能顯著地 解釋方案成果,尤其教師他評與成長更具重要性作用。這樣的發現顯示 教專許鑑要能達成其促進教師專業發展與帶動學校改進之預期村嘿,務 必確實做好各項關鍵的方案要素。因之,教育部對於初階、進階評鑑人 員課程可加強品質之監瞥,確認教師透過研習能對自評、他評及專業成 長有充分之認知,另則掌握方案在學校落實狀況,以適時提供所需之支 持或激勵,讓學校現場教師不僅暸解如何做,也能在克服困難下願意去 做。此外,在本研究中,透過全國性調贅,呈現諮詢輔導工作尚有加強 之空間,故日前教育部在全國設立的 t個人才培育區域中心,可利用地 理f:tr.聾的方便性,與地方縣市政府取得橫向聯繫'攜手培育較為充足的 輔導人力(台輔導委員與輔導夥伴) ,並運用各項現場輔導,協助縣市、 學校解決教專評鑑的概念疑惑與操作問題。上述建議在曰前已推動六年 多的教專評鑑方案中,尚未積極進行,還待努力。

(二)瞭解實際推動困難,積極輔導學校落實各項方案活動

從本研究中得知在各項方案要素中,有幾項落實度較低的項目, 諸如:教師進行討論與自評的時間配合度與充裕度,以及教師依據評 鑑結果研訂專業成長計畫與專業成長活動,其反應 f 學校現場操作上的 難題。對於學校經常反應的時間問題,就學校屬級盲,除可借鏡推動教

(29)

潘慧士令 中小學教帥專業發展評鑑方案之影響評估 I 75 專評鑑成效良好之他校{乍法,亦:白:思考校內各項計畫的整合、安排教師 共同研討的時間、以及提供迫切的行政支持哼,護教師不會因為需要忙 於學校推動的不同計畫、找不 1 1\共同討論時間、以及需要白行找尋執行 評鑑之各種表件或需要自行解決執行之技術性問題而壓縮時間之運用。 另就主管教商行政機關盲,已:從制度苦于,創造教師可以專業對話之時 間,而[大|教專評鑑常涉及不同領域/科目教師之互評、會談與研討,故 如何讓針對巾小型學校人 )J 負荷不致過垂,是 I~ 需加以解決的。再者, 學校在試辦計畫未強制規範~. ,可能因為不熟悉評鑑之操作,或不熟悉 專業成長計畫之研訂,常無法執行最後階段的專業成長活動。 l村之,輔 導學校瞭解並熟悉操作,甚為重要 o

y...

'教:衛部對於教師根據評鑑結果 編擬專業成長計畫及進行專業成長活動,在後續修訂之實施要點中,仍 未硬性規定。有鑒於教師進行專業成長對於教專評鑑成效有實徵支持之 顯著性正向作用,故未來教專評鑑之實施,當更積極地掌握此方案要玄 之執行 o (三)深化方案活動實施,透過評鑑帶動教師成長與學校

改進

A項針對人員所做的教專評鑑,其較為立即性之影響是促進教師 個人的成長,惟對於組織發展的帶動,由於涉及個人努力的聯繫整合、 組織改變的參數營造、以及導引更新的文 1c形塑,所需要的時間較長。 從本研究可發現,教專評鑑愈、落實,方案的成果愈豐碩。因之,方案活 動中的每 A 步驟,不能徒具形式,需要做得確實,且逐年深 1c 0 學校 IIJ 依教師生涯發展階段,規劃多年即 l 之評鑑計畫,讓教師在一個實施循環 中,分年接受苦¥鑑或進行專業成長活動。如此,教師評鑑與專業成長作 結合,可讓本研究結果指出的專業成長關鍵作用,得以系統性落實。其 不但能發揮評鑑的結果性用途(

findings use)

,讓教師依據評鑑結果, 進行成長活動,增進專業知能;亦能彰顯過程性用途(process

use)

(30)

《當代教育研究季刊》第二十二卷第 期

76

I

Contemporary Educational Research Quarterly Vo1.22,NO.1

讓學校的專業對話、組織學習得以產生,且讓學校可以成為一個日新又 新的有機發展體。

(四)運用多元評鑑方法,促使政策方案持續檢視與修訂

發展

教育評鑑在國內之發展,歷年來以機構評鑑( institution evaluation) 為大宗,近年方逐步推動以教師為對象的人員評鑑,可惜 的是,針對政策方案進行評鑑的,仍如鳳毛麟角。一項教育政策從規劃、 實施到評鑑,需要三個完整步驟,方能使政策透過系統性探究,獲得修 訂的實徵基礎,而能持續改進發展。本研究使用影響評估,提供了一項 評估政策方案造成改變的方法。今後,對於教專評鑑的陸續推動,宜定 期進行其成效之評鑑,除了影響評估之作法,亦呵進行其他不同的評鑑 取徑,而針對教專評鑑如何透過中介因素影響方案成效,均值採討o 期 冀透過多元評鑑方法及質量資料的運用,可持續檢視政策方案,並進行 方案內容之修訂發展。

致謝

本研究之完成,戚謝教育部之補助以及相關協助人員:干麗雲教授、 張素貞教授、鄭淑惠教授、吳俊憲教授、洪秋瑋助理、及林伯安助理。

(31)

j番慧唸 中小學教帥專業發展評鑑方案之影響評估 177

Im

pact Assessment on the

Progr但n

of Teacher Evaluation for

Pr

ofessional

Development

Summary

Introduction

In order to assure the quality of teachers to promote student

achievement

,

teacher evaluation plays a substantial role. In the context of

Taiwan's education

,

a pilot program of teacher evaluation for professional

development (TEPD) had been implemented from 2006-2009 and then

formally launched afterwards.

With the rise of civic consciousness

,

the public has the right to know

whether government policy has achieved its goals

,

and if the intervention is

effective.

Th

e evaluation on TEPD

,

as an on-going program

,

offers necessary

feedbacks for improvement. The impact assessment is of great importance

to clarify the changes that the program has made and is useful for policy

makers to examine how well the program functions.

Traditionally

,

experimental design is the typical method of impact

assessmen

t.

However

,

constrained by the difficulty of implementation

,

statistical control of non-experimental design is adopted instead.

Furthermore

,

a trend toward multi-methods has gained popularity due to

the paradigm shift. Not only qualitative research is advocated

,

but also the

theory-driven evaluation approach. Reviewing previous studies of TEPD

,

we found that most of them focused either on the survey of program

implementation or on the program outcomes of case schools. No systematic

inquiry of impact was conducted for the national sample

ofTEPD. 百lerefore,

this study aimed to explore the impact of TEPD intervention and to

clari向r

which components of the program

(i.

e. supporting system and/or program

activity) were significant contributors to program outcomes.

(32)

《當代教育研究季刊》第二十二卷第 蝴

78

I

Contemporary Educational Research Quarterly Vo

1.22,NO.1

Method

Sample and Instrument

Using the pilot program of TEPD as an object

,

this study employed

statistical control technique and theory-driven evaluation to assess the

program impact. Administrators and teachers in primary and secondary

schools who attended the program in the 2008 academic year were surveyed.

In total 2

,

316 respondents' data were analyzed.

A questionnaire with four-point Likert scale was designed to measure

three main program components (supporting system

,

program activity

and program outcome).

It

em analysis and exploratory factor analysis were

techniques used to establish the validity of the instrument. Seven factors

were extracted:

1.

supporting system-

training and communication" and

consultation and guidance"; 2. program activity-

teacher discussions and

self-assessment;'

peer assessment and teacher growth"; 3. program

outcome-“

the enhancement of teaching competence;' "the improvement of evaluation

cognition;' and

the change of school ecology:' Moreover

,

a reliability test

was conducted with the values of Cronbach alpha ranging from .91 to .96 for

the seven factors extracted.

The Logic Model

In addition to using statistical control to measure the program net

impact

,

this study employed theory-driven evaluation to further examine

the significant program components contributing to the outcome. Program

theory or logic model

,

explicating the causal linkage between program

intervention and effect

,

is needed for the impact assessment. Through

literature review and document analysis

,

the key components of TEPD were

identified. And it was hypothesized that schools acquired their program

outcomes with antecedents of positive supporting system and highly

implemented program activities.

數據

表 3 方案所獲成果面向差異之事後比較 評鑑認知增進 學校生態改變教學能力提升向度(I因素) 向度(J因素) t (I-I)評鑑認知0.11學校牛-態。.20教學能力-0.11學校生態0.09教學能力-0.20 ~l鑑認知1 -0.09 顯著 tl:.0。00.00.00.00.000 事後比較 教學能力&gt;詐,鑑認知教學能力&gt;學校生態評鑑認知&gt;學校來態 與,增進了教師的自信心、教學反思、及專業知識(張德、銳等, 2009 ' 2010 ;游象昌、陳俊龍, 2010 ;馮莉雅, 2010)
表 4 全體學校支持系統與方案活動高、中、低表現三組在方案成果上之差異 分析 工貞[J 高低分組 人數 (N) 平均數(M) 標準羔(SD) F 事後比較 高表現 [A] 6自4 3.67 .34 A&gt;B 支持 中表現 [B] 919 3.14 .3 自 1 , 209.1 7''' A&gt;C 系統 低表現[c] 611 2.54 .52 B&gt;C 高表現 [A] 629 3.73 .2自 A&gt;B 方案 中表現 [B] 1 , 036 3.15 .36 1 , 675.54' A&gt;

參考文獻

相關文件

主要整理者:嘉義縣梅山國小 邱文嵐校長 臺南市進學國小 葉秀娥主任 臺南市億載國小 蔡惠娟老師

Guba:The purpose of evaluation is not to prove, but to improve. 評鑑的目的在於改善,不在於證明

教師評鑑TE (Teacher Evaluation) / 專業成長PG (Professional Growth).. 協助老師確認優先

 教師評鑑TE (Teacher Evaluation) / 專業成長PG (Professional Growth).. 

The ECA Co-ordinator should design an evaluation and appraisal system for the proper assessment of various activities, school clubs, staff and student performance.. This

全球如英國電信、澳洲政府、世界展望會都已運用 SROI 進行管 理公益專案。而至 2019 年 11 月止台灣已有 13 份正式 SROI 認證 報告,其中華碩電腦股份有限公司於 2017 年通過認證的 Computer

更能有效且快速評估之目的,Hoosier Riverwatch (2000) 提出市民版 的 QHEI 評 估 法 (Citizens Qualitative Habitat Evaluation Index,

The campus of an existed elementary school was this object of research which was evaluated according to evaluation tables of biodiversity, greenery and on-site water