• 沒有找到結果。

一、由「評鑑產生使用」到「評鑑產生影響」的觀念轉變

近年來已經將「評鑑結果及過程使用」的概念擴大到「評鑑產生影響」。過 去 Patton(1997)提出評鑑結果及過程的使用,有許多評鑑研究追隨此理念,但在 2000 年出現觀念轉變,學者們的關心焦點由「評鑑產生使用」移轉到「評鑑產 生影響」。Kirhart (2000)提出「評鑑產生影響理論」,而後 Henry & Mark (2003) 及 Mark & Henry (2004)進一步修正理論,這三篇文章為歸納過去研究提出「評 鑑產生影響理論」的架構。現任美國評鑑學會主席 Hallie Preskill 在 2000 年也以 Kirhart (2000)的評鑑產生影響理論為架構,進一步將影響鎖定在有意的

(intensional)評鑑過程及結果影響,提出評鑑促進學習的概念(the learning dimension of evaluation)。

首先是 Kirhart (2000)的評鑑產生影響理論(The Integrated Theory of

Influence),Kirhart (2000)認為「評鑑產生使用」的概念應延伸到「評鑑產生影響」, 過程使用是有意的使用,還需考慮無意的使用。他以三個層面分析評鑑產生影 響:來源、時間、意圖。其中「來源」包括過程及結果;「時間」包括立即、評 鑑結束(end-of-cycle);而「意圖」則包括故意的、非故意的。Kirhart(2000)在美 國評鑑學會出版的期刊 New Direction for Evaluation 為文發表,該期刊當期一整 本的其他七篇文章,都以 Kirhart 所提的架構作觀念延伸及討論,該理論受到了 相當的重視。圖 2-3-1 為 Kirhart 所提的評鑑產生影響的整合性理論架構。

圖2-3-1. 評鑑產生影響的整合性理論 (The Integrated Theory of Influence (Kirhart, 2000)

有意非有意

意圖

來源

時間

過程 結果 立即

長期 評鑑

結束

Kirhart(2000)提出評鑑產生影響理論之後,沉寂了一段時間,但是在2003年 引起Marvin Mark (美國評鑑學會2006年主席)以及學者Gary Henry的注意,他們在 進一步延伸Kirhart的理論模式,支持他將「評鑑產生使用」擴大到「評鑑產生影 響」的理念,提出評鑑產生影響理論的機制(a mechanism of evaluation

influence)( Henry & Mark, 2003)。他們回顧了上百篇的評鑑研究,將評鑑產生影 響與社會科學的理論做連結,歸納認為所有評鑑的最後目的是達成讓社會更美好 (social betterment),將評鑑產生影響整理出三個層面,包含個人的、人與人之間 的、以及整體的影響,並依據文獻回顧,將各層面加以細分,如個人的影響層面 可再分成態度改變、技能的獲得等,詳見圖2-3-2。

在一年之後, Mark and Henry (2004)再進一步修正他們的評鑑產生影響理 論,認為除了影響層面之外,可以加入另一個評鑑過程或結果的類別向度,分成 一般影響、認知及情意、動機上的、行為上的四向度影響。

圖 2-3-2.評鑑產生影響的作用機制 (Henry and Mark, 2003)

另一位學者也是 AEA 現任主席 Hallie Preskill 將 Kirhart(2000)的評鑑產生影 響理論延伸,提出她的評鑑學習理論(the learning dimension of evaluation),她認 為學習也是一種評鑑產生影響,屬於一種有意圖的影響,在時間上可看到立即、

評鑑剛結束(短期)、以及長期的影響。透過評鑑可以結合成人學習理論,如學習 轉化理論(transformative learning theory),或是實務社群理論(community of practices),利用評鑑促進成員的學習,以達到組織學習的目的。不過值得注意的 是,她論文中雖然提及評鑑可以結合「轉化學習理論(transformative learning theory)」,但是對結合的方式、以及評鑑對轉化學習的意涵並未詳述 (Preskill, 2000)。

上述各家理論提出後,研究者發現很特別的是實徵性研究並不多見,因此 導致這些評鑑產生影響理論以及評鑑學習理論一直處於初步的概念階段。根據研 究者搜尋 ERIC、重要評鑑期刊、美加地區博碩士論文系統(pro-quest)、台灣地區 的博碩士論文系統,運用此架構進行的研究非常少,僅只有二篇相關的實徵性研 究,分別是由 Vanek 在 2004 年提出的博士論文,以及 Preskill 的博士生論文。

其中後者雖以「組織學習」為架構,但是並結合學習轉化理論或是實務社群理論。

而另一方面 Vanek 在 2004 年提出的博士論文中,雖然嘗試使用 Kirhart 的理論 架構,但是有另一方面的缺失。他根據 Kirkhart(2000)理論架構,將評鑑產生影 響分成五個類別而設計問卷,包括:以結果為基礎的影響(results-based

influence)、以過程為基礎的影響(process influence)、以時間為基礎的影響

(time-based influence)、有意的影響(intention of influence)、無意的影響(unintended of influence)、及做決定(decision making)。他嘗試以問卷了解學校行政當局是如 何運用評鑑資料作決策,以及影響評鑑產生使用的相關因素(Vanek, 2004)。但是 他提到自己的研究有一缺失,就是此評鑑產生影響理論的架構過於簡化,無法將 複雜現象做適當分類,而且對於是否有影響,其實在實務上是無法以有或沒有影 響作清楚的劃分。

4.對本研究的意涵

研究者由前述文獻得到一些啟示,以及一些個人淺見。首先對於 Vanek 的研

其次,Kitrhart、Henry and Mark、Preskill 相繼提出評鑑產生影響之後,缺 乏實徵性研究進一步將想法加以實踐,進而對理論提出修正。因此本研究將以個 案研究的方式,詳細探討以評鑑促進使用的機制,將使用定義在教師專業成長。

研究者在本研究中嘗試將教師成長歷程以評鑑方式促進反思,並分析評鑑引起的 轉化歷程。

本文歸納上述文獻的想法,將評鑑產生影響分成四個層面,包括時間(含立 即、評鑑剛結束、長期)、意圖(有意及無意)、來源(過程或結果)、群體類別(個人、

人與人之間、整體)。所以總共有 36 個種類 (3 x 2 x 2 x 3 = 36)。但是由於類別太 多,若全部收集分析,將不夠深入,因此本研究預定看其中兩個類別:評鑑過程 及評鑑結果的有意及非有意的評鑑產生影響,如表 2-3-1 所示。

表 2-3-1. 本研究中評鑑產生影響層面以及關注面向

Time Sources Intension Levels of Analysis

Personal Interpersonal Collective Immediate Process Intended V - -

Unintended V - - Results Intended V - - Unintended V - - End-of-cycle Process Intended - - - Unintended - - - Results Intended - - - Unintended - - - Long-term Process Intended - - - Unintended - - - Results Intended - - - Unintended - - -