第二章 文獻探討
第三節 彰權益能評鑑取徑之應用研究
本節對彰權益能評鑑的國內外相關應用案例作一探討,以了解此一主題目前 的應用情形,及其值得借鏡之處。
壹、國外彰權益能評鑑取徑的應用情形
一、學位論文之發展
研究者為了解國外彰權益能評鑑取徑應用的情形,首先利用 ERIC、ProQuest 線上資料庫進行關鍵字“empowerment evaluation”查詢,統計截至 2007 年 12 月 20 日止,國外以彰權益能評鑑為題之學位論文共計有四篇,2001 年發表有兩篇,
2003 年與 2006 年皆各有一篇,依論文作者、出版年代、論文名稱,列出基本資 訊,以表 2-3 加以呈現。
表 2-3 國外彰權益能評鑑取徑學位論文一覽表 作者 出版年代 論文名稱
Sullins,Carolyn Diane(2001)
Using empowerment evaluation to evaluate a consumer- operated drop-in center: A narrative of a case study.
表 2-3 國外彰權益能評鑑取徑學位論文一覽表(續)
作者 出版年代 論文名稱 McQuiston, Thomas
Hemmert(2001)
Empowerment evaluation of worker safety and health education programs.
Daniel, Kevin(2003) An analysis of the implementation of empowerment evaluation by the faculty of a summer remedial program Lopez, Kimberly
Kay(2006)
Youth-focused empowerment evaluation using Photovoice.
研究者自線上閱覽各論文之前二十四頁,從中了解國外彰權益能評鑑應用的 情形,發現以學位論文部分,當前彰權益能評鑑的應用,在研究範圍部分,均是 焦聚於方案層級,而其發展是應用於教育及社會福利方案;在研究目的上,幾篇 論文之目的,乃在於藉由對方案進行彰權益能評鑑之操作,探究彰權益能評鑑取 徑的面貌,並瞭解彰權益能評鑑在其方案進行的可行性;而在研究方法方面,皆 以個案研究法進行研究,其中較為特別的是 Lopez, Kimberly Kay(2006)的研究,
並 使 用 民 族 誌 研 究 , 結 合 社 區 本 位 的 參 與 式 研 究 取 徑 (Community-based Participatory Research, CBPR),發展出可使用〝Photovoice〞(影像發聲)方法做 為青少年價值導向(youth-focused)群體的彰權益能評鑑中資料蒐集的工具,此一 應用情形係呼應了彰權益能評鑑的目的之一,致力於持續發展其評鑑模式的相關 工具及技術(Fetterman, 1999; Fetterman et al., 1996; Smith, 1998)。當前國外彰權益 能評鑑取徑的應用,以學位論文研究而言,大抵可見彰權益能評鑑致力於以社群 本位為出發,不同的社群可以發展符合他們需求的評鑑方法與技術,結合運用於 彰權益能評鑑的架構之中。
二、Miller 和 Campbell 的 47 篇應用案例分析
承上,以彰權益能評鑑為研究論文的篇數雖不多,但是彰權益能評鑑自 1993 年創發以來,其應用遍及於美國及其他國家的高等教育、政府管理、都市公立學 校、非營利組織及基金會等範疇中,而相關的應用案例亦可見於 Fetterman、
Kaftarian 與 Wandersman 等幾位學者的著作之中。
其中,Miller 和 Campbell 曾在 2006 年系統性地檢驗了彰權益能評鑑自 1994 年至 2005 十年間的 47 個案例,3以了解宣稱使用彰權益能評鑑者實際的應 用情形。Miller 和 Campbell. (2006)採用“empowerment evaluation”為關鍵字,就 1994 年 1 月至 2005 年 7 月間的資料,自 14 個資料庫、14 種評鑑期刊、書目索 引與 Fetterman 的網站中進行資料的搜尋。排除論文、會議介紹及科技報告之出 版品,最終任命出 47 個彰權益能評鑑的應用案例。該研究發現,宣稱使用彰權 益 能 評 鑑 者 其 應 用 的 型 態 並 非 相 同 , 呈 現 有 蘇 格 拉 底 式 的 訓 練 ( Socratic coaching)4、結構式的引導(Structured guidance)5、參與的評鑑(Participatory evaluation)6與非參與的評鑑(Non participatory evaluation)7之四種類型(Miller
& Campbell, 2006),而研究者就前三種應用型態進行跨案例之資料分析。
研究人員依據編碼的內容,建立出彰權益能評鑑應用案例之特徵,包括應用 方案環境的特徵、使用彰權益能評鑑的理由、是誰選擇了此評鑑取徑、利害關係 人之涉入程度等,藉此了解彰權益能評鑑應用方案之風貌。該研究表示,彰權益 能評鑑的應用案例並未凸顯特殊的應用背景、方案型態或標的人口,彰權益能評 鑑能針對廣大的多元目標群體,實施於不同的方案之上。不同的研究主題、不同 的研究對象與不同的研究範疇,均可以利用其獨有的知識、經驗與社群的價值,
應用彰權益能評鑑發展出獨自的樣貌。由於彰權益能評鑑具有對於社會正義的關 懷,因此適用於幫助弱勢族群的方案參與者,去評鑑他們自己以及他們的方案,
以改進實務工作,並涵育自我決定。
然而,該研究認為關於彰權益能評鑑所稱之特定視野,除了廣泛使用性與社 群擁有感的落實外,彰權益能評鑑在理論與實踐上仍存在著落差。研究者探究這 47 個應用案例,當中僅有一個案例能夠完全地彰顯出彰權益能評鑑的十項原 則,而在不同的應用型態中原則彰顯的情形亦有差異。在四種應用型態中,蘇格 拉底式的訓練(socratic coaching)為最接近彰權益能評鑑所述之應用方式,然其 亦僅能平均反映出六項原則,如「改進、擁有感、包容、社會正義、組織學習、
民主」等原則,這些是其他兩種應用方式中較少得到的成果;至於其他如結構式 的引導(structured guidance)的應用型態,當中就難以見到「社會正義」與「民 主」原則,但是此類案例表現出績效責任原則之比例是最高的;而在參與式評鑑
(participatory evaluation)的應用型態裡,難以見到「績效責任」原則,且此種 方式較其他的應用型態較難建立成員的能力(Miller & Campbell, 2006)。
Miller 和 Campbell 表示,這些案例應用十項原則的情形,以「社群知識」
原則最為普遍,然而「民主參與原則」、「社會正義原則」與「證據本位策略原則」
都不常被採用。由於彰權益能評鑑普遍應用在弱勢族群的方案上,但卻很少方案 是與「民主參與原則」、「社會正義原則」相連結,且似乎這些使用團體也未發展 充分去指出「證據本位策略原則」,這樣的結果應如何歸結出彰權益能評鑑的評 鑑者可以運用這十項原則去消除過程的障礙與緊張?Miller 和 Campbell 認為彰
權益能評鑑的歷程與結果之間尚有許多模糊地帶,8而彰權益能評鑑之倡導者必 須更加明確地說明其理論的轉換機制。此外,Miller 和 Campbell (2006) 表示,
判定彰權益能評鑑的應用是否有益,除看方案的成果之外,評鑑的利害關係人及 其環境本身是否受益,更是當中之關鍵。然而他們發現,47 個應用案例敘述評 鑑的結果屬成功或失敗,多半是以作者或其他評鑑涉入者如印象般的闡述為準,
當中僅有 7 個應用案例的作者表示是透過系統性的資料蒐集的方式(方案的文件 檢閱、調查、面訪、焦點團體與對實施的利害關係人及參與者有系統的觀察)來 形成對於評鑑結果成功與否的判斷。因此,他們認為彰權益能評鑑並無法保證在 使用了該評鑑取徑之特定評鑑歷程之後,有超出擁有處理評鑑能力之一般性成果 外的其他正向獲益(Miller & Campbell, 2006;Miller & Campbell, 2007)。上述對 於彰權益能評鑑之疑慮,皆有待彰權益能評鑑之發展者持續去努力。
三、Miller 和 Campbell 的分析研究所產生之爭論
(一)Fetterman 和 Wandersman 的評論
Miller 和 Campbell 的分析報告提出後,Fetterman 和 Wandersman 在 American
Jonurnal of Evaluation 中,並對此篇分析研究提出質疑。Fetterman 和 Wandersman
(2007) 認為,雖然 Miller 和 Campbell 的分析研究在許多層面上相當具有洞見,然而他們質疑此一研究的根本設計與實施所存在的問題。Fetterman 和 Wandersma 表示,Miller 和 Campbell 之研究使用〝Google’s Scholar Research〞進行資料搜 尋,但將限制條件設定為 1999-2005 年,而非 1994-2005 年,因此遺漏了 28 個 應用案例。並且,該研究所收錄之分析案例未包括發表於評鑑年會或其他國際性 期刊之文章。至於在進行分析的 46 篇案例中,卻僅有 12 篇文章是將其文章歸類
8這些模糊的地帶包括:如何去促成評鑑主流化之落實、如何使方案產生改變與增進評鑑的能力、
如何透過評鑑的過程轉化出實質權力之發生、所謂達到社會正義與解放的狀態應該要如何去定 義、評鑑者所應扮演的合宜角色等均欠缺充足的資訊(Miller & Campbell, 2007)。而雖然 Fetterman 也敘述該評鑑取徑並未能適用於所有的情境與評鑑的目的,但大眾從中卻難以得知究竟是什麼樣 的背景、方案與環境,最為合宜行使彰權益能評鑑(Fitzpatrick, 2000)。
為彰權益能評鑑。他們認為,對於那些僅歸類為彰權益能之文章,不應該收錄於 樣本之中,而該篇研究所採用的案例多距今十年以前,並未能反映彰權益能評鑑 的當前發展情形,一些重要的案例被遺漏或被忽略了,例如「彰權益能評鑑:從 數位落差到學業成就低落」(Fetterman & Wandersman, 2005: 98-107)、「阿肯色州 學業成就低落方案」(Fetterman & Wandersman, 2005: 107-122)、遍及全州的 Tobacco prevention empowerment evaluation ( http://tobaccoprevention.blogspot.
com/)之計畫、過去出版於 Fetterman, D. M. (2001). Foundations of Empowerment
Evaluation.的四個方案(pp. 43-73)
、一些國際性的使用案例,包括澳洲、芬蘭、西班牙、墨西哥、紐西蘭與日本的案例,還有 Youth Empowerment Evaluation 等。
由於該研究所分析的案例多早於彰權益能評鑑在 2005 年明述其十項原則之前,
Miller 和 Campbell 心中用來判別案例有無表現出彰權益能評鑑之十項原則的採 認標準又為何?Fetterman 和 Wandersman 以為,雖然 Miller 和 Campbell 表示該 研究之目的並非要去認定怎樣的方式才是彰權益能評鑑,而是選用作者自行認定 其屬彰權益能評鑑實踐案例者來進行分析,以了解宣稱使用彰權益能評鑑者實際 的應用情形,並明列出其樣本選取的過程及標準。但是,如果 Miller 和 Campbell 所選取之案例,本不為彰權益能評鑑,那麼分析出的結果又何以表述彰權益能評 鑑之特徵?也自然削弱了彰權益能評鑑在結果導向成果之記載,Fetterman 和 Wandersman 因 而 認 為 該 篇 研 究 分 析 的 結 果 是 有 待 商 榷 的 ( Fetterman &
Wandersman, 2007)。
(二)Miller 和 Campbell 之回應
對於Fetterman和Wandersman所做之評論,Miller和 Campbell亦於American
Jonurnal of Evaluation中為文進行回應。Miller和 Campbell(2007)表示,Fetterman
和Wandersman對其研究的指正並不正確,該篇評論所指之28個遺漏案例,事實 上有3個案例是47個檢視案例的其一,9而另外25個案例則是在經由檢視後因被歸9即 Secret, M., Jordan, A., Ford, J. (1999). Empowerment evaluation as a social work strategy. Health and Social Work, 24(2), 120-127.之使用案例。
類為未屬於彰權益能評鑑之案例而排除於47個案例之外。這些案例之所以被排除 的原因在於:1. 其非出版於接受同儕檢視之期刊與有出版之書籍之案例
類為未屬於彰權益能評鑑之案例而排除於47個案例之外。這些案例之所以被排除 的原因在於:1. 其非出版於接受同儕檢視之期刊與有出版之書籍之案例