方案評估之理論基礎

7

第二章 文獻探討

本研究目的在對於某機構承辦之「被害人保護服務方案」進行結果評估，探 討方案介入後婚姻暴力被害人整體的改變程度，以評估方案服務成效。因此本章 將依方案評估之理論基礎、婚姻暴力對受暴者的影響、婚姻暴力服務方案介入後 受暴者改變程度、國內外家庭暴力方案評估相關研究與本評估研究方案現況等部 分加以探討，茲分述如下：

第一節 方案評估之理論基礎

本研究使用方案評估中的結果評估（outcome evaluation）進行方案成效評 估，其研究精神來自於「以證據為基礎的實務工作」，故本節主要探討「以證據 為基礎的實務工作」觀點，以作為方案評估之理論基礎，並進一步討論方案評估 的目的、類型、本研究所要使用的結果評估內涵與方案評估的政治議題等，茲分 述如下：

壹、以證據為基礎的實務工作（Evidence-Based Practice, EBP）

社會工作使用「以證據為基礎的實務工作」一詞，乃在強調在實務工作的決 策，必須儘可能依據系統性研究所取得的最佳證據，或回顧處遇相關文獻，來證 明所採取的介入行動是最有可能達成目標的策略；換言之，EBP的實務工作者，

會採取已被有效研究證實處遇結果具正向成效的介入策略（Kettner, Moroney, &

Martin, 2008; Smith, 2010; Payne & Campling, 2005）。EBP架構可協助社會 工作者有效率與效能的發揮技術，增進研究者、實務工作者與個案之間的資訊傳 遞，促使社會工作者能協助案主在資訊充足的情況下對最終的介入策略做選擇

（Grinnell, Gabor, & Unrau, 2010）。

本研究者匯整Payne & Campling（2005）、Smith（2010）、Kettner等學者

（2008）和Grinnell等學者（2010）提出之EBP觀點社會工作主要方法，歸納如 下：

一、具「研究思維」的實務（”research-minded” practice）

社會工作者應該注意並吸收與社會工作服務問題和效果有關的實證研究，對 研究結果（意即「證據」）採理性思考與批判性評估，以作為專業判斷的依據。

二、實務者進行研究（practitioner research）

主張實務工作者應進行小型研究計劃或單案研究，研究結果累積可提有用的 證據，來說明何種介入策略是有效的。

三、量化研究設計

EBP主張採用嚴謹的評估研究設計，例如：調查研究或實驗設計，而其中又 以將受試者以隨機分派至實驗組與對照組的實驗設計（experimental design）

被視為最佳的評估研究設計，透過蒐集服務對象的量化結果資料，目的在檢視服 務介入的成效，研究的概化程度（generalization）也較高，其次為準實驗設計

（quasi-experimental design）。而使用質性研究的深度訪談法（in-depth study）

進行介入方案評估，因缺乏對處遇結果量化客觀的測量，並不建議採用。

四、評估類型

EBP認為總結性評估（summative evaluations）具有研究價值，例如：使用 實驗設計進行影響力評估。而形成性評估（formative evaluations）因是針對 服務過程進行研究，而未對服務結果進行量化測量，故非EBP優先採用之評估類 型。

五、實務工作指南（practice guidelines）

研究結果應與實務工作經驗進行整合，放入實務工作指南中進行推廣，這 是把研究結果轉化為實務工作的有效途徑。

綜上所述，本研究即採取EBP觀點：支持實務工作者對社會工作介入方案進 行評估研究，以檢視服務成效，並依此作為證據以提供未來對介入方案進行決策 的理論基礎下進行研究設計。EBP雖主張採用嚴謹的實驗設計進行研究，然而在 本方案實務執行上有其困難度，包括：個案參與實驗不易、研究潛在的評估對照 組意願低、樣本取得不易與樣本流失率高等因素，因此研究者採取多元取向之研 究方法，結合質、量化研究設計，質性研究採焦點團體法（focus group）與深

9

貳、方案評估（Program Evaluation）

一、方案評估的目的

方案評估最主要的目的在於，促成服務需求者得到高品質的服務（Posavac &

Carey, 1992）。評估者觀察方案執行過程或成果，並回饋給政策制定者及規劃 者，使其得知社會干預的適切性與方案成效，以便作為未來方案設計與改變的依 據，缺少這些回饋，服務方案就不可能有效運作下去（Kettner, et al., 2008;

Posavac & Carey, 1992）。

提供回饋有幾種不同的目的，Scriven (1967)是第一個提出將方案評估依其 兩種廣泛性目的與先後次序區分為總結性評估（summative evaluations）與形 成性評估（formative evaluations）的學者（轉引自Smith, 2010）。總結性評 估是以評估成果為導向，評估結果代表方案是否成功或能否存續；形成性評估並 不關注於方案成功與否，而聚焦在獲取有用的資訊，以計劃方案和改善執行與成 果（Smith, 2010）。

二、方案評估的類型

雖國內外學者對方案評估有不同的分類方式，依據不同的評估研究目的與提 問，可大致區分為以下五種主要的方案評估的類型（Posavac & Carey, 1992;

Rubin & Babbie，2008; Smith, 2010; 柯麗評等，2005），包括：

（一）需求評估（Needs Assessment）：為了計劃方案而蒐集料，系統化地研究 診斷問題的過程稱之。

（二）過程評估（Process Evaluation）：聚焦在確認方案過程的優缺點，以及 建議需改進之處，而不問方案是否有效。

（三）結果評估（Outcome Evaluation）：聚焦在評估方案目標達成程度及方案 結果是否有效，而不問方案為何有效或效率問題。

（四）成本-效率與成本-效能評估（Cost-Efficiency and Cost-Effectiveness Evaluation）：前者只計算方案服務本身的成本，方案效果所帶來的金錢 效益是不評估的；後者除了衡量達成方案成果之金錢支出成本外，也會將 方案結果化約為經濟價值。

（五）影響力評估（Impact Assessment）：當方案已信譽卓著時，則進一步將焦 點轉移到探討方案的成效是否起因於方案介入，而非其他因素影響。

綜合上述方案評估的目的與類型，方案評估類型表詳見表2-1-1。雖方案評 估可分成上述五大類型，但在家庭暴力防治實務的操作上，各種方案評估類型間 的關係實為密不可分，甚至會互相影響，因為家庭暴力評估往往是一動態歷程，

隨著不同的進展，評估也會進入不同階段，所需蒐集的資料也會不同（柯麗評等，

2005）。

表2-1-1 方案評估類型表（Types of Program Evaluations）

註：研究者整理自Smith（2010）; 柯麗評等（2005）。

由於本研究之目的在於探究婚姻暴力受暴者在接受「被害人保護服務方案」

後是否有所改善及達成方案目標，故屬於總結性評估中的結果評估，茲針對結果 評估詳細說明如下。

三、結果評估（outcome evaluation）

結果評估關注的焦點在於，當案主參與方案後，其產生了怎樣的改變？故評 估研究焦點會放在方案目標達成程度及方案結果是否有效（Smith, 2010）。關 於結果評估的問題，通常會有以下四層次的範疇（柯麗評等，2005；黃源協，

2008）：

（一）方案目標達成程度。

（二）相較於未接受方案服務者或接受類似方案者而言，接受方案服務者之績效 是否有所不同？

（三）再進一步挑戰的評估是，接受方案服務者是否因為方案而變得更好？服務 方案與結果間是否產生因果關係（cause-and-effect relationship）？

方案評估的類型 用途

總結性評估

（summative evaluations）

結果評估 影響力評估 成本-效能評估

方案發展與評估

形成性評估

（formative evaluations）

需求評估 過程評估 成本-效率評估

監 督 方 案 執 行 與 發展

11

（generalization）到生活上？

為回應上述提問，結果評估需進行有系統性的評估研究步驟。Grinnell等學 者（2010）針對結果評估區分出六個主要評估步驟如下：

（一）概念化方案目標（Conceptualizing Program Objectives）

（二）操作化變項並陳述結果（Operationalizing Variables and Stating the Outcomes）

（三）設計監督系統（Designing a Monitoring System）

（四）分析與呈現資料（Analyzing and Displaying Data）

（五）發展回饋系統（Developing a Feedback System）

（六）散播與傳遞研究結果（Disseminating and Communicating Results）

經過系統性的評估研究步驟後，方案評估者總是希望其方案能促使接受方案 服務者朝向正面改變，然而Posavac & Carey（1992）指出事實上，行為改變的 真正原因很難釐清，成效評估指標選擇意見分歧，方案成效亦會受到外在事件影 響，且各種研究設計都有自身的推論限制，方案正向結果是否能長期、穩定及持 續概化（generalization）到生活上，也受到生活環境因素的挑戰。

四、內在效度的威脅

Posavac & Carey（1992）指出有很多非方案的因素會影響評估結果，如果 有未能控制的因素對方案造成影響，就很難斷定方案本身是否有效，故瞭解影響 方案內在效度的因素，可使評估者衡量評估研究的有效性。威脅內在效度的因素 如下：

（一）因參與者本身變化而可能生產生的改變

以下兩個威脅內在效度的素因，表示方案中所看到的改變是由於參與 者本身產生改變，而非受到方案影響：

1、成熟因素：方案參與者在方案執行期間變得較為成熟、更有經驗，而 非方案本身造成的影響。

2、歷史因素：指研究前後測之間發生對方案產生影響的事件，例如：經 濟蕭條可能使設計完善的就業方案成效不彰。

（二）因被觀察的樣本是誰而可能產生的改變

當方案參與者並非隨機抽樣或不具代表性時，有三個會感脅到內在效 度的因素必須考慮：

1、選擇因素：自願參與評估研究後測之受試者在方案開始時都是相對狀 況較好的人，因此當後測有改變時無法有效代表方案成效。

2、參與者耗損因素：會持續參與方案的人通常都比中途退出的人更接受 方案，當部份參與者中途退出方案後，會影響後測成果的效度。

3、迴歸因素：若評估研究對象正處於極端的表現，下次表現就不會出現 極端值，舉例來說：若持續追蹤一群處於極度沮喪的人，一段時間後，

無論其有無接受治療，因造成沮喪的事件已過，整群人的沮喪程度會 緩和許多。

（三）因觀察方法而可能產生的改變

評估者本身及其使用的測量或觀察方法，會對評估結果的解釋造成威 脅：

1、測試：同一測試工具實施兩次後，若得到不同分數，很可能只因受試

1、測試：同一測試工具實施兩次後，若得到不同分數，很可能只因受試