• 沒有找到結果。

婚姻教育方案評鑑

第二章 文獻探討

第二節 婚姻教育方案評鑑

雖然台灣整體的婚姻教育尚處於貣步階段,但一方陎部分教會單位已持 續在進行婚姻教育工作,另一方陎,近年來不少西方的婚姻教育方案以不同 形式被引入台灣,因此該如何評估、比較眾多的婚姻教育方案,亦是需要關 注的議題。以下分別說明評鑑的定義、類型,以及被建議用來評鑑婚姻教育 方案的模型。

一、方案評鑑的定義

Royse、Thyer 與 Padgett(2006)認為,方案評鑑是個實務上的努力,

而非學術性的活動,主要的意圖並非要建立理論或發展社會科學的知識。對 於內容,Duncan 與 Goddard(2005)認為,評鑑是有系統地蒐集有助於做出 合適決策的資訊,其內涵遠超過前測、後測、數字與圖表。雖然對評估的定 義稍有不同,但都包含相似的概念,Newcomer、Hatry 與 Wholey(2004)

認為,方案評鑑是有系統地評估方案的成果,包括持續地監控方案,也包括 對方案帶來衝擊的研究。Powell 與 Cassidy(2007)在分析不同學者的觀點 後,為方案評鑑作出以下結論,亦為本研究所持之觀點:方案評鑑是有系統 地蒐集不同形式的資訊,並且將資訊分析的結果,運用在修正方案、增加效 能並幫助決策上。

二、評鑑的類型

Scriven 於 1967 年將評鑑區分為形成性評估(formative evaluation)與總 結性評估(summative evaluation),將實施議題與方案效用分開討論之後(轉 引自 McDavid & Hawthorn, 2006),形成性與總結性評估就成為方案評鑑中 很重要的概念(Spaulding, 2008)。Powell 與 Cassidy(2007)則將方案發展 前的分析一併討論,成為三大類的評鑑類型。

(一)評估需求與資產

發展完善的方案,在方案之前就已進行完善的分析與規劃。Powell 與 Cassidy(2007)建議對需求與資產的評估(assessing needs and assets)中,

包括對市場(潛在參與者)需求的評估,婚姻教育是以情侶/夫妻為對象,

這群潛在參與者在經營關係上有何需求?社區會支持此方案嗎?是否已存 在其他類似方案?參與者透過方案可獲得甚麼好處?方案規畫者頇清楚方 案發展的目標,日後才能以此評估目標是否達成。

(二)形成性評估

形成性評估(formative evaluation)又稱過程評估(process evaluation),

主要目的在隨著方案執行的過程中,不斷反覆監控方案是否按規劃進行,對 於時機、方法、是否滿足參與者期待等方陎,提供方案設計/帶領者回饋,

以隨時對方案進行修訂。

(三)總結性評估

總結性評估(summative evaluation)所關心的是方案最終整體的結果

(Powell & Cassidy, 2007),總結性評估是關心方案的效力(effectiveness),

並以此決定是否要繼續推行此方案、或減低預算或不再執行此方案。

三、評鑑的模型

Madaus 與 Stufflebeam(2000)從歷史的角度分析不同評鑑模型的發展 背景,將方案的評鑑貣源追溯至 1792 年,Willian Farish 發展以量化的方式 來評估學生的學習表現,但 1900-1930 年代 Taylor 對科學管理概念的強調,

才真正為評鑑的領域帶來衝擊,也讓系統化、標準化的概念引入教育體系 中,強調效率及檢驗;1930-1945 年,被稱為教育評鑑之父的 Tyler,以寬廣、

創新的觀點將課程與評鑑概念化,將評鑑視為是預期結果與實際結果之間的

比較,強調學習者的成效(outcomes)而非執行者的投入(inputs);1946-1957 被 Madaus 與 Stufflebeam 視為是忽略評鑑的年代,除了統計、測驗技術上的 進步之外,評鑑沒有社會性的目標,並未協助判斷需要,也未批判性地評估 社會需要是否被滿足;緊接著的 1958-1975 年,因美國聯邦政府資助大規模 評估課程發展的計畫,導致評鑑領域的發展,其中 Cronbach 對於事後比較 成果的評鑑方式提出批評,他建議以蒐集資訊提供課程方展的觀點來從事評 鑑;1973-1983 評鑑進入專業化的年代,專業期刊與專業學會相繼出現、大 學提供評鑑方法的課程,也出現許多評估模型,包括無特定目標的無目標評 鑑、以經營為導向並強調資訊蒐集的 CIPP 模型、呈現贊成與反對兩方觀點 的抗詰模型、強調參與者觀點的反應式評鑑與自然評鑑等;1983 之後為擴 張與整合階段,評鑑的專業持續發展。

然而,上述所提及的評鑑模式只是其中一部分,並且並非所有的評鑑模 式都適用於對家庭生活教育方案的評鑑。其中周麗端(2004)建議採 CIPP 模式來評鑑家庭生活教育,而 Duncan 與 Goddard(2005)及 Powell 與 Cassidy

(2007)分別在其對家庭生活教育的專書中,建議使用邏輯模式來評鑑家庭 生活教育方案。

(一)CIPP 模型

CIPP 模式為 Stufflebeam 於 1960 年代晚期所提出(Stufflebeam &

Shinkfield, 2007),CIPP 分別是背景(context)、輸入(input)、歷程(process)

與成果(product)四類評鑑的縮寫,此模型可用來評鑑方案、專案、人事、

產品、機構或評鑑系統(Stufflemeam, 2003)。

1. CIPP 的形成性與總結性角色

CIPP 可同時滿足形成性與總結性評鑑的需要(Stufflebeam & Shinkfield, 2007)。在形成性的角色上,CIPP 的四個部分分別討論有甚麼需求?應該如 何滿足?成功了嗎?為方案的利害關係人(贊助者、管理者、政策制定者…)

提供適時有效的資訊。

在總結性評估的角色上,透過形成性評估時所累積的資訊,回答需求是 否被滿足?努力是否是由好的設計與預算所引導?設計是否依需要修正並 完全執行?努力最終算成功嗎?

2. 基本內涵

在 CIPP 中是以核心價值為評鑑基礎(Stufflebeam & Shinkfield, 2007),

例如以「幫助夫妻發展經營婚姻的態度與溝通技巧」為方案核心價值,再依 序討論四類評鑑。

(1)背景評鑑

雖然背景評鑑常被認為是對需求的評估,但背景不應只限定於在特定環 境中對需求,應同時包括問題、資產以及機會的評估,單純評估需求的概念 過於狹窄。

(2)輸入評鑑

輸入評鑑在對替代選擇進路、競爭的行動計劃、人力安排、預算等方陎,

評估可行性及預期的成本效益,來滿足預期的需求與目標。決策者透過輸入 評鑑選擇適合的計畫、撰寫預算計畫、分配人力與物資、安排工作,最終幫 助他人判斷計畫及預算。

(3)歷程評鑑

歷程評鑑在於評估計畫實施的過程,幫助工作人員完成活動,並且協助 評鑑方案的實施與解釋結果。

(4)成果評鑑

成果評鑑包含對於短期、長期、預期、非預期結果的評鑑。幫助工作人 員專注於達成重要的結果,並且最終要協助評估是否滿足預期的需求。

(二)邏輯模型

邏輯模型是另一個被建議用來評鑑家庭生活教育方案的模型,為使方案 利害關係人瞭解方案,也為監控組織的運作,美國聯合勸募、美國紅十字會 等單位,均採用邏輯模型使用於方案的設計、實施以及評鑑的階段(Duncan

& Goddard, 2005;McLaughlin & Jordan, 2004;Powell & Cassidy, 2007)。

1. 理論背景

在評鑑的領域中,邏輯模型又稱為方案理論(program theory)。邏輯模 型是個適合用來說明方案理論的工具,所隱含的假設是,若適當的資源被適 當地轉換成活動,實施於一群適當的對象上,則會帶來方案所設計要達成的 成果(McLaughlin & Jordan, 2004)。

2. 優點

邏輯模型最大的優點,是將模型以一連串的「若」(if)與「則」(then)

關係來呈現;從投入的資源到最終的衝擊,用最簡單的邏輯關係,透過圖解 的方式來呈現其流程。

3. 模型內容

邏 輯 模 型 基 本 的 內 容 為 投 入 ( inputs )、 產 出 ( outputs ) 及 成 效

(outcomes),不同學者依其對名詞的不同定義,對內容的呈現各有其特色

( Logic model development guide, 2004 ; McLaughlin & Jordan, 2004 ; Taylor-Powell & Henert, 2008)。

(1)投入

投入亦可稱為資源(resources),包括方案在人力、時間、金錢、組織、

設備、科技、社區等方陎可取得用以完成工作的資源。

(2)產出

產出可分為活動與對象兩方陎。活動是方案呈現資源的方式,可包括方

案實施的工作坊、會議、提供的服務、產品、教案、訓練、諮詢等等,方案 要透過這些的介入帶來所預期的改變或結果。對象則是方案活動所要接觸的 目標群體,對象則可包括參與者、案主、政策制定者等等。

(3)成效

成效指的是方案後短期、中期、長期所帶來的結果。短期成效放在學習 本身,包括對某概念(例:經營婚姻)的覺察、動機、知識、技巧、狀態程 度上有明確的改變。中期則強調行動,包括行為、實踐、決策、政策、社會 行動的出現。長期的成效亦稱為「衝擊」,是方案對整體情況所帶來的影響,

包括社會、經濟、環境等方陎。

在邏輯關係上,若有資源的投入,則應該有能力為目標團體或個人提供 活動、服務或產品;若能接觸到這些個人或團體,則他們應該會在短期內在 某些特定方陎得到益處;若能達到某程度的短期成效,則可達到中期的成 效;若中期成效對個人、團體、政策制定者達到預期的程度,則可預期達到 最終在社會、經濟、環境上的改變。

由於本研究採用已標準化之 PREP 婚姻教育方案,因此聚焦在對方案成 效與實施過程之評估,分別於以下兩節討論。