• 沒有找到結果。

方案評估之模式與方法

補救教學方案有賴周詳的規畫與實施來達成目的,但是能否達成預期目標更 需要具體有效的評估才能得到證明,方案評估的主要目的在於改善補救教學方案 品質與分享補救教學實施的成果。

本節首先論述教育方案評估之意義及方案評估之目的與標準;接著介紹方案 評估之模式;最後探討教育方案評估之類型與方法。

一、 方案評估之意義

本研究從各項相關的文獻資料中發現,不同的學者對於方案評估之解讀有其 不同之處。以下就相關學者對「方案評估」所提出之定義,說明如下。

吳定(2003)對方案評估作以下的界定:「方案評估」意指政策評估人員利 用科學的方法與技術,有系統地蒐集相關資訊,評估政策方案的內容、制訂及執 行過程與執行結果的一系列活動。

Posavac(2003/羅國英、張紉譯,2007)認為方案評估是一種資料蒐集活動,

他集合了各種方法、技巧及對於人的需求敏感等要素。簡單的說,方案評估的目 的就是改善我們的方案。

黃源協(1999)認為方案評估是一種對方案進行的過程或成果之評定,以審 核所推行的服務活動是否確實地能與計畫目標相呼應、配合。

柯三吉(1998)表示「方案評估」乃是使用社會科學的研究方法來判斷和增 進諸如公共衛生、教育、社會福利及其他方案的設計、監測、效率及效能。

張明貴(1998)指出「方案評估」是評估者應用各種不同的社會研究方法,

用以判斷和增進政策方案制定與執行的效應與效率。

林水波與張世賢(1984)認為「方案評估」的定義為:基於有系統和客觀的 資料蒐集與分析,進行合理判定方案的投入、產出、效能及影響的過程。

歸納上述學者對「方案評估」之定義,本研究將方案評估定義為:方案評估 乃是評估者針對某項方案採用各種的質性方法或量化的方法與科學技術進行資 料蒐集、分析與檢視,以評估方案的內容、執行過程、執行結果,以改善方案的 活動。

二、 方案評估的目的

Posavac(2003/羅國英、張紉譯,2007)認為方案評估的目的就是改善我們 的方案。

吳定(2003)認為方案評估其實是在提供選擇、修正、持續或終止、政策方 案所需的資訊。因此,方案評估之具體目的,說明如下:

(1)作為比較各方案的優先順序之依據。

(2)作為改善方案實施程序之參考。

(3)作為繼續或停止方案實施之參考。

(4)作為其他地方推動類似方案之參考。

(5)作為分配各競爭方案所需資源之根據。

(6)作為接受或拒絕方案所涉及途徑或理論的基礎。

(7)作為累積方案研究相關知識之依據。

(8)作為增刪特殊方案執行策略與技術之參考。

萬育維(2001)則是認為評估方案的目的為:

(1)協助行政資源,將效用最大化。

(2)改善服務素質,檢討並提升服務品質。

(3)確定服務介入和期望成果之因果關係,確保執行時的目標。

(4)證明服務方案目標到達之程度,顯示方案是有效的。

(5)向有關政府部門和資助團體提供交代,以利維持機構的責信。

(6)建立對機構服務與信任的支持態度。

黃源協(1999)指出方案評估之主要目的包括:

(1)為了節省不必要的資源浪費。

(2)為了能達到最大的效益。

(3)為了能滿足最大的福利需求。

(4)為了能迅速達到預期的目標。

張芳全(1999)表示教育層面的方案評估之目的,包括下列五項:

(1)可以了解教育政策方案改進時的問題,並提出改革的方向。

(2)可以要求政府提供教育經費補助。

(3)可以作為公共關係的一環,供教育行政機關延續決策之參考。

(4)可以作為實施程序與方法之參考。

(5)可以掌握教育政策執行的時程,及對教育政策執行後的管制。

吳麗珍(1998)認為方案評估之目的,以理性的角度而言,即是希望透過資 料的蒐集與分析,對方案的可行性、執行情況、執行成果及影響等問題尋求解答,

以作為方案的修正、擴充、繼續或停止之依據。

Kathleen Mclnnis-Dittrich(1997)認為評估方案的目的則有以下幾點:

(1)透過方案評估來檢視機構未來的方案計劃管理。

(2)方案評估有助於機構對於捐款者的責信。

(3)方案評估可確定方案是否出現未曾預期的效果。

(4)方案評估可獲得執行成果的量化的實證資料。

林水波與張世賢(1984)指出方案評估之主要目的在於提供現行政策方案運 行的實況及其效果之資訊,以為政策管理、政策持續與修正或終結的基礎,擬定 未來決策的方針,發展更為有效與更經濟的政策。

Langbein(1980)則認為方案評估之主要目的可歸結於下列六項:

(1)檢視政策方案的執行成果。

(2)作為決策者未來修正方案內容之參考依據。

(3)檢核方案實行後,是否與原目標呼應與配合。

(4)避免執行過程中的不必要浪費。

(5)提供增進方案效益的有效訊息。

(6)掌握方案執行後的管制。

歸納上述學者對「方案評估」目的之定義,本研究將方案評估目的歸納為下 列幾項:

(1)確定方案實施和期望成果之因果關係,確保方案執行時的目標。

(2)協助方案執行單位將資源效用最大化。

(3)了解方案實施時發生的問題,並作為方案實施程序改善之參考。

(4)掌握方案執行後的管制。

(5)向政府部門和資助團體負責,以持續方案的實施。

(6)作為推動類似方案之參考。

三、 方案評估的標準

當我們在選擇,的確需要一些評估標準。在進行方案評估時,必需設定某些 標準,以衡量方案是否達成既定的目標、是否產生預期的影響;這些標準即是評 估之「準則」。簡言之,這些標準即是衡量方案的尺度,藉以用來解釋方案執行 者是否採取正確的方法去做正確的事。因此,方案評估標準的設定,關係著能否 真實地測量出方案達成目標的程度。

有用的方案評估指標及合格標準應包以下幾種條件:Posavac(2003/羅國英、

張紉譯,2007)

(1)能反映方案意圖的成效指標

(2)能反映方案工作者的努力

(3)能被穩定的測量

由於不同的學者所持之觀點不同,使用的評估標準也不盡相同,所著重的焦 點亦有所不同。Dunnc 和 Poister(1994)所提出的六項評估標準分述如下:(引 自吳定,2003):

(1)效能性(effectiveness)

「效能性」即指某方案達成預期結果或影響之程度,亦即達成的實際水準與 原訂的預期水準相互比較,以了解方案是否達成預期的結果或影響。

(2)效率性(efficiency)

「效率性」係指方案產出的效益與所投入的成本間之關係,通常以每單位成 本所產生的效益最大化,或每單位所需的成本最小化為評估基礎。此外,效率性

可進一步分成兩類:技術性效率(technological efficiency ):以最少的成本,完 成方案活 動;亦即在成本受限制之下,尋求方案的期望影響之最大化。經濟性 效率(economic efficiency):方案的整體成本與整體效益之間的 關係;亦即著 重資源的分配與利用,並使人們獲得最大的滿足。

(3)充分性(adequacy)

「充分性」係指方案執行後,能解決問題與滿足需求之程度。一般而言,方 案目標常在執行後,受限於某些非預期因素的影響,致使目標之達成率產生窄化 的現象。因此,評估者應注意方案之標的團體所受惠的人數,以有效評斷方案之 充分性標準。

(4)公正性(equity)

「公正性」係指方案所涉及的資源、利益、成本及效益,是否公平分配之程 度。故一項方案的成功與否,則須考量其能否公平分配資源予各個利益團體。

(5)回應性(responsiveness)

「回應性」係指方案執行結果能滿足標的團體之需求、偏好及價值之程度。

倘若某項方案符合其他所有的評估標準,但未適時回應標的團體之需求,仍然被 視為失敗的方案。因此,在方案制定之初,需考量標的團體之需求而適當調整,

以避免產生反效果或副作用。

(6)適當性(appropriateness)

「適當性」係指政策目標是否適當、對社會是否合適、與預期目標是否一致 的情形,簡言之,旨在評斷方案目標本身的恰當性與重要性。如果方案目標不適 切,即使方案執行之結果符合效能性、效率性及充分性等其他標準,仍然被視為 失敗的方案。因此,「適當性」標準優先於其他項標準。

總結上述內容可知,有效的方案評估,並非僅是簡單的衡量與描述工作,除 了關注其執行成效與價值理念等相關問題,亦應進一步考慮評估標準。然而,評 估之標準眾多,且包含各個不同的面向。

四、 方案評估之模式

經常可見的評估模式可分為下列者這幾種:Posavac(2003/羅國英、張紉譯,

2007)

(一)傳統模式(Traditional Model):在不久之前,學校、醫院、法院等服務機構 的工作者,都還很自由地採用他們自認最好的方式來完成工作,也絕少考慮對他 們的服務成果進行正式的評估。事實上:在缺乏正式評估訓練的情況下,非正式 的資料蒐集和分析即使立意良好,還是很可能受到認知偏誤的影響。

(二)社會科學研究模式(Social Science Research Model):此模式的典型程緒是要 比較參與者與非參與者的差異,再以差異的大小來定義方案的成功程度。一般的 作法是將條件符合的對象隨機分派為兩組,一組參與方案接受服務,另一組則是 沒有接受服務的對照組(控制組),當方案結束後,兩組都在某種適當的依變數 上被觀察或自行報告,然後比較其差異。

(三)產業檢查模式(Industrial Inspection Model):常被運用在製造業裡,藉著檢 查生產線尾端的產品來做評估,如果出現了問題,則該產品將暫時停產停售。雖 然負面的檢測結果確實可以代表某些地方出了問題,但卻無法及時指出問題出在 哪裡,以便及時修正。

(四)黑箱評估(Black Box Evaluation):黑箱也可以稱為密閉箱(closed box),是 指我們只在乎方案的結果而不在乎它內部的操作過程。它還另有其他名稱,像消

(四)黑箱評估(Black Box Evaluation):黑箱也可以稱為密閉箱(closed box),是 指我們只在乎方案的結果而不在乎它內部的操作過程。它還另有其他名稱,像消