第二章、 文獻探討
第四節、 政策評估理論
一項政策不論規劃的再完善、再周全,如不經過政策的執行過程,是無法有 效產生結果的。而政策評估的主要目的就在於檢視一項政策在規劃過程、執行階 段、執行結果是否產生政策正效益或負效益的結果?對於標的團體(大學圖書館) 或使用者社群(讀者)的影響效益是正面的或負面的?該政策經執行結果是有效 的?亦或是一項無效的政策?政策的執行是成功或失敗?滿意或不滿意呢?因 此政策執行與政策評估是有一定的先後順序與遵循的方向的。
一、政策評估的發展趨勢
政策評估雖是 20 世紀來公共政策研究的新領域,然究其根源則可追溯至 1930 年代後的一些社會學、心理學和行政管理學方面的研究。其中最出名的當屬美國 西方電氣公司的霍桑研究(Howthorne Studies),這是一項針對工人行為與工作 效益間的因果關係的實驗結果。政策評估研究發源於美國,歷經二次世界大戰期 間,對美軍在歐洲戰場的士氣及國內物價管控調查研究的大量經驗累積,使得戰 後美國大規模援外計畫的評估頗有成就,尤其是在 50 年代之後,對亞洲地區的 家庭生育計畫及拉丁美洲國家的營養衛生計畫等,政策評估在這方面是有目共睹 的。及至本世紀初,政策評估運用先進的電腦統計,結合科技技術與社會科學調 查方法,使得政策評估為現今世界各國政府在推行或制定公共政策議題時,普遍 積極使用的行政管理方法(柯三吉,1998)。
政策評估應用在公共政策上,主要係檢視一項公共政策,在政策執行前及政 策執行過程中,乃至政策執行後,是否有達到政策在制定時與執行時所欲達成的 目標效果。故政策評估其主要的功能是避免不當的政策或無效益的政策在資源上 的浪費,適時發現並修正政策的誤差(Rametsteiner & Weiss,2006)。
美國學者 Guba 和 Lincoln(1989)在《第四代評估》(Fourth Generation Evaluation)書中,將公共政策評估的演進,依照研究所在場所、研究主要論題、
研究途徑與方法所形成的不同典範,分成四代說明(吳定,2013;丘昌泰,2009;
林鐘沂,2000)。前三代乃為著重量化之評估,第四代則為質化評估,本研究分 別對前三代量化政策評估及第四代著重政策關係人回應性的質化評估說明之:
(一)量化評估
評估乃為許多因素相互影響下長時間演進的結果,評估主要起源乃源於教育
1989)。第一代所採用的方法是將想要測量的變項,放在實驗室中進行評估,並 且控制自變項、自變項以外的因素及測量工具,將測量誤差減到最小。其焦點在 於「衡量」(measurement),強調科學管理,效率為主要的考量基礎(Guba &
Lincoln, 1989;丘昌泰,2009;林鍾沂,2000)。
由於第一代評估之缺失,如僅將學生作為評估的標的,缺少學生以外的資 訊;在實驗室內進行,評估結果難以適用於現實社會等,遂興起第二代評估,乃 在現實環境中進行實驗,並利用隨機化實驗與多項控制,來提高實驗的精確度。
焦點為「描述」(description),以期望的結果作為既定目標,並藉由目標達成 度所回饋的資訊,在過程中修正實驗方案,以達到目標標準,即採所謂形成評估
(formative evaluation)之方式,並著重受評對象活動的客觀描述與現場分析
(Guba & Lincoln,1989;丘昌泰,2009;林鍾沂,2000)。
第二代目標取向的描述途徑亦有若干問題,如評估者僅能在有具體方案目標 時才能進行評估,但方案目標卻往往到方案發展後期才成形;仍著重對方案的敘 述,而忽略對方案價值的判斷等,故促使第三代政策評估發展。其擴大了評估的 範圍,將實驗設計擴展到整個政府所推動的公共政策,以實驗成果做為評估政策 的主要方法論。例如美國紐澤西州進行的負所得稅實驗(Negative Income Tax Experiment)。評估焦點在「判斷」(judgment),強調政策目標本身的價值重要 性,判斷乃成為後 1967 時期評估不可或缺的部份(Guba & Lincoln,1989;丘 昌泰,2009;林鍾沂,2000)。
前三代政策評估皆採量化的實驗評估方法,並利用多變量分析、統計方法等 來確定變項之間的因果關係,盡量使評估結果科學化與標準化。但後來,許多評 估者開始批判先前流行的實驗評估,如 Michael Q. Patton、Guba 和 Lincoln 等 人皆認為,過去實驗評估強調評估者地位,忽略了被評估者的感受,因此主張評 估者與被評估者的夥伴關係。且 Guba 和 Lincoln 認為社會現象是因為社會建 構而存在的,並不像實驗評估所認為的社會現象是客觀具體的存在;他們也反對 實驗評估所稱,能夠透過實驗結果而建立放諸四海皆準的定律與通則,因為所有 真理皆是相對、因時因地而不同。於是 1970 年代之後,開始興起以質化方法為 主軸的第四代評估(丘昌泰,2009)。
(二)質化評估
向(2)無法調和價值的多元主義(3)過份承諾於科學調查的典範。故認為評估者應 該重視目標而非管理的手段,並且要調和社會中的多元價值,即各政策關係人的 觀點,而非僅接受政策制定者的單一價值(丘昌泰、李允傑,2009)。
Guba 和 Lincoln(1989)因而提出第四代的評估途徑以為替代。第四代評 估途徑即為回應性的建構性評估(responsive constructivist evaluation)。
評估的焦點是回應性的(responsive),即評估範圍以及界線乃透過政策關係人 之互動和協商而決定,並認為此種回應性評估能解決大部分前三代評估所產生的 問題。
第四代評估的方法取代過去科學的模式,採用建構的(constructivist)方 法論,在本體論上,建構方法論否定有客觀實體的存在,宣稱實存是由人類意識 所建構出來的;知識論上,否定主客二元論,認為研究發現由評估者與被評估者 的 互 動 而 來 ; 方 法 論 上 , 建 構 式 方 法 論 所 採 取 的 自 然 典 範 ( naturalistic paradigm)拒絕控制、操弄的途徑,而代之以解釋的、對話的過程,透過評估者 與被評估者的互動來建構真實狀態(Guba、Lincoln,1989)。
自然評估途徑主要強調過程評估,其所依據的質化評估方法能夠幫助我們更 為了解多元利害關係人-尤其是方案管理者與執行者-的需求及關切。質化評估 方法亦能提供評估者豐富與第一手的方案執行相關資訊(Chen,1990)。
吳定(2013)認為,第四代政策評估在「評估時會考慮到人類整體的福祉,
並綜合考量政治的、社會的、文化的,即前因後果相關之所有因素;強調結合評 估人員與利害關係者,在彼此互動、協商中進行評估;重視評估過程及結果的公 帄性與公正性」。故評估的焦點在「協商」(negotiation),並肯定受評者的主體 凾能角色(林鐘沂,2000)。
綜合而論,第四代評估主要有兩項特色:(1)回應性:重視對於政策利害關 係人內心感受的回應,內心感受即利害關係團體的要求、關切與議題,故必須認 定政策所涉及到的利害關係團體(2)建構性:方法論強調建構者的方法論,偏重 於質化方式,運用自然調查的方法,來建構政策利害關係人內心感受的回應(丘 昌泰,2013;丘昌泰、李允傑,2009)。
2.回應性評估
回應性評估(responsive evaluation)最早乃由 Robert E. Stake 提倡。
它是一種途徑或評估傾向,很大程度依賴個人對於方案的經驗來做評估。回應性
與議題(issues)。要求乃利害關係人對於方案的喜好,希望政策採納的意見;
關切是利害關係人認為方案可能會引發的負面問題;議題是對於事務的陳述,通 常是理性的個體會不太同意之處,像是障礙、團體困惑,或社會問題等,並特別 注意非預期的回應以及連帶效果。議題可能詢問"可行的標準是否過高?宣傳手 冊會不會讓標的團體對提供的服務感到混淆?"等問題(Guba、Lincoln,1989;
Stake,2004)。
不同利害關係人有不同的要求、關切與議題,評估者要將之找出,並且尋求 他們之間的共識,將之納入評估中。評估者找尋的不僅是方案結果以及影響,還 有遇到的麻煩以及解決方式、方案的優缺點、對於方案的價值等。回應性評估很 少採用工具性的測量方式 來測量服務接受度或利用其他指標來測量官方的目 標,達成度,而是透過對活動的觀察、訪談利害關係者,以及檢閱相關文件,最 後提供方案活動、議題以及相關解釋,讓讀者們可以藉由評估報告判斷方案的優 劣(Guba、Lincoln,1989 ; Stake,2004)。
回應性評估(responsive evaluation)的貢獻乃在於多元性,廣泛透過多 元價值來源以及多元的基礎作出評估,希望納入非正式但評估者卻無法忽視的議 題或關切,來補充官方陳述每每充斥官樣文章的限制(Stake,2004)。
(三)本研究以質化評估為研究途徑
綜合上述評估方法與理論的趨勢演進可知。早期評估理論著重政策成果,多 採量化的研究方法;而近期的評估理論則修正早期的缺失,著重多元價值,改強 調自然的非操縱的評估方式,學者們提出的途徑乃為回應性、建構性評估。而事 實上,無論量化的科學途徑或質化的回應性建構性途徑、自然途徑,皆有其有優 點及限制。不同方案適合何種評估方法,可能會受到評估目的、方案特性、時間 與資源、評估者或利害關係人之價值等因素影響(Chen,1990)。
本研究欲了解大學圖書館在推動館藏發展政策的執行狀況,從執行力層面做 評估,了解政策成效可能產生之原因。而政策執行的能否順利推展,有賴政策關 係人努力與配合,故政策關係人之想法與感受對於理解政策執行狀況甚為重要。
其次,政策優劣非如自然科學有完全客觀之標準,事實應斟酌不同利害關係人之 觀點建構出來,單以評估者角度看待政策問題,將無法得知問題的全貌,故需透
式,尋求相關政策關係人對大學圖書館在推動館藏發展政策的看法與意見。希望
式,尋求相關政策關係人對大學圖書館在推動館藏發展政策的看法與意見。希望