由於後設評鑑中有關「評鑑人員指導原則」可提供校務評鑑倫理發展的起 點。雖然不完整,不廣泛,但相關理論卻可以提供校務評鑑倫理對話的基礎。
該等文件並沒有提供正確答案,或給評鑑人員一個執行業務的標準,但它的確 提供一個指引方針協助評鑑人員思考,當評鑑人員必須做倫理決策時,可幫助 評鑑人員反思。以下說明後設評鑑的意義與目的、以及針對進行教育評鑑時,
不少專家及學者曾設計所謂的「後設評鑑檢核表」供評鑑者使用,而此些檢核表 中的檢核規準所包含的倫理內涵及其意義等進行探討與歸納。玆分述如下。
一、後設評鑑的意義與目的
後設評鑑的概念,源自 1940 年由 Orata 所提出「對評鑑的評鑑」(Evaluating evaluation )( Cook & Gruder, 1978 ) 。 後 來 Scriven 於 1967 年 最 先 使 用”Meta-evaluation”一詞,作為對某項教育成果計畫評鑑的一種評鑑制度,並將 其定義為:「一套評量評鑑、評鑑制度或評鑑工具的流程」,簡言之即「評鑑的 評鑑」(Stufflebeam, 2001b)。隨後 Scriven(1972)更將後設評鑑視為「第二 層級的評鑑」(second-order evaluation)。而 Cook(1974)亦提出「次級評鑑」
(secondary evaluation)的概念,用以檢視「原級評鑑」(primary evaluation)的 資料。之後 Stufflebeam(1974)針對美國俄亥俄州立大學評鑑中心於 1963 到 1973 年實施的評鑑,所面臨如概念、社經、契約∕合法性、技能、管理、倫理道德、
效用性考慮等議題,提出一套後設評鑑邏輯架構,用以瞭解評鑑過程之優缺 點。
Chelimsky(1997)則在評鑑公共政策方案時,將後設評鑑定義為一種重新 分析一個以上評鑑之方法,並用以決定在公共政策或方案評鑑中,評鑑人員與利 害關係人可以學習到什麼,並認為後設評鑑之目的在檢驗原级評鑑( primary evaluation)設計、資料蒐集及分析方法之有效性。之後,教育評鑑標準聯合委 員會(The Joint Committee on Standards for Educational Evaluation, JCSEE),在
訂定方案評鑑的效用性(utility)、可行性(feasibility)、適切性(propriety)及 精確性(accuracy)四類標準時,亦將後設評鑑列入精確性標準要項之一,並界 定後設評鑑之定義為:「評鑑本身應該依據其他三類標準和其他適切的標準,進 行形成性與總結性的評鑑,使實施過程獲得適切的指引,利害關係人也能仔細地 檢視評鑑的優缺點。」(Joint Committee, 1994)
最後,Stufflebeam(2001b)指出後設評鑑的操作性定義為:「針對評鑑的 效用性、可行性 、適切性及 精確性、評 鑑 制度化本身、評 鑑人員能力 行為
(competent conduct)、廉潔/誠實(integrity / honesty)、尊重他人,以及社會 責任(social responsibility),進行敘述性與判斷性資訊之描述、獲取及運用的過 程,目的在正確引導評鑑實施並報告評鑑的優缺點。」(Scriven, 1967, 2001;
Stufflebeam, 1971, 1994, 2004, 2005a , 2005b)
在分析後設評鑑的意義之後,以下列述專家學者針對教育評鑑實施後設評鑑 的目的之相關論點:
Cook(1997)基於政策與評鑑研究的關係,提出實施後設評鑑的八項理由 與目的,分別是:1.降低評鑑結果的不確定性;2.用以獲得另一種觀點和評鑑獨 立的精神;3.突破學術本位的限制,建立科技整合的研究;4.提供多層面的訓練 功能;5.整體評估各種原始評鑑的效果;6.促成知識的累積和多元資料的應用;
7.對傳統知識的質疑;8.增進專業的能力。Smith(1981)則認為實施後設評鑑主 要的目的在於了解及改進評鑑工作本身的理論與實務,其目的包含如下:1.評估 評鑑工作的品質、影響及利用;2.探討評鑑過程的性質;3.糾正可能發生對評鑑 的誤用;4.提供並確保評鑑的績效責任;5.說明及控制評鑑實施時的偏差;6.評 估新的評鑑取向之實用性。
根據 Schwandt 與 Halpern (1988)的研究指出,後設評鑑有兩大研究途 徑,其目的在於分析原級評鑑的方法論是否適當,以及檢視評鑑結論報告是否良 好與正確。游家政(1994)則認為後設評鑑的目的,對決策者而言,可經由資料
的蒐集、分析與利用,協助決策者確認方案評鑑的結論,評估方案的整體績效,
以獲得新的評鑑結論和新知識,作為選擇變通方案的參考。另一方面對評鑑研究 而言,後設評鑑可以協助評鑑者獲得科技整合的學術訓練,增進評鑑時的專業能 力,擴展評鑑研究的領域。吳清山與林天祐(2005)也指出,後設評鑑係針對實 施過的評鑑,就其評鑑本身的目標、系統、內容、 歷程、結果等方面再進行評鑑,
將評鑑所得資料加以描述、分析、應用和判斷,以瞭解評鑑所產生的價值和缺 失,作為下一次辦理評鑑的參考。
通常後設評鑑最主要目的被視為評鑑「評鑑」的品質,後來亦有學者提出有 關後設評鑑另外形式的目的。Cook 與 Straw(1990)除認為後設評鑑的目的在 於確認評鑑過程中任何可能型態的偏差,並採用不同的方法或是統計方法去評估 評鑑的重要性外,他們亦提出後設評鑑兩個主要的議題與目的,一為「評鑑系統 的評鑑」;另一則為「評鑑研究的評鑑」。Stufflebeam(2001b)則認為後設評 鑑 的 運用 可以 有效改善 評鑑實 施( Scriven , 1967, 2001; Stufflebeam, 1974, 2001b),也是決定評鑑是否專業化之主要關鍵(Worthen, Sanders, & Fitzpatrick, 1997)。而Scriven(2004)則更進一步指出,可透過下列途徑進行後設評鑑之資 訊蒐集,以作為檢驗原級評鑑之優缺點、限制及運用:1.運用關鍵評鑑表(Key Evaluation Checklist, KEC),來檢核評鑑過程;2.使用後設評鑑專門檢核表(Special Metaevaluation Checklist);3.重複實施評鑑並比較其結果產出;4.以不同評鑑方 法論實施評鑑,並比較其結果產出;5.對照 AEA 方案評鑑標準。
綜合學者(吳清山與林天祐,2005;游家政 ,1994;蔡麗華,2010;Cook, 1974;
Stufflebeam, 1971, 2000a, 2000b)的觀點,研究者認為後設評鑑即是對評鑑的再 評鑑,亦即對評鑑的規畫、設計、實施、結果等,進 行價值判斷,以了解評鑑的 價值和缺失,並作為下一次改進與有效實施評鑑的 參考。而為評鑑所建構之後設 評鑑標準就是一套能讓評鑑研究者普遍認同的評鑑指導原則,最主要的功用在於 指引及改進評鑑的過程,藉以判斷評鑑方案的品質與價值。
二、後設評鑑檢核表之種類及內涵
自從後設評鑑進入專業化研究以來,不少學者專家或專家團體均投入後設評 鑑標準的研發工作。反觀國內對於後設評鑑標準的研究寥寥無幾,且較少論及校 務評鑑倫理後設評鑑標準。由於本研究所探究之國民中學校務評鑑倫理內涵,在 性質上就是屬於後設評鑑標準研究範疇之一。基此,研究者將國外常被引用、重 要的後設評鑑標準、或是已在使用的評鑑標準檢核表,針對其被廣泛引用且與本 研究主題較有關聯之後設評鑑標準進行探討,先分述其內容,再歸納其內涵。
(一)Harlen 與 Elliot 之後設評鑑檢核表
Harlen 與 Elliot (1982)為提昇後設評鑑的品質,設計了一個後設評鑑檢核 表, 內容主要針對後設評鑑進行時的重點提出問題,以提醒評鑑者隨時注意並 維持後設評鑑實施時的品質。參見表2-4。一般而言,對於已完成的評鑑提出如 表2-4的16項問題,可能會對某些預計要進行評鑑的人們提供有用的事前練習。
雖然有些解釋的理由可能無法為所有的當事人所接受,但評鑑檢核規準的發展與 公佈,可協助人們在評鑑實施前能夠多加思考潛在的問題,而認真規劃評鑑的過 程,以避免造成評鑑後的缺憾。
表2-4 評鑑問題的檢視
1.評鑑是否達到原先提供資料以作為決定或判斷的目的?
2.評鑑的結果產生了什麼決定?
3.評鑑工作的解釋與實施是否與原先的做法一致?
4.評鑑所蒐集的資訊是否適合於評鑑的目的?
5.資訊蒐集的過程中哪些步驟是允許發生偏差、不具代表性、及低信度?
6.實際從事評鑑的人員是否有最佳狀況實施評鑑工作?
7.評鑑使用的方法是否適合所需的各種資訊?
8.評鑑的方法是否有系統及明確?
9.那些提供資訊的人是否同意資訊蒐集的方法?
10.評鑑中是否有充足的時間去蒐集必要的資訊?
11.評鑑是否在最佳時機發生以達成原有目的?
12.評鑑過程有哪些積極的或消極的邊際效益?
13.評鑑過程是否有令人滿意的程序以保障資訊提供者?
14.作為判斷或決定的標準是否有適切而明確的陳述?
15.評鑑報告的方式是否有效地與當事者溝通?
16.評鑑報告對於參與者與決策者激起了什麼樣的反應?
資料來源:出自Harlen & Elliot (1982: 303-304)
(二)教育評鑑標準聯合委員會之方案評鑑標準
教育評鑑標準聯合委員會(JCSEE)是由美國與加拿大地區主要的教育專業 組織所組成。於1975年開始著手進行「教育方案、計劃、教材評鑑的標準」的發 展工作,至1981年完成。可分為效用性、可行性、適切性、和精確性等四大類,
共有三十項的標準(The joint Committee On Standards for Educational Evaluation, 1981)。到了1994年再加以修訂並更名為「方案評鑑標準」,兩個版本間差異其 實並不大,在組織架構上仍維持在四大類30項標準,只是內容稍微加以修改。以 下將此四大類標準的重點及評鑑標準列舉如下(游家政、曾祥榕譯,2005;徐敏 榮, 2008;Joint Committee on Standards for Educational Evaluation, 1994;
Stufflebeam, 2000a, 2000b, 2001a, 2001b, 2001c):
1.效用性標準
效用性標準(utility)的目的在確保評鑑能夠提供有用的資訊,並且具有時 效性和影響力,評鑑者應該向被評鑑方案的參與人員或團體,或負責實施評鑑的 人員或團體提出報告。一方面要求評鑑者熟知與評鑑結果有關的各種利害當事 人,並確認其對資訊的需求,再適時而清楚提供他們相關的資訊,效用性標準共 有七項:U1利害關係人的確認;U2評鑑者的可靠性;U3資訊的範圍與選擇;U4 價值的確認;U5報告的清晰性;U6報告的及時性與傳播;U7評鑑的影響。
2.可行性標準
可行性標準是(feasibility)希望評鑑能在自然的而非實驗的情境下進行,能
可行性標準是(feasibility)希望評鑑能在自然的而非實驗的情境下進行,能