第二章 文獻探討
本章旨在探討教育評鑑理論與實務、我國特殊教育評鑑之發展與我國特殊教 育學校評鑑現況,進而研究評鑑系統的內涵,以作為本研究的背景基礎。
第一節 教育評鑑理論與實務
本節試從國內、外教育評鑑理論發展、學校評鑑理論與後設評鑑理論探究,
以瞭解國內學校評鑑內涵與後設評鑑指標架構,以為本研究參照與立論之架構。
壹、教育評鑑理論發展 一、教育評鑑的發展
Stufflebeam 等人在 1985 年與 Shinkfield 對美國評鑑的發展歷史,提出六 個時期的論點: (一)效率與測驗時期,包括 1900 至 1930 年的發展。 (二)泰 勒時期:從 1930 年至 1945 年。(三)純真時期:從 1946 年至 1957 年。(四)
發展時期:從 1958 年至 1972 年。 (五)專業地位時期:1973 年至 1983 年。 (六)
擴 充 與 統 整 時 期 : 1983 年 至 2001 年 ( 黃 光 雄 , 1989 ;Stufflebeam & Shinkfield,1985;Stufflebeam, Madaus&Kellaghan,2000) 。美國直到 1970 年代,
教育評鑑乃逐漸走上專業之途徑,許多的專業學會、期刊與專書紛紛於 1973 年後出現。
根據相關研究得知我國教育評鑑的形成與發展,可分為以下三個階段:
(一)民國五十五年教育部成立評鑑委員會,針對各項工作研擬評鑑計畫,當
時之「國民教育發展五年計畫」的評鑑報告,堪稱為國內評鑑史上最重要的文
獻,期終報告公佈於民國五十九年為亞洲首創之教育評鑑。此次評鑑不論在基
本觀念、設計、過程、內容、方法及評鑑報告方面,與當時美國積極推行之教
育評鑑無分軒輊,因此可作為亞洲及其他各國之參考。 (二)民國六十二年實
施的大學評鑑,當時評鑑委員以留美歸國學者居多,因此美國的教育評鑑觀念
變成了我國仿照學習的典範。此階段的評鑑一直都是政府在推動的,而評鑑工
作都是由專家直接從事,被評鑑的學校又缺乏主動參與的機會,導致評鑑者與
受評者之間溝通嚴重不足,因此建立共識相當困難,大家關注的焦點仍是評鑑 要公平公正。 (三)民國八十二年後大學評鑑主張由第三者或由學術團體來評 鑑,至於其他各類和各級學校的評鑑方面,仍由政府教育主管機關聘請學者專 家來主導評鑑,對於評鑑結果一直存在著爭議,評鑑委員與受評學校間彼此缺 乏互信機制。
綜合上述歐美各國教育評鑑的歷史發展得知自 1960 年代末期奠定基礎 後,1970 年代開始朝向專業化的方向發展,各國專業學會紛紛成立,積極從 事評鑑專業化之研究,以評鑑發展較為成熟的美國而言,在評鑑人員培育學程 及評鑑人員的認證等方面尚有努力的空間,尤其在評鑑人員認證方面已在研討 自願的認證過程;而加拿大評鑑學會則早已實施認證制度,也同時考量評鑑人 員認可制度,不管認證或認可制度都有學者持不同的看法,但雖然如此美國評 鑑學會仍秉持邁向專業化的原則,繼續推動相關的研究工作,希冀在數年後能 見到推展的成效。
我國中小學學校評鑑自民國五十五年起均由教育主管機關成立評鑑小組 進行外部評鑑至今,很少由專業學術團體來從事評鑑,尤其是中小學學校評 鑑,更遑論特殊教育學校評鑑。但大學評鑑則自民國八十二年開始主張由第三 者或由學術團體來進行評鑑,在我國學校評鑑史上確立評鑑邁向專業化原則,
期望在未來數年能見到我國學校或特殊教育學校評鑑能由具評鑑專業訓練的 評鑑專業學會來進行,讓國內的學校評鑑更符合公平正義原則。
二、評鑑模式的建立
在教育評鑑模式的發展方面,歐美等各國之教育評鑑的研究不斷地蓬勃 發展,方法與技術也不斷地推陳出新,根據國內學者的研究得知主要教育評 鑑模式有下列八種(秦夢群,1997;黃光雄,1989;黃政傑,1993):(一)
目標獲得模式(goal–attainment model):由 Tyler 所提倡。(二)外貌模式
(countenance model):由 Stake(1967)提出,他主張評鑑應兼具描述與判
斷成分。 (三)差距模式(discrepancy model):Provus(1971)認為評鑑係比
較標準與表現兩者間的差距。 (四)背景輸入過程成果的評鑑( context﹐input﹐
process﹐product﹔CIPP) :Stufflebeam(1972)認為評鑑旨在描述、取得及提 供資料,以供判斷或決定方案之用。 (五)評鑑研究中心模式(Center for the Study of Evaluation﹔CSE) :Alkin(1969)認為評鑑係收集、分析資料供決策 之用,最後為確定方案是否終止、修正或推廣的方案授證。(六)認可模式
(accreditation model)﹕Anderson(1991)、House(1991)、Popham(1993)
等人均提倡此一模式,認可模式在建立認可的最低標準,由受評學校自評後,
安排專家前往訪視,如發現缺失則予學校補助或改進機會,並提供複評,以 保障教育品質。 (七)闡述評鑑模式(illuminative evaluation model):此模式 由 Koppelman、 Parlett 與 Hamiltory 等人在 1970 年代所倡導,他們認為評 鑑旨在描述與解釋,而非測驗及預測,其實施程序包括探索、探究、解釋三 個步驟。 (八)司法模式(judicial model)﹕Wolf(1973)利用法庭審案方法,
將政策內容訴諸社會大眾,以求得最客觀判斷,主要功用在於陳述有爭議性 的正反兩面意見。
綜合以上國外評鑑模式得知每一種模式各有其發展背景、功能與適用之 處,因此在實務上應深入了解該模式的理念、實施步驟與原則等,才能避免 其缺失以發揮其功能,使評鑑結果能促使受評單位(者)改進缺失,達到績 效責任的追求。
三、理想評鑑的特性
王保進(2001,2002)認為一個理想的學校評鑑制度應該具備下列之特 性:
(一)評鑑目的是適切的
評鑑的目的最重要的是「追求績效責任」與「改進校務品質」 ,因此在
設計學校評鑑時,宜重視評鑑目的之適切性,應以改進校務品質為首
要目標,強調形成性的評鑑目的,以協助改善學校教育品質,並瞭解
評鑑對學校校務的改進有其重要性。
(二)評鑑歷程是全面的
學校評鑑是針對校務進行整體的評鑑。結合學校發展、學校改善及學 校效能三位一體的學校整體評鑑已日漸受到重視,並逐漸成為學校評 鑑發展之新趨勢。
(三)評鑑標準是具體的
評鑑標準不夠具體與周延,往往是評鑑結果之所以引起爭議或批評的 原因。在實施學校評鑑時,如何建構出合適的評鑑標準,然後分析每 一標準之要素,再依照各要素之性質,建構客觀的評鑑指標,以形成 一套具體的評鑑標準架構,將是影響學校評鑑最基本的議題。
(四)評鑑方式是可信的
學校評鑑採用之方式,除了自我評鑑和訪視評鑑外,亦可包括同儕評 鑑,甚至是追蹤評鑑,整個評鑑是循環、動態、回饋及全面的歷程。
(五)評鑑結果是效標參照的
一般而言,當學校評鑑目的在於確保績效責任時,強調評鑑結果與獎 懲相結合,此時評鑑結果的解釋經常是常模參照的;若評鑑的目的在 強調品質之改造時,則評鑑結果的解釋是效標參照的,因其關注的焦 點在於受評學校是否達成既定的評鑑標準以及瞭解校務運作之缺失。
所以國內學校評鑑之發展不宜採常模參照之結果解釋,因採用則不利 於校務評鑑發展為學校本位評鑑。
(六)評鑑報告是慎重的
基於資訊公開與流通原則,在學校評鑑結束後,會將評鑑報告對外公 佈,讓受評學校加以取得與共享。因此評鑑者對評鑑報告之處理應該 更加慎重,國內一般評鑑的作法會趁在評鑑報告公佈前,先將評鑑的 報告寄送各受評學校,讓各受評學校提出申覆或回應意見,並經評鑑 小組委員做最後討論確認後再行對外公佈評鑑結果。
綜合以上論述得知理想的特殊教育學校評鑑制度應注意下列各項: (一)
應重視形成性評鑑的目的,其目的在協助學校改善校務與確保教育品質,而不 應以懲罰學校為目的。 (二)評鑑指標的建構除徵詢專家學者的意見之外,更 應徵求實務工作者之建議如透過受評學校的全面問卷調查而建構,以符合評鑑 指標的公平性、適切性、有效性及個殊性。 (三)評鑑應重視評鑑前的溝通與 宣導,讓學校有充分時間與學校成員建立共識。 (四)評鑑小組成員應接受評 鑑的專業訓練,以符合評鑑的信度與效度。 (五)評鑑是全面性的診斷校務運 作,應有足夠的時間進行評鑑。 (六)評鑑結束前應向受評學校提出缺失改進 之處,雙方對話、溝通,讓受評學校有機會說明,雙方才能建立互信。 (七)
評鑑結果的公佈不以排名方式呈現,應以受評學校的優點呈現,而各校之缺點 另行通知各校改進並追蹤輔導。 (八)評鑑結果僅供教育主管機關調整政策之 參考,以謀求改善學校經營,而不應以教育政策重大變革如學校體制改變等方 式來懲罰學校。
貳、學校評鑑的理論
國內學者葉啟政(1991)的分析,制度是人為設計有關人類行為之規則形式,
用以規範、制約和定義人際關係及在種種人際關係中的行為,一般而言,學校評 鑑制度所涉及的內容,包括評鑑依據、評鑑目的、評鑑對象、評鑑組織、評鑑委 員、評鑑時程、評鑑溝通、評鑑方式、評鑑方法、評鑑報告的呈現,評鑑結果的 運用,後設評鑑等要素,以下僅探討學校評鑑的意涵、目的、範圍及方式,進而 對學校評鑑的理想要求進行分析及論述。
一、學校評鑑的意涵
吳清山(2000)認為學校評鑑是為了瞭解學校組織運作的成效,透過有系
統的程序,蒐集各種資訊,描述及解釋其優缺點,並進行價值判斷的歷程。經
由學校評鑑的有效實施,期能改進學校缺失,從而提高學校效能與品質,以謀
求教育的健全發展。由此可知學校評鑑是一種手段、方法及策略,其目的在於
提高學校效能及教育品質。從溝通理論分析,學校評鑑更是一種溝通、對話及
協商的動態歷程,可以讓我們重新看待評鑑,如何學習評鑑以及從評鑑中獲得
成長(Guhu&Lincoln,1989;Nevo,2002) 。因此學校評鑑不應被窄化為考核、排 名及控制學校的工具,應該是診斷、改進、激勵、回饋及發展的更宏觀的多重 功能,協助學校辦學績效向上提昇,以確保學校教育品質為目的。
Hopkins(1989)針對學校評鑑與學校改進的三種關係作了以下的分析:
(一)學校改進的評鑑,其目的為評估學校教育目標的達成情形。(二)評鑑 是為了學校改進,其目的為了學校教育過程的改進。 (三)評鑑即學校改進,
將評鑑與學校改進合而為一。由以上可知評鑑與學校改進的關係相當密切。
綜合上述國內外學者的學校評鑑內涵如下:(一)透過評鑑藉以診斷學校 經營的困境及問題,並協助改善; (二)目的在評估學校辦學績效是否達成; (三)
藉著評鑑的溝通、對話及協商之動態歷程,激勵學校以確保教育品質為目標。
二、學校評鑑的目的
Chelimsky(1997)從事學校評鑑的目的方面探討多年,他個人將學校評 鑑的目的分為三大取向: (一)績效導向的評鑑:從評鑑者的立場來看,學校 評鑑的目的在於確立績效責任。 (二)發展導向的評鑑:從被評鑑者的角度來 看,學校評鑑可以是一個具有彈性、回饋及展望的工具,發展並增進學校效能。
(三)知識導向的評鑑:對評鑑研究者而言,學校評鑑是用來尋求事情脈絡、
原因及其現象解釋工具。
吳清山(2002)根據其研究將學校評鑑的目的細分為五項: (一)瞭解學 校運作績效。 (二)診斷學校運作缺失。 (三)改進學校運作缺失。 (四)確保 學校教育品質。 (五)促進學校永續發展。
綜合國內外學者的觀點可知學校評鑑的首要目的應該在於診斷學校運作 的缺失、謀求改進校務、追求教育品質的提昇及學校永續發展方面,其次要目 的才是判斷學校的績效表現,以作為學校校務發展及推動之參考依據。
三、學校評鑑的範圍
學校評鑑是對校務進行整體的評鑑,其範圍應該是相當廣泛,然而就傳統
的校務評鑑而言,大部分是以評鑑各處室的行政業務為主,如教務、訓導、總
務、輔導、人事、會計及一般行政業務,都是學校評鑑的項目;但從學校效能 評鑑的角度來看,學校評鑑的重點在於學生學習的表現、教學品質、環境規劃、
校長領導、家長參與、教師工作滿意度、課程安排、學校氣氛等層面(郭昭佑,
2000) 。
在學校整體評鑑方面,Nevo(1995)詳列了學校品質指標,計有六大領 域 45 項指標,亦可提供學校評鑑標準之研訂,茲列舉如下: (一)學校對社區 及學生的服務:包括學校對社區的服務、社區和家長的投入、學生的社經背景、
學生的資質和特殊的學生團體等 5 項指標。(二)學校願景:包括學校目的和 目標、教學概念、認可政策、統整政策、權威和責任的觀念、評鑑政策及管理 風格等 7 項指標。(三)學校人員:包括教師素質、行政人員素質、支持成員 素質、師生比例、學校人力的運用、教職員發展和在職訓練等 6 項指標。 (四)
物質資源:包括學校規模、學校預算、班級規模、每班教學時數、教室空間、
實驗室和圖書館、電腦設備、運動和休閒設施、景觀等 9 項指標。(五)教育 方案和活動:包括主要的教育方案、選擇性和高品質的方案、特殊學生團體的 方案、課外活動、學習遲緩的巡迴和補救方案、革新和實驗的學校方案、參與 國家和地區的方案、社區和家長投入的方案、自我評鑑和計畫活動等 9 項指 標。 (六)學校成就:包括學校的實力、學生在國家和地區測驗的成就、學生 在研究學習的成就、學生在學校起始測驗的成就、學生在全國競賽的成就、學 校畢業生的成就、專業視導或督學的判斷、家長的滿意度、學校獎勵和國家認 可等 9 項指標。
其實國內在校務評鑑的實務經驗上已相當成熟,根據教育部在 1990 年頒 訂的國民中學評鑑標準中指出學校評鑑的內容包括八個領域,詳列如下: (一)
方針與目標:包含校長辦學信念與學校教育方針、學校執行教育目標的情況;
(二)行政管理:包含計劃研擬、規劃實施、校長領導、組織權力與責任、人
事管理、經費管理、文書管理、財務管理及建築營繕等; (三)人員素質:包
含學校行政人員素質、教師素質、職員素質、工友素質等; (四)校舍與設備:
包含校園、校舍、衛生保健、給水及盥洗設備、廚房、體育設備、圖書館、視 聽教育設備、各科教學設備等; (五)訓導與輔導:包含訓導輔導觀念、計畫 與組織、導師人選、學生生活輔導與生活教育、民族精神教育等; (六)課程 與教學:包含教務行政、課程實施、教學狀況、教具及圖書資料的使用、教學 評量的實施及利用等; (七)親職教育與社區聯繫; (八)學校特色(教育部,
1990) 。此外,近年來台灣各縣市所實施的校務評鑑,在評鑑內容及標準建構 上呈現多樣化,而學校評鑑理論與實務的落差,從評鑑標準的比較分析探討,
則顯得更為凸出。
綜合國內外學者得知國內學校評鑑(包括特殊教育學校評鑑)的範圍大致 分為行政業務、成員、硬體設備、教學及其他等五個層面,在行政方面包含教 務、訓導、總務、輔導、人事、會計及一般行政業務的組織運作,在成員方面 包含學校行政人員素質、教師素質、職員素質、工友素質等,在硬體設備方面 包含校園、校舍、衛生保健、給水及盥洗設備、廚房、體育設備、圖書館、視 聽教育設備、各科教學設備等;在教學方面包含課程實施、教學狀況、教具及 圖書資料的使用、教學評量的實施及教學檔案的利用,在其他方面包含親職教 育與社區交流活動及學校特色。
四、學校評鑑的方式
學校評鑑的實施,不外乎有學校本身自行辦理、由教育行政機關或外部的 評鑑組織來執行及同一層級的學校來評鑑,因此學校評鑑方式可歸納為下列四 種方式:
(一)自我評鑑:以學校為單位,基於實際的需要,組成校務自我評鑑小組,
定期對各處室的業務及教師教學辦理評鑑,以便了解校務運作情形,
此種學校自我評鑑的方式,有助於學校的自我反省、檢討與改進,讓 學校校務永續成長與發展。
(二)同儕評鑑:進行學校評鑑時,可尋找夥伴學校,進行兩校或數校間的
交互評鑑,相互觀摩、學習與成長。
(三)外部評鑑:由教育行政機關聘請專家學者組成評鑑小組,分別到學校 進行訪視,透過簡報、檢視相關資料、參觀校園、家長及師生個別訪 談、問卷調查及綜合座談等程序,以便了解校務運作。
(四)追蹤評鑑:以學校角度而言,針對學校自我評鑑所發現的問題,研擬 改進措施,確實督導執行,並定期追蹤其改進情形。以教育行政機關 角度而言,針對外部評鑑小組評鑑結果,將績效較差的學校列為追蹤 輔導對象,一學期或一學年以後,再到校追蹤評鑑,以便輔導並協助 學校不斷改進與發展。
綜上所述得知目前國內所進行的學校評鑑均採學校自評、外部評鑑及追蹤 評鑑等方式,而在特殊教育學校評鑑方面除了學校自評與外部評鑑外,尚無追 蹤評鑑,未來特殊教育學校在評鑑實施後能輔以追蹤評鑑,才能協助特殊教育 學校辦學不斷的改進與發展。
參、後設評鑑(meta-evaluation)的理論 一、後設評鑑之意涵、目的與功能
後設評鑑係評鑑的評鑑,也就是對某次評鑑活動進行有系統的蒐集相關資 訓,根據既定的標準而探究的歷程。即將原來評鑑者置於受評鑑的位置,而對 原來的評鑑者與其評鑑活動進行價值判斷(Scriven,1967) 。一般而言,後設評 鑑又可分為「形成性(formative)後設評鑑」與「總結性(summative)後設 評鑑」兩種。1991 年 Scriven 提出後設評鑑的實行,就好比是學術研究結果發 表前的檢核過程,目的在檢視研究過程與結果的適當性或信效度問題。另一方 面代表「權力的平衡」的意涵,讓評鑑朝向公平性與確實性邁進。如此可增加 評鑑效度、減少評鑑副作用,並提昇評鑑者的評鑑表現水準(引自許韡穎,
2002) 。
國內侯光文(1999)認為後設評鑑若以研究對象來詮釋,則教育評鑑是以
受教者的變化和造成這些變化的各種因素為對象進行研究和評鑑,而後設評鑑
則是把教育評鑑本身當作對象來加以研究和評鑑。
綜合以上國內外學者定義得知後設評鑑是針對原級的評鑑規劃、方法、工 具、指標和組織及評鑑者背景、專業、經驗作研究背景基礎而進行探究的系統 化歷程,以促使學校評鑑能符合權力的正當性及社會正義規範,進而發揮評鑑 的功能與效能。
其次後設評鑑的目的在於確保教育品質控制或品質保證目標實際運作情 形之確實性。至於後設評鑑之功能,是在評估評鑑本身是否有偏差、技術性錯 誤、行政的困難、成本過高與結果誤用,降低受評單位與評鑑團體間因資訊不 對稱而產生的成本等問題;而後設評鑑之實施可確保評鑑的品質,並使評鑑的 實施能夠獲得改進,具形成性評鑑與總結性評鑑的雙重角色。
二、後設評鑑之標準
自 1994 年後設評鑑理論發展逐漸成熟,其中尤以美國教育評鑑標準委員 會(簡稱 JCSEE)對後設評鑑的發展具有相當的影響(Worthen,Sanders&Fitz- Patrick,1997) 。近年來各國莫不以美國教育評鑑標準委員會(JCSEE,2000)
提出的效用性(utility)、可行性(feasibility)、適切性(propriety)與精確性
(accuracy)等四大類主標準來探討,其次又細分為 30 項的次標準。
Stufflebeam(2000)探討西密西根大學評鑑中心所提出後設評鑑之方法 論,針對後設評鑑之定義、實施流程、執行步驟等部份,進行詳細之闡釋與分 析及提供執行項目之工作清單,所採用之後設評鑑標準為效用性、可行性、適 切性及精確性,可供國內研究者之參考。而國內近幾年來在此領域的研究與探 討也著墨不少,茲將國內相關研究內容整理如表 2-1。
綜合國內外學者的探討得知實施後設評鑑,對於教育品質之提昇與改善有
其重要性與必要性;近年來國內學校評鑑也深受後設評鑑制度之影響,並與提
昇評鑑成效息息有關。國內外學者之研究多採取效用性、可行性、適切性與精
確性等四個項目,作為後設評鑑之分析架構。發現國內的後設評鑑相關研究也
大多數參酌國外 ERS 的「方案評鑑標準」和 Joint Comittee(1981)的四大標
準:效用性、可行性、適切性、精確性來建構完成後設評鑑標準。
表 2-1 後設評鑑相關研究一覽表 研 究 者
( 西元)
研究主題 後設評鑑工具(標準)之基礎
1 游 家 政(1994) 國民小學後設 評鑑標準之研 究
參酌自 ERS 的「方案評鑑標準」和 Joint Comittee(1981)
的四大標準建構完成國民小學後設評鑑指標:規劃、設 計、實施、資料分析、報告與結果利用。
2 曾 淑 惠
(1996)
我 國 專 科 學 校 後 設 評 鑑 之 研 究
參酌自 ERS 的「方案評鑑標準」和 Joint Comittee(1994)
的四大標準:效用性、可行性、適切性、精確性。
3 賴 志 峰
(1997)
台 北 市 幼 稚 園 後 設 評 鑑 之 研 究
參酌自 ERS 的「方案評鑑標準」和 Joint Comittee(1994)
的四大標準:效用性、可行性、適切性、精確性。
4 林 劭 仁
(2000) 我 國 高 級 中 學 後 設 評 鑑 指 標 之研究
參酌自 ERS 的「方案評鑑標準」和 Joint Comittee(1994)
的版本建構後設評鑑指標:評鑑規劃階段、評鑑設計階 段、評鑑實施階段、評鑑結果階段、結果利用與檢討階 段等五項。
5 蘇 錦 麗
(1997)
八 十 六 學 年 度 大 學 綜 合 評 鑑 試 辦 計 畫 成 效 評估之研究
黃政傑、李隆盛及游家政(1994)所建構之後設評鑑標 準包括規劃階段、設計階段、實施階段、資料分析階段、
報告處理及結果運用階段等六項(參酌自 ERS 的「方案 評鑑標準」)
6 鄭 友 泰
(2001)
桃 園 縣 身 心 障 礙 班 特 殊 教 育 評 鑑 實 施 現 況 之調查研究
問卷架構向度與項目係參考自游家政( 1994)「國民小學 後設評鑑標準之研究
7 蘇 慧 雯
(2003) 台 北 市 幼 稚 園 後 設 評 鑑 之 研 究
參酌美國 1994 年教育評鑑標準委員會(JCSEE)之後設 評鑑標準及評鑑研究學會的「方案評鑑標準」:評鑑目標 的重要性、評鑑設計的合適性、評鑑實施的妥當性、評 鑑結果的品質與重要性等四項
8 胡 斯 淳
(2003) 國 民 小 學 身 心 障 礙 特 殊 教 育 評 鑑 後 設 評 鑑 知覺研究
參酌美國 1994 年教育評鑑標準委員會(JCSEE)之後設 評鑑標準
9 穆 慧 儀
(2003)
國 民 中 學 後 設 評 鑑 之 研 究 — 以台北市為例
參酌自 ERS 的「方案評鑑標準」和 Joint Comittee(1994)
的四大標準:效用性、可行性、適切性、精確性。
資料來源:作者自行整理
三、國外後設評鑑標準之代表方案
國外後設評鑑標準之最具代表方案以 Joint Committee 之「教育方案、計 畫、教材評鑑的標準」以及評鑑研究學會(The Evaluation Research Society,簡 稱 ERS)之「方案評鑑標準」和教育評鑑較為相關。到了 1994 年這兩套標準 分別有了新修訂的版本,前者更名為「方案評鑑標準」 ;而後者在 1994 年發展 出「評鑑人員的指引原則」 (Guiding principles for evaluators),以下分別敘述 這兩套後設評鑑標準:
(一)Joint Committee 之方案評鑑標準
此方案評鑑標準共包括四大標準以及隸屬於四大標準的三十項細標準
(詳見附錄一) , Sanders 認為這套標準除在 1989 年通過美國國家標準機構 認可外,並在 1994 年通過美國國家標準機構(the American National Standards Institute,簡稱 ANSI)的核准,可見該標準的建立過程與內容具備相當的嚴謹 度及信效度(引自許韡穎,2002)。
(二)AEA 之評鑑人員的指引原則
AEA 係在 1986 年由 ENet 及 ERS 兩大評鑑組織合併成的協會。之後 AEA 成立工作小組發展「評鑑人員的指引原則」 ,在經過草案擬定、文件彙 編、小組討論修改、所有成員提供回饋、年度會議座談會的討論、工作小組 分析彙整所有回饋等階段,於是在 1994 年 1 月完成完整的指引原則,本指 引內容詳見附錄二(Shadish et al,1995)。
以上兩套評鑑標準對專業行為的注重焦點有所不同,AEA 的原則著重 專業的價值觀,而 Joint Committee 的標準則著重專業的表現。因此透過美 國兩大評鑑協會的提醒,強調評鑑結果的正確性、重視利害關係人、社區與 社會服務的提供等,提昇評鑑的執行品質以符合公平性與有效性,並重視評 鑑者適當的專業行為成為國內近年來教育評鑑專家學者發展適用於本土教 育評鑑的後設評鑑指標系統之參考。
四、探討國內學校評鑑後設評鑑指標架構研究
國內三套後設指標建構基礎,包括 2001 年林劭仁的「我國高級中學後設 評鑑指標」 、1994 年游家政的「國民小學後設評鑑標準」及 2002 年許韡穎的
「特殊教育後設評鑑指標之建構」都是採取 ERS「方案評鑑標準」的指標進行 建構完成的。此外,許韡穎以某文獻裏已建構完成的指標作為本研究之指標架 構,再參酌其他文獻或專家想法融入指標內容,並直接取自參與評鑑經驗者的 想法,對接受評鑑人員較易產生親切感,以增加受評者最高的認同度,進而提 昇指標的接受度。
茲比較國內三位後設評鑑指標建構研究者發現特殊教育領域所建構出的
後設評鑑指標與一般普通學校的後設評鑑指標顯然不同,在指標項目與權重建
構方式部分,普通學校僅採用得懷術而已,但特教部分除了採用得懷層級程序 法外,且運用訪談法,可謂質化與量化兼顧。而在指標建構結果部分,普通學 校也與特教學校不同,茲就後設評鑑指標建構相關研究列表比較,如表 2-2。
表 2-2 後設評鑑指標建構之相關研究比較
研究名稱 指標建構基礎 指標項目建構 方 式 / 指 標權重建構 方式
指標體系建構流程 指標建構結果
游家政
(1994)。
國民小學 後設評鑑 標準之研 究
ERS 的方案評 鑑標準:Joint Committee
(1981)的四大 標準
得懷術/本 研究無權重 建構
1.問卷初稿的研擬。
2.召開專家座談會修改初稿,以 完成問卷編製。
3.以十三位得懷術小組成員為對 象,進行三回合的得懷術問卷 調查。
4.召開得懷術小組座談會確認研 究結果。
分為規劃、設 計、實施、資料 分析、報告與結 果利用等六層 面,共 77 項標 準。
林劭仁
(2001)。
我國高級 中學後設 評鑑指標 之研究
ERS 的方案評 鑑標準:Joint Committee
(1994)的四大 標準
得懷術/因
素分析法 1.問卷初稿的研擬。
2.以二十一位得懷術小組成員為 對象,進行二回合的得懷術問 卷調查。
3.問卷調查後,以因素分析法建 構指標權重。.
分為規劃、設 計、實施、結 果、結果利用與 檢討等五大一 級指標,與下轄 的 15 項二級指 標、63 項三級 指標。
許韡潁
(2002)。
特殊教育 後設評鑑 指標之建 構
ERS 的方案評 鑑標準:Joint Committee
(1994)的四大 標準
AEA 之評鑑人 員的指引原則
得懷層級程 序法/訪談 法
1. 調查問卷:研擬特殊教育後設 評鑑指標建構問卷(一)和(二)
及特殊教育後設評鑑指標權重 調查問卷、問卷呈現方式係採 層級分析法的理念概念而得。
2.由 12 位 DHP 專家群體意見形 成,一次對指標的重要性進行 三個層次兩兩成對比較。
3.依訪談大綱訪談六位評鑑現場 實務者進行深度訪談。
分為評鑑者、評 鑑項目、評鑑功 用、評鑑形式及 評鑑結果等五 大一級指標、與 下轄十八項二 級指標、九項三 級指標。
資料來源:作者自行整理
綜合上述研究得知三位研究者均採用 ERS 的方案評鑑標準:Joint Committ- ee(1981、1994)的四大標準,所不同的是許韡穎研究者又參酌了
AEA 之評鑑人員
的指引原則,發現國人對上述兩套評鑑標準不易接受,因此捨棄不用已發 展完成的指標架構和內容,完全以訪談內容所歸納的看法概念為指標架構,因 此所建構出來的後設評鑑指標比較容易讓特殊教育工作者所認同與接受。
本研究針對全國特殊教育學校評鑑的研究指標參酌國內三位研究者的研
究,但因屬特殊教育領域,而特殊教育所強調的教育理念重點更應納入項目中
研究與探討,促使國內特殊教育學校評鑑符合效用、可行、正當和準確性,因 此研究者擬以評鑑目的、評鑑設計內容、評鑑實施過程及評鑑結果的運用來作 為本次研究之面向。
第二節 我國特殊教育學校評鑑發展
本節擬探討我國特殊教育評鑑的發展與我國 92 年特殊教育評鑑現況,以深 入瞭解我國特殊教育評鑑的模式、意涵與目的、原則、指標與現況等,以作為研 究討論的文獻基礎。
壹、我國特殊教育評鑑的發展 一、我國特殊教育評鑑的模式
我國特殊教育評鑑模式包括:CIPP 評鑑模式、評鑑研究中心模式、差距 模式以及自然評鑑模式(naturalistic approach)等(秦夢群,1997;孫淑柔,
1998;黃光雄,1989;黃政傑,1993;郭昭佑,2000) 。茲分別說明如下:
(一)CIPP 評鑑模式:是結合前述幾類評鑑模式之精神,現被廣泛應用於教 育評鑑領域,而此模式運用於特教評鑑之內容如下(洪照榮,1999):
1.背景評鑑:在校長部分:是否具備正確的特教理念、高度的服務熱忱及 卓越的領導能力、學校行政的協調度與依法行政部分、事先全盤性的規 劃特殊學生的教育、篩選工具與方法是否適當、是否提供無障礙學習環 境及特殊班教師與普通班教師之間有無良好的互動等均屬於背景評鑑 部分。
2.輸入評鑑:如有無合格及服務熱忱的特教班教師、教師持續不斷的自我 進修以增進專業知能、特教經費有無專款專用、是否研發教材、製作教 具、有效瞭解社區資源並充分運用及提供專責單位負責學生家庭諮詢與 輔導等部份評鑑。
3.過程評鑑:評鑑項目如下:學校能否按部就班達成各項計畫、能否依照
正確程序篩選與安置學生、是否針對學生的個別需要設計個別化教育計
畫、進行多元評量- 標準化工具、晤談、觀察及經常性的主動安排與普 通班互動等。
4.成果評鑑:其細項包括:短期目標與長程目標的達成程度、特殊教育學 生的轉銜計畫是否落實、社區大眾對特殊班的反應如何、學校教學績效 的自我評定及上級對特教班的經營的評定等。
(二)差異評鑑模式
差異評鑑模式亦可應用於特殊教育評鑑領域。此一模式是基於任何的評 鑑方案存在一種「標準」 ,任何不同於評鑑標準者即被稱之為「差異」 。教育 工作者比較評鑑標準與現實表現間的差距,以作為計畫與改進之依據(孫淑 柔、王天苗,2000)。差異評鑑模式被使用在評鑑有下列幾種:計畫和實際 的經營之間的差異、預測和實際計畫結果之間的差異、推測差異的相似部 分、計畫的組織。在差異評鑑模式中的五個步驟為設計、制置、過程、成果 及方案比較,如表 2-3。
表 2-3 差異評鑑模式(DEM)的五個步驟
步 驟 描 述 設 計 描述評鑑的本質:
1.方案的目標
2.成員、學生和其他需要達到的目標 3.教學活動
制 置 比較造成計畫和被認為的是甚麼?以標準與事實比較決定 差異。
過 程 決定是否能達到目標。 (決定是差異所發現的)
成 果 注重方案是否達到預期的目標(標準包含後段學生的成就)
方 案 比 較 和其他相似的方案比較 資料來源:引自鄭友泰(2001:12)
(三)評鑑研究中心模式
最先由美國洛杉磯加州大學的評鑑研究中心提出,由決策單位委託公正
客觀之專業評鑑中心,經由選擇資料、蒐集與分析資料,由評鑑中心向委託
單位提出報告,國內現有之「國立新竹師院教學與學校評鑑研究中心」即屬
此類可提供評鑑專業服務之機構。在特殊教育評鑑領域目前無專業之「評鑑
中心」 ,但都由教育部委託師範院校特教中心進行各類「特殊教育評鑑」應 可廣義被定義為「評鑑研究中心模式」 。
(四)自然評鑑模式
自然評鑑模式主張透過評鑑人員直接進入現場直接觀察與訪談,強調多 元實體及評鑑主客體間的互動與交融,而揚棄過去制式的評鑑方案來實施評 鑑。以輔導與改進為目的的特殊教育評鑑,應可運用此一模式,先在教學情 境進行一段時間的觀察,並配合與教學者的晤談與訪談,以實地自然評鑑模 式進行之。
綜合上述學者論點可知特殊教育評鑑常用的模式有下列幾種:CIPP 模 式、差異模式、評鑑研究中心模式及自然評鑑模式等。其中在國外近幾年的學 校評鑑模式大部分採認可模式,特殊教育學校評鑑也應傚仿學習外國的認可模 式,但專責的外部評鑑機構目前在國內尚未成形,所以國內一般均由政府教育 主管機關聘請學者專家來進行外部評鑑,因此常產生受評學校對評鑑結果的不 信任與質疑,彼此之間懷有敵意,造成受評學校一直不喜歡被評鑑,認為勞師 動眾、形成大拜拜以及增加教學以外的負擔等,這些都是阻礙國內特殊教育(教 育)評鑑工作推動的因素,未來如何在國內設置專責的評鑑機構及培育評鑑人 員的專業與素養,獲得受評學校認同與肯定的評鑑結果,成為今後評鑑研究與 發展的重點。
二、我國特殊教育評鑑意涵及目的
(一)特殊教育評鑑之意義
林三木(1993)指出特殊教育主管機關對特殊教育計畫或活動所作的
價值評量及判斷。評量特殊教育工作內容,如行政協調、福利服務、相關
專業人員、軟硬體設施、課程設計及教學活動等項目,所做的價值判斷與
未來發展方向之建議。因此在特殊教育評鑑時應注意下列具體事項:學生
學習指導的成果、研發教材教法、專業團隊的運作、職業教育成果、實施
個別化教育計畫、提供無障礙學習環境及社區交流活動等。
綜合上述特殊教育評鑑的意義是依據身心障礙學生的個殊性以協助其 在生活、學習與生涯上的成長,提供完善的專業團隊服務與無障礙的環境,
確保特殊教育品質與學校辦學的績效,更需結合社區資源協助學生獨立生 活於社會中。
(二)特殊教育評鑑之目的
我國教育部在民國七十二、七十七、八十九與九十二年,各舉辦過特 殊教育評鑑,對特殊教育經營的實況作價值判斷,藉由評鑑以促進特殊教 育品質的提昇。茲將這四次的特殊教育評鑑(訪視)的目的簡述如表 2-4
(教育部,1983,1988,1990,1993)。
表 2-4 教育部辦理特殊教育評鑑(訪視)目的
民國 72 年「第一次特殊教育學校評鑑」之評 鑑目的
民國 77 年「特殊教育 學校教學及設備評鑑」
之評鑑目的
民國 89 年「教育部訪視 直轄市及縣市國中小特 殊教育」之訪視目的
民國 92 年「全國特殊 教育學校評鑑」之評 鑑目的
1.有系統第推展特殊教 育工作,以提高特殊 教育素質。
瞭解教育行政機關對 特殊教育學校之投資 效益。
協助直轄市及縣市建立 國民小學身心障礙類特 殊教育班之評鑑制度。
瞭解特教學校之運 作,針對所發現之問 題與困難提出具體可 行之解決策略方案。
2.為瞭解現狀,發現缺 點或偏頗現象,使特 殊教育邁向新境界。
對現有特殊教育學校 辦理現況、績效、需 求、困難及未來發展作 通盤之瞭解,可作為新 設學校之依據。
督導直轄市及縣市加強 國民小學身心障礙啟智 類特殊教育班
探就目前各校所提供 之特殊教育服務,在 質與量上能否符合身 心障礙學生之需求。
3.瞭解主管教育機關補 助款之運用是否符 合特殊教育需要。
透過評鑑作為提昇教 學品質、憑撥補助款、
增設特殊教育學校之 幼稚部、高職部、專科 部。
協助直轄市及縣市解決 現有身心障礙啟智類特 殊教育班之問題
激發特教學校教育人 員士氣,提昇教學品 質,促進專業成長。
4.促使特殊教育行政體 系正常運作,廣收特 殊教育功能。
規劃師資培育與任用 及規劃職業教育等之 參考依據。
獎勵直轄市及縣市積極
推展各類特殊教育績效 導引特殊教育學校朝 精緻化、特色化及社 區化發展,回應社會 對特殊教育改革之期 望。
5.瞭解目前各類特殊教 育學校經營實況,作 為研訂「特殊教育 法」之參考依據。
依據訪視結果,提供我 國國民小學啟智類特殊 教育班改革之願景與方 向。
瞭解特殊教育學校配 合教育政策與執行情 形,提供教育行政機 關擬定特殊教育未來 發展方向之參考。
資料來源:作者自行整理
綜合表 2-4 得知,主管教育行政機關在實施特殊教育評鑑時,其評鑑目
的在評估特殊教育品質,以作為改進之參考依據,而重點不在比較特殊教育
設施的優劣與評比各校辦學績效之優劣等第,主要的目的為診斷特殊教育學
校辦學情況及所面臨的問題,提供教育行政主管機關參考,以謀求特殊教育 之因應策略與改進之道,並提升特殊教育品質等,以建構我國優質之特殊教 育的願景。
三、特殊教育評鑑原則與程序
(一)特殊教育評鑑的原則
特殊教育評鑑是一複雜的歷程,身心障礙者因個殊性大而造成各類別間 所評鑑的項目和標準差異性大,導致在評鑑中會遭遇許多不同的變數,因此 必須先確定評鑑的原則,於實施評鑑時更應注意各類別不同的評鑑向度,才 能使特殊教育評鑑達到有效性。職是之故,綜合學者林三木的特殊教育評鑑 原則應包含以下幾點:
1.要樹立正確的特殊教育觀念。
2.要訂定明確的評鑑目標以兼顧量化及質化的評鑑原則。
3.研究與擬定不同類別的評鑑標準。
4.評鑑項目應兼顧特殊教育領域的各種要素。
5.評鑑人員間應有足夠的時間作適當的溝通並具備評鑑的專業知識。
6.評鑑的方法宜採用適合各類特殊教育對象之多元評量方法。
7.評鑑前學校(班)應先自我評鑑。
8.應避免造成評鑑成效不佳的因素如缺乏合適的評鑑評鑑理論、缺乏評鑑 標準及適合不同層次的評鑑方式、缺乏組織、處理和報告評鑑資訊的機 構及缺乏受過專業訓練的評鑑人員等。
9.重視評鑑後的追蹤研究與輔導。
10.充分發揮特殊教育行政決策的功能。
綜合上述的評鑑原則可知,具有正確的評鑑觀念、繼續研究評鑑理論與
技術、研究評鑑指標的建構、改進評鑑實施的方法和程序以及加強評鑑人員的
協調、溝通與專業素養,並給予充分的時間評鑑,最後依據評鑑結果,提出遭
遇的困境及解決策略,對於績效不彰的學校實施追蹤輔導,促使評鑑能正確地
診斷學校組織各階層的運作情形,由所蒐集的資料來瞭解教育目標和成效達成 的程度,在評鑑時掌握這些原則則評鑑成效較易達成。
(二)特殊教育評鑑的程序
由於各國文化背景的不同,其評鑑過程與方法也不盡相同,.1999 年 Owen 提出方案評鑑基本上包含以下的活動(引自鄭友泰,2001) :
1.提出方案的問題。
2.設定有效的標準。
3.設計評鑑和選擇參與者。
4.蒐集資訊。
5.分析資料。
6.報告結果。
林三木(1993)將評鑑程序分為:
1.準備階段:作好決定目標確立範圍、擬定重點、設計程序、舉行試評、
修正定案、公佈周知、溝通觀念、學校準備。
2.評鑑階段:做好各校自我評鑑、交互評鑑及專案小組評鑑。
3.追蹤輔導階段:做成價值判斷、整理報告、制定決策、督導改進及追蹤 考核。
陳漢強(1997)則認為評鑑程序可分為四個階段:
1.訂定標準。
2.自我評鑑或稱自我管理。
3.實施評鑑或訪問評鑑。
4.追蹤評鑑。
綜合以上國內外學者探討的特殊教育評鑑程序如下:1.準備階段包括 提出評鑑目的、評鑑標準、項目的建構、擬定重點、設計程序及宣導等事項;
2.學校自評階段;3.外部評鑑階段:由評鑑小組到校評鑑;4.提出學校改進
策略並定期報告實施進度或駐校輔導。
四、特殊教育評鑑指標
國內過去一直缺乏有系統地建構普通教育評鑑指標,因此更遑論特殊教育 領域指標的建構。但是國內學者認為特殊教育指標的建構可以提供更客觀、公 平的參考資訊,有助於特殊教育品質的提昇(張鈿富,1999)。所以國內特殊 教育實有必要建立一套完善、有效、適切且架構分明的指標系統,以供縣市及 中央政府在辦理特殊教育評鑑工作及特殊教育學校經營之依據,透過學校評鑑 以促進特教辦學品質,進而提昇特殊教育的品質。因此茲針對特殊教育指標之 建構,綜合國內、外學者特殊教育指標系統之研究說明如下:
(一)美國加州教育廳(California State Department of Education,1988)提供 特殊教育課程、教學情境、教學過程等三個領域的指標,如表 2-5。
表 2-5 美國加州教育廳特殊教育指標系統
領 域 特 殊 教 育 指 標
課 程 1.發展性/學術性技巧、個人的/社會的技巧、溝通的/經濟的技巧。
2.符合各類別、各種程度障礙兒童的適當課程。
教學情境 1.普通、特教教師及相關人員通力合作,提供特殊教育學生教育的機會。
2.提供完整的連續性教育及相關服務,以適應所有特殊需要的學生。
3.透過政策、教師學生的活動,形成具有吸引力的學習環境。
4.提供機會並鼓勵教師與家長維持持續性的互動與溝通。
5.依據學生障礙程度、改變師生比率。
6.在最少限制環境中完成教學目標。
7.儘可能在一般學校或社區環境實施特殊教育,以符合學生個別需求。
8.在普通學校設立特教班,以促進混合和社會互動。
9.所有學生皆能使用學校的設唄。
10.實施親職教育。
11.在教學中教師應為學生示範技巧,並施予特殊需要學生技巧的訓練。
12.各機構間相互諮詢的方法。
13.施與特殊教育教師及相關人士在職訓練。
14.辦理教學觀摩會,以增進教學效率。
教學過程 1.依課程本位評量學生學習結果。
2.依據個別化教學方案,實施教學評量。
3.教師應用評量––教學––評量模式。
4.促進學習類化。
5.隨時反應學生的進步情況。
6.應用適合學生學習能力的教材。
資料來源:引自鄭友泰(2001:13)
(二)美國區域資源中心(Mid–South Regional Resource Center)於 1986 年
將特殊教育指標分成六個主要領域為哲學、政策與過程、教職員與領 導方式、親職互動、教學、方案的成效與學生學習成果等,如表 2-6。
表 2-6 美國區域資源中心特殊教育指標系統
領 域 特 殊 教 育 指 標 哲 學
政 策 過 程
包括地方教育機構的哲學思考,整體方案的方式與過程、最少 限制的環境、課程與教學、學生的態度、家長的態度與社區的 態度、方案計畫的協調與溝通。
教 職 員 與 領 導 方式
包括教職員的特質、態度與相互之間的關係、進修機會、特殊 教育方案與教學的領導方式。
親 職 互 動 家長參與及社區與機構間的交互作用。
教 學 包括教學方案、教學計畫、教學時間、教學實施、學校與班級 氣氛。
方 案 的 成 效 與 學生學習成果
包括入學率、休學率、輟學率、畢業率、學業成就、升學率、
自我照顧的能力、學生的滿意度、家長的滿意度、學校人員(老 師、行政人員、專家)的滿意度、雇主滿意度、社區的滿意度、
就業率、就業收入、與主流社會混合和最少限制環境。
資料來源:引自鄭友泰(2001:14)
(三)美國各州評鑑學校特殊教育成果之指標項目:美國州政府特殊教育部 門要求各級學校以下列指標評量特殊教育成果,如表 2-7。
表 2-7 美國各州評鑑學校特殊教育成果之指標項目
州 成 果 指 標 康乃迪克州Connecticut
參與、出席、畢業率、退學、畢業追蹤。
在州標準測驗的讀、寫、算的學業成就態度和特質:動機、持續、滿足。
佛羅里達州 數學溝通:讀、寫與功能性的讀寫能力 愛荷華州
Lowa
背景因素
高中方案:課程類型、工作經驗、課外活動 從學生願景評鑑學生經驗
目前生活方式:婚姻狀況、生活安排、休閒生活 過去和現在的職業
接觸成人服務提供者 內布拉斯加州
Nebraska
工作經歷、獨立生活能力、財政支援、溝通技能、薪水、工作技能、社 交技能
紐約州 出席、升遷、畢業和中輟率、州的成就測驗、學校層級的標準 新罕布夏州 學校本位的評量:曠課、退學率、中輟率、畢業率、學校滿意度 奧勒岡州
Oregon
居住安置、獨立生活狀態、娛樂活動、缺乏社會適應、社會關係、人的 滿意度、工作、方案和個別化教育計畫的描寫、父母和教師提供給學生 的滿意度和品質。
資料來源: