淺談文化影響評鑑與系統導向評鑑在教育上運用
林秋松 國立臺北教育大學教育經營與管理學系博士生 宜蘭縣順安國小教師一、前言
文化影響評鑑(CRE)和系統導 向評鑑(SOE)都是相對較新的評鑑方 法,在教育評鑑上應能受到越來越多 的重視。過去從傳統教育評鑑的典範 實施上,往往可能限制了評鑑者發現 教育未發現及有待解釋的部分。雖然 CRE 和 SOE 代表了兩個不同的思考方 式來進行評鑑,但在教育上採用聯合 CRE-SOE 方法,興許可以提供教育評 鑑的另一個觀點。 廣義而言,「文化是一個特定群體 或社會共同的學習和共同行為,價值 觀,習俗和信仰的累積體」(Frierson et al., 2010, p. 75)。文化不是外界影響他 們行為的東西;相反,它是「世界被 認 識 、 創 造 和 經 驗 的 主 體 間 現 實 」 (Miller,1997, p.10)。文化是了解個人態 度、動機和行為的關鍵因素。對於學 校文化而言,學校文化是一個學校內 特定群體(此包含教職員工生)共同的 學習、行為、價值觀、習性及理念的 聚合體。學校文化不是外界影響他們 行為的東西;相反,它是存在於創造 和經驗的真實世界中。二、教育 CRE 方法
筆者參考學者(Yarbrough, Shulha, Hopson, & Caruthers, 2011)觀點,認為 教育 CRE 採用基於實力的評鑑設計方 法(a strength-based approach),強調可以做甚麼而不是無法做到的。使用基 於實力的典範,學校文化影響評鑑者 參與發現和認可教師和教師社群對評 鑑的學校文化優勢。這種方法能使學 校評鑑反映擺脫了究責教師個人或學 校文化問題的不足觀點,認識到問題 往往在於社會對個人或學校組織文化 社群的影響。在教育 CRE 中,學校多 元化被看作是一種實力,可以用來擴 大,豐富和最大化流程,發現和影響 的重要資源。 筆 者 參 考 學 者 (AEA, 2011; Thomas, 2011)觀點,認為教育 CRE 評 鑑員應該尋求創建一個有效和可靠的 知識庫並促進學校公平正義。促進學 校公平正義需要嚴格審查學校在校務 整體設計,評價與學校文化有關但往 往被忽視的變數。例如,評鑑者可能 會造成學校參與計劃的障礙和限制。 因此,教育 CRE 評鑑者須記錄參與者 在計劃執行對學校文化脈絡的影響, 深切意識到學校有一個「共享的生活 經驗」,並且了解這種情況如何影響教 師個人在計畫中的行為。
三、增加教育文化影響的策略
教育 CRE 處於在特定的價值體系 或框架中,為評鑑人員在整個評鑑中 應該考慮的問題類型提供指導。筆者 參考學者(Frierson, Hood, Hughes, & Thomas , 2010 ; Thomas , 2009)觀點, 提出教育文化影響的策略:(一) 在 教 育 評 鑑 過 程 開 始 前 , 教 育 CRE 評鑑人員必須認真分析當前 的 學 校 文 化 背 景 和 社 會 政 策 脈 絡,以幫助確定評鑑工作進行。 (二) 考慮到教育 CRE 評鑑組員資能, 應慎選其成員。評鑑組員應能對 學校執行計畫所依據的學校文化 脈絡做出適當回應。 (三) 教育 CRE 評鑑人員在設計具有文 化影響能力的評鑑工作時,應重 視識別利害關係人。通常,確定 的利益相關者是在整個評鑑過程 中呼聲最高、最可見和最容易合 作的利益相關者。如果忽視其他 相關利益相關者,教育評鑑團隊 可能無法判斷和結論。 (四) 必須認真面對學校評鑑中評鑑本 身問題,並對來自不同學校群體 的評鑑關鍵問題進行選擇和優先 順序。 (五) 教育 CRE 評鑑人員根據學校文化 脈絡和評鑑問題,使用數據收集 的 多 種 方 法 。 除 量 化 數 據 方 法 外,CRE 還經常使用質性評鑑技 術。透過觀察,訪談和焦點小組 收集的數據對於獲取關於校務計 畫或學校組織團體的文化脈絡的 豐富資料也很重要。 (六) 教育 CRE 評鑑人員必須認真考慮 公平和社會正義問題。例如,對 參與者沒有造成傷害。教育 CRE 評鑑人員功用在於學校組織學習 及成長而不是判斷及評核等第, 評鑑結果是學校多元文化所創造 對教育意義性,並從中作出可靠 的決策。 與 Symonette (2004, 2009)相同認 知,筆者認為,學校在培養教育 CRE 評鑑卓越文化,需要兼顧學校內外面 向。在學校內面向,教育 CRE 評鑑者 應進入學校特定情境內審視關係、空 間、文化地理脈絡的優勢、劣勢以及 感知、概念化和詮釋學校整體情境。 教育 CRE 評鑑者在學校外面向,則擴 展並豐富相關多樣性。教育 CRE 評鑑 中的文化影響性需要多元概念化和方 法適應性,也需將教師個人、學校計 劃實施者及教師社群的文化注入探索 過程。
四、教育 SOE 方法
系 統 理 論 來 自 生 物 學 、 物 理 科 學、工程學、哲學、廣泛的社會科學 等。這些理論越來越多地應用於相關 領域。 系統導向是西方科學觀念從簡化 論 轉 向 整 體 論 的 根 本 轉 變 (Capra, 1997; Eoyang, 1997; Jackson, 2003)。部 分研究置於整體研究之前。採用系統 評鑑方法不能被描述為單一的方法。 由於系統領域對系統有多元方向性, 因此已經產生了多種考慮應用程序, 進行評鑑的方法。 教育 SOE 方法係學校當作一整體 的觀念。系統評鑑學校方法擁有多元 方向性,在教育評鑑上採取更具彈性 作法。五、系統定義
Donella Meadows 的「思考系統」 (2008)系統不僅僅是任何舊的東西 集合。一個系統是一組相互連接的元 素,它們以一種實現某種方式相互組 織的方式組合起來。系統必須由三種 事物組成:元素、關聯和功能或目的。 系統導向強調整體方法。根據系統 理論,重要的是首先了解整體,然後, 這些部分與整體的關係得到更好的理 解(Jackson, 2003; Meadows, 2008)。SOE 評鑑者透過與可能影響計劃的活動和/ 或預期結果的其他因素的系統連接來 考慮評鑑的脈絡。儘管一個系統「做某 事」,正如 Meadows 所說,它所做的一 切可能或不是我們所期望的。 學校系統是一個學校組織內系統 所相互連接的元素,彼此為實現教育 願景相互組織的方式組合起來。此系 統有三種組成元素(包含學校相關的 人、事、時、地、物)、組成元素間的 關聯性和教育功能性或教育目的。教 育系統導向強調整體方法。首先了解 整體,然後理解部分與整體的關係以 及教育的功能性及目的性。 有 組 織 的 動 態 學 是 指 系 統 內 穩 定,可預測的運動模式。他們通常與 系統中的常規功能和高度的一致性相 關聯(Stacey, 1996)。教育組織的動態學 是指學校系統內穩定,有可預測的教 育運作模式。在教育系統中的教育功 能和目的有一致相關聯性。需要靠著 正確評鑑扶助,各教育層次成熟並穩 定的運作。 複雜性科學引起了極端情況的注 重(Miller & Page, 2007; Zimmerman et al., 2001)。核心思想是在複雜的適應性 系統中,能夠以不可預測的方式行事 的起因,不斷互相交流。他們正在相 互適應整個環境。創造出有影響力的 系統範圍的模式。這種自組織的動態 在考慮改變社會制度方面尤其重要, 因為它具有靈活性和運動性,可以幫 助整個系統的轉移。同樣學校核心思 想也是在複雜的適應性組織系統中, 能 夠 以 不 可 預 測 的 方 式 不 斷 交 互 作 用、相互適應和影響整個教學環境。 在教育影響力的系統範圍的模式學校 組織的動態,考慮社會變遷中靈活性 和變動性,可以幫助整個教育系統的 正向遷移。 從教育評鑑的角度來看,重要的 是要了解哪些教育系統動態與所使用 的教育評鑑方法一致性,哪些提供在 教育上特定方向移動的槓桿點。這些 槓桿點通常是評鑑者正在尋求識別和 理解。應用教育複雜適應性系統的理 論,教育 SOE 評鑑者可調查一個完全 不同的結果及複雜教育系統理論的反 饋循環及共同演化。六、將系統概念應用於教育評鑑
各種系統思想家和評鑑者將許多 系統概念連貫一致,實際應用於工作 上。同樣的,系統幹念也可以藉由教 育學者和評鑑專家者開發,運用在教 育上。根據在 ECLIPS 中使用,由學者 (Williams & Hummelbrunner)總結系統概念圍繞在:(一)相互關係的理解,
點的承諾。在教育系統評鑑的方向則 圍繞(四)教育評鑑者與被評鑑者間 相互關係的理解,(五)對教育範圍的 意義理解,(六)對教育評鑑多元觀點 的 接 納 。 筆 者 參 考 上 述 二 位 學 者 觀 點,認為 SOE 教育評鑑方向在於: (一) 學校元素間相互關係的理解 教育系統評鑑者應該著眼於學校 的人、事、時、地、物間相互關係上, 包含元素內彼此關係、跨元素間關係 和教育意義、目的及價值。整合系統 規畫評鑑,找到優勢評鑑項目,以扶 助繼續發展,帶動劣勢評鑑項目,統 整協助整個學校往優質學校邁進。 (二) 對教育範圍的認知與意義理解 學校整體運作相關的人事時地物 皆為教育範圍,以人為範圍,包括學 校內校長、主任、組長、幹事及工友 等行政人員,教師及學生,旁及家長、 社區等人士;以事為範圍,包含學校 所運作的教學、行政及庶務;以時為 範圍,包含學生在校時間及非在校時 間(夜間、寒暑假);以地點為範圍,分 為學校內(教學活動進行)及學校外教 育活動(參訪及校外教學);以物為範 圍,泛指學校因教育所使用的軟硬體 設備皆屬之。總而言之,對教育評鑑 範圍及教育意義理解,有助於符應教 育評鑑施行意義。 (三) 教育多元化觀點的接納 教育評鑑的內容多元化,評鑑的 範圍包含學生多元成就、教師多元化 教學、行政多元化績效、校務多元化 計畫、學校多元化發展及學校與社區 多元化互助合作。 (四) 教育評鑑者與被評鑑者間相互關 係的協作 打破教育評鑑者上位者觀念與被 評鑑者間相互協作,彼此為提升整體 教育品質而努力。
七、教育 CRE 與 SOE 的關係
筆者認為教育 CRE 和 SOE 各自代 表著對學校校務計畫和執行計畫進行 另一思考,規劃和評鑑的框架。透過 參考 CRE 和 SOE 的主要目的和核心實 踐,教育評鑑者可以設計出更為合適 的教育評鑑,增加評鑑助益者參與教 育評鑑過程,提高教育評鑑結果的有 用性。考慮到學校的文化脈絡及其系 統性質,引入了評鑑過程。提高了評 鑑者實踐的能力,並將評鑑結果用於 幫助學校持續的系統性進步。 CRE 和 SOE 通過明確地將計畫置 於社會文化,歷史,政治和組織環境 中,力圖深入了解評鑑與組織間的聯 繫。 CRE 和 SOE 都認為評鑑可能影 響組職計畫設計方向,評鑑實施和結 果的影響界線以外的因素,就更為重 要。這兩種方法都認為關係或聯繫和 交流的重要性,並將利益相關者視為 評鑑過程的積極參與者。此外,CRE和 SOE 都重視多樣性,擁抱多個觀 點,並努力確保代表不太強勢或被邊 緣化的觀點。而教育 CRE 和 SOE 也需 透過明確地將教育計畫置於學校、社 區文化,歷史,地方政策和學校組織 環境中,了解影響措施與成果之間的 關聯。教育 CRE 和 SOE 應認為評鑑 可能影響學校校務計畫設計方向,教 育評鑑在實施上,就更加需要謹慎。 教育 CRE 和 SOE 方法都可能使用 量化、質性或混合的方法技術。教育 CRE 和 SOE 都傾向於使用混合的方 法,因為正確獲取觀點的範圍,才是 最重要的。在這方向上,教育評鑑人 員應仔細考慮利益相關者如何參與教 育評鑑過程。為了確保公正,教育 CRE 和 SOE 評鑑員在尋求廣泛的聲音時, 都可能使用參與式和更謹慎的方法技 術。 在教育評鑑過程中,教育 CRE 和 SOE 有很多方面是可以互補。選擇教 育評鑑問題是評鑑計劃中最重要的步 驟之一。問題有助於教育評鑑者掌握 評鑑的關鍵部分,並聚焦評鑑和整體 系統關聯。放大和縮小視野有助於教 育 評 鑑 者 闡 述 將 要 檢 驗 的 內 容 。 最 後,建構良好的教育問題並催生解決 方案,確保幫助教育評鑑者服務於多 樣化教育現場。
八、結語
本文探索如何將教育文化回應和 系統導向整合到一個單一的評鑑中。 首先,它需要關注教育 CRE 和 SOE 評 鑑者的典範轉變。另一方面,教育 SOE 評鑑員面臨的挑戰是考慮學校制度和 結構間差異及不同學校文化、教師社 群與評鑑的關係和影響結果。 有越來越多注重教育文化影響和 系統導向評鑑,將其納入單一計畫評 鑑及整合兩種方法。驅使教育評鑑人 員更加周到和慎重地將 CRE 和 SOE 納 入其工作,實現更大效益。 在教育上融合 CRE 和 SOE,筆者 建議未來評鑑規劃與趨勢,提供實施 評鑑者參考: (一) 尊重學校文化脈絡 不同學校有不同組織文化,學校 規模大小、組織模式、校長領導風格、 性別比例、教師成員、學生性質、家 長參與及社區特性等,會形成不同的 學校組織文化,每一個學校文化間, 有其相同點及歧異處,不同學校文化 在評鑑時,評鑑者應尊重其學校個殊 文化。 (二) 系統整合教育評鑑方向 分多層次與多向度系統整合概念 進行評鑑。 (三) 教育評鑑應重視過程及後設評鑑 教 育 評 鑑 目 的 在 於 促 進 學 校 成 長,教育評鑑過程的協助及評鑑過後 追 蹤 輔 導 應 為 教 育 評 鑑 最 為 重 要 部 分,進行教育評鑑應該朝向永續經營。(四) 強化教育評鑑支持系統誘因 教師評鑑一直成效不彰主因在於 誘因不足,創造教師願意評鑑、學校 願意評鑑誘因,讓學校及教師組成評 鑑支持系統,正向促進教育發展。 (五) 針對個殊學校發展不同教育評鑑 指標 每個學校有其個殊文化脈絡,不 同學校應發展適應當地文化脈絡評鑑 指標發展,因時因地制宜,方能事半 功倍。 (六) 回饋及改善機制 教育評鑑應轉化為輔助學校進步 關鍵,其教育評鑑回饋及改善機制更 形重要。除了教育主管支持外,妥善 計畫與施行,落實評鑑回饋及改善輔 導支持系統建置,永續經營輔導,才 可使教育評鑑具有意義和價值。 參考文獻
Capra, F. (1997). The web of life: A new scientific understanding of living systems. New York, NY: Anchor Books. Eoyang, G. (1997). Coping with
chaos: Seven simple tools. Circle Pines,
MN: Lagumo.
Frierson, H. T., Hood, S., Hughes, G., & Thomas, V. G. (2010). A guide to conducting culturally responsive evaluations. In The 2010 User-friendly
Handbook for Project Evaluation.
Arlington, VA: National Science Foundation. Retrieved from
http://www.westat.com/Westat/pdf/proje cts/2010UFHB.pdf Greene, J. C. (1988). Communication of results and utilization in participatory program evaluation. Jackson, M. C. (2003). Systems
thinking: Creative holism for managers.
West Sussex, England: John Wiley and Sons Ltd.
Meadows, D. H. (2008). Thinking
in systems. White River Junction, VT:
Chelsea Green Publishing.
Miller, J. G. (1997). Theoretical issues in cultural psychology. In J. W. Berry, Y. H. Poortinga, & J. Pandey (Eds.), Handbook of cross-cultural
psychology: Theory and method (pp.
85 — 128). Needham Heights, MA: Allyn & Bacon.
Miller, J. H., & Page, S. E. (2007). Complex adaptive systems: An
introduction to computational models of social life. Princeton, NJ: Princeton
University Press.
Stacey, R. (1996). Strategic
management and organisational dynamics (2nd ed.). London, England:
Symonette, H. (2004). Walking pathways toward becoming a culturally competent evaluator: Boundaries, borderlands, and border crossings. New
directions for evaluation, 2004(102),
95-109.
Symonette, H. (2009). Cultivating self as responsive instrument: Working the boundaries and borderlands for ethical border crossing. In D. M. Mertens & P. E. Ginsberg (Eds.), The
handbook of social research ethics (pp.
279—294). Thousand Oaks, CA: Sage. Thomas, V. G., & Parsons, B. A. (2017). Culturally Responsive
Evaluation Meets Systems-Oriented Evaluation. American Journal of Evaluation, 38(1), 7-28.
Thomas, V. G. (2009). Critical race theory: Ethics and dimensions of
diversity in research. In D. M. Mertens & P. E. Ginsberg (Eds.), The handbook
of social research ethics (pp. 54—68).
Thousand Oak, CA: Sage.
Thomas, V. G. (2011). Cultural issues in evaluation: From margin toward center. American Journal of
Evaluation, 34, 578—582.
Williams, B., & Hummelbrunner, R. (2011). System concepts in action: A
practitioners’ toolkit. Stanford, CA:
Stanford University Press.
Yarbrough, D. B., Shulha, L. M., Hopson, R. K., & Caruthers, F. A. (2011). The program evaluation
standards: A guide for evaluators and evaluation users (3rd ed.). Thousand
Oaks, CA: Sage.
Zimmerman, B., Lindberg, C., & Plsek, P. (2001). Edgeware: Insights from complexity science for health care leaders. Irving, TX: VHA.