高中探究式化學實驗模組開發與實施之評鑑影響－實務型參與式評鑑之實徵性研究

全文

(1)第壹章緒論本研究以評鑑促進新課程開發為研究重點，並以台灣一所公立高中的化學探究式實驗課程開發的歷程進行個案研究，探討評鑑對教學及學習成效所產生的影響。本節將分別說明本研究之研究背景及重要性、研究目的與研究問題、名詞解釋、及研究範圍與限制。. 第一節研究背景及重要性關於評鑑影響理論的發展情形，尚在萌芽階段，需要更多的實徵研究支持。過去 Patton(1997)提出評鑑結果及過程的使用，有許多評鑑研究追隨此理念，但在 2000 年出現觀念轉變，學者們的關心焦點由「評鑑使用」移轉到「評鑑影響」 (Kirhart, 2000; Henry & Mark, 2003)，從評鑑的有意使用延伸到有意及無意的影響。近來評鑑影響的議題，越來越受到囑目，如 2006 年美國評鑑學會年會，大會的討論主題為「評鑑的結果( The consequence of evaluation)」，分組討論如何促進評鑑的使用(包括評鑑過程及結果)，如何促進評鑑的影響。雖然如此，但是實徵性研究還需要努力，本研究擬以實徵研究檢視評鑑影響理論，希望能充實理論架構及內容。國內對評鑑影響理論的研究情形，亦在開發階段。國內最近進行了一波波的評鑑，從大學各系所評鑑到中小學的評鑑，為各級學校做了詳細的診斷。但是評鑑結果是否回饋到學校改進？評鑑結果及過程的使用效能如何？這二個問題較少被大家討論。國內很多學校把評鑑視為一種形式，是配合上級單位而不得已進行的活動，但是對於評鑑結果卻很少考慮使用。近來國內外都有學者開始重視評鑑的使用及影響。國內學者提倡以評鑑促進學校革新。他認為評鑑領域歷經多年來的發展，在教改的脈絡中有了新的意涵，不僅用來評估績效，也可以用來促成組織學習或促進學校的整體發展，讓評鑑成為組織內不斷提供改進回饋的機制，而不僅只是短暫執行的任務(潘慧玲, 2006)。本研究探討評鑑影響的機制，希望能促使國內更加重視這項議題。關於本研究的評鑑場域及研究主軸說明，本研究是指導教授執行國科會計畫的一部分(邱美虹, 2008 及 2009; 邱美虹, 陳慧蓉, 周金城, 蔡春風及辛怡瑩, 2008)，評鑑場域是在指導教授所執行計畫的場域進行，雖然本研究與計畫的參與教師及學生重疊，但是研究面向不同。該計畫的主要目的在評鑑新興科技課程開發成效與教師專業成長情形，包括總計畫及五個子計畫，指導教授為總計畫共同主持人及評鑑子計畫的主持人。化學子計畫教師與評鑑團隊都有都有完成計畫 1.

(2) 的共同目標。除了兩子計畫的彼此互動關係外，還有來自總計畫(行政系統)的支持與督導、與其他三個子計畫(不同學科課程開發的教師)的互動、計畫主管機關的支持及督導，因此與一般課程開發不同。雖然本研究與計畫研究面向不同，國科會計畫中評鑑計畫是評估化學探究式實驗課程中，是教師使用建模及認知師徒制課程開發情形(Chen, Chiu and Chou, 2009; Chiu, Chou, Chen and Tsai, 2009)，而本研究則以探究教學與學習為主軸，探討評鑑過程中教師及學生的評鑑影響。在本研究與一般課程開發不同之處有下列四點：利害關係人執行課程開發與評鑑團隊進行評鑑皆有推動高中開發新課程的理想及在執行國科會計畫的前題之下：課程開發與進行評鑑為國科會同一個計畫下的不同子計畫(五個子計畫中的兩個子計畫)，因此兩方都有完成計畫的共同目標，除了彼此互動關係外，還有來自國科會、總計畫、其他三個子計畫的互動，因此與一般課程開發不同。參與教師有決定權和自主權：本研究評鑑方法在執行之初，評鑑團隊與教師們共同決定課程發展的遠景，並訂定課程目標及執行方式。在課程開發及實施中，教師對於課程的內容及實施方式都有充分的主導權，評鑑團隊為促進者及資源提供者角色，促進教師反思。參與教師與評鑑團隊同時進行系統性反思：本研究透過評鑑促使教師以另一角度看到自己的執行狀況，因此在課後進行反思訪談，項目包括教學目標及策略、學生學習困難的瞭解與解決，以促進探究教學實務變化。另一方面，評鑑團隊也因教師回饋及評鑑實務產生反思，對評鑑實務知識產生影響，進而修正評鑑實施策略。評鑑具有促進課程開發的功能：因為評鑑執行之前，參與教師與評鑑團隊分屬國科會的計畫，因此都了解目標，也允諾朝共同目標而努力。評鑑團隊與參與教師雖為伙伴關係，相互提昇，但評鑑不斷地協助檢核執行情形，因此評鑑具有促進課程開發的功能。. 2.

(3) 第二節研究目的與研究問題本研究主旨在研究評鑑對高中探究式化學實驗模組實施的影響，研究目的為探討評鑑過程中教師及評鑑團隊如何進行知識共構及產生評鑑影響，包括學生的探究學習表現、教師的探究教學實務及探究教學知識如何轉變、以及評鑑團隊如何調整探究評鑑實務及相關評鑑知識。因此本研究的研究問題如下：問題 1、實施錯合物探究式實驗模組及評鑑的歷程中，十八位高二學生的探究學習表現為何？問題 2、實施錯合物探究式實驗模組及評鑑的歷程中，個案化學教師的探究教學實務及探究教學知識如何變化？問題 2-1. 實施錯合物探究式實驗模組及評鑑的歷程中，負責授課的二位化學教師的探究教學實務為何？問題 2-2. 實施錯合物探究式實驗模組的實施過程中，全體四位化學教師的探究教學知識如何變化？問題 3. 實施錯合物探究式實驗模組及評鑑的歷程中，教師探究教學知識的變化與評鑑環境影響因素(探究教學實務、探究教學與學習的評鑑實務、其他教師的回饋)的關係為何？問題 4、實施錯合物探究式實驗模組及評鑑的歷程中，評鑑對教師及評鑑團隊的影響為何？問題 4-1. 實施錯合物探究式實驗模組及評鑑的歷程中，評鑑對四位化學教師的影響為何？問題 4-2. 實施錯合物探究式實驗模組及評鑑的歷程中，評鑑對評鑑團隊的影響為何？問題 5、本研究情境讓評鑑產生影響的原因為何？. 3.

(4) 第三節名詞解釋一、評鑑產生的影響學者認為評鑑產生的影響是由評鑑產生的使用的概念衍生而來(Kirhart, 2000)。評鑑產生的使用，是指在評鑑執行過程或結束後，使用評鑑以改變個人思考或是行為、改變組織或方案過程或是風氣，使用方法分為工具性、概念性使用及符號性使用。後由學者 Kirhart (2000)將此理論擴大為「評鑑產生影響」理論，因評鑑使用是有意識下使用評鑑結果，他認為還應包括無意識下的使用。本研究將「評鑑產生的影響」定義為三方面：概念性、工具性、及符號性影響。「評鑑的概念性影響」是指評鑑在施行過程中或結束後，因實施評鑑所造成人們的概念或想法改變，例如：教師改變對探究的定義及內涵；「評鑑的工具性影響」是指因實施評鑑而產生的行動，用以改善方案的執行，例如：教師將習得的探究學習評量原則用於發展探究學習評量工具；「評鑑的符號性影響」是指在評鑑實施過程中或結束後，使用評鑑結果宣稱方案執行的成效，例如：學生將探究學習的實驗結果參加校內及校外科展，都得到不錯的名次，代表獲得校內及校外專家對探究學習的肯定，也是代表對本實驗模組實施的肯定。. 二、參與式評鑑本研究所指的參與式評鑑為實務型的參與式評鑑 (Practical Participatory Evaluation, P-PE)，透過利害關係人參與評鑑過程，加入多元觀點的意見，以促進未來利害關係人使用評鑑結果。在本研究中評鑑團隊與過利害關係人建立共識，共同商討評鑑的問題，在評鑑過程中，透過主要利害關係人的不斷回饋，調整評鑑內容及評鑑實施方法，例如：本研究的主要利害關係人(教師)希望實施探究式化學實驗模組，評鑑團隊根據教師意見，發展探究教學與學習的評量向度，此外，教師在過程中也學習到發展探究學習的評量方法，因此教師有參與評鑑的執行及實施，並且習得評量方法，未來在評鑑結束後，仍可繼續使用這些評量方法。因此本研究中的評鑑回應被評鑑個人或群體的需求及關注焦點，而且在主要利害關係人與評鑑團隊不斷知識共構及回饋當中，已經逐步在修正方案，並且使用評鑑資料。因此本評鑑納入了參與式評鑑的精神。. 三、探究式教學與科學學習學校的科學探究活動是讓學生在類似真實的科學探究情境中做探究，確認構思問題、形成假設、設計並執行實驗、用公式表示及修定解釋、溝通主張及作辯 4.

(5) 護，並且發展科學本質概念。. 四、探究教學知識探究教學知識與學科教學知識有關。學科教學知識(pedagogical content knowledge, 簡稱 PCK)是教師在特定主題之下，與教學知識、教育目的、及學習者特質有關的知識，關注的是對特定主題的教學，與學科知識不同。PCK 會隨教師經驗的累積而增加，影響 PCK 發展的因素有教學經驗、對學生學習困難的瞭解等。PCK 與教師實務知識不同，教師實務知識包括教師的信念與知識，而知識主要是 PCK。本研究的探究教學知識是指教師施行探究教學的 PCK，包括探究的定義與內涵、探究教學的目標、探究教學策略、探究學習評量、探究教學的優點及挑戰自評、及對學生探究學習困難的瞭解與解決。. 五、錯合物探究式實驗模組「錯合物探究式實驗模組」為本研究個案教師開發之高中化學實驗，內容以銅錯合物為主軸，可分為兩部份，第一部份為含銅錯離子，包括「活動 1、銅離子反應」以及「活動 2、含銅錯離子的形成」，第二部份為鍍銅實驗，包括「活動 3、銅鏡反應」、「活動 4、塑膠鍍金屬膜」及「活動 5、開放型實驗」。在名稱上，本研究個案教師將這套教材稱為「錯合物探索式化學實驗課程」，但由於此教材為實驗模組，並非一套課程，另外經由訪談個案教師，了解除了讓學生實際動手進行探索之外，亦著重實驗結果的解釋，為探究式教學與學習，不只是探索而已。因此基於前述兩個理由，本研究將此套教材稱為「錯合物探究式實驗模組」。. 六、知識共構本研究採取知識的社會建構論，認為評鑑營造了一個評鑑環境，讓利害關係人及評鑑團隊雙方在其中進行知識的建構，也就是本研究將評鑑過程視為由教師及評鑑團隊進行知識共構的歷程，教師在施行探究教學及評鑑過程中受到評鑑環境影響，探究教學知識產生變化，此變化影響後續的探究教學實務，另一方面，由於知識共構，教師的變化及回饋也對評鑑團隊的探究評鑑實務知識產生影響，進而修正評鑑實務。. 5.

(6) 七、促進組織學習之實務型參與式評鑑本研究參考多種評鑑理論及成人學習理論 (轉化學習理論及學習型組織學習理論)，建構了「促進組織學習之實務型參與式評鑑」(Participatory Evaluation for Organizational Learning，簡稱 PEOL) 評鑑方法，目的在透過評鑑對課程實施及教師專業成長產生影響，促使組織學習，另一方面由評鑑實務的回饋修正評鑑實施方法，把評鑑視為由主要利害關係人與評鑑團隊的知識共構歷程，互相影響及形成學習型組織。. 八、組織學習形成學習社群進行組織學習，此處社群的定義，參考 Hoban, 2002,Dewey, 1916)為有共同目標的一群人，彼此分享活動及經驗。形成社群進行組織學習，將意見與同儕分享，並且聆聽別人不同觀點的回饋，可以對教師本身的經驗產生更深的意義。本研究形成三個團體時長進行討論及相互學習，包括教師討論會(教師們形成小組，每 1-2 週定期討論及不定期的進行研習，評鑑團隊也一起參與，以達成參與成員交流與互相瞭解的目的)、評鑑團隊討論會(評鑑團隊主持人與評鑑成員每 2-3 週舉行一次，共同討論執行問題及研讀相關文章)、總計畫會議(總計畫主持人、各子計畫主持人、評鑑團隊主持人與評鑑成員每月開會一次，以充份進行溝通及掌握進度)。此外，值得一提的是本研究中的個案化學教師的學習社群，教師之間平時就有化學科討論會，彼此交換教學心得及共同參加外界的化學研討會，有很好的學習組織形成，在執行新課程時，教師們早已習慣共同討論及交換彼此心得的模式，因此很快進入情況，彼此支援、彼此腦力激盪。. 九、主要利害關係人本研究所指的主要利害關係人 (stakeholders) 特別指四位個案化學教師。由於本研究主要探討評鑑所產生的影響，其中評鑑團隊對學生的影響主要是透過教師調整教學策略而產生，較無直接影響，因此本研究主要研究評鑑對教師及評鑑團隊的影響，也就是教師與評鑑團隊之間的互動與知識共構情形。. 十、評鑑團隊本研究的評鑑團隊是由指導教授邱美虹博士(國科會評鑑計畫主持人)、周金城教授(共同主持人)及四位評鑑觀察人員(含研究者及二位博士生及一位碩士生) 組成，四位人員負責四個不同子計畫，其中研究者負責化學子計畫，另外三位分 6.

(7) 別負責數學、後人類社會、及資訊子計畫。評鑑團隊每隔兩週定期舉行評鑑討論會一次，共同討論評鑑執行情形，主持人給予指導，修正評鑑實務，各觀察員共同研讀文章並交換彼此在評鑑實務中的反思心得。由於本研究是指導教授執行國科會計畫的一部分，評鑑場域是在指導教授所執行計畫的場域進行，雖然本研究與計畫的參與教師及學生重疊，但是研究面向不同。. 第四節研究範圍與限制一、本研究為個案研究，因此研究中十八位選修學生的探究學習表現、四位教師的探究教學實務及探究教學知識的變化、評鑑對教師及評鑑團隊的影響，僅代表此個案研究在此情境的變化，不宜過度推論到其他個案。二、本研究中所呈現的評鑑對四位教師與評鑑團隊的影響，也只限於在台灣北部某公立高中的情境，不宜過度推論到其他情境。三、本研究中的研究對象為十八位高二學生及四位化學教師，因此研究過程中所呈現的學生探究學習表現、教師探究教學實務及探究教學知識、及實施評鑑所產生的影響，是化學領域特有的，不宜推論到其他學科。四、本研究以研究個案教師的探究教學實務及探究教學知識的轉變，以及週圍評鑑環境的因素來瞭解評鑑所產生的影響。雖然組織學習發揮相當大的作用，但是本研究定位在分析「個人的層級」，而非「人與人之間」以及「整體組織」的評鑑影響。. 7.

(8) 8.

(9) 第貳章文獻探討本研究的目的是了解施行評鑑過程中教師的評鑑產生影響情形，以及教師與學生對評鑑者的影響，因此本章將分成八個部份探討相關文獻：注重使用的評鑑取向、在評鑑過程中產生使用的評鑑、評鑑產生影響、參與式評鑑、探究式教學與科學學習、學科教學知識、轉化學習理論、及文獻探討對本研究的啟示。. 第一節注重使用的評鑑取向一、評鑑理論的不同取向 Alkin 根據評鑑理論所著重的方向，分成三種評鑑取向：注重方法的評鑑取向、注重評價的評鑑取向、注重使用的評鑑取向(Alkin, 2004; Christie and Alkin, 2008)(圖 2-1-1)。注重方法取向的評鑑是把評鑑視為研究或認為評鑑是由研究方法所指引，這類型取向著重在透過資料處理以得到普遍性或知識建構(Shadish, Cook & Leviton, 1991)。如 Ralpg Tyler 在 1940 年代主張目標導向的評鑑(Tyler, 1942)，後續許多學者也延伸 Tyler 的評鑑觀點，如 Popham(1973)強調行為目標， Cronbach 注重信度、構念效度、及理論的普遍性。注重評價的評鑑取向是由 Scriven(1967)引領，提倡無目標導向評鑑，並認為評鑑者角色在於評價，評鑑者決定適當的判斷準則，然後呈現這些判斷給所有人看，產生類似消費者報告；後續學者依評鑑準則由誰提供及準則的內容，陸續產生 Eisner 的教育鑑賞模式、Owen 及 Wolf 的對抗式評鑑(adversary evaluation)、 Stake 的外貌模式(countenance nodel)及感應式評鑑(responsive evaluation)。注重使用的評鑑取向，起始於決定取向的理論學家，他們認為評鑑主要目的在於幫助利害關係人(stakeholders)做決定，如 Stufflebeam(1983)的 CIPP 模式，是最著名的一種。Stufflebeam 焦點在主要利害關係人(決定者)，他認為評鑑應確定決定者的問題、提供即時及相關的資訊，以幫助他們做決定；Wholey(1981)焦點在經理及政策制定者，他認為應透過評鑑的使用改善管理，把評鑑視為刺激有效管理的重要過程。後來學者主張應把使用者的範圍擴大，以增加評鑑結果的使用性。如 Patton(1997)所發展的使用導向的評鑑(utilization-focused evaluation, 簡稱 UFE)、Cousin(1995, 1998)的參與式評鑑(participatory evaluation)、Preskill(1997, 1999, 2000)主張透過評鑑產生組織學習、Fetterman(1994, 1996, 2001, 2005)的彰權益能評鑑(empowerment evaluation)。國內學者潘慧玲(2006)提出以評鑑促進學校革新，主張將評鑑融入組織工作流程，不只是外加工作，以持續進行自我更新、提昇個人、團隊及組織學習，以促進組織的更新與發展。 9.

(10) 圖 2-1-1. 評鑑理論的三大取向(Christie and Alkin, 2008). 10.

(11) 二、評鑑產生使用的重要性「評鑑產生使用」一直是評鑑社群所關心的中心議題，從過去評鑑學者前仆後繼為促進評鑑產生使用而改進評鑑方法。「使用」是評鑑領域的核心構念，大部分評鑑者均致力於評鑑被使用。其重要性可由下列三項相關指標 (indicators) 顯示：指標一，根據統計，大部分評鑑者贊同「評鑑產生使用」的概念相當重要。在Preskill & Caracelli (1997)的研究中，以問卷調查評鑑者從事評鑑的目的。結果發現有二個選項遠高於其他選項：從事評鑑的目的是提供資訊給決策者、及改善方案。有高達99%的評鑑者同意或強烈同意此二選項，而且值得注意的是，這兩個陳述正是評鑑產生使用的古典觀點，可見評鑑產生使用在評鑑者心中的重要性 (Preskill & Caracelli, 1997; Henry & Mark, 2003)。指標二，評鑑產生使用為方案評鑑專業標準的四大屬性之一。教育評鑑標準聯合委員會(The Joint Committee on Standards for Education Evaluation)在1994年將方案評鑑專業標準的四大屬性訂為：效用性(utility)、可行性(feasibility)、適切性(propriety)及精準性(accuracy)。其中效用性的定義，是指評鑑在實務上能夠提供資訊給有意圖使用的人(intended users)(Patton, 1997; Vanek, 2004)。指標三，關心評鑑產生使用的團體歷久不衰，而且近兩年的年會主要討論議題也都圍繞在評鑑產生使用/影響上。每年美國評鑑學會年會所舉辦的「主題興趣團體(The Topic Interest Group)」在「評鑑產生使用」方面，已經存在超過十年 (Russ-Eft, D., Atwood, R. & Egherman, T., 2002)。不但如此，年會的討論議題也一再以評鑑產生使用/影響為討論議題，如在2006年11月美國評鑑學會年會，大會的討論主題為「評鑑的結果( The consequence of evaluation)」，分組討論如何促進評鑑的使用(包括評鑑過程及結果)，如何促進評鑑產生影響。而在2007年的年會也將以討論評鑑的學習面向，也就是評鑑的有意圖影響。由以上指標，可了解評鑑產生影響的議題已越來越受到囑目。. 三、評鑑產生使用理論的發展評鑑產生使用的概念早在 1960 年代末期就開始了(Guba, 1969; cited from Vanek, G. T., 2004, p.3)。一些評鑑學者，像是 Carol Weiss 以及 Michael Patton 在 1970 年代初期開創了「評鑑產生使用」的運動，當時關注的焦點在於使用評鑑結果協助決策者做決定。評鑑領域從 1970 年代開始有系統性的研究「評鑑的使用」，有許多關於這方面的文獻，不論從理論或研究的角度而言，幾乎所有的評鑑者都希望他們的評鑑能夠被受評者使用、或是評鑑結果能夠被了解。(Weiss, 11.

(12) 1990, 2000; Henry & Mark, 2003; Kirkhart, 2000; Shulha & Cousin, 1997; Stufflebeam & Welch, 1986; cited from Vanek, 2004, p.3)。 Patton (1997)根據「評鑑產生使用」的方式，將評鑑分類為二種：「在評鑑結束有意使用評鑑結果的評鑑(intended uses of findings)」及「在評鑑過程中有意使用評鑑結果的評鑑(intended process uses)」，分別說明如下：. (一) 在評鑑結束有意使用評鑑結果在評鑑結束有意使用評鑑結果的評鑑有三種用途：包括優缺點或價值的判斷 (Judge merit or worth)、方案的改進(Improve programs)、以及知識的產生(Generate Knowledge)( Patton, 1997, p.76)。用途一是優點或價值的判斷，這屬於總結性評鑑，「優點的判斷」是指判斷方案的內在價值，如與需求的差異及方案的效能，而「價值的判斷」則針對的是方案之外的人的外在價值，如社會大眾。這個向度所關心的問題是：這個方案可行性、達到目標的情形、決定方案是否持續、經費被妥善使用的情形等。用途二是方案的改進，這多為形成性評鑑，著重在收集方案的優缺點訊息，以提供反思及創新。關心的問題是方案的優缺點、利害關係人朝向目標進步的情況、利害關係人進步較多的族群、進步的原因、未達到預期目標的可能原因等。其中 Leviton & Hughes (1981)將上述二種用途稱為「評鑑結果的工具性使用」 (instrumental use of results)。「工具性使用」關心的是當評鑑產生之後，評鑑結果至少會產生一個決定或行動。評鑑者很少是方案的主要決定者或是方案的改進者，但是評鑑者對於上述二者有所貢獻。相對的，另一種評鑑沒有期待評鑑結果會產生決定或行動，而是以評鑑來影響議題的思考，也就是用來增加知識，是一種「知識的產生(knowledge generation)」的評鑑。用途三是知識的產生，此處所指的「知識」是關於方案評鑑的知識，包括指澄清方案的模式、測試理論、將干預形式做分類、如何測量評鑑結果、產生的評鑑意涵是什麼。也就是幫助評鑑者更了解方案，評鑑的結果可以讓贊助者及相關人員了解方案執行狀況，以減少不確定性。也就是一般認為的概念性使用評鑑 (conceptual use)，如闡明式評鑑(enlightenment evaluation) (Weiss, 1990)以及理論導向評鑑(theory-driven evaluation) (Chen, 1989; Chen and Rossi, 1987)。. 12.

(13) (二) 在評鑑過程中有意使用評鑑結果在評鑑過程中有意使用評鑑結果的評鑑，Patton (1997)定義為：過程使用是指個人改變思考或是行為，組織或方案改變過程或是風氣，發生在評鑑過程之中。他將過程使用分成四類：增加共享與了解、支持及促進方案干預、增加投入程度及自我決定及擁有權、方案與組織發展。方案與組織發展指的是透過過程使用可以增加利害關係人對評鑑理論(evaluation logic)或是期望結果的了解。另一方面會因評鑑也會增加方案經理與執行員工之間的瞭解，方案經理可以建立一個督導系統，幫助每個人專注在期望的目標之上。以及透過由上而下的方式，決策者可以使用最後所得的評鑑結果做決定，將評鑑結果使用於方案改進；或經由由下而上的方式，執行的員工可根據方案的目標，公開的表示管理者的期望是否有意義、實際可達成。經由評鑑的執行，可改進組織從上到下的溝通，進而促成組織發展 (Patton, 1997)。其它學者，如 Henry & Mark (2003)提出另一套分類系統，將評鑑產生使用區分成工具使用、概念使用、符號使用及過程使用(Henry & Mark, 2003)。工具性使用(instrumental use)是指使用評鑑結果當作改進的工具；概念性使用 (conceptual use)是指促進利害關係及評鑑者對方案的進一步了解，僅限於概念上，但是可能沒有行動產生；符號性使用(symbolic use)是指政治方面，透過評鑑可判斷先前存在的政治立場(justify pre-existing positions)，或是用以對外宣稱執行的評鑑成果；過程使用(process use)則是指在評鑑過程中就能被利害關係人使用，如增權賦能評鑑 (empowerment evaluation) (Fetterman, 1996, 2001)。. (三) 評鑑產生使用之評鑑者所扮演角色學者提出各式評鑑產生使用的理論，可根據其所強調的重點，區分成不同的評鑑產生使用類別。在不同類別中，評鑑者扮演了不同的角色，而利害關係人也有相對應的不同投入程度。King (1995)比較四種評鑑的異同，包括：利害關係人評鑑(stakeholder evaluation)、傳統的行動研究(traditional action research)、參與式評鑑(participatory evaluation)、利害關係人為中心的行動研究(partitioner-center action research)。她以四個向度審視四種評鑑理論：是誰負責整個研究？在研究中有哪些利害關係人？在研究中利害關係人如何參與？評鑑產生使用的類別為何？研究者加入第五種評鑑方法增權益能評鑑，一起比較其中異同，詳如表 2-1-1。首先在整個研究的主要責任，利害關係人評鑑主張評鑑者是主要研究者；參與式評鑑主控權仍然在評鑑者手上，但是加入了利害關係人的協助；而增權益能. 13.

(14) 評鑑的主控權已經大部分交給利害關係人，評鑑者扮演顧問的角色，僅提供協助諮詢。第二，在利害關係人的族群上，利害關係人評鑑主張全員參與；參與式評鑑則是小部分的主要利害關係人或使用者；而增權益能評鑑也是大部份得利害關係人。第三，利害關係人的參與方式，利害關係人評鑑主張利害關係人是顧問角色，對情境脈絡提供相關訊息；參與式評鑑的利害關係人則是積極的角色，在評鑑過程中積極投入；而增權益能評鑑的利害關係人更是扮演積極的角色，甚至控制研究過程。表 2-1-1. 比較合作型的評鑑方法及研究 (研究者參考 King, 1995 整理而成) 性質. 利害關係人評鑑. 1.是誰負責整個研究？. 評鑑者是主要研究者. 2.在研究中有哪些利害關係人？. 大部分的利害關係人，任何與方案有關的人. 3.在研究中利害關係人如何參與？. 顧問的角色，對所需的情境脈絡提供相關訊息評鑑結果的使用. 4. 評鑑產生使用的類別為何？. 傳統的行動研究. 參與式評鑑. 利害關係人增權益能為中心的行評鑑動研究研究者/評評鑑者，但一利害關係利害關係鑑者，但在開始在利害人，但在研究人，但在評利害關係人關係人/學生顧問的協助鑑者/研究協助下的協助下之下顧問的協助之下小部分積極小部分的主行動研究者大部分利參與研究的要使用者害關係人，及對研人，任何與究有興趣的方案有關人的人積極的角積極的角積極的角積極的角色，問問色，在評鑑過色，控制研究色，控制研題、幫助分程中投入過程究過程析等 ---. 評鑑過程及結果的使用. 14. ----. 評鑑過程的使用.

(15) 小結在評鑑過程中有意使用評鑑結果的評鑑中，研究者認為 Patton(1997)及 Henry & Mark (2003)的兩種分類系統，其實有其共通之處，經過歸納分析之後得到表 2-1-2。除了結果使用可分成工具性使用、概念性使用、符號性使用外，其實過程使用也可區分成三種類型，因此研究者以評鑑執行的時間軸(2 向度)及使用類型(3 向度)分析，亦即 2 X 3 向度。. 表 2-1-2、有意使用評鑑結果的評鑑類型評鑑執行時間結果使用. 優缺點或價值的判斷方案的改進知識的產生. 過程使用. 增加共享與了解. 類型 Henry & Mark (2003) 工具使用工具使用概念使用及符號使用過程使用. 支持及促進方. 過程使用. 增加投入程度、自我決定以及擁有權方案與組織發展. 過程使用. 工具使用工具使用概念使用及符號使用工具使用及概念使用工具使用及符號使用工具使用. 過程使用. 工具使用. Patton 分類 (1997). 15. 研究者分類.

(16) 第二節評鑑過程中產生使用的評鑑由於本研究著重於評鑑過程中的評鑑產生使用情形，因此本節針對在「評鑑過程中產生使用的評鑑」理論的緣起、內涵、及測量方法分別探討如下。. 一、「評鑑過程中產生使用的評鑑」之緣起總而言之，在過去三十年中評鑑社群(尤指美國評鑑學會)致力於促成利害關係人使用評鑑結果 (Preskill, Zuckerman, and Matthews, 2003; Alkin, Daillak & White, 1979; Cousin & Leithwood, 1986; Patton, 1997)。尤其是近十年，透過促使利害關係人在評鑑不同階段的參與，希望增加被評者對評鑑結果的興趣，進而使用評鑑結果(intended users of the evaluations’ results)。學者提出的參與方式，包括：合作評鑑(collaborative evaluation)、參與式評鑑、彰權益能評鑑、學習導向評鑑(learning-oriented approaches) (Cousin & Whitmore, 1998)。除此之外，一些學者開始研究利害關係人在參與評鑑過程中學到什麼、如何學習，由於這些學習發生在利害關係人參與評鑑過程中，特別將這一類型稱為「評鑑過程中產生使用的評鑑(process use)」，後有學者 Kirhart(2000)評鑑產生使用理論延伸，提出「評鑑產生影響理論」。 Michael Patton 在 1997 提出使用導向的評鑑(utilization-focused evaluation)，著重評鑑結果的使用情形。他將評鑑結果使用分成：概念性使用、工具性使用、以及符號性使用。 1. 概念性使用：評鑑結果改變人們的想法及對執行方案的瞭解。 2. 工具性使用：評鑑結果用來改善執行的方案。 3. 符號使用：使用評鑑結果說服別人，如：對外宣稱本方案達到評鑑目標 (Patton, 1997; Harnar and Preskill, 2007)。 Patton 所指的使用是包括結果及過程使用。其中他對過程使用的定義為：在評鑑實施過程中，因為利害關係人參與而產生學習結果。因參與引起的效應有參與式行動研究、知識使用、及其他形式的合作探究。Patton 在書中寫道： “評鑑的過程使用的指標可以是個人在思想及行為上的改變，方案或組織在. 過程、組織文化的改變，在評鑑過程中由於參與評鑑促成學習，也就是對方案的影響不只來自評鑑結果，而是在過程中。” “如果利害關係人透過評鑑對方案產生更多瞭解、對彼此投入有更多了解， 16.

(17) 則可視為有學習產生。如果透過彼此學習，可以說發生了組織學習。” 「評鑑過程中產生使用的評鑑」的理論基礎為社會建構理論(social constructivist learning theory)，個人透過與他人合作建構知識及建立共享，此種新知識的建構是基於情境脈絡、利害關係人的過去經驗(Bruner, 1971; Campbell, 2000; Lave & Wenger, 1991; Preskill, Zuckerman and Matthews, 2003; Coghlan, Preskill and Tzavaras, 2003)。過程使用反應了社會建構學習理論，因為它專注於一群人在評鑑中如何建構意義，透過鼓勵性的對話及反思，及詢問假設、價值觀、信念，個人變得更瞭解評鑑者、組織、他們自己、其他人及評鑑實務。因此利害關係人可能參與決定或回顧評鑑目的、主要問題、資料收集工具、或資料收集、資料分析、提出建議等、對評鑑結果提出行動計畫。在理論學者(Patton, 1997; Alkin & Taut, 2003; Fetterman, 2003) 提出「評鑑過程中產生使用的評鑑」的理念及理論架構之後，其他學者逐漸將重心轉移到實務工作上，透過實務工作的回饋以對過程使用概念進行具體化及修正 (Patton, 1998)。目前評鑑過程使用的概念上尚在萌芽階段(infancy) (Amo and Cousin, 2007)，相關的實徵性論文仍相當少。Amo and Cousin (2007)進行文獻回顧，試圖由實徵研究中找出更具體的實施方法。他們利用兩套搜尋系統及資料庫：CAS Illumina Search Platform 及 Proquest’s Digital Dissertations，將 1984-2005 年中選出 18 篇文章：有同儕審議的期刊文章 16 篇，以及 2 篇未經出版的博士論文。他們發現在 2000 年以前，過程使用並不是這些文章的主要研究目的，直到 1997 年 Patton 在他的書「Utilization-focused evaluation」的其中一章，提出過程使用的想法之後，才開始出現以過程使用為主要研究目的的文章。. 二、評鑑過程中產生使用的評鑑之內涵「評鑑過程中產生使用的評鑑」的名稱，18 個研究不太相同，但是基本上都是源自於評鑑產生使用及合作評鑑的概念，是直接或間接的評鑑產生使用。< 評鑑過程中產生使用的評鑑>的定義，除了 4 個研究之外，其餘 14 個研究均清楚定義過程使用。基本上各家學者對於評鑑過程使用的時間界定都是在實施評鑑的期間，大部分學者都是以 Patton 對評鑑產生使用的定義為主。「評鑑過程中產生使用的評鑑」的內涵，隨情境不同而有相當大的差異。 Amo and Cousin(2007) 依據文章發表的年代依序排列，並整理出各文章中研究對象、研究目的與問題、過程使用的操作型定義、過程使用的測量方法、分析的層級(個人及組織)，見表 2-2-1 及表 2-2-2。他們根據各文章對過程使用的操作型定義及內涵，將過程使用的構念分成學習、行動、態度情意及其他。 1.學習：啟發、概念發展、確定先前印象、注意到主要議題、知識發展(評鑑)、 17.

(18) 專業發展、研究技巧、施行評鑑能力、認知改變、共享與了解、訓練其他人的能力、學習如何學習、確認其他學習機會、對方案實施措施及組織的瞭解、 2. 行動：不重覆先前反應、參與過程中因評鑑者回饋產生行動、要求評鑑者協助、實務修正及將評鑑納入實務工作、使用評驗鑑資料及結果及發現、使用評鑑技巧、行為改變、計畫發展、發展指標、建議、對其他學習機會的反應。 3. 態度情意：士氣改善、個人成長、專業成長、自我檢視、彰權益能、影響改變的信念、自我決定、更加了解、尊重彼此、對評鑑的感謝、對擁有權的敏感度、促使獨立、概念重構的角色、增加政治上的自我尊重、投入的增加、想要持續使用技巧。 4.其他：經驗共享、有組織的反思、社會正義、方案改變、加強服務、組織改進及發展、創造關係、發展專業網絡、機會(測試夥伴關係)、公開的允諾(作為評鑑的一部分)、整體評鑑經驗。上述對評鑑產生使用的構念加以整理，可看出一個趨勢，就是對評鑑產生使用的定義會隨著情境而有不同，Amo 及 Cousin 雖然進行了分類，想要釐清構念，但是研究者認為有下列問題: 1. 項目歸類的問題：有些項目在歸類上有令人質疑之處，如：在學習的類別中，共享與了解其實含有情意的成分，不適合歸於此類；在情意態度類別中，個人成長及專業成長屬於學習類別，而彰權益能則同時有學習及行動成分。 2. 分類依據的問題：分類依據是知識、情意及情意態度，根據研究者推測，有可能是根據 Patton(1997)的概念性使用、工具性使用而來(因一般場域的符號使用較少)，再加入情意態度面向。但是研究者認為，Amo 與 Cousin 的分類方式反而使得評鑑產生使用的構念更加模糊，反而可能會讓實際執行評鑑、想從中建立自己評鑑產生使用操作型構念的評鑑者更加困惑，其實這也是研究者自己的經驗。 3. 向度的適合性：Amo and Cousin, 2007 的向度分類適合性有待考慮，因為學習、行動、情意態度的分類方式仍然太廣泛，其實與 Patton(1997)所提出的相差不遠，不須要回顧實證研究就可以直接推論。. 18.

(19) 表 2-2-1. 「評鑑在過程中產生使用」於實徵研究中的操作型定義 (Amo and Cousin, 2007) 編號. 1 2. 3 4. 研究. King and Pschman (1984) Cousin and Leith (1993). Forss,m Cracknell, Samset(1994) Cousin (1995). 5. Cousin, Donohue, and Bloom (1996). 6. Preskill and Caracelli (1997). 7. Lau and LeMahieu (1997) Turnbull (1998). 8. 在<評鑑過程中產生使用的評鑑 >之操作型定義過程使用的定指標及測量方義法類似概念：研究者觀察 Charged use 類似概念：互撰寫人的感知動過程、社會過程類似概念證據在文件、負責人的感知類似概念：證據在對非評研究技巧鑑利害關係人專業發展的感知定義類似概評鑑者回憶合念：合作探究作評鑑的效能的好處有負責人的感知. 分析單位測量類別學習. 行動 V. 態度 V. 個人. V. V. V. 個人群體個人. V. 個人. V. V. V. V. V. V. V. V. 個人. V. V. V. 無，隱含在文中無，隱含在文中類似概念無，隱含在文中. 評鑑者的觀察. 個人群體組織群體. 負責人的感知. 個人. V. V. 負責人的感知利害關係人的觀察. V V. V V. V V. 無，隱含在文中有. 利害關係人的觀察負責人的感知、利害關係人的觀察利害關係人的觀察利害關係人的觀察、晤談者的感知負責人的感知 (有晤談工具, n=16) 利害關係人觀察、利害關係人感受晤談利害關係人研究者觀察、利害關係人自評. 個人組織(地方及國家層級) 個人組織個人組織. V. V. V. V. V. V. 群體組織個人. V. V. V. V. V. 個人. V. 個人組織. V. V. V. 組織. V. V. V. 個人群體組織. V. V. V. 9 10. Turnbull (1999) Brett, Hill-Mead and Wu (2000). 11. Shulha (2000). 12. Russ-Eft, Atwood, and Egherman (2002)」. 13. Morabito (2002). 14. Fross, Rebien and Carlsson (2002). 15. Preskill, Zuckerman, and Mathews(2003). 有. 16. Kamm(2004). 有. 17. Sutherland(2004). 有. 18. Taut(2005). 有. 有(但稱為過程影響) 有. 19. 其他. V. V.

(20) 表 2-2-2. 「評鑑在過程中產生使用」的操作型定義分析編號. 學習. 行動. 態度情意. 其他. 1 2. 啟發概念發展. 士氣改善個人成長. 經驗共享有組織反思. 3 4. 確定先前印象注意到主要議題. 5. 知識發展(評鑑). 6. 專業發展. 不重覆先前反應參與過程中,因評鑑者回饋產生行動要求評鑑者協助實務修正，將評鑑納入實務工作使用評驗鑑資料、結果、發現使用評鑑技巧. 7 8 9 10 11. 12 13 14. 專業成長自我檢視. 社會正義方案改變、加強服務彰權益能、影響組織改進及發展改變的信念自我決定創造關係、發展. 專業網絡研究技巧、施行評行為改變更加了解、尊重機會(測試夥伴關鑑能力彼此係) 認知改變計畫發展對評鑑的感謝公開的允諾(作為評鑑的一部分) 共享與了解發展指標、建議對擁有權的敏整體評鑑經驗感度訓練其他人的能對其他學習機會的促使獨立力反應學習如何學習概念重構的角確認其他學習機色會對方案、實施措增加政治上的施、組織的瞭解自我尊重投入的增加想要持續使用技巧. 20.

(21) 三、「評鑑過程中產生使用的評鑑」的研究方法「評鑑過程中產生使用的評鑑」之實徵研究，所使用的研究方法以質性研究居多(表 2-2-3 及表 2-2-4)。有 12 篇採描述型的個案研究法，而且有些是長期的觀察，長達一年；此外有 4 篇是反思型的個案研究，評鑑者在執行完後的回想與反思，有 3 篇以評鑑者的觀點描述，有 1 篇以評鑑者及 2 位利害關係人的觀點描述。資料收集方式，近來朝向同時以多種資料類型檢視評鑑產生使用。表 2-2-3. 「評鑑過程中產生使用的評鑑」之實徵研究所使用的研究方法編號 1. 文章 King and Pschman (1984). 2. Cousinwood and Leith (1993) Forss,m Cracknell, Samset(1994) Cousin (1995). 3 4 5. 7 8. Cousin, Donohue, and Bloom (1996) Preskill and Caracelli (1997) Lau and LeMahieu (1997) Turnbull (1998). 9. Turnbull (1999). 10. 16. Brett, Hill-Mead and Wu (2000) Shulha (2000) Russ-Eft, Atwood, and Egherman (2002) Morabito (2002) Fross, Rebien and Carlsson (2002) Preskill, Zuckerman, and Mathews(2003) Kamm(2004). 17. Sutherland(2004). 18. Taut(2005). 6. 11 12 13 14 15. 研究方法長期(一年)、描述型的個案研究自然觀察法(晤談及田野筆記) 初探型田野調查(Exploratory field surveys) 調查後設評鑑; 8 位評鑑者的描述型個案研究問卷, 晤談, 相關文件回顧描述型個案研究(個案比較) 晤談、文件分析描述型的個案研究晤談描述型的個案研究晤談反思性個案研究；由評鑑者觀點撰寫描述型個案研究晤談描述型個案研究晤談反思性個案研究; 從評鑑者及兩位成員的觀點撰寫反思性個案研究; 從評鑑者觀點撰寫描述性個案研究晤談、調查反思性個案研究; 從評鑑者觀點撰寫後設評鑑; 回顧文獻、晤談，二個描述型個案研究 2 位評鑑者的描述型個案研究晤談長期、描述型的個案研究(執行中及執行後) 個別晤談及焦點晤談、觀察、文件分析、問卷長期、描述型的個案研究觀察及晤談行動研究調查、文件分析、個別晤談、觀察利害關係人、群體討論、非正式溝通. 21.

(22) 表 2-2-4. 「評鑑過程中產生使用的評鑑」研究方法之分析研究方法質性. 篇數個案研究. 描述性個案研究反思性個案研究. 晤談. 量化. 12 從評鑑者觀點撰寫. 4. 從參與成員觀點撰寫. 1. 行動研究. 1. 個別晤談. 13. 焦點晤談. 1. 非正式溝通. 1. 文件分析. 3. 問卷或調查. 8. 小結研究者對 Amo and Cousin(2007)的分析方法，有兩點不同看法： 1. 他們根據各文章對過程使用的操作型定義及內涵，將過程使用的構念分成學習、行動、態度情意及其他。但是研究者建議，應該將情境因素考慮進去，再重新審視各個研究。因為場域特性會造成對評鑑產生使用的操作型有極大差異，而評鑑很多以學校為場域，因此研究者先依照情境分成三類：學校、非學校的營利及非營利組織、評鑑專業學會，然後再對照研究目的與問題、以及該研究對評鑑產生使用的定義及內涵，重新檢視各家說法。研究者的重新分類，詳見表 2-2-5, 表 2-2-6, 表 2-2-7。 2. 在研究方法上，研究者的看法如下： (1) 評鑑產生使用不只利害關係人，所有參與的人，包含評鑑者都會進行評鑑產生使用。(正如 Cousin and Whitmore, 1998 所提出的 interactive process)。 (2) 改變及使用是動態的，不宜僅進行單一時間點的資料收集，需要多個時間點資料的動態評量。 (3). 評鑑產生使用的確需要長期時間，尤其是變成組織文化的更需要時間。 (4) 直接詢問利害關係人或評鑑者的方法不一定好，因為個案或評鑑者不一定自我覺察。因此須藉多種資料輔助，協助瞭解評鑑的使用情形。 22.

(23) 表 2-2-5. 在學校情境對「評鑑在過程中產生使用」的操作型定義編號. 文章. 1. King and Pschman (1984). 2. Cousinwood and Leith (1993). 3. Cousin (1995). 4. Lau and LeMahieu (1997). 5. Turnbull (1998). 6. Turnbull (1999). 7. Shulha (2000). 8. Morabito (2002). 9. Sutherland(2004). 情境脈絡情對象境學中央校機構與評鑑評部門鑑部門學小學校校長與及中評央機鑑構職部員門學學校校. 目的、研究問題. 「評鑑在過程中產生使用」操作型定義內涵. 在學校系統使用評鑑(如何促使地方學校的評鑑產生使用). “charged use”:使用可能造成改變. 評鑑者與可能使用者的非正式評鑑資訊(包括對話)的互動. 檢核對學校改進的起始設計，作為回顧教育實務的結果(檢核利害關係人知識使用的相關變數). “interactive processes”:研究者與實務者的互動或連結. 檢核利害關係人 a.知識改變及相關變數 b.對過程投入、參與、持續聯繫. 學校使用評鑑探究以支持學校改進(檢核評鑑產生使用的程度及促進或抑制使用的因素) 討論理論內容、評鑑研究目的在使教師彰權益能 (HERALD 計畫及加州地方學校). 發展研究技巧、參與評鑑研究的教育者之專業發展. 教育者 a.發展評鑑技巧 b.專業發展. 教師與評鑑者合作成效、參與評鑑過程的效用(教師是內部評鑑者). a.教師與評鑑者合作成效 b.參與評鑑過程的效用. 中小學教師. 學校對評鑑的使用方式(概念、工具、及符號使用). 概念使用工具使用符號使用. 中小學教師. 學校教師使用評鑑成效(更瞭解參與式評鑑), 檢測參與式評鑑模式的因果關係. 問卷調查的概念使用項目顯示與過程使用重疊(過程使用更能瞭解學校優缺點; 活動提供學校發展計畫的必需知識) “participatory efficacy”:”參與式評鑑的達成程度 (p.133). 無. 探討參與式評鑑探究的過程影響 (中小學及大學伙伴關係). 學習－技巧發展行動－做決定情意態度改變及其他成效. 學校. 無. 學校. 師生、主管、家長, 及地方教育長官. 評鑑者的角色、哲學、個人促進評鑑產生影響能力(美國身心障礙學校) 評鑑產生使用是學校執行方案的一部份(如何將資料使用及管理變成文化，造成持續改進). 透過評鑑產生影響理論顯示評鑑探究的影響 (Kirkhart(2000)評鑑產生影響理論) “process influence”: 評鑑過程中影響組織中利害關係人的能力; 長期的評鑑資料使用;外在動機變得不重要, 內在動機提昇, 評鑑整合進組織文化. 學校與評鑑部門學校與評鑑部門學校與評鑑部門. 無. 23. a.學校學到有用的事 b.學校成長計畫的必需知識 c.更瞭解其他職員的觀點. 個人及組織學習學校結構改變課程改變長期的評鑑資料使用: a.外在動機 b.內在動機 c.評鑑整合進組織文化.

(24) 表 2-2-6. 在非學校的營利及非營利組織對「評鑑在過程中產生使用」的操作型定義編號. 文章. 情境脈絡情對象境脈絡營記者利及方組案執織行的職員. 目的、研究問題. 「評鑑在過程中產生使用」操作型定義內涵. 1. Forss,m Cracknell, Samset(1994). 效能改善( 探討評鑑如何增加組織學習). “learning by involvement”. 2. Russ-Eft, Atwood, and Egherman (2002). 營利組織. 評鑑公司的服務：探討使用與不使用評鑑結果、特別強調過程使用; 及影響因素. Patton(1997)定義. 3. Kamm(2004). 營利組織. 檢核施行 EILO 成效,：研究參與過程中的組織及個人成效. 過程中利害關係人的在個人思想及行為改變、及方案或組織的改變 (Patton,1997). a.個人及組織學習改變 b.個人及組織行為改變 c.個人情意改變. 4. Taut(2005). 營利組織. 評鑑公司顧問及顧客公司代表醫院主管, 員工, 顧客大型組織主持人、專家及職員. 強調評鑑能力的學習(在大型組織評鑑促使學習自我評鑑、顧客導向, 評估學習效能). 評鑑能力建立. 5. Brett, Hill-Mead and Wu (2000). 非營利組織. 無. 提供參與評鑑過程的影響. 6. Fross, Rebien and Carlsson (2002). 非營利組織. 文中未交代. 7. Preskill, Zuckerman, and Mathews(2003). 非營利組織. 顧問群成員及美國癌症協會主管. 討論組織參與評鑑的關係; 由促進評鑑產生使用及影響學得的事情(以國家非營利性青年服務組織的評鑑部門) 探討評鑑過程的使用, 對情境的假設, 與評鑑過程使用相關的活動(評鑑 NDF, 及專家協助方案的效能) 探索顧問群成員參與評鑑所學到的事;對過程使用加入變數(Preskill, 2000)－增進或抑制學習 (年度評鑑方案). 1.過程中評鑑能力建立: a.評鑑知識 b.態度 c.評鑑技巧 2.結束後: a.整合思考 b.評鑑概念使用 a.加強對評鑑功能的瞭解 b.更贊成成果取向 c.擁有權 d.組織改變. 24. 方案執行者 a. 參與評鑑 b. 計畫審核知識 c. 計畫發展知識; d. 與外部專家聯繫 a.增進瞭解的分享, b.增進參與 c. 自我決定. 定義為”利害關係人參與評鑑計畫、實施. 學會專業網絡發展專業網絡瞭解的分享強化方案. 參與評鑑過程所發生的學習. 學習評鑑方案瞭解評鑑經驗.

(25) 表 2-2-7. 在專業評鑑學會對「評鑑在過程中產生使用」的操作型定義編號. 文章. 5. Cousin, Donohue, and Bloom (1996). 6. Preskill and Caracelli (1997). 情境脈絡情樣境本脈絡評專鑑業學評會鑑學會及教育學會會員. 目的、研究問題. 「評鑑在過程中產生使用」操作型定義內涵. 評鑑者及評鑑學者對合作評鑑的看法 (利害關係人認為合作或參與有用的程度;因合作實務及過程有差異). 調查項目強調利害關係人參與評鑑產生影響(參與幫助帶來社會正義;發展研究者技巧;學習評鑑策略改變). 評鑑者 a.評鑑技巧 b.學習評鑑策略改變. 評鑑學會. 評鑑者對評鑑產生使用的看法(探討評鑑產生使用理論與實務觀點的連結；得到過去與目前看法及評鑑產生使用的經驗). “認知及行為改變是使用者參與評鑑過程的結果。評鑑過程使用發生在參與評鑑時，由評鑑過程中學習”(p.217). 使用者 a.認知改變 b.行為改變. 專業評鑑學會. 25.

(26) 第三節評鑑產生影響的評鑑理論一、由「評鑑產生使用」到「評鑑產生影響」的觀念轉變近年來已經將「評鑑結果及過程使用」的概念擴大到「評鑑產生影響」。過去 Patton(1997)提出評鑑結果及過程的使用，有許多評鑑研究追隨此理念，但在 2000 年出現觀念轉變，學者們的關心焦點由「評鑑產生使用」移轉到「評鑑產生影響」。Kirhart (2000)提出「評鑑產生影響理論」，而後 Henry & Mark (2003) 及 Mark & Henry (2004)進一步修正理論，這三篇文章為歸納過去研究提出「評鑑產生影響理論」的架構。現任美國評鑑學會主席 Hallie Preskill 在 2000 年也以 Kirhart (2000)的評鑑產生影響理論為架構，進一步將影響鎖定在有意的 (intensional)評鑑過程及結果影響，提出評鑑促進學習的概念(the learning dimension of evaluation)。首先是 Kirhart (2000)的評鑑產生影響理論(The Integrated Theory of Influence)，Kirhart (2000)認為「評鑑產生使用」的概念應延伸到「評鑑產生影響」，過程使用是有意的使用，還需考慮無意的使用。他以三個層面分析評鑑產生影響：來源、時間、意圖。其中「來源」包括過程及結果；「時間」包括立即、評鑑結束(end-of-cycle)；而「意圖」則包括故意的、非故意的。Kirhart(2000)在美國評鑑學會出版的期刊 New Direction for Evaluation 為文發表，該期刊當期一整本的其他七篇文章，都以 Kirhart 所提的架構作觀念延伸及討論，該理論受到了相當的重視。圖 2-3-1 為 Kirhart 所提的評鑑產生影響的整合性理論架構。. 26.

(27) 長期. 時間來源有意. 意圖. 過程. 評鑑結束結果. 立即. 非有意. 圖2-3-1. 評鑑產生影響的整合性理論 (The Integrated Theory of Influence (Kirhart, 2000). 27.

(28) Kirhart(2000)提出評鑑產生影響理論之後，沉寂了一段時間，但是在2003年引起Marvin Mark (美國評鑑學會2006年主席)以及學者Gary Henry的注意，他們在進一步延伸Kirhart的理論模式，支持他將「評鑑產生使用」擴大到「評鑑產生影響」的理念，提出評鑑產生影響理論的機制(a mechanism of evaluation influence)( Henry & Mark, 2003)。他們回顧了上百篇的評鑑研究，將評鑑產生影響與社會科學的理論做連結，歸納認為所有評鑑的最後目的是達成讓社會更美好 (social betterment)，將評鑑產生影響整理出三個層面，包含個人的、人與人之間的、以及整體的影響，並依據文獻回顧，將各層面加以細分，如個人的影響層面可再分成態度改變、技能的獲得等，詳見圖2-3-2。在一年之後， Mark and Henry (2004)再進一步修正他們的評鑑產生影響理論，認為除了影響層面之外，可以加入另一個評鑑過程或結果的類別向度，分成一般影響、認知及情意、動機上的、行為上的四向度影響。. 圖 2-3-2.評鑑產生影響的作用機制 (Henry and Mark, 2003). 28.

(29) 另一位學者也是 AEA 現任主席 Hallie Preskill 將 Kirhart(2000)的評鑑產生影響理論延伸，提出她的評鑑學習理論(the learning dimension of evaluation)，她認為學習也是一種評鑑產生影響，屬於一種有意圖的影響，在時間上可看到立即、評鑑剛結束(短期)、以及長期的影響。透過評鑑可以結合成人學習理論，如學習轉化理論(transformative learning theory)，或是實務社群理論(community of practices)，利用評鑑促進成員的學習，以達到組織學習的目的。不過值得注意的是，她論文中雖然提及評鑑可以結合「轉化學習理論(transformative learning theory)」，但是對結合的方式、以及評鑑對轉化學習的意涵並未詳述 (Preskill, 2000)。上述各家理論提出後，研究者發現很特別的是實徵性研究並不多見，因此導致這些評鑑產生影響理論以及評鑑學習理論一直處於初步的概念階段。根據研究者搜尋 ERIC、重要評鑑期刊、美加地區博碩士論文系統(pro-quest)、台灣地區的博碩士論文系統，運用此架構進行的研究非常少，僅只有二篇相關的實徵性研究，分別是由 Vanek 在 2004 年提出的博士論文，以及 Preskill 的博士生論文。其中後者雖以「組織學習」為架構，但是並結合學習轉化理論或是實務社群理論。而另一方面 Vanek 在 2004 年提出的博士論文中，雖然嘗試使用 Kirhart 的理論架構，但是有另一方面的缺失。他根據 Kirkhart(2000)理論架構，將評鑑產生影響分成五個類別而設計問卷，包括：以結果為基礎的影響(results-based influence)、以過程為基礎的影響(process influence)、以時間為基礎的影響 (time-based influence)、有意的影響(intention of influence)、無意的影響(unintended of influence)、及做決定(decision making)。他嘗試以問卷了解學校行政當局是如何運用評鑑資料作決策，以及影響評鑑產生使用的相關因素(Vanek, 2004)。但是他提到自己的研究有一缺失，就是此評鑑產生影響理論的架構過於簡化，無法將複雜現象做適當分類，而且對於是否有影響，其實在實務上是無法以有或沒有影響作清楚的劃分。. 4.對本研究的意涵研究者由前述文獻得到一些啟示，以及一些個人淺見。首先對於 Vanek 的研究，研究者分析後認為他的設計可能有二個問題：問題一是根據 Kirhart(2000) 理論，共分成三個層面，而各層面又再個別細分成 2, 2, 3 個向度。因此應該包括有 2x2x3=12 個種類，而不是指是簡單的分成五個種類，例如：即時(immediate)過程(process)-有意的(intentional)，以及即時(immediate)-過程(process)-無意的 (unintentional)，依此類推，共有 12 個。問題二是研究者認為他收集資料的方法有問題，因為以問卷很難了解影響的全貌，因為當事人有時很難判斷自己是否受到了影響，而是研究者應該透過其他質性的資料，如：實際觀察、當事人及他人的訪談、當事人省思札記、以及相關文件等，綜合各種資料來源做分析。 29.

(30) 其次，Kitrhart、Henry and Mark、Ｐreskill 相繼提出評鑑產生影響之後，缺乏實徵性研究進一步將想法加以實踐，進而對理論提出修正。因此本研究將以個案研究的方式，詳細探討以評鑑促進使用的機制，將使用定義在教師專業成長。研究者在本研究中嘗試將教師成長歷程以評鑑方式促進反思，並分析評鑑引起的轉化歷程。本文歸納上述文獻的想法，將評鑑產生影響分成四個層面，包括時間(含立即、評鑑剛結束、長期)、意圖(有意及無意)、來源(過程或結果)、群體類別(個人、人與人之間、整體)。所以總共有 36 個種類 (3 x 2 x 2 x 3 = 36)。但是由於類別太多，若全部收集分析，將不夠深入，因此本研究預定看其中兩個類別：評鑑過程及評鑑結果的有意及非有意的評鑑產生影響，如表 2-3-1 所示。表 2-3-1. 本研究中評鑑產生影響層面以及關注面向 Time Immediate. Sources Process Results. End-of-cycle Process Results Long-term. Process Results. Intension. Levels of Analysis Personal. Interpersonal. Collective. V V V V －－－－－－－－. －－－－－－－－－－－－. －－－－－－－－－－－－. Intended Unintended Intended Unintended Intended Unintended Intended Unintended Intended Unintended Intended Unintended. 30.

(31) 第四節參與式評鑑由於本研究的評鑑模式擬加入參與式評鑑的精神，因此本節將分成三部份探討：參與式評鑑的緣起、參與式評鑑的類型與比較、以及參與式評鑑的機制。. 一、參與式評鑑的緣起參與式評鑑的概念始於 1960 年代，但是不同學者對參與式評鑑的定義十分不同，Cousin & Whitmore(1998)於美國評鑑學會的期刊 New Directions for Evaluation 發表文章，透過文獻回顧，將參與式評鑑的概念重新整理，並將參與式評鑑定義為：評鑑者以某種方式與有決定權的利害關係人合作以進行評鑑，其目的是透過利害關係人參與評鑑過程，加入多元觀點的意見，以促進未來評鑑結果的使用。實施方法透是過利害關係人與評鑑者共同思索主要問題、努力目標及採取行動。施行需考慮三方面：首先評鑑須回應被評鑑個人或群體的需求及關注焦點。其次，有助於形成或修正方案、及對利害關係人有意義的評鑑資料可能會被採用。不過即使是上述來源的資料也有可能不被利害關係人信任，因為評鑑不可能為立場中立的活動，因為問題和回答方式往往會反映出不同的信念、期望和興趣，但是利害關係人或評鑑者往往會略掉此詮釋的過程。 Cousin and Whitmore(1998)透過文獻回顧將參與式評鑑的概念釐清，並根據評鑑的目的分成兩類型：實務型參與式評鑑 (practical participatory evaluation，簡稱 P-PE)及轉換型參與式評鑑(transformative participatory evaluation，簡稱 T-PE)。 P-PE 是指用來支持組織與方案的決策及問題解決，與有效的社會改變無關，概念主要是源自美加地區的評鑑實務，包括 1970 年代的反應式評鑑(responsive evaluation)及以利害關係人為基礎的取向(stakeholder-based approach)；T-PE 是指使人們透過評鑑過程建構它們自己的知識，以彰權益能，主要源自發展中國家(拉丁美洲、印度、及非洲)(King, Cousin and Whitmore, 2007)。 Cousin and Whitmore (1998)將參與式評鑑定義為，由評鑑者以某種方式與有決定權的利害關係人合作以進行評鑑。他將參與式評鑑分成兩學派，在北美洲的文獻中，利害關係人通常定義為評鑑中主要關係人，可能是方案贊助人、方案經理、方案發展者、方案實施者。然而在其他地區的評鑑文獻中，或是以社群為基礎的評鑑中，雖然未清楚定義利害關係人，但是由不同利害關係人的角度考量或是直接參與，而為評鑑加入不同觀點。他認為可能是因有些評鑑者缺乏專業訓練，無法進行有系統的評鑑探究，而造成這種現象。. 31.

(32) 他將參與式評鑑分成兩種，一是實際型的參與式評鑑(practical participatory evaluation, P-PE)，此種評鑑可以實際支持方案或組織進行問題解決或做決策；另一種是轉換型的參與式評鑑(transformative participatory evaluation, T-PE)，主要是以施行社會正義為基礎，尋求讓社群中較弱勢成員彰權益能。. 二、參與式評鑑的類型及比較. 1. 從主要目標、功能、歷史根源分類及比較 P-PE 與 T-PE 兩種參與式評鑑可以從主要目標、功能、歷史根源做區分，但是也有共同之處。 (1). P-PE 與 T-PE 相異處. 實際型的參與式評鑑(P-PE)主要起源於美國及加拿大，主要功能是促進評鑑產生使用，意涵假設是評鑑可促進方案、組織或政策作決定。透過利害關係人參與評鑑會加強評鑑關係、評鑑擁有權及評鑑產生使用。評鑑產生使用主要顯現在三方面：工具使用、概念使用、符號使用。通常影響是定義為對使用者及做決定者的影響。因為利害關係人不同參與評鑑的程度，而有不同形式的 P-PE，轉換型的參與式評鑑(T-PE)是透過參與的評鑑原則及行動，造成民主化而有社會改變，與 P-PE 相當不同。大部分 T-PE 的文獻主要與 participatory research、 participatory action research 有關，主要起源是在 1970 年代的發展中國家，像是拉丁美洲、印度、和非洲，目的是作權力的轉換。T-PE 主要有三目標：ㄧ是讓人們透過參與評鑑建構知識，並且了解知識、權力與控制的關係，其二是重視評鑑過程如何施行，其三是反思。 (2) P-PE 與 T-PE 相似處兩種參與式評鑑有類似之處，首先是主要目的及次要目的重疊：Cousin and Whitmore (1998)認為我們很難區分 P-PE 可了解方案的功能及過程，但是卻不會使方案參與人產生彰權益能；相同的，T-PE 會促使個人發展技巧，但是卻不會考慮方案發展及實施的實際價值。其次，兩種取向都與合作探究評鑑(collaborative inquiry)有部分重疊，Levin(1993)認為此兩種取向的認識論本質，都是在評鑑之中加入利害關係人觀點。因此 P-PE 與 T-PE 主要功能不同(分別是問題解決與彰權益能)，歷史根源也不相同，但是在次要功能及其他部分也許多重疊之處。. 32.

(33) 2. 從評鑑過程控制、選擇利害關係人參與、參與的深度進行比較 Cousin and Whitmore (1998)發展出一個分析架構，從三個向度比較三大類型的評鑑，包括：參與式評鑑(P-PE 及 T-PE)、及合作模式的評鑑(stakeholder-based evaluation, school-based evaluation, democratic evaluation, developmental evaluation, empowerment evaluation)、合作探究形式的評鑑(participatory action research, emancipatory action research, cooperative inquiry)，三個向度如下(圖 2-4-1)：(1)評鑑過程的控制(從研究者控制及實務利害關係人控制)；(2)選擇利害關係人參與 (主要使用者及所有合法利害關係人)；(3)參與的深度(從諮詢到深度參與)。可以透過將各向度標示 1,2,3 表示來分析。例如：轉換型參與式評鑑為 a1-b1-c2，是實務控制(a1)、主要使用者(b1)、深度參與(c2)。他們還分析了 collaborative evaluation 及 collaborative inquiry (p.12-13)。. A.評鑑過程的控制 A2 研究者控制. C1 諮詢. B1 主要使用者. B. 選擇利害關係人參 C. 評鑑過程的控制 B2 所有合法參與者. C2 深度參與. A1 實務參與者控制. 圖 2-4-1. 比較三種利害關係人參與的評鑑之分析架構 (Cousin and Whitmore, 1998). 33.

(34) Cousin and Whitmore (1998)從評鑑過程控制、選擇利害關係人參與、參與的深度比較 P-PE、T-PE、及合作模式的評鑑。 (1) P-PE 與 T-PE 之比較限制利害關係人主要與方案的支持及管理有關，評鑑較適合主要決策者的時間及需要。雖然評鑑者是站在主要使用者的觀點，而非外來利益者的干預。此模型因僅限於主要使用者，缺少大家對於方案目標的共識，不同利益團體之間的需要仍互有衝突，可能會有偏見產生。評鑑者發現自己在解決衝突歧見，對利害關係人的彰權益能作用有限。T-PE 比 P-PE 有較多的利害關係人參與，權力的議題常被直接強調。通常方案的受益人是直接被彰權益能的人，闡明社會議題。雖然評鑑者與促進者是訓練角色，但是除專業素養外，尚需要時間及處理相關脈絡的經驗。如:Cousin and Earl(1995)提到，處理組織的限制、將組織文化納入考量、需要較長時間經營。兩種 PE 都與利害關係人的個人及社群有關，因此 Cousin and Earl(1995)質疑使利害關係人高度參與的活動方式及價值，精通此種方式才能使評鑑更加彰權益能。 (2) PE 與合作模式的評鑑之比較合作模式的評鑑(collaborative evaluation)有五種形式，包括：以利害關係人為主的評鑑 (stakeholder-based evaluation)、以學校為主的評鑑 (school-based evaluation)、民主式評鑑 (democratic evaluation)、發展性評鑑 (developmental evaluation)、彰權益能評鑑 (empowerment evaluation)。其中最常見的是以利害關係人為主的評鑑(stakeholder-based evaluation)，最不像 PE。它與 P-PE 有類似的目標，但是在利害關係人之間對方案目標有更少的共識產生，在過程中所有合法者參與，評鑑者維持中立立場，但是協調他們之間不同的價值觀。在朝向共識建立的過程中，可能會讓利害關係人參與。P-PE 較傾向於形成性評鑑(formative evaluation)，而後者較傾向於總結性評鑑(summative evaluation)。 (3) PE 與合作探究形式評鑑之比較合作探究形式評鑑有三種形式，包括：參與式行動研究 (participatory action research)、解放行動研究 (emancipatory action research)、合作探究 (cooperative inquiry)。PE 曾被用來幫助利害關係人作決定、協助判斷方案執行情形，因此其他目的、以合作為基礎的評鑑就稱為合作型評鑑。 (4) 學者對此分析結構的批評 King (2007)對上述的分類法並不完全贊同，他們認為按照 Cousin and Whitmore (1998) 的分析架構，會得到的結論是彰權益能評鑑是最佳的 PE 評鑑 34.

(35) (p.16)，這種看法有偏頗。雖然如此，她仍然認為這個分析架構具有啟發性，因此在 2007 年的 New Directions for Evaluation 期刊中，她再一次介紹該文並且希望有更多實徵性研究使用參與式評鑑。表 2-4-1.三種利害關係人參與的評鑑之比較分析 (引自 Cousin and Whitmore, 1998) 向度. 主要作者. 主要技術目標/功用. 1. 參與式評鑑 P-PE Cousins and Earl(1992, 1995); Ayers (1987). Tandon & Fernandes(1981); Fals-borda(1980); Gaventa(1993) 2. 其他形式的合作評鑑以利害 Bryk (1983); 關係人 Mark and 為基礎 Shotland (1985) 的評鑑以學校 Nevo(1993, 為基礎 1994); Alvik 的評鑑 (1995). McTaggart (1991). 發展式評鑑. Patton (1994). 增權益能評鑑. Fetterman (1994). 3. 其它形式的合作探究參與式 Argyris and 的行動 Schon (1991) 研究 Emancip Carr & atory 行 Kemmis(1992) 動研究合作探究. Reason(1994); Reason & Heron (1986). 合作探究的過程利害關係參與的深人的選擇度 b1—b2 c1—c2. 在圖中位置. 實務上：給予方案決策參考及問題解決；評鑑產生使用政治上：增權,emancipa tion, 社會正義. 平衡：評鑑者與利害關係人是夥伴關係. 主要使用者. Extensive. a1-a2 b1 c2. 平衡：夥伴關係但是最終決策決定是由利害關係人控制. 所有合法利害關係人. Extensive. a1 b2 c2. 實務上：評鑑產生使用;部分強調評鑑的政治觀點實務上：給予方案決策參考及問題解決；評鑑產生使用政治上：評鑑結果的合法使用…. 實務上：方案改進；評鑑產生使用政治上：發揚增權益能, 自我決定. 評鑑者：協調評鑑的活動及技術層面. 所有合法利害關係人. Limited. a2 b2 c1. 平衡：評鑑者訓練學校的人員自己做探究. 主要使用者. Extensive. a1-a2 b1 c2. 平衡：評鑑者與利害關係人為夥伴關係. 所有合法利害關係人主要使用者. moderate. a1-a2 b2 c1-c2 a1-a2 b1 c2 a1 b1 c1. T-PE. 民主式評鑑. 決策的控制 a1—a2. 平衡：評鑑者與利害關係人為夥伴關係利害關係人：大部分由利害關係人完全控制，評鑑者促進. 實務/哲學上：改進實務同時增進科學知識政治上：增權益能, emancipation, amelioration …… －. Subatamtial ：持續參與. 主要使用者. Extensive ：參與所有評鑑階段. 平衡：. 主要使用者. extensive. 利害關係人：利害關係人完全控制，研究者是資源提供者利害關係人：利害關係人同時是共同研究者. 無特定. extensive. 無特定. extensive. 35. a1-a2 b1 c2 a1 b2 c2 a1 b2 c2.

(36) 3. 對本研究的意涵若將本研究放入 Cousin and Whitmore(1998)的架構之中，可得到表 2-4-2。本研究在決策的控制上，決策是利害關係人，評鑑者與利害關係人是夥伴關係，大部分由利害關係人完全控制，評鑑者促進。在利害關係人的選擇上，是主要使用者(教師)。在參與的深度上是 extensive。因此在圖中的位置是(a1，b1，c2)。. 表 2-4-2. 本研究在 Cousin and Whitmore (1998)分析架構中的位置主要技術目標/功用. 決策的控制 a1—a2. 實務上：給予方案決策是利害關係人決策參考及問題解決；評鑑產生使評鑑者與利害關係人是夥伴關係用. 合作探究的過程利害關係參與的深度人的選擇 c1—c2 b1—b2 主要使用 extensive 者(教師). 在圖中位置. a1 b1 c2. 大部分由利害關係人完全控制，評鑑者促進. 36.

(37) 三、參與式評鑑的機制. (一) 參與式評鑑的元素有多位學者曾經探討 PPE 架構中的組成元素。Greene (1988)首先提出 PPE 的過程及結果使用的概念，描述利害關係人在參與式評鑑中使用評鑑過結果的情形，並以認知、情意、政治三面向分析評鑑產生使用。實施 PPE 的結果是使利害關係人對評鑑結果及方案更加瞭解。Cousins (2001, 2003)提出 PPE 架構，探討：情境因素、過程、及結果。他強調情境因素會產生不同 PE 實施過程，而且可能加速或抑制 PE 的實施。評鑑者與利害關係人的夥伴關係，Weaver and Cousins(2004)認為可以用五種互動的過程描述：做決定的控制軌跡、選擇哪些利害關係人參與、參與的利害關係人之間權力關係、評鑑過程的控制(時間及資源)、利害關係人在過程中的參與深度。PE 的夥伴關係有三層次：個人、群體、整體組織。參與 PE 所產生的結果，包括：評鑑知識的產生、過程使用、結果使用、知識使用(Cousins, 2001, 2003)；或是分成概念性、工具性、符號性使用(Cousins, 2001, 2003;Weiss, 1981)。Smith and Champagne(2008)的批評，他們認為 Cousins(2001, 2003)文章中雖然有提到 PE 的過程及結果各是什麼，但未探討過程與結果之間的關係，而且未詳加區分過程使用與結果使用，因此應該加入時間的因素考慮。另一種 PE 的角度，是以組織學習系統的概念建立架構(Cousin, Goh, Clark and Lee, 2004)。他們認為組織的支持系統(獎勵、專業活動)會影響 PE 實施：評鑑過程中，過程使用加強了組織的評鑑能力。在此模型中，評鑑深植於非評鑑團隊的織脈絡之中，並未考慮評鑑者及利害關係人之間的互動關係，但是在 Smit(2008)則包括了評鑑者及利害關係人兩方面。 (二) 參與式評鑑元素的連結 Smits and Champagne (2008)的參與式評鑑機制 Smits and Champagne (2008) 認為先前學者所提到的參與式評鑑的理論中，探討了影響因素，但並未詳細探究利害關係人如何使用評鑑知識及做出行動，因此他們提出了參與式評鑑理論的機制，補足先前理論。他們認為過去學者雖然提出元素，但元素間的連結並未說明。連結的相關問題包括：在評鑑中利害關係人如何發展知識？利害關係人如何以評鑑方式思維及行動？評鑑團隊如何增加評 37.

(38) 鑑領域的知識？評鑑團隊與利害關係人之間的夥伴關係，如何改善評鑑的目標？他們運用了兩種理論進行連結：(1) Argyis(1998)的社會認知學習理論 (sociocognition learning theory)：組織會產生學習；(2) 知識使用理論(Knowledge Utilization Theories)：在 Weiss(2000)文章中提到的知識使用，包括啟發,、問題解決、知識產生、產生策略、理論精緻化。. 1. 理論內涵 Smits and Champagne (2008)所提出的理論內涵(圖 2-4-2)，包括： (1) 啟動裝置：首先有一個特別的啟動裝置(A particular trigger)：解決問題的需求。 (2) 資料收集：為了處理這個問題，需要內部及外部專家參與，也就是評鑑者與利害關係人互相合作，透過資料產生過程，彼此產生互動及反思性對話。在評鑑資料的收集過程中，問題逐漸被回答(中間有環狀連結)。 (3) 資料分析及產生評鑑結果：討論所收集的資料、分析資料、詮釋資料，由於此過程中有分別來自評鑑者及利害關係人的知識，因此是一個知識共構的過程。 (4) 產生行動：討論評鑑結果時，共構的知識可以被轉換成行動，也就是在特定脈絡下做決定。此過程中外在限制會調整共構的知識，變成可行動的知識(actionable knowledge)，此知識可透過真實的行動解決原先的問題(圖 2-4-3)。. 38.

(39) 圖 2-4-2. 參與式評鑑的機制(引自 Smits and Champagne, 2008. 共構的知識 (學習理論). 可行動的知識. 做決定(知識使用理論). 圖 2-4-3. 知識使用理論的理念(整理自 Smits and Champagne, 2008). 39.