第四節 參與式評鑑
B. 選擇利害關係人參
B2 所有合法參與者
B1 主要使用者
Cousin and Whitmore (1998)從評鑑過程控制、選擇利害關係人參與、參與的 深度比較 P-PE、T-PE、及合作模式的評鑑。
(1) P-PE 與 T-PE 之比較
限制利害關係人主要與方案的支持及管理有關,評鑑較適合主要決策者的時 間及需要。雖然評鑑者是站在主要使用者的觀點,而非外來利益者的干預。此模 型因僅限於主要使用者,缺少大家對於方案目標的共識,不同利益團體之間的需 要仍互有衝突,可能會有偏見產生。評鑑者發現自己在解決衝突歧見,對利害關 係人的彰權益能作用有限。T-PE 比 P-PE 有較多的利害關係人參與,權力的議題 常被直接強調。通常方案的受益人是直接被彰權益能的人,闡明社會議題。雖然 評鑑者與促進者是訓練角色,但是除專業素養外,尚需要時間及處理相關脈絡的 經驗。如:Cousin and Earl(1995)提到,處理組織的限制、將組織文化納入考量、
需要較長時間經營。兩種 PE 都與利害關係人的個人及社群有關,因此 Cousin and Earl(1995)質疑使利害關係人高度參與的活動方式及價值,精通此種方式才能使 評鑑更加彰權益能。
(2) PE 與合作模式的評鑑之比較
合作模式的評鑑(collaborative evaluation)有五種形式,包括:以利害關係人 為主的評鑑 (stakeholder-based evaluation)、以學校為主的評鑑 (school-based evaluation)、民主式評鑑 (democratic evaluation)、發展性評鑑 (developmental evaluation)、彰權益能評鑑 (empowerment evaluation)。其中最常見的是以利害關 係人為主的評鑑(stakeholder-based evaluation),最不像 PE。它與 P-PE 有類似的 目標,但是在利害關係人之間對方案目標有更少的共識產生,在過程中所有合法 者參與,評鑑者維持中立立場,但是協調他們之間不同的價值觀。在朝向共識建 立的過程中,可能會讓利害關係人參與。P-PE 較傾向於形成性評鑑(formative evaluation),而後者較傾向於總結性評鑑(summative evaluation)。
(3) PE 與合作探究形式評鑑之比較
合作探究形式評鑑有三種形式,包括: 參與式行動研究 (participatory action research)、解放行動研究 (emancipatory action research)、合作探究 (cooperative inquiry)。PE 曾被用來幫助利害關係人作決定、協助判斷方案執行情形,因此其 他目的、以合作為基礎的評鑑就稱為合作型評鑑。
(4) 學者對此分析結構的批評
King (2007)對上述的分類法並不完全贊同,他們認為按照 Cousin and
(p.16),這種看法有偏頗。雖然如此,她仍然認為這個分析架構具有啟發性,因 此在 2007 年的 New Directions for Evaluation 期刊中,她再一次介紹該文並且希 望有更多實徵性研究使用參與式評鑑。
表 2-4-1.三種利害關係人參與的評鑑之比較分析 (引自 Cousin and Whitmore, 1998)
向度 主要作者 主要技術目 Earl(1992, 1995);
Ayers (1987)
實務上:給
Extensive a1-a2 b1 c2
T-PE Tandon &
Fernandes(1981);
Fals-borda(1980);
Gaventa(1993)
政治上:增 Shotland (1985)
實務上:評鑑
Limited a2 b2 c1 以學校
為基礎 的評鑑
Nevo(1993, 1994); Alvik (1995)
Extensive a1-a2 b1 c2
民主式 評鑑
McTaggart (1991)
moderate a1-a2 b2
Fetterman (1994) 政治上:發揚 增權益能,
3. 對本研究的意涵
若將本研究放入 Cousin and Whitmore(1998)的架構之中,可得到表 2-4-2。
本研究在決策的控制上,決策是利害關係人,評鑑者與利害關係人是夥伴關係,
大部分由利害關係人完全控制,評鑑者促進。在利害關係人的選擇上,是主要使 用者(教師)。在參與的深度上是 extensive。因此在圖中的位置是(a1,b1,c2)。
表 2-4-2. 本研究在 Cousin and Whitmore (1998)分析架構中的位置 主要技術目標/功
用
合作探究的過程 決策的控制
a1—a2
利害關係 人的選擇 b1—b2
參與的深度 c1—c2
在圖中 位置
實務上:給予方案 決策參考及問題 解決;評鑑產生使 用
決策是利害關係人 評鑑者與利害關係人 是夥伴關係
大部分由利害關係人 完全控制,評鑑者促 進
主要使用 者(教師)
extensive a1 b1 c2
三、參與式評鑑的機制
(一) 參與式評鑑的元素
有多位學者曾經探討 PPE 架構中的組成元素。Greene (1988)首先提出 PPE 的過程及結果使用的概念,描述利害關係人在參與式評鑑中使用評鑑過結果的情 形,並以認知、情意、政治三面向分析評鑑產生使用。實施 PPE 的結果是使利 害關係人對評鑑結果及方案更加瞭解。Cousins (2001, 2003)提出 PPE 架構,探討:
情境因素、過程、及結果。他強調情境因素會產生不同 PE 實施過程,而且可能 加速或抑制 PE 的實施。
評鑑者與利害關係人的夥伴關係,Weaver and Cousins(2004)認為可以用五種 互動的過程描述:做決定的控制軌跡、選擇哪些利害關係人參與、參與的利害關 係人之間權力關係、評鑑過程的控制(時間及資源)、利害關係人在過程中的參與 深度。PE 的夥伴關係有三層次:個人、群體、整體組織。
參與 PE 所產生的結果,包括:評鑑知識的產生、過程使用、結果使用、知 識使用(Cousins, 2001, 2003);或是分成概念性、工具性、符號性使用(Cousins, 2001, 2003;Weiss, 1981)。Smith and Champagne(2008)的批評,他們認為 Cousins(2001, 2003)文章中雖然有提到 PE 的過程及結果各是什麼,但未探討過程與結果之間的 關係,而且未詳加區分過程使用與結果使用,因此應該加入時間的因素考慮。
另一種 PE 的角度,是以組織學習系統的概念建立架構(Cousin, Goh, Clark and Lee, 2004)。他們認為組織的支持系統(獎勵、專業活動)會影響 PE 實施:評 鑑過程中,過程使用加強了組織的評鑑能力。在此模型中,評鑑深植於非評鑑團 隊的織脈絡之中,並未考慮評鑑者及利害關係人之間的互動關係,但是在 Smit(2008)則包括了評鑑者及利害關係人兩方面。
(二) 參與式評鑑元素的連結
鑑領域的知識?評鑑團隊與利害關係人之間的夥伴關係,如何改善評鑑的目標?
他們運用了兩種理論進行連結:(1) Argyis(1998)的社會認知學習理論
(sociocognition learning theory):組織會產生學習;(2) 知識使用理論(Knowledge Utilization Theories):在 Weiss(2000)文章中提到的知識使用,包括啟發,、問題解 決、知識產生、產生策略、理論精緻化。
1. 理論內涵
Smits and Champagne (2008)所提出的理論內涵(圖 2-4-2),包括:
(1) 啟動裝置:首先有一個特別的啟動裝置(A particular trigger):解決問題的需求。
(2) 資料收集:為了處理這個問題,需要內部及外部專家參與,也就是評鑑者與 利害關係人互相合作,透過資料產生過程,彼此產生互動及反思性對話。在 評鑑資料的收集過程中,問題逐漸被回答(中間有環狀連結)。
(3) 資料分析及產生評鑑結果:討論所收集的資料、分析資料、詮釋資料,由於 此過程中有分別來自評鑑者及利害關係人的知識,因此是一個知識共構的過 程。
(4) 產生行動:討論評鑑結果時,共構的知識可以被轉換成行動,也就是在特定 脈絡下做決定。
此過程中外在限制會調整共構的知識,變成可行動的知識(actionable knowledge),此知識可透過真實的行動解決原先的問題(圖 2-4-3)。
圖 2-4-2. 參與式評鑑的機制(引自 Smits and Champagne, 2008
共構的知識 (學習理論)
可行動的知 識
做決定(知識 使用理論)
2. 核心概念(Central concepts)
此理論共有四個核心概念:互動的知識產生歷程、知識共構、局部情境脈絡 下的行動、工具使用。(1) 互動的知識產生歷程:資料的收集是透過評鑑者與利 害關係人,考慮到雙方的價值觀,此與第一部份知識價值鍊有關。(2) 知識共構:
透過反思及互相對話的方式,將資料轉變成共構的知識。(3) 局部情境脈絡下的 行動:環境條件會影響行動。(4) 工具使用:共構的可行動知識是用以作決定。
做決定就是解決先前的問題。
3. 三個假設
理論中存在三個假設:(1) 假設一、在資料收集的過程中,評鑑者與利害關 係人之間的互動溝通,較適合知識的建構。(2) 假設二、知識共構的過程會加強 結果的使用。(3) 假設三、知識共構的過程,及局部情境脈絡下的行動會產生工 具的使用。
小結
Smits and Champagne (2008)提出參與式評鑑機制,令人耳目一新,因為他們 將過去學者未探討的機制,以提出假設及理論的方式清楚說明。不過研究者對於 參與式評鑑的架構及內容,可以進一步探討及修正,對此提出個人淺見如下:
1. 在參與式評鑑機制的理論架構的探討及修正:
(1) 將評鑑使用擴大為評鑑影響,因為過程使用是有意識的影響,但有許多 部份是參與者無意識,但是有受到影響。本研究將時間軸限定於評鑑過程中。
(2) 研究者認為其實交互作用其實不限於主要參與者(教師)與評鑑者之間,
所有參與者(教師、學生、評鑑者、外部專家、學校行政支持系統)之間彼此 都有影響,只是影響強度、直接間接不同。
(3) 過程並非是線性的(齒輪代表的是線性觀係),而是雙向回饋。
(4) 研究者以知識的社會建構論來看參與式評鑑的機制,認為知識共構是過 程中一直不斷發生的,而不是在某段時間內(資料詮釋階段)。
(5) 評鑑使用是一直在發生,並且回饋到評鑑脈絡中,行動並非只發生在最
2. 需要以實徵研究佐證理論:Smits and Champagne (2008)在文中提到,他們提 出參與式評鑑機制的理論架構,尚須進行實徵性研究支持。因此,可藉由本研究 的實徵性研究補足參與式評鑑理論架構,擴展參與式評鑑機制。