第二章 文獻探討
第三節 評鑑研習課程之分析與規劃
國外評鑑人員訓練制度不僅較我國完善，且早已將評鑑工作視為一門「專 業」，然而我國近年來才逐漸重視評鑑委員的專業素質及研習活動。因此本節希 冀參考國外評鑑人員之教育訓練與資格認定方式，以作為規劃我國大學訪評委員 評鑑研習課程之啟示。
一、國外評鑑人員之教育訓練
國外評鑑人員必頇參與一定時數的教育訓練並經考詴檢定後，才能取得評鑑 委員資格，因此國外評鑑人員的教育訓練與資格認定是一個相互結合地完整體 系。為能夠清楚了解其教育訓練過程，以下分兩部分說明之，首先介紹美國及加 拿大評鑑委員教育訓練的模式，接著再說明其資格認定與取得之標準。
(一) 評鑑委員之教育訓練模式：
在國外尤其是美國及加拿大，進行評鑑人員教育訓練早已行進多年，其教育 訓練模式依辦理單位、形式、訓練方法及課程之不同，而產生短期的工作坊、研 習課程，以及長期的培訓計畫…等。以下分別以美國及加拿大評鑑人員之教育訓 練辦理單位與訓練形式、訓練方法、訓練課程依序說明之：
1. 訓練形式與辦理單位
訓練形式與辦理單位之類型上主要有大學本位的單一課程計畫、專業評鑑 協會舉辦的工作坊、以及特定訓練機構的評鑑課程，以下分別說明之。
Connor(2001)認為大學本位的單一課程計畫係以大學本位的課程或學程為 主，先讓受訓者學習方案評鑑的基本原則，然後再實施實際應用的短期計畫。單 一課程計畫之長度(length)、範圍(scope)及形式(type)多樣化，能隨不同的訓練種 類而被設立。Morris(1992)指出大學本位的單一課程計畫之特色在於：(1)在學習 課程中，受訓者可獲得許可以參與評鑑建構。(2)再者能在課堂上發展評鑑的方 法論與技能，如統計運用、取樣、信效度、面談、及其他調查相關的主題。(3)
在專業評鑑協會舉辦的工作坊上，以美國 AEA 為例，其在年會結束後將會 有半天到一天的工作坊或研習、研討會，這些會議聚焦在多樣不同的先進且特定 的評鑑主題上。專業評鑑協會舉辦的工作坊之特點在：成本低、會議期短、焦點 特定、且可給予參與者額外的知識。其限制在於：(1)會議期短，對於那些需要 較長時間討論的評鑑議題，將無法有較好的機會去建構；(2)由於受訓者的多樣 性，對於受訓者的品質管理較無法掌控；(3)加上目前尚未有特定的標準去評斷 受訓者的成尌，受訓者將有可能無法獲得會議所欲傳達給其的知識與技能(宋冠 瑩，2006)。而加拿大之 CES 亦有舉辦類似的短期研習，活動期間以三到四天不 等，對象主要包括評鑑人員培訓者、評鑑進修者或新進評鑑人員等(CES, 2008)。
而特定訓練機構的評鑑課程主要係由辦理評鑑委員相關機構所辦理，例如在 華盛頓州立大學評量與評鑑中心有提供長期或短期的評鑑課程，課程內容從導論 類到先進的評鑑主題。以長期課程而言，每年雇用三至四位研究生，工作期間九 至十二個月，工作期間中每位學生每週工作二十小時，參與一個或多個評鑑方 案；而短期的評鑑課程，則為期三天至兩週不等(Trevisan, 2002)。
2. 訓練方法
國外對評鑑委員之教育訓練方式主要有模擬、角色扮演、課程教導以及實習 經驗…等方式，以下分別說明之。
模擬的訓練方式提供了一種假設性的情境，此情境包括描述社會服務或教育 機構的多元評鑑需求。而受訓者被分成數組並要求發展一份符合假設情境需求的 評鑑計畫(Trevisan，2002)。進行模擬訓練需要的準備條件有：(1)對劇本或個案 的描述。(2)設定一組指引受訓者參與模擬情境的規則(Jones，1995)。模擬的優點 在於：(1)符合成本效益，為評鑑訓練方法中成本最低者。(2)於模擬情境中，讓 受訓者分享經驗及應用實際所學。(3)受訓者可藉由創意的模擬情境而獲得多樣 的評鑑經驗類型。(4)符合做中學模式。模擬的限制在於：(1)模擬情境的工作描
(Willer,Bartlett & Northman,1978；Trevisan,2002)。
角色扮演與模擬的方法類似，均頇發展劇本或個案以作為討論的內容，且採 分組方式進行活動。惟兩者的區別在於角色扮演較具有彈性及動態性質(dynamic quality)，活動過程中需要受訓者豐富的想像力；而模擬活動大部分係已結構化 (structured)。進行角色扮演的指導教師首先頇發展多樣適合採用角色扮演的情境 方案，讓受訓者去選擇，受訓者選定方案後以小組方式進行評鑑工作，評鑑過程 中頇採訪評鑑利害關係人(此評鑑利害關係人由教師扮演)並發展角色扮演的評 鑑劇本(Alkin & Christie,2002；Trevisan,2004)。角色扮演的優點在於：(1)能增進 課堂互動。(2)使評鑑易於理解。(3)符合做中學模式。(4)教師是學習中的促進者。
(5)強調同儕評量。角色扮演的限制在於：(1)學生關係親密可能影響資訊辯證之 公正。(2)學生獲得的是虛擬的資訊(Alkin & Christie,2002；Trevisan,2004)。
最普遍的教育訓練形式是透過評鑑單科課程(a single course in evaluation)或 評鑑系列課程(an evaluation course sequence)，提供受訓者短期的評鑑計畫經驗。
受訓者一開始會先學習方案評鑑的基本原理，然後執行短期方案評鑑計畫以實際 應用所學。Morris(1992)指出時間管理(management of time)係課程計畫的重點，
其重要在於使方案計畫能在學期內完成進度。而課程計畫之部分內容係參考評鑑 之脈絡與設計所設想出來，且課程計畫是一種網絡課程(a network of course)，其 同時併入方法論及大量的評鑑工作內容，以啟發受訓者發展更具挑戰性的評鑑計 畫(Trevisan,2004)。教導課程的優點在於：(1)切實發展評鑑計畫。(2)與方案成員 一同工作。(3)獲得真實的一手評鑑經驗。(4)實際應用知識及技能。(5)理論與實 務結合。(6)採工作小組進行評鑑。教導課程的限制在於：(1)受訓者頇準備好才 能進入評鑑現場。(2)受訓者因多元意見而不知所措。(3)沒有足夠的支持支援受 訓者發展評鑑計畫。(4)產生小組衝突。(5)評鑑計畫發展易受限於課程範圍。(6) 評鑑計畫超出課程時間(Trevisan，2004)。
實習經驗之教育訓練方式是最重視受訓者在機構中，對進行中的評鑑
(on-going evaluation)或已建設的評鑑計畫(on founded evaluation projects)之長時 間工作的實際(realistic)考量。受訓者直接與顧客接觸並能夠瞭解計畫從頭至尾的 情況，以及聚焦於評鑑的多元面向，受訓者因而被賦予對評鑑工作高度的責任 感。實習經驗可在教育及社會服務機構(education or social service agency)或校園 (on-campus)中獲得(Trevisan,2002,2004)，因此經驗實習可由大學或專業機構辦 理。受訓者依辦理的單位而被安排到校院內或進行實習，若以大學本位所辦理的 實習活動，實習進行同時能夠獲得大學多元的支持與督導。由於一個評鑑專案可 能長達數週到數個月，因此受訓者可能獲得也有可能不會獲得學分認可
(Trevisan,2004)。實習經驗的優點在於：(1)獲得真實的評鑑經驗。(2)受訓者被視 為評鑑專家。(3)學習技術性(組織性)及非技術性(理論性)的技巧。(4)具較長時間 的評鑑任務規劃。(5)評鑑計畫不受學期期限限制。實習經驗的限制在於：(1)評 鑑計畫可能與課程不相關。(2)實習契約要求與受訓者能力相衝突。(3)頇獲得機 構長期的實習委託。(4)可能與課程教導相悖離。(5)受訓者的實習時數難決定 (Trevisan,2004)。
3. 訓練課程
美國及加拿大評鑑中心為提升評鑑人員應有之評鑑知能，特別規劃出相關的 評鑑人員培訓課程。以美國評鑑中心所設計的評鑑委員認證課程為例，其所設計 的認證課程分為初階認證及進階認證兩種。這兩種課程所設計的課程內容包括評 鑑理論的理解與運用、評鑑方案規劃、評鑑方法與實施、資料收集與分析、評鑑 管理、與受評者互動、評鑑報告撰寫、評鑑結果與政策應用以及評鑑評估…等(吳 佳燁，2005)，兼具評鑑知識與技能上的課程規劃。然而在加拿大評鑑社群所設 計的評鑑研習課程中，其課程內容大致與 AEA 相似，課程目標主要在讓評鑑人 員了解方案評鑑、熟悉評鑑架構、以及能夠設計形成性及總結性之評鑑流程…等 (CES,2008)。
所規劃的 2009 年之評鑑培訓課程，整理其課程名稱、內容以及教學方法如下表 2-9：
表 2-9 TEI 評鑑培訓課程與教學規劃表
課程名稱 課程內容 教學方式
評鑑模式與理論 的實際運用
1. 課程重點在於回顧評鑑理論與模式的主流並 思索如何執行
2. 課程內容包括：
(1)探討理論之重要性
(2)探討多種理論之分類架構 (3)探討四到六個重要的評鑑理論 (4)分辨評鑑理論與模式的主要差別 (5)探討信賴評鑑理論的優缺點
(6)選擇有助於理論應用的工具與技巧
講述、討論、
案例分析
方案理論與邏輯 模式的使用
1. 課程重點在於發展有用的理論模式以有效使 用於評鑑中，同時探討一些常見評鑑陷阱的 避免方式
實作練習
評鑑研究方法：量 化與質性研究
1. 介紹基本的質性與量化研究方法在評鑑應用 上的重要性
2. 課程內容包括：
(1)介紹觀察測量與質性研究方法
(2)介紹調查與訪問技巧(結構與非結構式技 巧)
(3)介紹如何使用來自紀錄、檔案、準實驗及 實驗設計所獲得的資料，
(4)進行資料分析
沒有說明
系統思考和渾沌 理論之蘊涵
探討系統思考和複雜理論(非線性/渾沌理論)對設 計與發展評鑑方案的影響為何
講述 質性評鑑方法 1. 介紹基本的質性與量化研究方法在評鑑應用
上的重要性
2. 介紹基本的質性研究方法，包括設計、資料 蒐集技術與分析以及質量
3. 混合方法探討能增進精確與可信的質性評鑑 方法介紹多種的質性選擇策略與創新方法 4. 檢定各種質性方法的優缺點
講述、討論
表 2-9 TEI 評鑑培訓課程與教學規劃表(續)
課程名稱 課程內容 教學方式
政府與非營利組 織之表現評量
1. 介紹得以有效地評量政府及非營利機構表現 的十種步驟進程
2. 聚焦於評量與管理的相互影響關係
講述、討論
評鑑策略與分析 1. 探究政策分析的種類與可能影響政策過程的 評鑑類型
2. 聚焦於發展政策溝通策略
評鑑方案的基礎 介紹評鑑方案的設計方法 討論、個案練習 評鑑專業標準與
原則
1.
介紹 the Joint Committee Program Evaluation Standards 與 AEA 的指導原則2.
探討如何有效運用評鑑標準與原則以提升評 鑑效能並處理評鑑倫理問題個案研究
質性資料分析
1.
藉架構式方法分析質性資料並思考分析目的2.
練習質性方法的選擇與結果的詮釋3.
分析與報告質性資料的實施與倫理議題個人與團體經驗 分享
做決定的技巧
1.
提供有助於決定者與契約擬定者做決定的策 略技巧2.
課程內容包括：(1)回顧法律及政策環境 (2)成本與效率的比較方法 (3)進行評鑑個案研究
(1)回顧法律及政策環境 (2)成本與效率的比較方法 (3)進行評鑑個案研究