運用文獻檢閱整理培訓評估模式,Kirkpatrick 模式、CIPP 模式、六階段評 估模式及 IPO 模式,將其相關評估層次、研究工具等項目進行探討,而後整理 並選擇最適用於本研究之評估模式進行論述。
一、 Kirkpatrick 評估模式
Kirkpatrick 於 1959 年發表四層次評估模式,雖有若干學者提出對此模式的 批判,但因其簡單易懂,涵蓋了企業培訓所關注的主要核心,故漸為最廣為運 用的評估模式(蔡錫濤,2000)。此模式多應用於學習成效、評估是屬於總結式 評估、教育訓練方案等(孫慕亞,2015),其評估層次依序為反應、學習、行為、
結果四層次,每個層次皆建立在前一層次的資訊上,因此依循此模式進行評估,
應從反應層次開始,漸漸地進入至學習層次、行為層次,到結果層次,分述如下
(丁志達,2012;曾淑惠,2004;簡建忠,1994):
(一)反應層次(Reaction Level):瞭解參與培訓者對培訓課程的滿意度及 喜好程度,雖然正向反應不一定代表有高成效的學習結果,但是負面 反應會有降低學習成效的可能性。良好的反應有助於營造出較佳的學 習氣氛,而參與培訓者的感受也會影響他人決定是否參與培訓方案。
(二)學習層次(Learning Level):瞭解參與培訓者對培訓課程的知識、技 能和情意方面的瞭解與吸收程度,即是評估參與培訓者所習得之知識 與技能的表現,檢視培訓課程本身的成效。
(三)行為層次(Behavior Level):瞭解參與培訓者是否能將所學應用至實 際工作場域上,以及經過培訓後其工作行為是否有改變,及培訓後的
學習遷移情形。
(四)結果層次(Rusults Level):瞭解參與培訓者對組織機構的正面成果 與貢獻。此層次的評估工作最為複雜且難度也較高,組織績效的成長,
除培訓課程外,也會因其他因素而提升組織成效(魏惠娟、林秉議,
2011),在研究方面難以明確釐清特定的培訓成效與其他非培訓因素 之間的相關性,以及交互影響的程度(簡建忠,1994)。Warr 與 Birdi 指出結果層次的評估是相當不易的,其因是認定單一的培訓課程引發 組織效能的改變並不容易衡量,在驗證上確是有實質上的困難(吳瓊 治,2006)。
二、 CIPP 模式
Stufflebeam 於 1960 年代晚年提出 CIPP 模式,既適用於形成性評估,也適 用於總結性評估,前者為應用於進行決策時的評估,後者為應用於責任的評估 時(丁志達,2012)。此模式適用於組織、機構、方案乃至個人,用以目標之於 協助政策制定、規劃方案等評鑑活動,包含四種向度的評鑑之核心概念,為背 景評鑑、投入評鑑、過程評鑑、成果評鑑,分述如下(丁志達,2012;何俐安,
2006;魏慧娟、林秉議,2011):
(一)背景評鑑(context evaluation):是最基本的評鑑,目的在於界定機 構的背景,並確認對象的需求,選定訓練的目標與需求,依據訓練目 標與實際上的差異,針對其需求界定問題,評估設立的目標是否足以 滿足需求。
合需求所需運用的資源,以及確認可行的方案策略,進行檢核該策略 的程序設計、預算及進度。
(三)過程評鑑(process evaluation):使評鑑者瞭解計畫實施進度和資源 運用情況,評估方案設計程序與實施上缺失,提供計畫內容修正的指 引,提供計畫執行的紀錄,便於成果評鑑時的參考,以供後續的分析 與判斷。
(四)成果評鑑(product evaluation):運用背景、投入、過程三向度評鑑 來判定訓練成果是否有達到目標,針對結果的描述與判斷,說明其優 點、價值與意義,主要目的為作為日後修改、調整或中止訓練方案時 的參考資訊。
CIPP 評估可提供使用者完整的資訊,從計畫之始、實施過程與最後結果,
運用系統化的概念,提供改進的建議,高效的利用時間與資源,且其評估過程 保持客觀公正,具有諸多優點。
三、 六階段評估模式
Brinkerhoff 認為訓練課程須以有效率的方式產生學習的變化,並為組織帶 來實際成效,故在設計訓練方案過程中的各關鍵決策階段,形成訓練發展的六 個邏輯步驟的之決策循環,該模式的循環結構著重於組織中的訓練與發展為不 間斷的任務,其訓練評估分為六個階段(丁志達,2012;何俐安,2006 蔡錫濤,
2000):
(一)目標設定:即訓練需求為何,為了解訓練方案的需求、問題及機會,
應決定是否繼續實施訓練方案,或是提供方案需修正之處。
(二)方案設計:需瞭解什麼內容和訓練的效益為最佳,評估方案內容是 否具有可行性,已發展出符合需求的訓練方案
(三)方案執行:評估方案是否具有可行性,檢視方案的進行流程,以得知 方案是否得以如預期進行,同時預測可能產生的問題。
(四)學習結果:評估受訓者透過訓練課程,是否已學習到所預定的知識、
情意和技能的目標。
(五)學習應用:透過訓練課程受訓者是否能將所學的認知、情意和技能 運用於實務工作或日常生活中,即在評估學習遷移的情況。
(六)影響和價值:確認訓練方案對組織所產生的效益程度,包括訓練之 後是否產生影響、是否能夠滿足需求,再和訓練成本作比較,來確定 訓練方案所帶來的意義與價值。
圖
2-3-2 六階段評鑑模式
資料來源:蔡錫濤(2000)。訓練評鑑的焦點與模式。人力資源發展月刊,
156,
8。
四、 IPO 模式
Bushnell 認為培訓評估是一個動態的過程,其所提出的培訓評估模式分為 投入(Input)、過程(process)、產出(Output)三個階段,針對整體培訓系統 的每個點進行評估,包含了七個評估點(如圖2-3-3)(魏惠娟、林秉議,2011)。
投入階段在於評估影響培訓成效的投入因素,包括了參與者的條件、講師能力、
教材與設備以及預算等;過程階段是落實培訓及產生學習價值的階段,旨在確 認培訓目標、發展課程設計標準,並選擇適合的教學策略;產出階段應評估參 與者的學習成效,經由培訓後所獲得知識與技能,以及評估工作績效改善的程 度。這些資訊為此階段的回饋,即為培訓後所帶來的短期成效;結果階段是衡 量培訓所帶給組織的長期成效,如獲利、生產力、顧客滿意度。結果與產出階段
階段一 評鑑需求與目標
階段二 評鑑方案設計
階段三 評鑑方案執行
階段四 評鑑學習結果 階段五
評鑑學習應用 階段六 評鑑方案影響與
價值
之間雖然不一定有直接相關,但結果能真正反映出培訓所帶來的成效(丁志達,
2012;何俐安,2006;魏惠娟、林秉議,2011)。
IPO 模式是一個較符合經濟效應的評估模式,其過程較為簡略、省時且又 符合經濟效益,雖然較為簡便,但應有的評估流程與檢視向度皆包含在內(孫 慕亞,2015)。
圖
2-3-3 IPO 評估模式
資料來源:魏惠娟、林秉議(2011)。「系統的」訓練與評量:模式、個案經驗 與啟示。研習論壇,128,32-43。
五、 評估模式之比較
自1959 年 Kirkpatrick 提出四層次評估模式起,其他評估模式陸續成型,隨 著時代的變遷與發展,許多學者對 Kirkpatrick 評估模式提出質疑其完整性,並 提出新的評估模式,各學者所重視的環節各有不同,因此提出的理論架構也有 所不同,但可看見各評估模式的架構中仍隱含著 Kirkpatrick 四層次評估的架構
(孫慕亞,2015)。依據上述文獻所提及常用之評估模式,本研究將其評估標準
整理如表2-3-1、表 2-3-2:
表2-3-1
評估模式之評估標準彙整表
模式 學者 評估標準
Kirkpatrick 模式 Kirkpatrick
(1959)
1.反應層次(Reaction Level)
2.學習層次(Learning Level)
3.行為層次(Behavior Level)
4.結果層次(Rusults Level)
CIPP 模式 Stufflebeam
(1983)
1.背景評鑑(context evaluation)
2.投入評鑑(input evaluation)
3.過程評鑑(process evaluation)
4.成果評鑑(product evaluation)
六階段評估模式 Brinkerhoff
(1988)
IPO 模式 Bushnell(1990)
投入(Input)
過程(process)
產出(Output)
資料來源:趙惠文(2002)。團隊建立訓練成效之評估(碩士論文)(頁9),
國立中央大學,桃園市;孫慕亞(2015)。淡江大學「社團經營與實作課程」評 估之研究(碩士論文)(頁15),淡江大學,新北市。
表2-3-2
評估模式之評估範圍彙整表
模式 適用研究 研究對象
Kirkpatrick 模式 學習成效、訓練評估、方案評估、
學習行為 方案、課程研究
CIPP 模式 績效評鑑、指標建立、機關評測 組織機關、方案 六階段評估模式 過程評估、結果評估、方案評估 方案
IPO 模式 組織文化、組織氣氛、領導風格、
創新研究、過程動態研究 組織、方案 資料來源:研究者自行整理
由表2-3-2 得知,成效評估模式所使用諸多方法中並非一體適用,各種評估 模式其適用之研究與對象亦大不同。Kirkpatrick 評估模式以學生學習成效、部 門課程訓練評估、訓練個案等,對象著重於學員本身;CIPP 評估模式多以機關 組織、方案等為主要研究對象,用於績效評估的指標建立;Brinkerhoff 提出之 六階段評估模式為一個過程的評估,思考方案開始至結果產出的過程,以及思 考除訓練評估外的因素;IPO 模式以團隊研究為主,以投入、生產和結果三步驟 探討團隊、組織文化、創新等研究,藉由動態的過程瞭解細部的問題。本研究旨 在探討海外服務學習培訓課程之成效,較適用 Kirkpatrick 評估模式來探討方案 和課程成效,故選用之作為探討本研究成效之理論基礎。