• 沒有找到結果。

訓練評估的模式

第二章 文獻探討

第三節 訓練評估的模式

Hung(2010)指出在面臨訓練成效評估之複雜且困難的問題時,需要專業 的訓練成效評估檢視,而諸多訓練評估的方式中,依據組織訓練機制之不同,亦 會選擇不同之方式來進行訓練成效之評估。

Noe(2006)要討論訓練評估的細節時,首要需先了解訓練評估的流程。Grove

& Ostroff(1991)曾對訓練評估提出一流程模式,這個模式包含了五個階段(一)

需求分析;(二)發展可衡量之學習目標;(三)發展學習目標之衡量;(四)選 擇評估策略;(五)規劃及執行評估。由其中可以看出,訓練成效評估中如何選 擇並發展合適的訓練成效指標,是成效評估中最重要的一環。以下彙整各學者所 提出不同的訓練評估模式:

一、 Kirkpatrick 模式

Kirkpatrick 於 1959 年 9 月至 1960 年 2 月間,於美國訓練主管協會(American Society of Training Directors, ASTD)雜誌上所發表「評估訓練方案的技術」開始 逐漸被用於許多教育方案學習成效評估。自從 Kirkpatrick 發表後,這個模式廣泛 的被使用,其原因即在於,可針對訓練的各層級加以評估其績效如何(翟永麗,

2004),且它是最早針對訓練成效評估提出一套完整的評估模式,其運用上具成 效評估者所期望之清晰、完整、簡單、易執行等特色。

Kirkpatrick 依次序為「反應層次(reaction level)」、「學習層次(learning level)」、「行為層次(behavior level)」及「結果層次(result level)」的四層次,

針對訓練的結果面,針對各個層次評估訓練績效,做有層次與系統的分類,其模 式如圖 2-2 所示:

圖 2-2Kirkpatrick 的四層次模式 資料來源:Kirkpatrick,1975

Kirkpatrick 認為一個訓練辦得是否有效,可從四個層面來判定:(一)學員 反應為何;(二)學員是否學到該學的東西;(三)學員的學習是否能應用在工作 上;(四)訓練的成效是否對組織產生正面的影響;這四個層級是評估訓練成效 的連續方式,每一個層級皆有其重要性,當評估從一層級至下一層級時,評估過 程就越顯的費時與困難,但同時也增加評估的價值(孟偉銘,2000)。

Newstorm(1978)根據 Kirkpatrick 的訓練評估模式更具體指出,此模式基 於以下四個重要的假設:(一)訓練的評估有四個不同的準則,分別為反應、學 習、行為及結果;(二)這四個準則的排列順序,是依據從訓練的評估所獲得的 資訊價值的增加順序被排列的(換言之,從行為層級或結果層級所獲得的資訊是 較有價值的);(三)反應層級是最常採用的,因為這個層次的評估是較容易執行 所以被廣為採用;(四)這四個準則之間存在著次序性的交互關係(Sequential Intercorrelation)。

依據 Newstorm 說法,當受訓者的反應呈正向的,那他們可能學習的較多;

假如他們學習較多,他們可能會改變行為;假如他們改變行為,這通常是績效將 改善的指標。Newstorm 對此四層級比較評論如下表,結果層級的資訊價值是最 高的,但是也因為評估或蒐集的難度較高所以通常實務上的使用頻率反而較少,

而反應層級資訊價值最低,但是因為估算最容易,因此使用頻率較高。

以下謹將各層次的涵意、各層次的特性、各層次評估的做法逐一詳述分述如 下:

(一)反應層次

「反應層次」係指學員對於整個訓練方案的看法,亦即對於訓練實施之整體 滿意程度,包括:訓練方案內容、講師、訓練設備、教材、行政支援與服務、訓 練課程需要改善的建議等項,但是本層次並不包括學習(知識、態度、技能)的 測量。

訓練方案得到學員的反應(回應)是很重要的,尤其是得到正向的反應更為 重要。一個訓練方案未來是否執行,取決於學員的正向反應。此外,如果受訓學 員不認同訓練方案,那麼他們將沒有學習動機。正向反應也許無法確保學習成

效,但是負面的反應必然減少學習的效果(Kirkpatrick,1994)。

反應層次多以問卷調查、觀察法等方式進行評估,評估時機可以在訓練結束 時或訓練結束後數週至數個月後實施。一般而言反應層次的評估較為容易,評估 的方式常採用問卷調查法,於訓練結束時進行評估。目前各訓練機構大都有做反 應層次的評估。

(二)學習層次

「學習層次」係指受訓者在態度的改變、知識或技能的增進,主要衡量受訓 者在訓練結束後對於課程的瞭解、知識的吸收。學習層次主要衡量學員在訓練結 束後對於訓練課程瞭解的程度、知識吸收的程度,亦即評量受訓學員能夠從訓練 課程中所能學習到的專業知識及技能的程度,並能提升自我信心、改善工作的態 度,以瞭解訓練成效的檢測方式。

測量學習層次需要控制的干擾因素(noisy factors)較反應層次更為繁瑣,

測量方式很多,一般常用筆詴、口詴、課堂表現來檢視。測量雖繁瑣費時,然而 再經深入分析後,除有助於瞭解訓練本身的優缺點外,亦可驗證訓練效果與效 率,有利於日後訓練課程的發展、推廣與行銷(簡建忠,1994)。

(三)行為層次

「行為層次」係指在評量受訓者將所學習的知識、技能及態度應用在工作上 的程度。亦即是否能將學習移轉到工作上,並且訓練對工作產生改變。行為層次 通常在訓練後一段時間測量,目的在於讓受訓者有充分時間將知識、技能及態度 應用至工作中。

邱宏益(1996)指出,行為層次的評估可評估出訓練結果與目標行為的關係,

而學習層次的評估則僅能顯示出訓練的效率與效能。行為層次的評估通常是在訓 練結束後的一段期間後再進行檢測訓練成果,其理由是要讓受訓者有充分的時間 能夠將訓練所學習到的新知、技能在工作中應用。由於影響工作行為的許多因素 是隱藏在組織之中不易查覺,例如:受訓者個人的人格特質、訓練設計、工作環 境、組織氣候等,因此「行為層次」的評估要較「反應層次」與「學習層次」的 評估困難。因此在行為層次的評估中,可以利用觀察法或訪談法,輔以了解受訓 者在實際的工作環境中其行為改變的情形。

(四)結果層次

「結果層次」係指受訓者經過訓練後對組織所能提供的具體貢獻,藉以探討 訓練對組織績效的影響效果;其評估方式可以由比較訓練前後的相關資料而得 知,例如:生產力的提升、用人費用的降低、服務品質的改善、客訴案件發生率 的降低、請假或離職率的降低、顧客滿意度的提升等。

結果層次在 Kirkpatrick 的四層次評估模式中,評估的困難度最高;其原因是 由於影響組織效能的因素非常多,因此無法明確地分辨出造成組織效能改善的因 素有多少是肇因於訓練的成效、多少是由於其他因素所造成,其中的關係為何、

其間交互影響的程度如何,實在很難加以明確地分辨與釐清。

Kirkpatrick 的四層次評估標準的特性,包括每一層次所提供的情報價值、使

結果層次(Result)

最低 評估成本效益,那麼評鑑者也應滿足於成果的評量,只要證據(evidence),不需 證明(proof)。但不同的領域中,組織績效的指標也不相同。如在教育界,難以 運用量化指標衡量組織的績效,在科技業,希望的是軟體開發的成長,在醫療的 領域,更難用量化衡量來解釋。

陳明陽(2001)指出,Kirkpatrick 模式的研究假設為:四個層次的每一層次 都是由前一層次所引貣,而每一層次間都是正相關的關係;亦即有好的課程反應 會導致良好的學習效果;有良好的學習效果將會使受訓者的行為有正面的改變,

而受訓者行為的改變會使組織績效有所提升。

二、CIPP 模式

Stufflebeam ( 1983 ) 提 出 CIPP ( Context evaluation 、 Input evaluation 、 Processevaluation、Product evaluation)模式,評估重點有以下四個步驟:

(一)背景評估(context evaluation)

以需求為基礎的效標來判斷結果,以求幫助決策者進行目標、優先順位和成 果之設定。

(二)輸入評估(input evaluation)

實施選擇策略程序上的設計,人員計畫,計畫表,以及預算,與進行一項特 殊行動課程的實例,檢視與評量替代方案,以求確保行動方案的可行性和成本效 益。

(三)過程評估(processevaluation):

旨在掌握實施中的方案執行品質,做連續不斷的查核,從而促進目標成果或 績效的達成。

(四)成果評估(product evaluation):

在測量、解釋,以及判斷一個方案的成就。其主要目標是在確定方案符合需 求的程度,並廣泛地檢視方案的效果,從而確認是否符合預期的要求。

所以 Stufflebeam 的評鑑模式運用很廣,也可以運用在訓練方案上,這整個 模式對一個系統的改進,需要從投入至產出進行嚴密的判斷及資料蒐集。

三、Brinkerhoff 模式

Brinkerhoff(1988)所提出的訓練六階段評估模式,認為 Kirkpatrick 的模式 僅評估訓練成果,易使人忽略訓練方案的改進部分,並指出所有的訓練方案都有 一個共同的邏輯,就是受訓者透過訓練後學得知識與技能,必頇要以有效率的方 式產生學習上的變化,為組織帶來實際的效益,但是對成果的評估也需要與其他 人力資源的努力做連結,才能增進效益。

Brinkerhoff 六階段評估模式包括:建立對組織有所助益的訓練發展目標、設 計可行的方案、實施訓練方案、檢測受訓者是否從訓練課程中學到應會的知識與 技能、受訓者是否有將訓練所學應用於工作職場上、實施訓練方案是否產生價值 與影響。其中前二個階段是 Brinkerhoff 新加入的,是訓練執行前的階段,後四 個階段與 Kirkpatrick 的四個階段是極為相似的。

四、IPO 模式

Bushnell(1990)的 IPO(Input、Process、Output)評估模式,是一個廣義 的訓練評鑑模式,對整個訓練系統的每一個點進行評鑑。Bushnell(1990)為了 評估 IBM 的訓練方案因而設計出「投入(input)、過程(process)、產出(output)」

的評估系統,本模式將訓練分成三個階段概述如下:

的評估系統,本模式將訓練分成三個階段概述如下: