第二章 文獻探討
第二節 學習成果及其相關研究
學習成果(learning gains)是學習者接受一段時間的系統化教育之 後,經由教育歷程獲得的知識(knowledge)、技能(skills)與態度
(attitude)等能力的整合,也是對於學習者在學習歷程中,或學習活 動結束後應該知道與理解什麼,以及運用所知將能夠做些什麼的一種 陳述,通常包括了知識與理解力(認知)、態度與價值觀(情意)、
實際技能(技能)及行為(蘇錦麗,2009)。Galloway 與 Lancaster
(2016)將學習成果定義為從課程開始到結束,學習者在此過程中的 學習進步情形。
學習成果著重於知識技能的形成脈絡、原理原則以及應用方式。
良好的學習成果強調知識的應用和整合,不僅是單方面的教學內容的 傳授,更闡明學生如何在教室裡與教室外的環境更廣泛的運用習得的 知識、技能與態度。許多學者認為,學習成果與學習目標是相同的概 念,兩者可以交互使用,然而實際上兩者是有所區隔的。學習成果聚 焦於學習者應該學到、並且可以實際應用或做到的知識、技能與態 度;學習目標的描述方式雖然可用學習成果的描述方式呈現,但是從 學生關注課程內容的應用與整合的角度,學習成果可以更明確,更直 接地表達學生的學習期望(University of Toronto, n.d.)。Harden
(2002)指出了學習成果與學習目標之間的5個差異,以下將分別說 明:
(一) 描述方式:學習目標的範圍廣泛且詳細;學習成果的描述方式 則為精簡。
(二) 描述的重點:學習目標會更仔細地強調教學意圖與規範;學習 成果則採用由下而上的方式法對教學做更詳細的規範與概述。
15
(三) 分類原則:學習目標分為知識、技能與態度三個類別;學習成 果將知識、技能與態度視為學習結果的整合。
(四) 意圖或可觀察的結果:學習目標被視為教學意圖;學習成果是 學習成就與能力的保證。
(五) 所有權:學習目標為課程設計者所有,其描述方式是以教師為 中心;學習成果的描述方式則以學生為中心。
二、涵蓋的構面
學習成果是學習能力的展現,可藉由筆試或實際操作測驗了解學習 成效,然以企業的角度檢視員工學習成果,則更側重於員工受訓後於 知識、技能與態度等方面的實際表現。
訓練成效評鑑即是企業用以衡量訓練成果的主要方法,在員工接 受完教育訓練之後,藉由一定的標準與程序,針對教育訓練的執行過 程、員工對於訓練的回饋,以及後續運用所學的情形進行衡量,以確 認訓練目標是否達成。以下將說明企業辦理訓練成效評鑑時常用的幾 種方法。
(一) 新 Kirkpatrick 評鑑模式
Kirkpatrick 四層次評鑑模式是最為企業廣泛使用的訓練評鑑 模式,由 Donald Kirkpatrick 於1959年提出,其將訓練評鑑分為四 個層級,依序為反應(Reaction)、學習(Learning)、行為
(Behavior)、成果(Result)等四個層次。2010年,Donald 與 Jim Kirkpatrick 父子在原本的四層次評鑑模式中加入新的元素,提 出「新 Kirkpatrick 模式」(The New World Kirkpatrick Model),
強調訓練設計應「以終為始」(李隆盛、李慧茹,2014;鍾佩君,
2017),以最終的期待目標為基準,據以盤點達成期待結果所須具 備的行為與知識、技能與態度,最後再提出訓練計畫,此論點翻轉
16
了「以學習者的學習需求」做為教學設計起點的既有觀念。也就是 說,企業辦理教育訓練時,應更重視企業的「績效需求」,所有的 訓練方案規劃與設計都必須與「績效結果」相連結。新
Kirkpatrick 評鑑模式如表2-3所示。
表2-3
新 Kirkpatrick 評鑑模式
評估層次 衡量指標
反應(Reaction) 1. 顧客滿意度(Customer Satisfaction):受訓者對訓練課 程的滿意程度。
2. 參與度(Engagement):受訓者積極參與學習經驗並 做出貢獻的程度。
3. 相關程度(Relevance):受訓者有機會使用或運用訓 練所學的程度。
學習(Learning) 1. 知識(Knowledge):「我知道!」知識為學習活動的 根本,必須讓學習者清楚知道在學習活動中可以學 到甚麼。
2. 技能(Skills):「我可以做得到!」學習者在課程結束 後能夠確實做到技能目標。
3. 態度(Attitude):「我相信這是值得做的!」學習者相 信課程所學是值得實踐的。
4. 信心(Confidence):「我認為我可以做的到!」學習 者展現能透運用課程所學的信心。
5. 承諾(Committment):「我打算在工作中實踐它!」
學習者願意承諾並身體力行。
行為(Behavior) 必要的驅動因子(Required Drivers):結合管理機制以增強 或鼓勵工作崗位上的關鍵行為績效。
結果(Results) 領導指標(Leading indercators):透過觀察或測量確認關 鍵行為開始對預期結果產生正面影響。
資料來源:整理自Kirkpatrick Partners (n.d.). The New Kirpatrick Model. Retrieved from https://www.kirkpatrickpartners.com/Our-Philosophy/The-New-World-Kirkpatrick-Model
17
(二) Phillips 五層次投資報酬模式
Jack Phillips 以 Kirkpatrick 四層次評鑑模式為基礎,加入財 務分析部分,形成五層次投資報酬(return on investment, 簡稱 ROI)模式。其模式強調將訓練所投入成本,以及訓練效益自影響
(Reaction, Satisfaction & Planned Action)
受訓者對於訓練活動的感受以及受訓 (Job Application & Implementation)
受訓者的行為有改變嗎?是否有將訓練 所學到的知識、技能與態度運用在工 作崗位中?
商業衝擊 (Business Imapct)
在工作崗位上運用訓練所學的結果,
是否為企業帶來可衡量的效益或價值?
投資報酬率
(Return on Investment, ROI)
訓練產出為企業帶來的價值是否大於 訓練投資?
資料來源:Camm, B. (2011). Training Evaluation: Jack Phillips and ROI. Retrieved from https://www.dashe.com/blog/evaluation-2/more-on-re-evaluating-evaluation-jack-phillips-and-roi/
18
(三) Stufflebean 的 CIPP 模式
美國學者 Daniel L. Stufflebean 於1967年提出 CIPP 模式,其 內涵及衡量重點如表2-5所示。此評鑑模式包含了背景評鑑
(context evaluation)、投入評鑑(input evalucation)、過程評鑑
(process evaluation)以及產出評鑑(product evaluation)等四大部 份。該評鑑模式最早應用於教育方案的評鑑,後來逐步推廣至企業 界。
表2-5
CIPP模式的內涵及衡量重點
評估類型 內涵說明
背景評鑑 為訓練前置作業,包含分析並確認訓練需求、診斷問題、
了解訓練環境與盤點可用資源,確認訓練目標等。
投入評鑑 審視須投入的資源,包含人力、物力、經費、設備、師資 等,是否能有效運用以達成訓練目標。
過程評鑑 對於訓練過程進行持續的檢核,其目的在於即時提供資訊 回饋給
訓練單位,以修正或改善訓練方式。
產出評鑑 評估訓練效益與訓練目標的達成程度,作為改進訓練的參 考依據。不限於在訓練結束後實施,也可以在訓練過程中 進行。
資料來源:引自郭淑釗(2019)。職前訓練學員參訓動機、自我效能、訓練成效與 職涯轉換關係之研究(未出版之碩士論文)。國立台北商業大學,台北 市。
除了以上述模式衡量訓練辦理成效之外,亦可從受訓者的背景因 素(例如動機、認知能力、自我效能)、講師因素(例如教學方法、
師生互動技巧)、教材設計、其他因素(例如學習環境、教學設備、
19
行政支援)等構面(鍾明芬,2009),對受訓者的學習成果或企業辦 理訓練成效進行評估。
三、 學習成果之相關研究
相較於員工的學習成果,企業更重視員工受訓後於知識、技能與 態度等方面的實際表現,以及教育訓練辦理成效。考量C航空公司的組 織特性以及研究對象的職級,故本研究採用新 Kirkpatrick 評鑑模式的 內涵,以自評式問卷了解研究對象參加主管管理訓練後,在知識、技 能與態度方面的學習情形。因此,彙整應用 Kirkpatrick 模式評估訓練 成效之相關研究於表2-6。
表2-6
應用Kirkpatrick模式評估訓練成效之相關研究彙整表
學者 年 相關研究及其研究發現
劉淑芬、魏惠娟 2007 以Kirkpatrick模式為基礎,藉由個案研究探討實 務工作者的應用情形,研究發現反應層次為最基 本且不可或缺的層次,受訪者認為如果對課程感 到不滿意,也不會產生學習、行為及結果層次的 效果。
莊世杰、楊仁壽 與黃俊祥
2002 以中華電信訓練所及中國生產力中心受訓學員為 研究對象,研究結果發現,受訓動機強弱明顯影 響訓練效果;學員滿意度越高,越能感受自己學 習效果佳;學員認為自己是否學到訓練課程內 容,對於應用所學在實際工作上的意願並無任何 影響。
20
表2-6
應用Kirkpatrick模式評估訓練成效之相關研究(續)
學者 年 相關研究及其研究發現
陳冠汝 2007 利用Kirkpatrick模式探討「反應層次-課程滿意 度」、「學習層次-個人才能增進程度」以及「行 為層次-實際工作應用成效」三者之間的關係,研 究結果發現課程滿意度與個人才能增進程度有顯 著正相關;個人才能增進與實際工作應用成效有 顯著正相關;課程滿意度與實際工作應用成效亦 具有顯著正相關。
徐志德 2008 以保全人員職能訓練為研究對象,其研究發現該 訓練課程可達學習層次成效;反應層次與學習層 次的訓練成效具有顯著正相關;學習層次與行為 層次的訓練成效未見顯著相關。
資料來源:蔡進雄(2010)。國民中小學學校行政人員研究所在職進修成效評鑑之 研究: Kirkpatrick 評估模式之應用。教育行政與評鑑學刊 10,1-26。