第三章 我國中高齡職業訓練與就業
第三節 職業訓練成效評估模式與指標相關制度探討
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
54
第三節 職業訓練成效評估模式與指標相關制度探討
一、成效評估模式 (一)評鑑相關理論
評鑑指標的設計會影響職業訓練績效的表現，以下就 Kirkpatrick 之四層次、
CIPP 模式進行介紹。
1、Kirkpatrick 四層次
Kirkpatrick 於 1959 年提出訓練成效四層次評估模型(four-level model)，可從 學員的反應、學習效果、行為改變程度、以及結果等四個層次來進行訓練評估、
衡量。
(1) 反應 (reaction)
衡量即學員對於訓練計畫的感受、反應、訓練的滿意度、學員需求與課程之 間的相關性。主要的方法是透過問卷調查，確保學員的動機和興趣，因為學員的 興趣、動機會影響學習效果，也就是學員如果對於訓練沒有正面的反應，代表他 們可能不會主動地學習。雖然正面的反應可能無法確保學習的效果，但負面的反 應，肯定會使學習的效果降低。
(2) 學習 (learning)
衡量他們學會了多少，關注知識、態度、技能等三方面的學習(Kirkpatrick，
1996)，學員透過訓練學習到了什麼樣的知識、技能的開發或改進、或態度的改 變，通常訓練目標在於完成這三項中的一個或多個，因為這些項目發生了變化，
因而才會有行為改變的發生。可以透過紙筆測驗，來確定學員所學習到的內容。
知識和技能是明顯的，可以很容易藉由學員的表現而觀察到，相較於態度，則是 較為隱蔽，較不容易觀察到。
(3) 行為 (behavior)
評估學員參加訓練後，行為發生變化的程度，即衡量學員經過訓練的學習後，
對於學員重返工作有哪些行為的變化，學習到的知識、技能、態度是否有移轉至
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
55
工作，因此訓練移轉是第三層次評估的關鍵。然而行為也有可能未發生任何變化，
但這不表示沒有學習的發生，有可能第二層次的學習目標已經達到了，而行為卻 沒有改變。行為改變的發生，有四種情況是必要的，首先為必須要是渴望改變的、
其次為知道做什麼及怎麼做，而這兩項要求可以在訓練計畫中完成。再者為工作 中有合適的氣氛，在於以什麼樣的態度來看待訓練這件事，譬如是以阻止、或勸 阻、或鼓勵、或需要、或中立的態度來看待學員接受訓練。第四為因為改變而得 到獎勵，包括內在與外在的獎勵，如成就感、認同感、收入增加…等。
(4) 結果 (result)
衡量訓練的投資回報率，即訓練的最終的具體結果，訓練的最終的目標包括:
獲得更高的利潤、增加生產力與工作品質、減少員工流動率、降低成本…等。此 項目也是四個層次中最難以評估的。
而且在這四個層次中，每一個層次評估都是重要的，不應該跳過前兩個層次 評估，就直接進行第三及第四層次的評估。第一層次的反應，藉由反饋的意見來 確定訓練的效果如何，有助於評估計畫、改善未來的計畫。評估第二層次的原因 在於學習如果沒有發生，則可以預期行為將不會有改變。
第一層級和第二層級主要關心學員們在課堂上或者在完成訓練後的行為，可 以在訓練的課堂中進行評估、測量。而第三層次和第四層次則關注於學員於結訓 後過一段時間後的行為，因此必須在工作場所中衡量訓練的效果，進行評估的過 程更為複雜，也需要更多時間和金錢，雖然如此，然而評估可能可以帶來的好處，
應該超過進行評估的成本，提供未來計畫改進的方向。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
56
2、CIPP 模型
係由 Stufflebeam 於 1969 年提出，評鑑是由背景、輸入、過程與成果等四個 項目，所組合而成的一個綜合性框架。評鑑如運用得當，可以促進目標的實現與 幫助持續改善，評鑑最重要的目的在於改進，而不是為了用來證明。
該模型對評鑑的定義是對某一個對象的本質、滿足目標的需求、意義，以引 導決策、宣傳有效的做法、增加所涉及現象的了解，界定、獲得、報告，並描述 和判斷這些訊息的一個過程，引導進行形成性評鑑和總結性評鑑(Stufflebeam &
Shinkfield, 2007)。
(1) 背景評鑑 (context evaluation)
評估需求、問題、機會、資產等，有助於決策者確定目標與優先事項，以及 幫助有關的參與者判斷目標、結果。主要是目標在於設定界線，確定受益者並評 估其需求，找出滿足需求的問題或障礙、確認地區性條件和機會，提供目標改善 之設定及判斷結果的基礎。
(2) 輸入評鑑 (input evaluation)
評估替代方法、資源分配、行動計畫、所需預算之可行性及成本效益。主要 為訂定一個計畫。先檢視滿足特定需求與目標的實際狀態，透過回顧相關文獻、
參觀模範性的方案、諮詢專家，評估者組織專項研究小組，參與專項討論、分析，
評估者使用這些資訊來評估可以接受的方案，反應受益者的需求、潛在效益、成 本、現有的體制，接下來評估者向決策者提出是否應尋求新的解決方案之建議。
(3) 過程評鑑 (process evaluation)
評估計畫的實施，幫助引導活動的展開，對計畫進行持續性的查核。藉由監 督、記錄，來確認或預測程序設計的瑕疵或實施上的瑕疵，判斷計劃的績效，並 解釋結果。目的是提供管理者與工作人員對於計畫進行程度及達成效率之相關資 訊的回饋，也幫助確認執行的問題，並將該計畫進行必要的修正，定期評估參與 者接受與履行自己角色的程度。
‧
資料來源：Stufflebeam, D. L., & Shinkfield, A. J.（2007：333）
CIPP 模型是一個以價值觀為導向的模式，且其根本在於促進發展，強調利 益相關人參與評鑑過程的重要性，並提倡累積研究，以持續改進，協助將資源做 更有效的分配 (Stufflebeam & Shinkfield, 2007)。
鄭錫鍇(2006)職業訓練評鑑可從四個層次進行討論，分別為職業訓練規劃、
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
58
(二)我國職業訓練評鑑指標
判定職業訓練成效，受到評鑑指標項目內容的影響，並用來檢視訓練績效與 品質，確保職業訓練資源得以有效的運用。職業訓練績效評鑑指標項目包括：
1、行政管理：
(1) 訓練品質評核系統(Taiwan Train Quali System,TTQS)：
該項由基準評量的架構由「PDDRO」(Planning, Design, Delivery, Review, Outcome)等 5 個構面組成。
(2) 行政管理服務配合度：
(2-1)職業訓練業務資訊管理系統登錄 (2-2)課程安排穩定性調課異動頻率 (2-3)師資安排穩定性
(2-4)申訴管道及處理 (2-5)訓練輔導
2、訓練實施：
(1) 課程實施之文件資料狀況 (2) 課程師資實施狀況
(3) 教材設施運用狀況 (4) 教務管理狀況 (5) 費用津貼收核狀況 3、訓練績效
(1) 結訓學員三個月就業率 (2) 結訓學員滿意度
評鑑指標分別所占的分數權重：行政管理 30 分、訓練實施 20 分、訓練績效 40 分，總分為 100 分。評鑑結果是以星等之方式表示，依各項評鑑指標成績由 高至低之排名序位，以五星等之方式公布各訓練單位之評鑑星等及其各項評鑑指
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
59
標之星等。評鑑總分達四顆星1以上之訓練單位，且各項評鑑指標達四顆星以上，
兩年內免接受評鑑。而評鑑總分達四顆星以上，且行政管理指標四顆星以上、訓 練實施指標三顆星以上、訓練績效指標三顆星以上之訓練單位，一年內免接受評 鑑。
我國之職前訓練係屬就業導向之訓練措施，因此將「結訓學員訓後成功就業」
規範做為委外訓練單位履約驗收之必要條件，會於委託訓練規範中明訂訓練單位 就業輔導工作執行事項。
二、訓練評鑑相關問題 1、政策與執行落差
訓練評鑑有助於相關單位釐清訓練目標、提供更合適的訓練，使人力資源得 以發揮。為了更加符合訓練需求，進行市場的職缺、職能調查的評估是相當重要 的，但是評估後的結果，其資訊運用常會面臨因為執行是由各個不同單位所負責，
目標設定可能因此而有落差，又加上資訊的即時性不足，配合市場應盡可能兼顧 各方需求，使職業訓練能發揮更大的效用，另外有提及評選委員重視委外單位的 實績，因此可能使得每年選出的廠商重複率高，及同時也重視委外單位的行政規 劃能力，如能力不佳時，會產生配合上的困擾(潘盈竹，2008)。鄭錫鍇(2006)也 指出職業訓練政策、規劃與執行分散的缺點與落差，策略性規劃尚不足。訓練需 求評估與學員預定目標有落差，應落實對個人、產業、市場人力需求的評估以縮 短落差，有助於規劃適合中高齡訓練的職類(戴淑媛，2001)。
孫仲山(2009)說明評鑑制度存的在一些問題，包括：(1)訓練單位熟悉取得高 分的技巧，可能出現有些品質不好的訓練單位仍可以獲得承辦權，加上職訓中心 有發包的壓力；(2)就業率的定義過於寬鬆；(3)對就業的認定過於狹隘；(4)評鑑 委員的標準不一致，或因個人特質而有差異；(5)以監控、防弊的角度進行評鑑，
使訓練單位到有不被受信任的感覺存在，因而對此感到挫折，甚至會影響到雙方
1 該項指標成績排名達前百分十至百分三十者。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
60
的溝通效果。
2、評鑑著重方向
我國職業訓練重視總結性評鑑，相較形成性評鑑則較缺乏，應加強形成性評 鑑，可以直接地將資訊回饋到職業訓練計劃中，且在測驗方面較多著重在認知和 技能的評鑑，大多數的訓練單位未將中高齡參訓者的生理與心理特性考量於測驗 之中，在總結性評鑑應再增加評鑑的內容，包括全方位的學習成果、結訓後的就 業狀況、雇主滿意度、成本效益分析等(王瑞宏，2003)。
3、標準評鑑機制之確立
鄭錫鍇(2008)指出職業訓練評鑑的部分缺失，由於職業訓練職類課程眾多，
如果只以一套評鑑指標，將無法依據不同的情況而呈現不同的結果，如在評鑑訓 練成效時，僅強調就業率與取得證照率，無法反應受訓者接受的職類與其工作類 型的關係、訓練目標，了解受訓者的工作與課程之間關聯，才能確定所投入的資 源是否有發揮其價值，應將行為的改變、績效的提升也加入。戴淑媛(2001)也認 為應依不同的訓練性質，規劃合適的訓練成效評估之指標。以充分反映不同情境
如果只以一套評鑑指標，將無法依據不同的情況而呈現不同的結果，如在評鑑訓 練成效時，僅強調就業率與取得證照率，無法反應受訓者接受的職類與其工作類 型的關係、訓練目標，了解受訓者的工作與課程之間關聯，才能確定所投入的資 源是否有發揮其價值，應將行為的改變、績效的提升也加入。戴淑媛(2001)也認 為應依不同的訓練性質，規劃合適的訓練成效評估之指標。以充分反映不同情境