第三節 第三節 薦任公務人員晉升簡任官等訓練的評估與轉移 薦任公務人員晉升簡任官等訓練的評估與轉移 薦任公務人員晉升簡任官等訓練的評估與轉移 薦任公務人員晉升簡任官等訓練的評估與轉移
薦任公務人員晉升簡任官等訓練之訓練時間只有一個月，對高階公務人員管 理能力之養成實屬有限，在完訓之後，通過訓練的學員若不能自己主動學習相關 的課程知識，則訓練成效將大打折扣，另外，訓練實施至今，只能對學員的學習 情況做當下的評估，尚不能對影響行政機效的層次有所回應，完整的訓練評估機 制仍待建立，本節即是從這兩要點出發，從中進行檢討與提供建議。
壹、薦任公務人員晉升簡任官等訓練對於訓練評估理論的運用
現行的薦任公務人員晉升簡任官等訓練並無完備的訓練評估機制，對於完訓 學員的學習成效並無法進行客觀的了解，更別說探討其對行政績效的幫助為何?
雖然文官培訓所有在完訓之後立即進行問卷調查並為民國九十二年與九十三年 的完訓學員舉行座談會，討論受訓之後的工作情形，再對訓練提供意見。而根據 Donald L. Kirkpatrick 對訓練評估準則的分類，將其區分為「反應」、「學習」、「行 為」與「結果」等四種層次。反應層次的評估旨在瞭解受訓者對訓練課程的滿意 程度。評估範圍包括課程主題與配制、講授方法、與相對應的軟硬體設施等項目。
若是以此層次來進行問卷調查通常會出現下列五種問題類型：(李嵩賢，2001：
192-3)
一、開放式問題(open-ended question)：未限制答案，問題之後留有較多的空間以 供填答。
二、以清單方式(Checklist)逐項列出選項供選答。
三、雙向(Two-way question)問題：以「是」以及「否」供選答。
四、複選問題(Multiple-choice question)：讓應答者由多重選項中，挑出最正確的 答案。
五、排列等級(Ranking scales)：要求應答者就選項加以排列。
此反應層次的評估方法，乃是現行薦任公務人員晉升簡任官等訓練的主要評 估方式，所以這是屬於一種學習滿意度的調查性質，只能就訓練過程中的課程、
師資、上課方法與軟硬體設備的配當提供當下的看法與意見，雖然對訓練本身還 是有所幫助，但是訓練機關還是不了解學員在受訓完之後，到底發生了什麼能力
上或觀念上的改變。
以學習評估的層次來說，根據學者 Donald L. Kirkpatrick 的說法：「受訓者如 果沒有好的反應，就不會發生好的學習，但是如果有好的反應，也不一定會有好 的學習。」(Kirkpatrick，1996，302，轉引自李嵩賢，2001，195)。所以反應(reacation) 與學習(learning)應該要分開加以評估。而所謂的學習乃是指受訓者經吸收訓練所 授與的知識與技能而產生的態度轉變，但是不包含在回到原工作職務之後所產生 的行為改變與移轉運用。評估學員的受訓狀況應把握下列原則：(李嵩賢，2001：
195)
一、評估每一學員，以便量化。
二、使用事前事後的方法(before-and after approach)，印證培訓的學習成效。
三、運用控制組與實驗組對比方法，找出差異證實學習。
四、應用系統化分析證明相關性。
至於評估的主要方法有：
一、教室演練(classroom performance)：透過說明、表演方式評估學員的學習程度。
此一方式特別適用工作指導訓練、工作簡化、面談技巧、讀說寫等技術方面 的訓練。例如在工作指導訓練方面，要求受訓的監督人員在教室演練，要求 學員製作工作流程圖，以觀察學習的效果。
二、紙筆測驗(Paper-and-Pencil Tests)：如果不是技術方面的訓練，像溝通、時間 管理、變革管理、決策擬定、現代化管理與訓練，其學習的評估可以採取紙 筆測驗的方式。紙筆測驗可以購買標準化的題目，但是可能無法含蓋所要問 的問題。因此，也有需要自我設計的紙筆測驗題目。紙筆測驗應以系統化、
設計化為導向。受訓前後填答的比較，可以了解學習的效果程度。
學習評估層次正好引出出文官培訓所在薦任公務人員晉升簡任官等訓練使 用講授法為主要上課方式的原因，運用講授法的單面向進行知識的傳遞與專題研 討中小組討論的應用，在在都是為了增加受訓學員的學習印象，但正如第四章第 一節的完訓學員訪談意見所顯示的，這個訓練方法只能幫助他們「建立基本觀念」
而已，所以只能改變或增加些許對這些新學習課程的認知，亦可說當時的觀念建 立影響了態度認知的轉變，而最後的案例書面寫作則是用紙筆測驗的方式，用活 用的案例寫作方式來觀察學員對課程學習的掌握程度，所以在學習評估層次這一
環，文官培訓所亦有所落實，但在上課時間、方式與訓後的評量方式卻仍有待加 強。
行為層次的評估則是於訓練結束之後，評估學員在實際工作環境的工作行 為。主要在印證學員是否將所學應用在工作上。英國學者 T. H. Huxley 曾說：「人 生的目的不在習知，而在行動」(The great and in life is not knowledge but action)。除 非培訓使學員產生積極的工作行為改變，否則培訓對組織意義的價格不大。因 此，對於培訓是否引起工作行為改變，有必要加以評估。(李嵩賢，2001：197) 而工作行為的改變需要有其他因素的配合(李嵩賢，2001：197)包括：
一、有改變的需求。
二、了解改變的內容及方法。
三、適當的工作氣氛。
四、有助力運用所學。
五、獎勵行為改變。
評估學員工作行為的改變，需注意以下要領：
一、對培訓前後的工作表現作系統化評估。
二、工作可由其學員或上司、同僚、部屬評估，評估的人員愈多愈好。
貳、訓後學習制度仍待加強。
三、系統化分析比較受訓前後工作表現，並確保兩者之關聯性。
四、結訓三個月以後評估，俾學員有機會運用所學。
五、必要時，可以與控制群組(未參加受訓)相互比較，以發現行為是否改變。
因此，行為層次的評估主要是由訓練前後工作行為的改變來做為主要的評估 標的，不過薦任公務人員晉升簡任官等訓練對此層次的運用程度上，就不是那麼 令人滿意，現行此訓練雖然已經辦理過三年了，但卻仍無法得知完訓學員在這方 面的改變，一方面受限於訓練資源有限無法做此評估，另一方面，則是因為陞遷 制度無法配合，導致訓練目標的評估成果只能停留在反應與學習的層次，這也是
現階段文官培訓所所要努力的主要目標，未來仍有進步的空間，如能對此層次進 行妥善的評估，便能了解訓練是否能夠有效達成轉移工作的效果，這樣對於開辦 此訓練來說會更有意義。
最後在結果評估這個層次，其所需考量的要素是必須包涵「反應」、「學習」、
「行為」等三項評估結果的結合，即為透過一連串的學習、建立能力、在工作中 養成能力加以表現，最後促進組織整體的績效，而結果評估的層次就是要評估這 個訓練為組織帶來的「效益」結果為何?也就是投資報酬率(return on investment，
ROI)的高低為何?應用在私部門就是反應訓練成本能不能增加利潤(benefit)的收 益，在公部門則是代表此訓練所花費的成本有無在行政績效上得到提升?其提升 為何?如何檢視?這就是結果評估所必須做的事，例如來自內政部民政司的學員在 完訓之後，回到工作崗位一段時間後有沒有對所屬單位帶來什麼影響與助益?就 現行文官培訓所對薦任公務人員晉升簡任官等訓練的評估只做到反應與學習的 層次上，連行為層次都無法有所突破了，更遑論在結果評估層次能夠有所進展與 研究，所以目前這個部分仍有待相關的訓練機關與學者專家來共同開發研究。
綜合上述所說的四種訓練評估的理論，我們可以了解到訓練最重要的目的就 是訓練的有效轉移，訓練本身就是投入(Input)而學員的行為與工作成效就是轉移 (Output)，訓練評估就是在做其中的損益評量，薦任公務人員晉升簡任官等訓練，
目前只做到反應與學習層次的評估，相對來說行為與代表整體的結果評估仍有待 加強與開發。在公部門來說，「行政績效」這個明詞的代表意義是非常抽象且複 雜的，組織成員的工作行為與行政績效當然有其正相關，但如果要去加以整體分 析評量，恐有其難度，如能就所屬層級訓練做單一的評量分析，分開了解其對訓 練的轉移程度與組織部門的貢獻程度，這樣整體的「行政績效」比較能夠具象化 的被了解，亦能把訓練轉移效果較低的層級單位，再對其補強訓練或修正訓練。
我們之前說過薦任公務人員晉升簡任官等訓練的性質是管理能力取向的，所 以訓練主要是培養學員具備簡任官的一般管理能力，進一步而言，這主要是偏向 個人心智模式的一部分，就評估工作而言，反而難以從中進行觀察考核，若同時 運用問卷調查與深入訪談的方式從其部屬、同僚與長官的意見中來進行分析研 究，將是非常客觀的評估方法，但這同時也是非常耗費人力物力的方法，在現行 培訓機關業務繁多與資格有限的情況下，要達成此目標確實困難重重，或有賴相 關學者專家與訓練機關共同合作進行研究，亦為未來可行的建議方案。從訓練開 始到評估結束本來就是一個完整的循環過程，從確認學員需求與能力項目到建立 培訓計劃，再進行培訓，最後檢討評估，整個過程就是培訓的完整架構，如下圖 5-1 所示，我們可以了解到整個過程細節都是關鍵，缺一不可。
瞭解受訓者訓練需求 (找出相關的能力項目)
訓練評估
(包括反應、學習、行為與 結果層次)
擬定訓練計劃 (包括訓練課程、方法、師
資與評量)
執行訓練
圖 5-1 訓練的循環過程
資料來源：改自 Macolm Martin and Tricia Jackson , personnel practice,institute of personne and development, 2000：80
貳、薦任公務人員晉升簡任官等訓練對於訓練遷移理論的運用
學習是訓練的主要核心價值觀念，不論是在訓練前的學習、訓練中的學習甚
學習是訓練的主要核心價值觀念，不論是在訓練前的學習、訓練中的學習甚