• 沒有找到結果。

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

25

儘管 Kirkpatrick 四階層評估模式在幾十年來,其信度、效度受到少數學者的質 疑,如 Alliger & Janak (1989: 331)認為 Kirkpatrick 四階層評估模式缺乏信度;Kraiger, Ford 與 Salas(1993: 220-233)指出,Kirkpatrick 四階層評估模式無法明確指出績 效的改變是導因於訓練的成果,而且也沒說明每一層級應用何種技術評估;Holton

(1996: 5-21)強調 Kirkpatrick 四階層評估模式只是將訓練成果分類,尚無法稱為是 一套完整流的訓練評估模式。

上述學者對於四階層理論信度、效度與評估技術的適切性雖有批評或質疑,但 後續所發展的訓練評估模式僅限於整合 Kirkpatrick 四階層評估模式,或是將其特定 層級進一步發展,尚無法提出一套可以取而代之同時又而被廣泛接受的訓練評估模 式。因此,Kirkpatrick 四階層評估模式仍是劃分一個有效訓練方案所達成之標準的 有效方法,且又廣為應用。有鑑於 Kirkpatrick 四階層評估模式廣受學術界與實務界 之廣泛運用,亦相對反映此模式之信度、效度及評估技術之適切性仍受肯定,表示 此模式是有效的。再者,近年來有文獻證實四階層評估模式可被應用於高等教育的 領域中(Praslova,2010)。劉念琪(2010:147)辦理訓練成效研究報告,其研究報 告建議,可藉由 Kirkpatrick 四階層訓練成效評估理論之反應層次及學習層次,分析 考試錄取人員對訓練的滿意度及各項成績表現,此亦為本研究亦採用 Kirkpatrick 四 階層評估模式來進行訓練成效評估之原因。

第三節 訓練成效評估效標

依照四階層訓練評估模式,分階段檢視訓練所達到的成果的程度與是否符合訓 練目標,最直接的方式就是以評估效標(criteria)來衡量訓練成效。發展效標作為 訓練成效評估標準,蒐集資訊以界定整體訓練施行過程與結果的績效,以提升訓練 發展的過程,並決定是否持續進行訓練發展計劃。

評估資訊分為兩類,一類為過程效標(Process Data),將整個訓練過程納為評 估的範圍,自各個階段檢視訓練成效,即 IPO 投入-過程-產出模式,此類做法以

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

26

ISO10015 品質計分卡為代表;另一類為成果效標(Outcome Data),著重在訓練後 最終的訓練成果(Blanchard & Thacker, 2007,轉引自張藍云,2014)以 Kirkpatrick 四階層評估模型最為著名,也是本研究之重點。

壹、 反應層次效標

組織進行訓練的最終目的,無非是要藉由訓練員工提升他們的智能與技能以改 變其行為,培養其解決問題的能力。因此,訓練能否達到預期成效遠比訓練活動重 要。此外,受訓者的滿意度為訓練成效的重要衡量指標。

反應層次的評估指標,旨在評量受訓者對訓練課程的整體感受,並瞭解受訓者 對訓練內容、訓練方法及講授者能力的看法。這個結果可以用來確認目前訓練設計 及實施的良窳,甚至可以立即對下一階段的課程做改善。反應層次效標因為其易於 取得及概念上容易理解,所以是在實務上最廣被運用的訓練評估指標(Noe,2005:

215-125)。

Alliger, Tannenbaum, Bennett, Jr. & Traver (1998: 331-342)指出,為能與未來 訓練成效相連結,俾期將訓練成效與訓練目標緊密扣合,在進行反應層次評估時,

應以「情感性反應」及「效用判斷反應」二者的感知詢問受訓成員,會比僅詢問受 訓者的對訓練的「喜好」程度來得有效。

Alliger et al.(1998: 331-342)建議在反應層次評估中,應由學員自行評估他認 為訓練課程與工作的相關性,以及訓練能否對未來的工作產生正向效益,這類型問 題均被歸類為效用判斷的反應評估。

另有學者提出,訓練滿意度主要在衡量受訓者對於訓練者的喜歡和感覺程度。

過 去 學 者 提 出 訓 練 講 師 是 對 訓 練 成 效 造 成 直 接 性 及 立 即 性 影 響 的 主 因

(Bushnell,1990:41)。Analoui(1994:52)也認為影響訓練成效最鉅的因素即為訓練 講師,將講師視為改變學員行為思考的中間人,而且是達成組織學習目標的關鍵人 物。講師是知識傳遞的指導者,故講師與學員互動情形之好壞,影響著講師的教導 與學員的學習狀況。由此可知,講師不但是直接關係到學員知識與能力學習的關鍵

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

27

人物,而是影響訓練成效的重要關鍵因素。良好的師生關係對於教育成效有明顯的 影響力(Murray & Greenberg,2006:220-233)。

Hunt 與 Michael (1983: 475-785) 指出,師徒關係可以協助激勵員工士氣,

為一項重要的職涯訓練與發展的工具。Chih, Liu & Lee(2008)提出,受訓者的學 習態度與滿意度、訓練成效為正向關係。故良好的師徒關係可以協助企業進行員工 訓練,亦有效提升員工的工作能力與滿意度。

而講師也可分為內部與外部講師。內部講師的缺點在於素質及教學效果參差不 齊,且可能缺乏理論基礎,其優點在於瞭解企業的情形,但對於實務工作熟悉度高;

外部講師的優點為熟悉理論與教學技巧,但常有課程內容不能符合企業實務需求的 現象。衡量課程內容可否達成訓練或發展目標,教材內容是否符合邏輯,是否與時 俱進能讓學員輕易吸收,講義也要考慮學員的閱讀習慣及印製的清晰(黃廷合、齊 德彰,2004:154)。且受訓人員在訓後,能否將課程與講授內容應用到工作實務上,

也是訓練發展過程中的重要考量,為使訓練發展效果移轉於實務上,課程與教材內 容應以實務應用為主。

對於問卷在指標和面向的設計上,到目前為止的研究提供了我們評估訓練課程 上的實務觀點,而有 11 個反應評估的構面(如表 2-3-1),能夠展現出參與者對於訓 練課程的立即反應,在課程的評估上,我們可以使用這些構面當作引導進而去發展 出標準化或課程客製化的反應評估問卷。

表 2-3-1 反應評估構面及範例題項

反應層次的構面 目的和問題範例

課程目標/內容

評估參與者期望的課程目標。課程的適當性、結構、困難度、更 新。課程內容是否達到既定目標?課程主題和學習活動的順序是 否適當?

課程工具

確保課程中使用的書面資料具有效用、效率、是有用的。課程使 用的材料和課程目標具有一致性?課程教材是有助於瞭解這個主 題?

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

29

與可運用之整體評估模型(Holton,1996: 5-21; HAle,1998:30)。

貳、 學習層次效標

針對學習成果效標,本研究主要提出 Kragier,Ford 與 Salas(1993: 311-328)的 學習成果模型。Kragier, Ford 與 Salas 認為學習成果是具有多重構面的,同時訓練 的發展是以結構導向為基礎的學習方法。因此這三位學者以過去學者所提出之分類 法為基礎,設計出學習成果的分類架構,KrAgier, Ford 與 SAlAs 指出訓練主要在於 希望能提升學員在以下三大領域的學習成果,包括了:認知、技能、情意三大領域。

圖2-3-1 學習成果三大面向

資料來源:Kragier, Ford 與 Salas(1993)轉引自劉念琪(2010:22)

一、認知成果

認知係一群與知識之種類與數量的變數,也包含了知識中各元素間的關係。以 評估而言,認知觀點所注旳不僅是數據的呈現,亦包括了動態的知識合併、組織與 應用的過程(劉念琪,2010:22)。依據 Gagne(1984)的認知學習分類,認知成果

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

30

包含下面三個層級:

(一) 書面知識(Verbal Knowledge):包括了敘述性知識(有關於「是什麼」的 資訊)、程序性知識(有關於「如何」的知識)、策略性知識(有關於「哪 一個」、「何時」、「為什麼」的資訊)。

(二) 知識組織(Knowledge Organization):當學習進展到第二階段的時候,學習 者的專注力,會由敘述性知識轉向程序性知識。心智模式(Mental model)

是一種機制,深植我們心中關於我們自己、別人、組織及周圍世界每個層 面的假設、形象和故事。用來描述人們如何組織知識協助受訓者描述任務 的功能、表現方式,解釋並觀察各項任務的整合,進一步能夠預先考量未 來執行任務的需求。

(三) 認知策略(Cognitive Strategy):意指知識被使用或應用的程度,愈快速愈 流暢愈好。後設認知(metacognition)最能適切解釋此一概念,是計劃、監 控、調整目標導向行為,甚至於瞭解任務需求與個體能耐間的關係,進一 步引起或管理適當的對應策略的能力。。

二、技能成果

技能成果牽涉到的就是技能發展的概念,包含了目標導向、與行為的連結等等,

主要概念為「編彙」與「自動」。「編彙」乃是受訓者將分離、切割的步驟藉由不斷 練習整合為一連串的動作,使績效能更好、更加流暢的產出;「自動」乃是受訓者當 技巧更加嫻熟的時候,這些技巧動作遇上需要應用的場合時,會不假思索的以類似 於反射動作的方式呈現,從「控制」的情況下移轉到「自然出現」的情形,且會具 有個人化的特色。技能成果的衡量方式包含實作、目標行為觀察、結構化情境式面 談等(張藍云,2014:10)。

三、情意成果

鑑於態度與動機皆會影響人的行為與績效,因而有學者提出將態度納入學習成 效的指標之一,Noe(2005)認為個人差異中的動機指標,會成為決定訓練成效的 關鍵因子,研究也指出個人特性包含能力、個性、動機都是影響下一階段訓練移轉

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

31

的因素,因此 Kragier, Ford 與 Salas 三位學者歸納了態度、動機兩面向。情意成果 的衡量著重在有關在意願上的傾向與投入程度,因此可利用量表與開放性問題、自 我評估報告、焦點訪談等(張藍云,2014:11)。

(一) 態度:包含對組織的承諾、對於學習重要性之認知、團隊規範、對於多元 異議的忍受程度、自我成長、自我覺察、價值觀改變等等概念。

(二) 動機:即學習動機改變、受訓者是否有克服困難的信心、是否對目標設定 是明確的、具挑戰性,且對目標有一定承諾等等概念。