第二章 文獻探討
本章共分成四節，分別為「教育訓練發展內涵」、「數位學習」、「教 育訓練評鑑之模式」、「數位學習評鑑」，各節內容分述如下：
第一節 教育訓練發展內涵
人力資源發展整合了訓練、發展、組織發展、職涯發展來改善個 人、團體和組織的績效（Noe, 2005：29）。其被定義為組織提供其員 工一套有系統有計畫的活動，其活動內容包含學習工作所需的技能，
以及為了因應未來工作所需的能力，其目的是用來產生行為的改變 (Nadler,1970)，而 Swanson（1995）認為 HRD 是一種過程，透過組 織的發展和個人的訓練及發展，以培養專門知識或技術，目的在改善 績效。上述反映出人力資源發展的三大功能訓練與發展（training and development ,T&D）、職涯發展（career development ,CD）、組 織發展(organizational development ,OD) 茲分述如下（李隆盛、
黃同圳，2000：9）： 壹、 組織發展
重整體性，為改善組織、團隊或個人績效，是個持續的過程，從 個人經歷之職涯階段，團隊之變革與成效，到組織之成效皆屬之，結 合組織結構、文化、策略的過程，最後發展出組織更新、適應環境的 能力。
貳、 職涯發展
其包含個人及組織活動，經由規劃個人的職涯生活，將其與組織 發展相配合。主要由個人規劃其未來工作所需的能力及過程，經過諮 商員或他人的協助，評估自己的技能與能力，以訂定務實的生涯計畫。
參、 訓練與發展
「訓練」為組織為了促進員工學習的計畫，包含影響工作績效的 知識、技能、行為，而員工訓練的目的在於熟練該知識、技能、行為，
並能將其應用在目前的工作，得到競爭力。因此訓練應包含智能
（intellctual capital），智能包括基本的技能（能夠執行當前的工 作）、與進階的技能（能與其他員工相互分享資訊），並且能明白組織 的客服或生產系統，最後能夠自主的學習（Noe, 2005：3）。
透過有計畫的學習，幫助個人發展，以執行當前及未來的工作。
從以上得知組織訓練是為了改善現有工作績效的學習，提供員工執行 職務或工作所需的知識與技能；發展是對未來工作有影響，焦點在增 進工作所需之能力，以及為未來的工作做準備，其目的皆為為了改善 增進員工的知識、技能與態度。
整體來說，完整的訓練系統應該包括訓練需求評估、課程設計、
訓練實施與訓練評鑑四階段（蕭錫錡，2001：2）如下述：
在訓練需求評估部分，任何企業所擁有的資源是有限的，為了使 訓練得到最大的成效，因此要透過組織分析、工作分析、個人分析。
確認組織所期望的與真實狀況間的落差、員工具備之技能與工作績效 間之差距，員工具備之技能與未來工作要求的落差等。
課程設計的焦點是課程和教材，課程發展之初除了瞭解教學目標 外，也需要瞭解學習者的特性，依據其興趣、目的、需求，才能編制 合適的教材。
訓練的實施，此階段的重點是教學，希望學習者可以從中得到 知識、技能，或態度的改變。。
最後是訓練評鑑的部分，這是訓練過程中，最重要的一環，講 師的教學成果、學員學習成效、訓練課程是否達到教學目的，均須透
過教學評鑑，才能看出結果。
而評鑑的資料，可以讓企業看到投入的經費成果為何、訓練目標 是否達成，亦可作為受訓者分派職務、工作的依據，或者可以作為下 一次訓練的改進建議。最重要的在受訓者方面，使學習者瞭解學習到 所需的知識技能成效為何（蕭錫錡，2001）。
教育訓練成效評鑑在於衡量企業投入的成本與員工的學習是否 有所收穫，評鑑的時機，一般而言，可以分為兩種，一、形成性評鑑
（formative evaluation）：指在教育訓練執行的過程中施行之評鑑 活動；二、總結性評鑑（summative evaluation）：指在教育訓練實 行結束後，評鑑其成效、結果。
那又該如何來評鑑訓練的成效，可以由訓練流程來觀察，根據上 述的內容可知道，完整的訓練系統應該包括訓練需求評估、課程設 計、訓練實施與訓練評鑑四階段。除去第四階段的評鑑，其他三階段 都可以作為評鑑的依據，這一個部分也就是形成性評鑑，其評鑑的內 容如下：
一、 訓練前的需求評估——訓練目標及選擇參與訓練的員工是否跟 企業經營策略相一致。
二、 課程設計——課程的規劃是否完善、合於企業經營策略。
三、 訓練實施——課程安排的時間、講師的專長、經費的運用等。
除了形成性評鑑外，第二步驟就是總結性評鑑，訓練投入人力及 成本，可藉由此步驟證明訓練的成效、訓練是否具有經濟效益，所以 更希望能夠：
四、 員工受訓後——對訓練課程理解的程度。
五、 員工返回工作崗位後——觀察是否能應用所學，而個人與組織 的績效，是否有所提高。
第二節 數位學習
當 1946 年第一部電腦問世以後，便開始了數位時代，隨著電腦 普及，數位資訊也開始流行於生活當中。
圖 2-1 數位學習演進圖
圖 2-1 是數位學習的演進歷程。在 1960 年代，電腦輔助學習
（CAL，computer aided learning）在教育界開始研發，學生透過電 腦讀取光碟片中的課程資訊學習，此時並無使用到網路，相關的專有 名詞 CAI，、CAT、CBT、CBL 都是電腦輔助學習的相似詞。
當網路出現以後，利用網路連線進行學習的型態也開始出現，稱 其為線上學習（online learning），或稱為網路化學習（WBL，
web-based training），內容包括課程教材、互動活動、學習資源，
課程教材的有學習內容的解釋、線上練習、測驗等，並使用動畫、影 像、聲音、情境模擬來增加學習的興趣。互動活動有線上講師與學生 在討論室討論，不但可以回答學生的問題，還可以彼此相互聊天。在 線上學習中，最重要是需要一個學習管理平台（LSM，learning management system）記錄成績或學生學習的活動等。
在第三個階段就是數位學習，除了包括電腦輔助學習與線上學習 分散式
數位 學習 學習 線上
CAI 電腦輔助學習 學習
作(digital collaboration)的功能，讓學習者可以及時互相討論與 合作。
分散式學習包含以上所有功能，期望達成在任何時間、空間都能 夠學習，要達到這個目的，可以使用手機、PDA 等無限網路的工具來 進行學習。（鄒景平，2003）
1993 年美國國家資訊基礎建設（National Information
Infrastructure, NII），提供人類思考解決多媒體互動的機會，而 網路寬頻化成為資訊傳播的重要基礎。在教育上應用最為廣泛的便是 遠距教學，學習者可以透過網際網路接觸到各種學習的管道，同時可 以用來作為教與學的教育工具（游光昭，李大偉，2003：3）
在全球貿易自由化、國際化中，企業面對激烈競爭的環境，提供 員工新知識的教育訓練，是增加組織的競爭力的解決方案之一。傳統 的教育訓練，受限於時間、空間、設備等因素，教育訓練成本高，而 網路科技在近年來快速發展，提供另一種教育訓練的形式，其可以建 立知識的分享與學習，降低訓練成本，提高教育訓練品質，進而提升 企業的競爭力，網路化教育訓練與傳統方式不同，其優點如表 2-1：
表 2-1 網路化教育訓練之優點
互動式討論 訓練人員、學習者、講師，彼此資訊相互溝通與交流。
建構社群 人們可以成立長久的實務社群，受訓完後依然可以聚集分享知 識和見解。
個別化訓練 每個人學經歷、背景不同，按照學習者學習需求、程度，選擇 合適的課程。
一致性或客製 化內容
可以呈現一致的學習內容，或者根據不同的學習需求或不同的 群體來量身訂製教材。
自我導向學習 配合學習者的步調，根據自己的能力和時間來調配自己學習，
還可重複練習，課前溫習及課後複習。
學習歷程的追 蹤管理
網路化教育訓練可以透過線上測驗來評鑑學員的學習成效，且 訓練紀錄都將被保留，有助於將來追蹤與管理。
內容更新、即 時可靠
數位學習可以即時更新，使資訊較為精確，並且方便公司傳送 新資訊給眾多的員工、顧客等。
降低訓練成本
訓練教材可以重複使用，節省傳統訓練所需的場地、人事費用，
且不限地點時間無須交通往返，節省下上課場所之租借費、人 員的交通費與餐飲住宿費等。
調整性 只要基礎設施沒問題，稍加調整或增加成本，課程參與者就能 從十人變成十萬人。
數位學習全年 無休
人們可以隨時隨地進入數位學習。使組織學習安排確實做到全 球化。
第三節 教育訓練評鑑之模式
在經過一連串學習歷程後，提供適當的評鑑可以讓學習者反省自 己學到了多少、有沒有達到學習目標，並且從學習者的回饋中，可以 得到對課程內容或其他方面的改進建議，使往後的學習者得到更好的 學習，因此要做教育訓練評鑑。學者專家針對評鑑發展出許多評鑑的 模式來，以下討論：
壹、Stufflebean 的 CIPP 模式
Stufflebeam 的 CIPP（context, input, process, product）評 鑑模式，受國內教育評鑑領域重視，運用非常廣泛，包括學科教材、
學生、訓練方案等評鑑等，總共分為四個層次，茲分述如下：
一、背景評鑑（context evaluation）：
先確定研究對象的優缺點及問題所在，並提供改進的建議，研究 對象可能是組織、訓練方案或個人；以訓練方案為例，首先評估其需 求、可能遭遇的障礙、專家意見、所需的資源等，並且收集相關人員 及其周圍的資訊。
二、輸入評鑑（input evaluation）：
首先檢視需求、文獻，其次針對潛在效益、費用等評估，就現有 的問題尋求解決途徑。換而言之就是幫助客戶在其需求及環境的前提 下，考慮各種可能的方案，發展出一套合適的計畫，審查需投入的人 力、物力、與財力是否能夠配合，避免浪費時間金錢在無效的訓練方 案。
三、過程評鑑（process evaluation）：
過程評鑑是對正在實施的計畫不斷做評量，其目的之一是在對管
畫實施，以及是否有效地利用可用的資源。如果原計畫有所缺陷，則 幫助修正該計畫（黃光雄，1989）。其主要目的有四：1、使評鑑者了 解計劃實施的進度與資源利用的情形；2、提供指導，以決定計劃內 容是否需要修正；3、定期評估評鑑人員的能力與參與的情形，如有 需要應調整或更替；4、提供計劃進行的紀錄，以利於產出評鑑的參 考(王景翰、陳創立、陳怡靜，民 90)。
四、產出評鑑（product evaluation）：
成果評鑑的目的是在測量、解釋、以及判斷一個方案的成就，並 診斷訓練的成果是否達成預定目標。確定方案符合需求的程度，並廣 泛地檢視方案的效果，包括預期與非預期的，以及正面、負面的效果。
成果評鑑的基本功用在於方案是否值得作為未來繼續實施、重複實 施、修正實施或停止該方案的參考（黃光雄，1989：181：曾淑惠，
2004：79）。
在下表圖 2-1 中，我們可以看到 CIPP 評鑑針對目標、方法、決 策面向在不同層次中的綜合比較。
表 2-2 CIPP 評鑑類型
評 鑑 類 型
背景評鑑 輸入評鑑 過程評鑑 成果評鑑
目 標
界定機構的背景；確認 對象及其需求；確認滿 足需求之可能方式；診 斷需求所顯示的困 難；評斷目標能否滿足 已知的需求。
確認及評估下列各 項：系統的各種能力，
數種可替代的方案策 略，實施策略的設計，
預算及進度。
確認及預測程序設計 或實施上的缺點；紀錄 及判斷程序上的各種 事件及活動。
蒐集對結果的描述及 判斷；將其與目標以及 背景、輸入、及過程之 訊息相互聯繫；解釋其 價值及意義。
方 法
使用系統分析、調查、
文件探討、聽證會、晤 談、診斷測驗、以及德 懷術。
將現有的人力及物質 資源、解決策略、及程 序設計列出清單，並分 析其適切、有效、及合 算的程度；利用文獻探 討，訪試成功的類似方 案、建議小組、以及小 型實驗室等方法。
追蹤活動中可能有的 障礙，並對非預期中之 障礙保持警覺；描述真 正的過程；與方案工作 人員不斷交往，並觀察 他們的活動。
將結果的標準賦予操 作性定義，並加以測 量；蒐集與方案有關之 各種人員對結果的評 斷；從事質與量的分 析。
在變革過程 中與作決定 的關係
用於決定方案實施的 場所、目標與方針；提 供判斷結果的一種基 礎。
用於選擇下列各項：支 持的來源、解決策略、
以及程序設計；提供評 斷方案實施狀況的基 礎。
用以實施並改善方案 的設計及程序，提供一 份真正過程的紀錄，以 便日後用以解釋結果。
用於決定繼續、中止、
修正某項變革活動，或 調整其重點；呈現一份 清楚的效果紀錄。（包 括正面與負面、預定與 非預定的效果）
資料來源：Stufflebeam（1983），P.129。
貳、Kirkpatrick 四層次評鑑
根據美國訓練發展協會（American Society for Training and Development, ASTD）發佈的資料顯示，在美國有 67％使用柯派翠克
（Kirkpatrick）的四層次評鑑模式，並且在 2004 年提出超過 74％
的企業使用第一層次的評鑑，31％使用第二層次的評鑑，14％評鑑層 次達到第三層，而少於 10％的企業評鑑達到第四個層次（Cohen, 2005：23）
Kirkpatrick 於 1952 年著手進行評鑑研究，直到今日，每個人 都知道評鑑的重要性，企業投入成本在訓練上，主管會想要知道成果 如何，訓練者必須要在主管要求相關資料時，就已經把訓練成果準備 好，它可能是生產量的提升、成本降低、銷售額增加、意外降低、離 職率降低等。
在真正進入 Kirkpatrick 評鑑前，我們必須要先知道評鑑是建立 在有效的訓練方案這個基礎上，因此在評鑑進行以前，Kirkpatrick
（1998b：3）對訓練方案提出有十項建議，使方案的能夠更加完善：
1. 決定訓練需求：可以經由詢問對工作熟悉的主管、同事、部屬、
客戶等利害關係人，或者藉由測試參與者、使用績效評鑑工具，
來決定訓練的需求。
2. 設定目標：可以從三方面來決定目標，第一、我們想要完成的目 標？如產量增加、銷售提高、改善工作生活品質等。第二、我們 希望主管如何協助訓練？第三、我們希望學習者在訓練方案中學 習什麼知識、技能、態度？
3. 決定訓練內容：思考什麼樣的訓練內容可以符合其需求及目標。
4. 選擇參與者：如何選擇參與者，可以思考以下幾點，誰可以從訓 練中獲得益處？參與訓練的人員是自願的還是強迫的？是全體
組織成員都可以參加訓練，還是有階級區分？
5. 規劃課程表：在規劃訓練時程表時，我們必須要考慮到學習者、
該直屬主管與相關的訓練條件，最常發生的情況是訓練專家只考 慮自己的偏好與課表。
6. 選擇合適的設備：設備必須要考慮舒適與方便，教室溫度是否合 適，會不會太熱或太冷，空氣會不會不流通、椅子會不會不舒服 等。
7. 選擇適任的講師：這是方案成功與否的重要因素，必須要考慮到 講師的知識、教學熱忱、溝通的能力。而經費預算也限制了這些 的可能性。
8. 選擇和準備視聽教材：引起學習者的興趣與歡樂。
9. 協調方案：講師不是只有教學就好了，有時候還要與之協調是否 有其他需要。
10. 設計評鑑方案：好的評鑑可以提供回饋，知道訓練的成效如何，
是否繼續執行該方案、或修正。
當我們瞭解到評鑑是建立在有效的訓練方案這個基礎上後，以下 便開始探討 Kirkpatrick 四層次評鑑（反應、學習、行為、成效）的 相關內容。
一、反應（Reaction）
Kirkpatrick (1998a：19)將其定義為，學習者喜歡訓練方案的程 度、或是滿意度，甚至是訓練人員是否能夠全心全力的投注熱情、吸 引人的表演能力、有無使人感興趣的輔助工具、影片等，我們希望收 集學習者的對這些訓練反應的相關資訊。
所以反應評鑑就好比顧客滿意度，這是重要的一個步驟，不可以
省略，因為我們希望能夠有足夠的吸引力引起學習者的學習動機與興 趣，如果學習興趣不夠強烈，接下來層級二，學習者如何有動力、並 專注努力學習呢。
Birnbrauer (1998)認為大部分的學習者透過問卷寫下對課程、
訓練教材、設備的感受，或許我們會質疑這些內容是否誠實作答甚至 是必要、有意義的？但撇開這些疑惑，重要是這種問卷成本相當便 宜、容易施行，還可發覺學習者潛在的需求，透過學習者的回饋，可 以協助訓練專家改善未來的訓練方案。
當瞭解反應評鑑的重要性以後，便要思索如何設計反應評鑑，人 力資源專家可以依循以下八個步驟，逐步進行反應評鑑：
（一） 首先決定要收集什麼樣的資訊：訓練專家可能會希望收集到 以下的資訊，如學習者的基本資料，對訓練課程時間、地點等看 法，對餐點、環境之意見等。
（二） 設計反應評鑑之問卷：可以使用李克特五點量表，使問卷容 易填答與解釋。
（三） 鼓勵學習者寫下建議：在問卷下方可以設計開放性的題目，
讓學習者表達他們的意見。
（四） 得到立即的回饋：有些訓練方案會把問卷發回去，讓學習者 在空閒時間填答，但這會降低反應評鑑的價值，理由有二，學習 者遺忘或不願意填答問卷，甚至問卷回收時有缺漏，並沒有完整 填答，因此最好的辦法是在學習者訓練結束前，就把問卷填答完 畢。
（五） 鼓勵學員誠實的回答問卷。
（六） 發展問卷標準：對於某些重要的問卷題目，可以設定加權指 數，加強其重要性。
觀，先根據學習者的回饋調整訓練方案。其次接受評鑑結果。
（八） 適當的呈現問卷的結果：先判斷誰會看到這一份資料，是源 自於什麼樣的目的，再將反應評鑑的結果，經過轉換、解釋來呈 現內容。
二、 學習（Learning）
Kirkpatrick (1998b)認為透過反映評鑑可以得到學習者對於訓 練方案的感覺，但這並不代表他們一定會有好的學習成果，所以我們 必須要對於學習的成果加以評鑑，藉以瞭解學習的成效、是否有達成 訓練的目標。
首先我們必須要先知道什麼樣的的知識技能態度是學習者所必 須要學會或者改善的。在學習的過程中可以使用控制組、前後測，來 比較訓練的成效。
圖 2-1 是有關使用電腦測驗的流程，學生透過電腦介面，可以選 擇測驗的題目，然後將答案送出去給老師評量。傳統測量學習的工具 是使用紙筆測驗，數位學習可以使用電腦化測驗，不但可以使測驗形 式多變化、結合影音效果，還可以節省人力，並且使測驗的人數增加。
圖 2-1 評鑑系統應用於電腦的結構圖 (Aggarwal, 2000:188) 學
生 介 面
老 師 介 面
方案評鑑模組 問題選擇模 組
1.軟體使用 2.功能分析 3.方案理解
測驗選擇 模組 測驗評鑑
模組 問題解答
三、 行為（Behavior）
Kirkpatrick (1998b)認為受訓成員學習到知識時，最重要為是 否能夠應用所學於工作上，所以在行為評鑑的這個部分，我們要測驗 學習者是否能夠學以致用、將所學應用於工作場所，一般可以用訓練 移轉來稱呼這項改變。Kirkpatrick(1998a, 1998b）提供了幾項指標 讓我們測量行為評鑑。
（一） 使用工作績效評估系統，測量訓練前後的變化。
（二） 工作績效評估系統的使用者可能為：學習者、學習者的上司、
部屬與同事，或其他工作相關的人員。
（三） 調查或面訪一個或數個可以觀察到學習者行為的人，以瞭解 學習者行為是否有改變。
（四） 可使用控制組，比較接受訓練與沒有接受訓練，工作績效的 差異。
（五） 使用統計分析，比較訓練前後績效的變化。
（六） 因為學習者需要時間練習所學習的知識技能，所以在訓練三 個月後或更長久的時間再加以評鑑。
（七） 探討訓練成本與利潤。
以上是如何進行行為評鑑，但 Mayberry(1998)認為並非每個訓 練方案都可以進行行為評鑑，因此我們必須判斷訓練是否有一個明確 的目標，才能夠進行行為評鑑，例如訓練目標為增加生產力、銷售量，
降低垃圾量、增加資源回收，減少離職率、意外發生等都是可以進行 評鑑的項目，這些項目共同點在於有一個明確的目的、資料可以轉換 成數字，並可定義出期望的訓練成效為何。
四、 成效（Results）
Kirkpatrick(1998b)認為任何訓練方案都有其目的，如：降低成
本、提高品質、增加產量、或者降低員工曠職、離職率等。但是公司、
產業、人員政策改變等環境變化都可能增加成效評鑑的困難度。因此 必須要從反應、學習、行為評鑑中收集資料，來證明方案的成效。
Sandra 與 Alliger (1998)提出很多訓練專家認為測量成效階層太 耗費金錢與時間，而且有很多外在干擾的因素會影響成效，其次收集 資料、解釋資料非常困難。如果不確定是否要進行成效評鑑，可以參 考下列的步驟：
（一）是否要進行成效評鑑？
首先確定訓練是否對企業產生成效，訓練在設計之初是否為經營 策略的一環，如期望提升顧客滿意度百分之五；其次考慮訓練時，評 鑑資料是否會受外界影響不斷改變，這會使資料收集產生困難，並影 響評鑑有效性。
要得到最好的成效評鑑結果是結合學習、行為評鑑階段，譬如行 為評鑑主要是期望能夠產生訓練遷移，唯有員工真的能將學得的知識 技能應用在工作表現上，成效評鑑也才會對企業績效產生影響。而成 效評鑑可以幫助組織對訓練方案再修正或是重新設計，在成效評鑑中 最重要的方法是投資報酬率（Return on investment, ROI）。
（二）成效評鑑是否可行：
當你透過步驟一，確定成效評鑑是合宜的，以下還有幾項標準幫 助你確定是否真的可行。
1. 是否可以拿到相關的組織數據，如產量、離職率、營運成 本等。
2. 成效評鑑需要足夠的時間來收集資料，除了要三個月以上 的時間讓學員熟練所學的知識技能、並能將其應用在工作 崗位上外；在收集資料時也需要時間，最後你還需要一些
要花費時間整理資料、撰寫報告。
3. 外來的因素可能會影響訓練成效，這些可能包括學員的年 齡、工作經驗、或者不同工作伙伴、產業經濟環境的改變、
領導風格、設備老舊、顧客態度等，所以如果情況允許，
在訓練時設計一組控制組是不錯的辦法，或者有學員訓練 前後數據加以比較。
4. 有些訓練的成效評鑑並不會花費太大的成本，如顧客滿意 度的計算，但有些成本高的無法計算，一般建議可以諮詢 內部顧問或專家，以節省成本。
（三）評鑑方法有哪些：
一般而言，總共有三種方法可以來進行成效評鑑：
1. 使用前後測，而不使用控制組，如此一來資料會比較好收 集，因為樣本比較小，不需再收集控制組的資料。
2. 使用後測與控制組，雖然不用計算前測的資料，缺點是樣 本大於第一種方法。
3. 同時使用前後測與控制組，這是成效評鑑最有效的方法，
但卻需要大量的資料分析。在執行這步驟時，你可以將評 鑑計畫給同事或者評鑑專家先看過，以減少執行的困難。
（四）訓練成本為何？
你必須要收集以下幾種資料：
1. 個人：訓練者、學習者、課程設計者、課程專家、訓練專 家、其他人員等為了進行訓練而無法工作損失的工資。
2. 設施：教室、場地、訓練中心承租的費用。
3. 設備：電腦、單槍等設備使用費。
4. 課程講義資料成本。
話，當然這部分的成本就可以節省下來。
由上面金錢支出的項目，我們可以知道訓練成本有很多種，有時 候不免有所遺漏，因此 Schmidt（1998）提供一個矩陣來幫助我們計 算訓練成本，這個矩陣可以幫助思考如何計算設計、生產、實行方案 時的成本，使我們評鑑較容易進行，並且使組織長期的花費與短期的 花費相平衡；表 2-3 右下角「＊」表示總成本，其中必須注意的是並 非每個階段都需要花費錢。
表 2-3 ROI 成本計算矩陣
個人 設施 設備 課程資料 總和 準備階段
製作階段 實行階段
總和 ＊
資料來源：（Werner, 1998 ：186）
（五）如何分析資料？
我們在執行訓練方案時可以使用前後測、控制組資料來加以比較 訓練成效；或者使用 ROI 來計算，ROI 是一種全球通用的商業計算方 法。
（六）如何報告訓練成效？
撰寫與呈現評鑑資料必須要包括全部評鑑執行過程、組織需求、
組織成效、所發現的事實、結論、建議。另外可在附錄中增加圖表，
使資料清楚明瞭。
由上面內容我們會發現評鑑的層級越高，其困難度及成本花費越 高，但是也更重要且有意義，表 2-4 是幾項簡單的建議，給予我們執 行評鑑時一些重要的指導方針。
表 2-4 評鑑四層次重要的指導方針 反應
（reaction）
♦ 找出在反應層次中想獲得的資訊。
♦ 設計適當的表格來收集所想要的資訊。
♦ 使學習者提供相關的評論與建議。
♦ 鼓勵學習者誠實回答。
♦ 發展出適合的統計加權標準。
♦ 測量學習者的反應，並且採取適當的行動。
學習
（learning） ♦ 如果情況允許，可以使用控制組。
♦ 評估知識、技能、態度訓練前後的差異。
♦ 依評鑑的結果，做適當的反應。
行為
（behavior） ♦ 如果情況允許，可以使用控制組。
♦ 提供一段合理的時間，讓學習者應用其所學於工作場所。
♦ 訪談與學習者工作相關的人員，調查其訓練遷移的情況，
如：上司、部屬、同事等可以觀察學習者工作狀態的人。
♦ 在合適的時間點重複評鑑。
♦ 考慮評鑑的成本與潛在的利益。
成效
（results） ♦ 如果情況允許，可以使用控制組。
♦ 提供一段合理的時間，讓訓練方案可以達到其目標。
♦ 盡可能測量訓練前後的差異。
♦ 在合適的時間點重複的評鑑。
♦ 考慮評鑑的成本與潛在的利益。
♦ 假使訓練成果不如預期，還是盡可能對訓練結果保持滿意。
資料來源：Kirkpatrick(1998b)
最後，如果還是覺得上面的指導方針太複雜，其實我們只要把握 幾個原則即可，下表 2-5 是簡單的矩陣，告訴我們採用 Kirkpatrick 四層次評鑑時應該注意的事項：
表 2-5 評鑑矩陣 Kirkpatrick 四層次
應該如何測 量？
資料來源為 何？
資料應該如 何收集？
有哪些潛在 的問題？
反應 學習 行為 成效
資料來源：(Birnbrauer, 1998)
參、Phillips 的 ROI（return on investment）模式 Chase(1997)指出 ROI 公式為：
ROI＝（訓練效益─訓練成本）/訓練成本*100％
由於 Kirkpatrick 的四層次評鑑模式中，成效評鑑為訓練是否產 生的投資報酬（Kirkpatrick,1998a：59），但幾乎很少企業會測量到 第四層的評鑑，因此 ROI 在此情況下，被引進為促成第四層評鑑的方 法（Thorsett,2001）
Phillips(1996)認為 ROI 施行主要有四個步驟：一、蒐集資料。
二、審慎的分離資料項目中訓練的效果。三、將結果轉換成金錢上的 價值。四、計算方案中的成本效益，我們可以參考圖 2-2 ROI 的模型：
圖 2-2 計算 ROI 的模型 (Philips, 1998)
一、 蒐集前測資料 ( collecting data )：計算 ROI 始於收集前 測資料，這是評鑑的中樞
二、 評鑑目標 ( evaluation purposes )：每個評鑑層級都有其 目標，如反應評鑑的目標是為了知道學習者對訓練方案的感覺。
三、 評鑑工具 ( evaluation instruments )：評鑑有很多工具，
都可以被使用來收集資料與分析，但各種方法都有其優缺點，因 此我們要根據實際情況找出合適的評鑑工具。
四、 評鑑設計 ( evaluation design )：每個訓練方案的設計、
情境都不相同，因此根據不同的目的有不同收集評鑑資料的工 具，所以必須要設計一套合宜的方案。
五、 評鑑層級 ( evaluation levels )：在此評鑑層級中共有五 層，Kirkpatrick 四層級加上 ROI 第五層。
六、 分離訓練影響 ( isolating the effects of training )：
在評鑑中最重要的是要將非訓練影響績效的因素排除，此時可以 使用控制組來分離訓練影響。
蒐集前測資料 將資料轉換為 計算 ROI
財務價值 分離訓練影響
確認無形的利 益
將方案成本製 作成表
評鑑設計
評鑑層級 評鑑目標
評鑑工具
value )：訓練結果可能會影響產量或降低離職率等，因此要將 這些改善的資料轉換成合適的數據。
八、 將方案成本製作成表 ( tabulating program costs ) 九、 確認無形的利益 ( identifying intangible benefits ) 十、 計算 ROI ( calculating the return on investment )
除了上面計算 ROI 的模型外，Parry(1996)認為計算 ROI 成本，
可以區分為七類：一、課程發展的時間或採購的價格、數量。二、教 材。三、設備及硬體。四、設施。五、薪資。六、損失的生產力或參 與者臨時代工的成本。七、旅運、膳宿、雜費等。
我們發現往往訓練只注重訓練方案，事實上組織的制度、環境的 改變，與訓練方案的設計有很大的關連，當訓練結束評鑑結果出來，
卻發現績效沒有改善，這時便要考慮訓練的目的是不是有錯誤，所以 在一開始決定訓練方案時，我們就必須要根據五個步驟來仔細評估應 該選擇那個評鑑方案（Heideman 與 Sanderson ，1998)。
一、 評估工作環境，找出績效不彰是由於哪些原因。
二、 找出最重要影響組織績效的原因何在。
三、 確認工作績效不彰是由於個人缺乏知識、技能或態度不佳。
四、 根據員工需求發展訓練方案。
五、 比較工作績效與評鑑結果。
除此之外 Barron（1998）亦曾指出為何 ROI 計算無法得到相當 成效的原因：
一、 績效改善並非只源自於訓練，在改善組織績效眾多方法中，
訓練只是其中的一部份，因此訓練必須要與組織目標相結合，而 訓練者不能主觀認定績效改善是源自於訓練。
行成效評鑑，如果沒有要求，是否就不要計算 ROI。
三、 我們需要計算 ROI 來證明我們的價值嗎？如果是一個學習型 的組織，員工不斷的進修提昇自己的能力，那麼 ROI 的計算只會 呈現出訓練的一小階段，反倒不如專注在於訓練主體。
四、 若時間與成本非常緊湊，我們應該專注於訓練方案上，而不 要投注過大的心力在計算 ROI。
五、 ROI 建立在訓練所獲得的知識技能態度能夠移轉至工作場 所，但這個假設往往是錯誤的，因為訓練經常是獨立於工作場 所，當訓練結束返回工作場所時，如果主管不支持員工使用新技 能，那麼訓練移轉便不會成功。
儘管 ROI 有缺點，但是它還是一個很重要的方法，Barron(1998) 認為訓練可以對組織產生利潤，這個前提建立在訓練是藉由需求評估 而設計的，當訓練結束才會對組織績效產生影響，所以我們藉由測量 訓練的投資報酬率（ROI），這個動作，我們可以呈現出投資的每一分 錢是如何對組織產生貢獻，並且可以修正未來訓練方案。
肆、IPO 訓練評鑑
IBM 公司發現 IPO 訓練評鑑方案可以幫助訓練專家判斷訓練方案 是否達到其目的，並且改善課程內容。在輸入（input stage）階段 包括那些潛在可能對訓練有影響的因素：各種設備、預算、人員經驗、
測驗資料等。而在過程階段（process stage）需訂立明確的目標、
標準、策略，並將所需資源準備齊全。最後在輸出階段（output stage）
包括學習者對訓練的反應，知識技能的獲得，行為的改變及績效的改 善（Bushnell，1998）。
圖 2-3 IPO 訓練評鑑(Bushnell, 1998)
圖 2-3 可以看出輸出外還有一個結果的區域，這二者的區別在於 輸出比較是短期、立即性的結果，而結果則是指訓練對公司長期績效 的改善程度。
研究者認為儘管評鑑理論有很多種，但都有其缺點存在，以 Kirkpatrick 四層次評鑑而言，偏重於訓練成效，但是訓練前的需求 評估、訓練方案設計對評鑑也是很重要的，而 IPO 算是比較完整的系 統，它包含 CIPP 的背景輸入，亦將 Kirkpatrick 四層次評鑑納入其 中，因此本研究以 IPO 評鑑為基礎，將需求評估、Kirkpatrick 四層 次評鑑、ROI 等理論納入其中，建構出完整的數位學習評鑑模式。
結果
（outcomes）
公司利潤 顧客滿意 生產力增加 輸入（input）
系統性績效指標 學習者 專業證照 訓練者 能力 教學資料 教學輔具 訓練方案 資金
輸出
（output）
過程（process）
訓練方案
計 畫
訓 練 發
展 設
計
反應 學習 行為
第四節 數位學習評鑑
本節共分成五部分，分別為「以 Horton 觀點的 Kirkpatrick 的 四層次評鑑理論」、「ASSURE 模式」、「ADDIE」、「相關研究」、「數位學 習評鑑意涵」，各節內容分述如下：
壹、以 Horton 觀點的 Kirkpatrick 的四層次評鑑理論
關於數位學習評鑑模式，學者並未針對這部分，發展出系統性的 評鑑模式，但是 Horton（2005）認為 Kirkpatrick 的四層次評鑑理 論在數位學習方面，適用性還是非常高，它的觀點內容如下：
一、 反應（reaction）：
這一階段的評鑑，可以幫我我們瞭解學習者對數位學習的態度，
也可以收集學習者對於數位學習的看法，以下是如何透過網路獲得第 一階段評鑑的回應：
（一） 讓學習者線上投票，評論線上機制的各個層面。
（二） 建立討論課程，讓學習者陳述其問題，並且做適當的回應。
（三） 使用焦點團體法（focus group），傳統的焦點團體需要耗費 交通的往返，如果利用網路，選擇一個大家最適合的時間，不但 可以節省時間，還可以將彼此腦力激盪的資料利用網路記錄下 來。
（四） 獲得學習者的回饋：當課程告一段落時，可以做一個小小的 評鑑，讓學習者反應對數位學習的感覺，如：愉悅、不滿意、驚 訝、無聊、困惑等。
（五） 自動記錄有意義的資訊：當學習者使用網路系統時，系統可 以記錄其學習的歷程。
二、 學習（learning）：
數位學習在評鑑的第二階段，比起一般傳統評鑑而言簡單多了。
可以用多種線上的測驗工具來評量學生的學習成效，並且這些測驗的 工具因為一貫的網路化作業，可以呈現某種程度的一致性。
Horton (2001)認為傳統訓練通常在訓練結束後測量學習成果，
使用前後測來測量知識技能的改善程度，或者比較偏向使用標準化測 驗、或證照制度，來測量特殊的能力，甚至藉由觀察學員行為改善來 進行學習評鑑，但是數位學習可以使用類似傳統訓練的電腦、網路軟 體來測量學習結果，其方式如下：
（一） 線上測驗：將傳統紙筆測驗轉化為網路化測驗。
（二） 觀察學習者行為：數位學習可監測、觀察學習者參與訓練活 動的情況，訓練專家亦可藉由這些記錄找尋學習者績效改善、態 度改變的證據。
（三） 模擬真實工作活動：使用模擬技術可以呈現真實的情境，讓 學習者練習，尤其適合那些昂貴或者危險的行為。
（四） 角色扮演活動：透過線上角色扮演可以提供每個學習者扮演 團隊中特殊、獨立的角色，讓其理解一個學習者團隊如何執行複 雜、互動的任務。
（五） 線上學習遊戲：透過遊戲可以讓學習者不斷的重複遊戲直到 過關為止，此時訓練的目標便會透過遊戲而達到有效的學習。
三、行為（behavior）
（一） 測量工作崗位上的績效：我們可以使用網路問卷來比較訓練 與未訓練的績效改善，如使用人力資源資訊系統（human
resources information systems ,HRIS）
（二） 測量個人行為項目：電子郵件、線上問卷，可以用來詢問主 管對於員工達成績效目標的程度，或者測量學習者是否達到學習 目標。
（三） 使用資料記錄的系統：許多企業使用資訊系統記錄員工的資 料，並且直接測量、或者預測人員績效。
四、成效（results）：
這部分數位學習評鑑一般認定會比傳統教育訓練評鑑來的困 難，原因如下：
（一） 哪些資料可以用來證明數位學習有成效是很困難的。
（二） 評估數位學習的價值，最好的辦法是詢問上司、同事、部屬、
客戶等，學習者學到什麼。
貳、ASSURE 模式
當瞭解 Horton 的觀點後，在張霄亭（2004：50）「教學媒體與 學習科技」這本書中，使用了 ASSURE 模式將其運用在教學媒體上，
也值得我們在評鑑數位學習時做為參考。
ASSURE 意指：分析學習者，敘寫目標，選擇方法、媒體與教材，
使用媒體與教材，激發學習者參與，評鑑與修正。以下我們按步驟來 說明它的意涵。
首先是分析學習者：要將學習者的特性與教學方法、教學媒體、
課程內容做分析，使三者之間可以相互配合，而學習者的特性包括年 齡、工作經驗、社會文化等經濟環境因素。
第二、敘寫目標：先擬定對學習成效的目標、期望為何，當學習 結束以後，學習者應該學到何種知識，技能、態度會如何改變。因此
要具體寫出明確學習目標，及欲達到什麼樣的程度，我們可以參考 ABCDs 模式。A 為教學對象（audience），B 為行為（behavior），C 為 能力（capability），D 為程度（degree），ABCDs 模式為，先確定教 學對象，然後再確定要學習的行為或能力為何，最後是知道該項學習 應達到什麼樣的程度。
第三、選擇方法、媒體與教材：教學方法有許多種，講述法、
powerpoint 呈現、討論、演講等，並沒有任何一項優於其他方法，
在教學時可以同時使用多種方法，最重要的是能讓學生獲得最佳學 習。教學媒體亦是，有很多種呈現方式，他是一種輔助教材，可以勾 起學生學習的興趣、吸引學生的注意，如果能夠善加利用，可以使學 生更加理解教材內容。而教材內容可使用現有的教材，也可以適當的 修改現有教材，或設計新教材使其更符合學習目標。
第四、使用媒體與教材：「教學媒體與學習科技」這本書提出可 以使用 5Ps 讓使用媒體與教材更完善，5Ps 為試用、預備教案、佈置 環境、引起動機、提供學習經驗。換句話說就是教師先預覽教學媒體 內容，探查是否合適，接下來預備教案，設計教學流程，然後考慮燈 光、環境、位置是否合宜，課堂上課時可以先簡單概述引起學生學習 動機，最後將教學經驗、知識內容教授學生。
第五、激發學習者參與：在學習的過程中，如果能激發學生參與 學習，提供一些練習、討論，可以提高學習的成效。
最後是評鑑與修正：評鑑有許多種，可以在教學前、中、後實行，
首先對學生施以前測，在教學中可以讓學生練習作為評量，教學後可 以測驗學生學習的成效，最後是檢視期望與實際的評鑑結果是否有差 距，並在發現差距時適當的修正。
參、 ADDIE
在數位學習產業領域上，教學設計大多以 ADDIE
(Analysis,Design, Development, Implementation, Evaluation) 的模式為基礎，以下便針對各部分加以說明：
一、分析（Analysis）
分析工作項目包括學習者特質、學習環境、現有資源、媒體、成 本、目標等。在 ADDIE 的分析層次中會詢問以下幾個問題：
（一）學習者是誰？學習者的特性為何？
（二）學習者需要哪些學習內容？並描述學習目標。
（三）用什麼來傳送知識？網路、錄音機、書籍……。
（四）有哪些限制？學習者的年齡、時間、使用電腦的能力、先備知 識等。
（五）訓練的時間需多久？
（六）分析傳統訓練與數位學習的差異。
（七）要使用何種線上教學法？
二、設計（Design）
設計階段的工作項目有教學策略設計、教學媒體選擇、教學目標 界定、教材架構設計、風格與介面設計、教材開發標準制定、雛形教 材設計等。
三、發展（Development）
根據設計階段的工作成果，發展教材，主要是根據訓練目標，製 作腳本分鏡發展、開發教材、媒體製作。但在發展的過程中可能會有
分析 設計 發展 建置 評鑑
以下幾種問題，都是應該要注意的地方：
(一) 設計的團隊與發展的團隊彼此溝通不良。
(二) 發展的過程中，與訓練目標不符。
(三) 在設計階段可能因為時間限制、缺少資源無法設計出完善的成 果。
(四) 在發展的階段中，可能因為缺乏專業知識，而無法發展出好的 教材。
四、建置（Implementation）
建置階段工作主要有組裝教材、與平台整合並上線測試等項目。
並教導使用者與指導者如何使用系統。
五、評鑑（Evaluation）
在評鑑層次中主要分為兩部分：形成性評鑑與總結性評鑑。形成 性評鑑在每個階段不斷收集資料進行評鑑，形成性評鑑包含以下六個 階段：
(一) 定義評鑑的目標
(二) 準備階段：準備適當的測量工具。
(三) 資料收集：收集訓練過程中的相關資訊
(四) 資料分析：將收集的資料運用適當的工具分析。
(五) 修正：當發現問題時，做適切的調整。
(六) 重新檢視
總結性評鑑可以讓使用者提供訓練回饋，透過測量訓練移轉、學 習者訓練的成果、成本分析、學習者態度轉變的程度等。
壹、 相關研究
以上討論數位學習評鑑模式。而國內也有一些相關的論文研究，
值得我們參考，如表 2-6：
表 2-6 相關研究
研究者
（年代）
論文名稱 研究方法 及對象
研究結果及建議
彭成翰
（2004）
企業導入 數位學習 績效評量 模式建構 之研究
個案研究法實地訪 談八個目前在台灣 提供數位學習服務
之廠商
Kirkpatrick (1994)之四階層模型，與 Phillips (1996)ROI 評量。而數位學習課程特性的探討，則有 Schank.(2002)提出的 FREEDOM 模型。本研究整合上述 三個觀點，以探討企業導入數位學習，其績效評量構面 所需考量之因素。研究結果指出：1.台灣企業導入數位 學習動機上可分內部動機與外部動機兩項類別。2.在導 入之 ROI 評量上，成本因素可分為為財務成本、人力成 本、機會成本三項類別。3. 課程特性與平台功能對企 業導入數位學習的之學習成果評估有強烈的關連性，而 數位學習應與組織的 KPI（Key Performance Indicator）
做連結。4. 建立出 ROI 迷你架構分析，其對企業應用 價值，在專注提升可量化績效的增加，控制可量化成本
的支出，則可逐漸累積不易量化的效益。
廖培瑜
（2001）
企業訓練 線上學習 成效評量 之研究
個案研究方法 主要以實際從事線 上學習實務或是曾 經從事線上學習相 關事務的專業人士 為主。
本研究旨在探討企業訓練線上學習成效評量之相關議 題，包括企業使用線上學習之現況、企業訓練線上學習 成效評量之內涵、影響企業線上學習成效評量設計之因 素、以及企業訓練線上學習成效評量後設評鑑之內涵。
吳明怡
（2001）
企業實施 e-learnin g 與傳統教 學對不同 學習型態 之學習成 效影響之 研究
研究對象為台灣股 票上市公司，以 PowerPoint 為學習 課程，並依其學習型 態進行分組，分別進 行 e-learning 及傳 統教學，並於課後分 別進行學習後測驗 及學習滿意度調查。
本研究將依 Kolb（1985）所提出的學習型態理論，對企 業內之員工進行學習型態分析，並分組進行 e-learning 及傳統教學，依此分析其學習成效及學習滿意度。得到 以下若干結論:1.在本課程中 e-learning 在不考慮學習 型態下是比傳統教學之學習成效為佳。2.第二種學習型 態 - 同化者(Assimilator)在 e-learning 之學習成效 明顯較傳統教學之學習成效為佳。3.第四種學習型態 - 適應者(Accommodator) 是唯一傳統教學之學習成效較 e-learning 之學習成效為佳者。
雖然數位學習評鑑內容有這麼多人研究，但是國內並沒有人針對 整體評鑑模式與流程作研究，研究者認為一個完整的數位學習評鑑應 該包括學習前、中、後三階段，換句話說包括訓練前需求評估、課程 設計、訓練實施、成效評鑑等幾個構面，並且應該與實務界訓練流程 相結合，因此參考相關文獻與研究，形成本研究的主架構
伍、數位學習評鑑意涵
以上有關數位學習的評鑑模式，我們必須記得，訓練在組織中代 表的是主動積極的行為，它的價值除非經由評鑑，否則是看不出來 的，但是當真正執行數位學習時，有些人陳述這樣行動可以節省組織 的訓練成本，而且接受訓練的成員不計其數，其效益遠遠超過傳統面 對面的教學，這個論點可能是錯誤的，我們要澄清以下這些錯誤觀念
（Paul & Jennifer, 2005:15）：
一、 數位學習可以節省成本：事實上傳統訓練轉化為數位學習，
它會花費極大的時間成本、資源、金錢等，成本往往會高過聘請 一個外部講師
二、 參加數位學習的人數是無限的：事實上必須要限制接受訓練 的人數，以確保擁有足夠的時間關注每個受訓者。
三、 數位學習缺乏社交環境：數位學習並不會因為受訓者不在同 一個訓練場所而減少彼此認識、交談的機會。相反的，數位學習 提供一種更有力的方式使成員互動，透過線上討論會、網路日誌 和電子郵件的傳送等。
四、 數位學習比較節省時間：設計數位學習的工作量並不比傳統 的少，在很多地方，數位學習的使用上會更困難，而且假設你沒 有時間接受傳統訓練，那你也不會有其他的精力接受數位學習。
五、 數位學習適合各種訓練者與受訓者：數位學習並不是萬靈 丹，設計者必須知道其需求、學習型態和學習目的，在傳統教育 執行上有效的課程，並不表示數位學習也有同樣的效果。
六、 數位學習比傳統要好：數位學習並沒有比傳統訓練更好或不 好，但是有些課程的確比較適合用網際網路呈現。
