四、 企業教育訓練內容發展作業 -以資訊安全風險管理為例
4.6 課程評鑑
課程評鑑分兩個部分進行：第一部份為數位教材評鑑，邀請領域專家審閱數位教材 後填寫數位教材評估表。第二部份為課程評鑑，因受於研究時間上的限制，以及避免 評鑑過程過於複雜，因此僅採用Kirkpatrick (1977)四級效標中的反應層次與學習層 次，由學員在課程結束前簡報實作內容、課程結束後填寫學習滿意度問卷。兩部分的 評鑑結果，則做為教材修訂的依據。
4.6.1. 數位教材評鑑
數位教材製作完成後，為能嚴謹管控品質需經過教材評鑑的程序，本研究參照 數位學習課程發展作業流程（徐新逸、施郁芬，2004）之形成性評鑑表，以及數位 典藏與數位學習國家型科技計畫之品質認證中心（2006）的數位教材 V3.0-規範條 文，加以修訂精簡為教材審核表，共分成課程目標、課程內容、教學策略、介面設 計、訊息設計五大評鑑項目，各子項詳列於4.6.3 小節數位教材評鑑表。
數位教材由教學設計師、講師與領域專家共同進行檢核，進行過程說明如下：
1.邀請領域專家
邀請講師以及需求分析階段接受深度訪談的專家協助審核數位教材。
2.說明教材評鑑的目的
透過E-Mail 簡要說明教材評鑑的目的、數位教材樣貌、播放方式以及教材審核 表填寫說明。
3.回覆教材審核表資料整理
講師、領域專家的回覆意見是教材修訂的重要依據，當收到回覆教材審核表之 後，即進行意見彙整與教材修訂。
4.教材評鑑結果分析
綜整教材評鑑結果有下列幾項建議：
(1). 課程目標
整體而言已達到課程規劃的目標。
(2). 課程內容
在課程內容上評鑑者指出兩項需修訂之處：
(A). 「4.2 選擇控制目標與控制措施」教材呈現亂碼。
(B). 參考資料 ISO27001-2 已改為 ISO27002。
除了上述兩項錯誤，本教材內容架構完整、學習目標明確、學習評量得以檢 驗學員在資訊安全風險管理基礎知識的學習成效。
(3). 教學策略
在教學策略的運用，評鑑者一致贊同本教材所採取之前言+主題講授+歸納總 結+練習+回饋的教學策略。但為能提升教材的互動性，評鑑者建議：
(A). 提供學員回饋意見的管道，例如學員課程滿意度調查。
(B). 建置互動式練習題，並提供答案說明。
(C). 系統不限定學習者每題作答時間，由學習者自行操作答題速度。
本教材以編輯軟體Articulate Presenter v5 製作教材，因此導覽功能完備、介面 一致、容易操作，學習者在學習過程中可以藉由引導畫面的指引追蹤學習的歷程。
(5). 訊息設計
Articulate Presenter 編輯軟體是將 PowerPoint 內容轉化為 Flash，在編製投影片 之前由多媒體設計師建立投影片規範，因此本教材圖形、文字大小皆適合學習者 閱讀。
5.數位教材修訂說明
依據評鑑者的建議，教材修訂說明如下：
(1). 重新編輯亂碼出現之頁面以及修訂錯誤之資訊。
(2). 於實體課程中進行學員課程滿意度調查。
(3). 因受限於所使用之 Articulate Presenter 編輯軟體沒有試題模組，取代方案為在 教材中新增練習單元，由學習者自行操作答題速度，並在練習單元最後一頁 提供解答與說明。
(4). 修訂後重新出版產出第二版數位教材。
4.6.2. 課程評鑑
依據第二章的文獻探討發現混成學習與合作學習是符合企業教育訓練目的之教 學方法，又為能呼應分析階段所發現的學習者需求，在完成課程內容開發之後進行 試驗計畫。試驗計畫採用混成學習與合作學習複合模式做為課程實施的核心架構，
實施任務則包括課程實施方案設計、籌組目標學員、實施模式，以及學習滿意度問 卷分析。
1. 課程實施方案設計
教育訓練師運用4.4.4 小節之教育訓練實施計畫表將課程實施方案設計的理念 轉換為表格式的資訊，做為與講師溝通的文件。經講師確認無誤後，教育訓練師 著手撰寫招生簡章，邀請學員參與試驗計畫。
2. 籌組目標學員
本研究以資訊中心同仁為首要目標對象，為有效掌握研究產出的適用性，教育 訓練師透過E-Mail 與電話訪談邀集目標學員參與試驗計畫。
(1). E-Mail
在信件本文簡介課程讓學員初步認識與了解課程內容，並蒐集學員參加的意 願與需求。
(2). 電話訪談
與參加學員進行電話訪問，進一步了解學員的工作任務與學習動機。
3. 實施模式
本試驗計畫採混成學習與合作學習複合模式，分為三個階段：計畫與準備、面 對面研討、課後評量：
(1). 計畫與準備
在這個課前階段，學員自行預習數位教材，另外本課程以實務為導向，因此 要求學員在學習過程中以實際案例做為練習標的。
(2). 面對面研討
在課程進行期間，講師一方面運用工研院案例剖析真實經驗，一方面協助學 員在有限的時間下掌握資訊安全風險管理相關技巧，更重要的是課程結束時能完 成工作表單的內容並簡報。因此練習實作的進行方式設計如下：
(A).分組
考量參加學員人數、工作屬性以及講師與學員輔導的時間，將學員分成三 組，每組4-5人。
(B).任務與分工
講師分別指派三個小組各自練習操作IT基礎環境、財務系統、人力系統之 風險管理表單，小組組員透過合作完成表單與簡報內容。
(C).角色 (a). 學員
經驗。
(b). 講師
講師在實作練習階段以引導者角色加入小組討論，為確保小組能完成任 務，在討論進行時：
引導及鼓勵學員傾聽、發問、與組員互動
支援與排除學員的學習障礙
回饋學員的問題 (D).溝通工具
小組成員合作時使用教育訓練師提供的資訊安全風險管理工作表單，如 附錄三，以及補充資料CNS27001附錄A做為溝通的工具。
(3). 課後評量
學員完成小組討論後將紙本資訊安全風險管理工作表單的內容，鍵入資訊安 全風險管理工作表單電子檔，並簡報實作內容與學員分享實作成果，同時講師依 據各小組在課堂中的參與度與口頭報告完成學習成效評量，參見表 35。
表 35：課程評量紀錄表
課程代號 97ISC001 課程名稱 資訊安全風險管理
講師姓名 黃芳猷 上課日期 2008/6/13 13:30-16:30 應到學員
(1). 問卷設計
問卷內容依題目性質分成課程內容、講師與行政支援三大部份，問卷個別問 項採取由非常滿意~很不滿意 5 級，分別對應 5~1 的實數值。
(2). 問卷回收率
本次試驗計畫有12 位學員報名，實到學員則為 13 位，因此共發出 13 份問卷，
回收13 份問卷，回收率 100％。
(3). 問卷樣本描述
運用學員簽到表上學員所提供的資訊，分析學員所屬部門分佈，資訊系統佔 38.5%，網路資源佔 46.2%，資訊服務佔 15.4%，參見表 36 。
表 36：學員所屬部門分佈
部門 次數 百分比
資訊系統 5 38.5
網路資源 6 46.2
資訊服務 2 15.4
總樣本數 13 100.0 (4). 課程內容滿意度
在課程內容滿意度問項上的分析結果顯示，學員對課程內容滿意度達4.4，參 見表 37。
表 37：課程內容滿意度
個數 最小值 最大值 平均數 標準差
整體評價 13 4 5 4.54 .519
內容完整度 13 4 5 4.46 .519
課程難易度 13 4 5 4.46 .519
教學活動 13 4 5 4.54 .519
了解程度 13 4 5 4.38 .506
課程教材 13 4 5 4.54 .519
課程時數 13 4 5 4.38 .506
對目前工作的幫助 13 4 5 4.08 .277
有效樣本 13
註：課程內容滿意度個別問項(單一答案)：依層次由非常滿意到很不滿意 5 級，分別對
應 5-1 分。如：「非常滿意」給 5 分；「很不滿意」給 1 分。
(5). 課程講師滿意度
在課程講師滿意度問項上的分析結果顯示，學員對課程講師滿意度達4.6，參 見表 38。
表 38：課程講師滿意度
個數 最小值 最大值 平均數 標準差
專業知識及經驗 13 4 5 4.77 .439
教學態度 13 4 5 4.77 .439
教學方法 13 4 5 4.62 .506
引導學習技巧 13 4 5 4.62 .506
對時間的管理 13 4 5 4.62 .506
有效樣本 13
註：課程講師滿意度個別問項(單一答案)：依層次由非常滿意到很不滿意 5 級，分別對 應 5-1 分。如：「非常滿意」給 5 分；「很不滿意」給 1 分。
(6). 課程行政支持滿意度
在課程講師滿意度問項上的分析結果顯示，學員對課程講師滿意度達4.4，參 見表 39。
表 39：課程行政支持滿意度
個數 最小值 最大值 平均數 標準差
行政服務 13 4 5 4.54 .519
承辦人員服務態度 13 4 5 4.54 .519
學習環境硬體設施 13 4 5 4.38 .506
有效樣本 13
註：課程行政支持滿意度個別問項(單一答案)：依層次由非常滿意到很不滿意 5 級，分 別對應 5-1 分。如：「非常滿意」給 5 分；「很不滿意」給 1 分。
(7). 整體滿意度
由分析結果顯示，其中對目前工作的幫助問項平均數最低為 4.08，為了探究 造成相對低分的可能因素，再次透過電話訪談學員的直屬主管，並比對需求分析
的資訊安全風險管理，因此雖然對課程給予高度的評價，但無法對目前的工作直 接產生助益。整體而言，學員對課程整體滿意度達4.5(參見表 40)，表示學員對 本課程的認同感高，無論是在課程內容、講師或是在學習的支援與安排都是一門 有品質的課程。
表 40：課程整體滿意度
個數 最小值 最大值 平均數 標準差
整體評價 13 4 5 4.54 .519
內容完整度 13 4 5 4.46 .519
課程難易度 13 4 5 4.46 .519
教學活動 13 4 5 4.54 .519
了解程度 13 4 5 4.38 .506
課程教材 13 4 5 4.54 .519
課程時數 13 4 5 4.38 .506
對目前工作的幫助 13 4 5 4.08 .277
專業知識及經驗 13 4 5 4.77 .439
教學態度 13 4 5 4.77 .439
教學方法 13 4 5 4.62 .506
引導學習技巧 13 4 5 4.62 .506
對時間的管理 13 4 5 4.62 .506
行政服務 13 4 5 4.54 .519
承辦人員服務態度 13 4 5 4.54 .519
學習環境硬體設施 13 4 5 4.38 .506
有效樣本 13
註：課程整體滿意度個別問項(單一答案)：依層次由非常滿意到很不滿意 5 級，分別對 應 5-1 分。如：「非常滿意」給 5 分；「很不滿意」給 1 分。
4.6.3.評鑑階段相關表單
介面設計是否允許使用者因操作錯誤，而有回 復的功能？
介面操作難易度是否適當？
訊息 設計
圖形是否清楚容易閱讀？
內容文字是否容易理解？
文字大小是否適合閱讀？
內文是否有適當的分頁？
審核人員：□專案管理者□領域專家□教學設計師□其他 ，簽名：
聯絡電話： E-Mail： 審核日期：
2. 學習滿意度問卷
課程行政支援
1.您對本課程行政服務的滿意度 2.您對承辦人員服務態度的滿意度
3.您對學習環境硬體設施（教室、桌椅…）的滿意度
□ □ □ □ □
□ □ □ □ □
□ □ □ □ □
其他意見或建議