本節共分成五部分,分別為「以 Horton 觀點的 Kirkpatrick 的 四層次評鑑理論」、「ASSURE 模式」、「ADDIE」、「相關研究」、「數位學 習評鑑意涵」,各節內容分述如下:
壹、以 Horton 觀點的 Kirkpatrick 的四層次評鑑理論
關於數位學習評鑑模式,學者並未針對這部分,發展出系統性的 評鑑模式,但是 Horton(2005)認為 Kirkpatrick 的四層次評鑑理 論在數位學習方面,適用性還是非常高,它的觀點內容如下:
一、 反應(reaction):
這一階段的評鑑,可以幫我我們瞭解學習者對數位學習的態度,
也可以收集學習者對於數位學習的看法,以下是如何透過網路獲得第 一階段評鑑的回應:
(一) 讓學習者線上投票,評論線上機制的各個層面。
(二) 建立討論課程,讓學習者陳述其問題,並且做適當的回應。
(三) 使用焦點團體法(focus group),傳統的焦點團體需要耗費 交通的往返,如果利用網路,選擇一個大家最適合的時間,不但 可以節省時間,還可以將彼此腦力激盪的資料利用網路記錄下 來。
(四) 獲得學習者的回饋:當課程告一段落時,可以做一個小小的 評鑑,讓學習者反應對數位學習的感覺,如:愉悅、不滿意、驚 訝、無聊、困惑等。
(五) 自動記錄有意義的資訊:當學習者使用網路系統時,系統可 以記錄其學習的歷程。
二、 學習(learning):
數位學習在評鑑的第二階段,比起一般傳統評鑑而言簡單多了。
可以用多種線上的測驗工具來評量學生的學習成效,並且這些測驗的 工具因為一貫的網路化作業,可以呈現某種程度的一致性。
Horton (2001)認為傳統訓練通常在訓練結束後測量學習成果,
使用前後測來測量知識技能的改善程度,或者比較偏向使用標準化測 驗、或證照制度,來測量特殊的能力,甚至藉由觀察學員行為改善來 進行學習評鑑,但是數位學習可以使用類似傳統訓練的電腦、網路軟 體來測量學習結果,其方式如下:
(一) 線上測驗:將傳統紙筆測驗轉化為網路化測驗。
(二) 觀察學習者行為:數位學習可監測、觀察學習者參與訓練活 動的情況,訓練專家亦可藉由這些記錄找尋學習者績效改善、態 度改變的證據。
(三) 模擬真實工作活動:使用模擬技術可以呈現真實的情境,讓 學習者練習,尤其適合那些昂貴或者危險的行為。
(四) 角色扮演活動:透過線上角色扮演可以提供每個學習者扮演 團隊中特殊、獨立的角色,讓其理解一個學習者團隊如何執行複 雜、互動的任務。
(五) 線上學習遊戲:透過遊戲可以讓學習者不斷的重複遊戲直到 過關為止,此時訓練的目標便會透過遊戲而達到有效的學習。
三、行為(behavior)
(一) 測量工作崗位上的績效:我們可以使用網路問卷來比較訓練 與未訓練的績效改善,如使用人力資源資訊系統(human
resources information systems ,HRIS)
(二) 測量個人行為項目:電子郵件、線上問卷,可以用來詢問主 管對於員工達成績效目標的程度,或者測量學習者是否達到學習 目標。
(三) 使用資料記錄的系統:許多企業使用資訊系統記錄員工的資 料,並且直接測量、或者預測人員績效。
四、成效(results):
這部分數位學習評鑑一般認定會比傳統教育訓練評鑑來的困 難,原因如下:
(一) 哪些資料可以用來證明數位學習有成效是很困難的。
(二) 評估數位學習的價值,最好的辦法是詢問上司、同事、部屬、
客戶等,學習者學到什麼。
貳、ASSURE 模式
當瞭解 Horton 的觀點後,在張霄亭(2004:50)「教學媒體與 學習科技」這本書中,使用了 ASSURE 模式將其運用在教學媒體上,
也值得我們在評鑑數位學習時做為參考。
ASSURE 意指:分析學習者,敘寫目標,選擇方法、媒體與教材,
使用媒體與教材,激發學習者參與,評鑑與修正。以下我們按步驟來 說明它的意涵。
首先是分析學習者:要將學習者的特性與教學方法、教學媒體、
課程內容做分析,使三者之間可以相互配合,而學習者的特性包括年 齡、工作經驗、社會文化等經濟環境因素。
第二、敘寫目標:先擬定對學習成效的目標、期望為何,當學習 結束以後,學習者應該學到何種知識,技能、態度會如何改變。因此
要具體寫出明確學習目標,及欲達到什麼樣的程度,我們可以參考 ABCDs 模式。A 為教學對象(audience),B 為行為(behavior),C 為 能力(capability),D 為程度(degree),ABCDs 模式為,先確定教 學對象,然後再確定要學習的行為或能力為何,最後是知道該項學習 應達到什麼樣的程度。
第三、選擇方法、媒體與教材:教學方法有許多種,講述法、
powerpoint 呈現、討論、演講等,並沒有任何一項優於其他方法,
在教學時可以同時使用多種方法,最重要的是能讓學生獲得最佳學 習。教學媒體亦是,有很多種呈現方式,他是一種輔助教材,可以勾 起學生學習的興趣、吸引學生的注意,如果能夠善加利用,可以使學 生更加理解教材內容。而教材內容可使用現有的教材,也可以適當的 修改現有教材,或設計新教材使其更符合學習目標。
第四、使用媒體與教材:「教學媒體與學習科技」這本書提出可 以使用 5Ps 讓使用媒體與教材更完善,5Ps 為試用、預備教案、佈置 環境、引起動機、提供學習經驗。換句話說就是教師先預覽教學媒體 內容,探查是否合適,接下來預備教案,設計教學流程,然後考慮燈 光、環境、位置是否合宜,課堂上課時可以先簡單概述引起學生學習 動機,最後將教學經驗、知識內容教授學生。
第五、激發學習者參與:在學習的過程中,如果能激發學生參與 學習,提供一些練習、討論,可以提高學習的成效。
最後是評鑑與修正:評鑑有許多種,可以在教學前、中、後實行,
首先對學生施以前測,在教學中可以讓學生練習作為評量,教學後可 以測驗學生學習的成效,最後是檢視期望與實際的評鑑結果是否有差 距,並在發現差距時適當的修正。
參、 ADDIE
在數位學習產業領域上,教學設計大多以 ADDIE
(Analysis,Design, Development, Implementation, Evaluation) 的模式為基礎,以下便針對各部分加以說明:
一、分析(Analysis)
分析工作項目包括學習者特質、學習環境、現有資源、媒體、成 本、目標等。在 ADDIE 的分析層次中會詢問以下幾個問題:
(一)學習者是誰?學習者的特性為何?
(二)學習者需要哪些學習內容?並描述學習目標。
(三)用什麼來傳送知識?網路、錄音機、書籍……。
(四)有哪些限制?學習者的年齡、時間、使用電腦的能力、先備知 識等。
(五)訓練的時間需多久?
(六)分析傳統訓練與數位學習的差異。
(七)要使用何種線上教學法?
二、設計(Design)
設計階段的工作項目有教學策略設計、教學媒體選擇、教學目標 界定、教材架構設計、風格與介面設計、教材開發標準制定、雛形教 材設計等。
三、發展(Development)
根據設計階段的工作成果,發展教材,主要是根據訓練目標,製 作腳本分鏡發展、開發教材、媒體製作。但在發展的過程中可能會有
分析 設計 發展 建置 評鑑
以下幾種問題,都是應該要注意的地方:
(一) 設計的團隊與發展的團隊彼此溝通不良。
(二) 發展的過程中,與訓練目標不符。
(三) 在設計階段可能因為時間限制、缺少資源無法設計出完善的成 果。
(四) 在發展的階段中,可能因為缺乏專業知識,而無法發展出好的 教材。
四、建置(Implementation)
建置階段工作主要有組裝教材、與平台整合並上線測試等項目。
並教導使用者與指導者如何使用系統。
五、評鑑(Evaluation)
在評鑑層次中主要分為兩部分:形成性評鑑與總結性評鑑。形成 性評鑑在每個階段不斷收集資料進行評鑑,形成性評鑑包含以下六個 階段:
(一) 定義評鑑的目標
(二) 準備階段:準備適當的測量工具。
(三) 資料收集:收集訓練過程中的相關資訊
(四) 資料分析:將收集的資料運用適當的工具分析。
(五) 修正:當發現問題時,做適切的調整。
(六) 重新檢視
總結性評鑑可以讓使用者提供訓練回饋,透過測量訓練移轉、學 習者訓練的成果、成本分析、學習者態度轉變的程度等。
壹、 相關研究
Kirkpatrick (1994)之四階層模型,與 Phillips (1996)ROI 評量。而數位學習課程特性的探討,則有 Schank.(2002)提出的 FREEDOM 模型。本研究整合上述 三個觀點,以探討企業導入數位學習,其績效評量構面 數位學習應與組織的 KPI(Key Performance Indicator)
做連結。4. 建立出 ROI 迷你架構分析,其對企業應用 PowerPoint 為學習 課程,並依其學習型 態進行分組,分別進 行 e-learning 及傳 統教學,並於課後分 別進行學習後測驗 及學習滿意度調查。
本研究將依 Kolb(1985)所提出的學習型態理論,對企 業內之員工進行學習型態分析,並分組進行 e-learning 及傳統教學,依此分析其學習成效及學習滿意度。得到 以下若干結論:1.在本課程中 e-learning 在不考慮學習 型態下是比傳統教學之學習成效為佳。2.第二種學習型 態 - 同化者(Assimilator)在 e-learning 之學習成效 明顯較傳統教學之學習成效為佳。3.第四種學習型態 - 適應者(Accommodator) 是唯一傳統教學之學習成效較 e-learning 之學習成效為佳者。
雖然數位學習評鑑內容有這麼多人研究,但是國內並沒有人針對 整體評鑑模式與流程作研究,研究者認為一個完整的數位學習評鑑應 該包括學習前、中、後三階段,換句話說包括訓練前需求評估、課程 設計、訓練實施、成效評鑑等幾個構面,並且應該與實務界訓練流程 相結合,因此參考相關文獻與研究,形成本研究的主架構
伍、數位學習評鑑意涵
以上有關數位學習的評鑑模式,我們必須記得,訓練在組織中代 表的是主動積極的行為,它的價值除非經由評鑑,否則是看不出來
以上有關數位學習的評鑑模式,我們必須記得,訓練在組織中代 表的是主動積極的行為,它的價值除非經由評鑑,否則是看不出來