第三章 研究方法與設計
3.4 研究工具
本研究之系統評估流程如圖 3-4-1 所示。首先,提出系統概念模型進行原型 系統設計,原型系統設計完成後發展出 DCC 原型,進入原型系統評估,使用系 統使用性量表(SUS),最後進行最終評估,採用使用者滿意度量表(QUIS),
進行系統分析。
圖 3-4-1 系統評估流程圖
34
3.4.1 原型系統評估
1.系統使用性量表(SUS)
本研究為得知受測者在操作 DCC 系統後的主觀感受,將透過系統使用性量 表(System Usability Scale, SUS)作為評估工具。此量表為由英國 Digital
Equipments Co Ltd. 公司於 1986 年所發展出來,主要目的為評估系統的使用性。
此量表採取 Likert Scale 五點量表,每題由低至高分別為(1) 非常不同意;(2)
不同意;(3) 普通;(4) 同意;(5) 非常同意進行評分,此量表為一個低成 本、可靠且快速的評估方法。量表問題共十題,採取正反面交叉詢問技巧,通常 於受測者操作完系統後,在不討論的情形下填答。評分方式透過公式轉換,使其 滿分為一百分,分數越高代表受測者在主觀上,對此系統有越高之滿意度(Brooke, 1996; Tullis & Stetson, 2004)。
為有效評估受測者對於本研究所開發之系統使用感受,參考 SUS 量表進行 題項修改以符合本研究欲探討內容之面向,問卷設計部分為(1)確認每個問項 的語意、語氣,避免產生混淆;(2)確認問項間的相關性,重覆或不相關的問項 須去除,簡化問卷避免受測者心理上的排斥,以提高問卷信效度。本研究所使用 之系統使用性量表(SUS),如附錄二所示。
3.4.2 最終評估
1.使用者互動滿意度問卷(QUIS)
使用者互動滿意度問卷(Questionnaire for User Interaction Satisfaction, QUIS)
由美國馬里蘭大學人機互動實驗室(Human-Computer Interaction Lab, HCIL)所 提出。此問卷使用人機介面的特定觀點來評估受測者的主觀滿意度,為一具信度 與效度的滿意度量測方式。問卷包含調查、衡量整個系統的滿意度,以及測量特 定介面的因素,例如:畫面的可視性、術語和系統訊息、學習因素、及系統功能 性等。問卷內容如題項、面向、尺度等,皆可進行題項修改以符合本研究欲探討 內容之面向。本問卷所使用之使用者互動滿意度問卷(QUIS)採用 Likert Scale
35
七點量表,給分範圍為 1 至 7 分,1 分代表非常不同意;4 分代表普通;7 分代 表非常同意。本研究所使用之使用者互動滿意度問卷(QUIS),如附錄五所示。
2.學習成效評量
本研究發展數位文創學習管理系統(DCC)為求系統是否有助於提升學習者 學習成效,故皆將於學習前、後進學習成效評量。在學習成效評量,每個單元均 規劃能檢驗學習者是否理解該單元重點的試題,並幫助教師瞭解學習者學習狀 況。研究者根據課程教材內容,擬制學習成效評量,考題以 3ds Max Design 國際 認證題目為主,是非題與選擇題各 10 題,共計 20 題,整體實驗時間為 25 分鐘。
試卷編制兩份題本:一份用於教學前測,一份用於教學後測,僅題項與選項作順 序之更換,本研究所使用之前測與後測試卷,如附錄三、四所示。
根據認知心理學的角度,學習者在學習的時候會運用不同形式去記憶,短期 記憶只能存在約二十秒,假如沒有傳遞到長期記憶區就會永久消失
(Bell-Gredder,1991)。,本研究聘請三位領域專家進行學習成效評量評鑑與修 改,檢驗內容是否符合課程教材內容,三位專家資料如表 3-4-1 所示。
表 3-4-1 專家資料
專家 服務單位 教學領域 教學經驗
A 高雄市某大學 視覺傳達及藝術概論 20 年以上
B 臺南市某大學 數位藝術及平面設計 10 年以上
C 高雄市某大學 數位設計及數位藝術 5 年以上
表 3-4 學習成效評量評鑑專家資料及教學經驗
36