系統完成後,本研究安排使用者進行系統測試,並經修改後再進行系統評估,
以下將依測試結果與評估結果分別說明。
壹、系統測試
系統測試的目的在偵測系統錯誤以及瞭解介面設計不足之處,本研究邀請自 願參與的國小高年級學生進行測試,並提供主觀意見以及檢測系統是否有執行上 的錯誤。測試前,研究者先以投影片對自願測試的國小五、六年級學生進行簡報,
說明本系統的功能與操作方式。之後學生將依據簡報中設計式學習各階段的活動 要求操作系統,每個階段約進行 40 分鐘,研究者則在一旁觀察與紀錄使用者測 試情況,也從旁協助學生在操作上的問題。
一、第一次系統測試
第一次系統測試有四位學生參與,學生們測試結束後,由研究者彙整相關的 問題與建議,如表 9 所示。
表 9、第一次測試結果
分類 測試問題與建議
介面類別 歷程檔案的按鈕沒出現
角落四個階段按鈕要變色(個人工作區沒變)
第二階段個人工作區2號的調色盤不見了 檔案讀出來太占版面,要縮放
個人工作區要有複製功能
第二階段完成的檔案在其他階段讀出來時不要重疊
第三階段設計階段到第三階段設計說明要跳出訊息說已經存檔 指導語→不同專案的第三階段要不同
43
44
45
46
貳、系統評估
本研究在系統測試、修正後,復安排學生參與活動,進行系統的易用性評估。
一、活動參與者
活動參與對象為 16 位來自台北市某國小五年級學生,隨機以兩位一組的方 式進行學習活動,所有參與者皆具備電腦使用的經驗、打字和幾何變換的知識。
二、研究活動
本研究安排的學習活動名稱為「多點觸控支援合作設計式學習(Multi-touch enhanced collaborative design-based learning, M-T CDBL)活動」,並以密鋪圖形 作為設計的主題,藉由密鋪問題,讓學生依據設計式學習各階段的活動要求進行 操作,參與者除須完成各活動要求外,亦須將階段成果儲存起來,做為日後檢討 回顧與分享成品,每個階段皆為 45 分鐘,小組成員可自行分配各自負責的領域 以及需要完成的任務內容。
本研究活動流程如下所述:
本系統經開啟後,系統會判斷使用者是否為第一次使用本系統或已有其他階 段的儲存紀錄,如圖 15,接者系統會自動跳出本次問題給學生進行設計活動,如 圖 16。
圖 15、不同的對話視窗,左圖為第一次進入情形,右圖為接續活動之情形
47
圖 16、進入畫面跳出的學習活動問題
於第一階段時,學生須了解本次的問題及確認該問題所需的設計內容,利用 塗鴉板模組提供的輸入方式將上述內容輸入系統,如圖 17,並儲存起來供之後讀 取或修改,如圖 18。
圖 17、第一階段確認問題並輸入其內容 自動跳出之問題
48
圖 18、顯示儲存的檔案,亦能讀取編輯
進入第二階段後,系統分別顯示每位組員的個人工作區,小組成員能夠個別 觀看問題、使用資源工具或設定不同顯示方向的工作區進行操作,也能透過讀取 前一階段共同完成的成果來繪製各自的解決方案,並儲存下來,如圖 19,當所有 組員完成並點選關閉個人操作區時,系統即會自動進入第三階段。
圖 19、第二階段執行畫面
第三階段小組將依據第二階段完成的成果,共同解決本次活動問題,如圖 20,
49
如遇到無法使用正多邊形解決的情況,則能依據需求自行設計非正多邊形來解決 問題,如圖 21。另外小組在此階段能夠產生多個解決方案,直到確認不再產生時,
即可點選離開進入第四階段。
圖 20、第三階段執行畫面
圖 21、建立非正多邊形畫面
第四階段小組成員須檢討共同產出的結果是否符合本次活動問題的要求,寫 下並儲存需要檢討的部分或優點,如圖 22。
50
圖 22、第四階段執行畫面
三、評估資料的收集與結果
本研究採用問卷調查法蒐集使用者對本系統易用性的評估意見,其意義為蒐 集學生使用本系統之情況。為瞭解本系統在設計式學習各階段的功能是否能令學 生覺得容易且方便使用,因此請學生於各階段完成後立即填寫問卷,了解學生當 下對於本系統的想法。
為能以最低成本並不失準確性,本研究使用(Brooke, 1996)所提出的 System Usability Scale(SUS)來收集使用者評估意見,SUS 是一個能快速、簡單、能廣 泛使用、免費、及可信賴的評估工具(Bangor et al., 2008; Brooke, 1996; Lewis &
Sauro, 2009),且樣本數僅需 12 人以上即具有一定信度(Lewis & Sauro, 2009),
其問卷共十題並採用李克特五點量表,奇數題項為正向題,偶數題項為負向題,
一分代表非常不同意,五分代表非常同意,答題時希望使用者能快速回答,若使 用者在短時間內若無法回答該題時,即要求使用者勾選中間的選項。本量表的計 分方式如下所述,奇數題的選項減 1(0 至 4 分)即為該題分數,偶數題則 5 減 該題選項(4 至 0 分)即為該題分數,再將各題的分數總合乘以 2.5 即為 SUS 量 表分數(0 至 100 分)。
51
表 13、本系統各階段易用性分數表
設計式學習各階段名稱 系統易用性分數
確認問題 61.56
蒐集資訊 62.50
設計與建構作品 61.09
評估檢討 52.34
本系統於設計式學習四個階段易用性平均得分分別為 61.56、62.5、61.09、
及 52.34,如表 13,四階段平均值為 59.38,而(Bangor et al., 2008)說明了 SUS 得分超過 52.01 時,及代表系統易用性不錯(OK),此結果證明了本系統於設計 式學習各階段的功能都具有不錯的易用性,且在合格的範圍之內。
52