評估方法

本研究之系統評估分為兩個階段：專家評鑑與目標使用者可用性測試。兩個階 段的評估方式皆是以「執行任務→操作系統→填寫問卷→半結構訪談」的程序進行。

研究者根據本次開發之新功能「個人筆記」、「教學教案」、「教師檢定」規劃不同任 務，任務內容涵蓋使用者操作三項功能時將會遇到的步驟，操作任務時間約 25 分 鐘，主要測試為行動版本，唯考量教學教案項目需輸入較多文字，故此項功能評估 請受試者以網頁版 ASSIST 完成資料輸入，再以同步功能將資料傳輸至手機之行動 版。另外教師檢定練習考題的題數較多，則請使用者點選同一選項，快速完成題目 作答。為讓受試者能順利進行測試，研究者另有製作系統操作手冊，提供受試者瀏 覽（請見附錄十四）。任務開始後，請受試者在執行任務過程中利用放聲思考法，

將當下的操作行為搭配口述，研究者同時觀察測試，並以檢核表記錄（請見附錄五 和附錄九）。以此種「實際動作+口述動作」的方式，可讓研究者觀察到使用者在測 試過程中哪個環節有操作困擾。以下詳細說明兩個評估階段的進行方式。

一、 專家評鑑

第一階段邀請三位各自擁有行動學習、人機互動或者系統開發經驗之教授進 行評鑑（請見表 3-3-1），施測地點在三位專家辦公室，所需時間約為一小時。首先 向專家簡介 ASSIST 系統主要功能與基本操作方式，再由研究者示範放聲思考法。

完成上述兩步驟後，敦請專家開始評鑑系統。研究者將專家操作系統的過程錄影，

作為後續資料分析之用，同時研究者以檢核紀錄表記錄專家操作過程。當測試結束 後，立即請專家填寫使用者互動滿意度（Questionnaire for User Interface Satisfaction, QUIS）問卷，待填寫完畢後再開始訪談。QUIS 問卷是由美國馬里蘭大學（University of Maryland）的「人─電腦互動實驗室（Human-Computer Interaction Lab，HCIL）」 設 計 ， 為 專 門 評 估 使 用 者 介 面 的 互 動 滿 意 度 量 表 （ Preece, Rogers, & Sharp, 2002/2009），題項包含對系統的整體反應、畫面、用詞和系統訊息、學習、系統功

53

54

Usability Scale, SUS）和 QUIS 兩問卷編輯而成，SUS 問卷由Brooke（1986）所設 計，為評估產品易用性之量表，包括使用者操作本系統頻率、使用狀況等題項，而 QUIS 問卷則擷取部分與目標使用者較相關之題目。兩量表原分別為 Likert 五點和 七點式量表，為避免受試者填寫量表中間值而統一改為六點式量表（請見附錄十）。 訪談採半結構式方式進行，事先設定的題目數為六題，再依使用者測試的實際情況 進行調整（請見附錄十一）。最後同樣將所有受訪者的問卷、訪談和操作影片資料 進行統合與歸納，彙整出 ASSIST 新版系統之使用者測試結果與系統修改建議。

表 3-3-2 目標使用者資料

受訪者 性別 實習學校 任教科目 行動載具系統 載具使用經驗 1 男 國中 物理科 Android 1-2 年 2 男 高中 數學科 iOS 3-4 年 3 女 高中 資訊概論科 Android 未滿 1 年 4 女 高中 歷史科 Android 未滿 1 年 5 女 高中 英文科 Android 未滿 1 年 6 女 高中 國文科 Android 未滿 1 年 7 女 高中 公民科 Android 1-2 年 8 女 高中 數學科 Android 1-2 年 9 男 高中 國文科 Android 5 年以上 10 女 高中 美術科 Android 1-2 年 11 女 高中 體育科 Android 未滿 1 年

12 男 高中 英文科 無 無

三、 資料分析方式

本研究蒐集資料的方式分為問卷、訪談、放聲思考影片、研究者觀察筆記等四 項，其中以問卷及訪談內容為主要的資料分析目標，再輔以研究者觀察筆記和放聲 思考內容作資料的補充與檢證。問卷的量表部分，是以 SPSS 統計軟體分析問卷填 答狀況；問卷的開放式問題部分則與訪談內容採用質性編碼方式分析。

質性資料主要是利用歸納與比較方式進行（Merriam, 2009/2011），經過層層不

55

斷的重組與再演繹，萃取出當中的理論與核心價值。此外，經常為質性研究者採用 的資料收集與分析方法的紮根理論，亦為本研究者分析質性資料的依據。紮根理論 將編碼方式分為三個階段：開放編碼（open coding），仔細閱讀與思考文本，從眾 多資料中辨識初步的類別；主軸編碼（axial coding），將類別重新調整、修正與歸 類，試圖找出相互連結的關係；選擇編碼（selective coding），自所有類別裡，辨別 出能涵蓋其他類別的一個核心類別，形成主要的敘事中心概念（Gibbs, 2007/2010）。

研究者將訪談內容編纂成逐字稿，重新檢視並在字句和段落間標記出與研究 主題相關之敘述句或段落，依序將其加註編號，再來將性質類似的編碼重新分類與 組合，歸類具有關聯性的主要類別，以完成編碼工作。編碼的方式為「受訪者-類 型-流水號」，對象部分，專家以 expert 的字首 E 為代表，目標使用者則以實習教師 student teacher 的字首 S 為代表；類型分為問卷（questionnaire）、訪談（interview）， 取英文首兩個字母 qu 、in 為代表；流水號則是該類型編碼內容的次序。例如第一 位專家在訪談時說的第三個修改重點，編碼為 E01-in-03，其他專家評鑑以及目標 使用者可用性測試編碼方式以此類推。

為避免研究者個人偏見或其他因素影響研究結果的真實性，同時增進研究過 程與結果之可信度，研究者採用常見的「三角驗證（triangulation）」與「同儕檢核

／審查（peer examination）」兩種策略。「三角驗證」企圖透過多方資料來源，交叉 比較異同處，尋求多數相符以表示事件的真實性（Merriam, 2009/2011）。研究者為 確保所蒐集的資料之可信度，規劃四項資料來源，包括紙本問卷、訪談錄音，使用 者測試時的放聲思考影片、研究者觀察筆記等，主要以受訪者的問卷和訪談為主，

影片和筆記作為補充與驗證之用，希以蒐集多方資料交叉比對以增加研究的客觀 性。「同儕檢核／審查」為請熟悉研究法與論文題目的同儕審查編碼，提出認同或 質疑之回饋，藉此調整編碼與資料分類走向（Merriam, 2009/2011）。本研究針對質 性資料展開分析工作前，邀請曾修習質性研究課程的國立大學教育所碩士生共同 參與編碼，檢視與核對編碼表中的編碼是否與所設定的概念相符，為資料進行多次 驗證與確認。在專家評鑑部分，研究者與共同編碼者分別檢視三份訪談內容並各自

56

編碼，再將兩份編碼表整合，合併概念相同的編碼，並針對兩份編碼表相異處進行 討論。目標使用者可用性測試部分，考量到受試者人數較多，若沿用前一種做法，

可能會影響分析結果的時間。因此本階段調整驗證方式，由研究者先根據 12 份訪 談內容進行編碼，初步完成目標使用者編碼表後，再交給共同編碼者以逐字稿對照 編碼的方式檢驗，針對有疑義的編碼提出討論，最後須由研究者與共同編碼者雙方 皆同意，始完成編碼工作。

57