系統原型建置完成後，將採用三階段共五種評估法來評估原型系統，並於每 階段評估後，根據評估結果進行系統修正，待系統修正完成，再進行下一階段的 評估。以下詳細說明此三個評估階段。
一、 第一階段─專家捷思法評估
第一階段系統介面評估採用容易實施且高效率的專家捷思評估法，本研究者 參考並修正莊博雅（2007）研究中的捷思評估問卷，擬定問卷的格式。在捷思評 估準則的選擇上，由於思謎遊系統採用行動設備與具有遊戲的本質，因此參考
Bertini 等學者（2008）提出的「行動使用性捷思評估準則」（詳見附錄五）與
Korhonen 和 Koivisto（2006）提出的「行動遊戲可玩性捷思評估準則」，篩選出
符合本研究情境的捷思評估準則共二部分，除了評估行動系統的介面使用性外，
亦檢視思謎遊系統的可玩性。此外，問卷中衡量原型系統違反評估準則程度的尺 度及說明，則參照 Nielsen（1993）的「違反使用性嚴重程度等級（severity ratings）」
作設定，完整的專家捷思評估問卷請見附錄六。捷思評估問卷設計完畢後，本研 究者預計邀請三位人機介面領域的專家進行此一階段的評估，專家的背景資料請 見下表 3-3-1。
表 3-3-1 第一階段捷思評估專家背景資料
編號 背景資料
專家 A 人機互動領域博士，於研究所中開設人機互動相關 課程之教授。
專家 B 人因工程碩士，教育科技領域博士班在學中。
專家 C 教育科技領域博士班在學中，曾修習過人機互動課 程。
二、 第二階段─參與式調查、問卷與訪談法
評估的第二階段採用三種評估方法，分別是參與式調查、問卷與訪談法，分 別說明如下：
（一）參與式調查
參與式調查為目標使用者在設定的情境中，使用目標系統進行指定的任務 時，由系統的設計或評估者跟隨在旁邊，觀察與紀錄使用者操作系統時的情況與 遇到的問題（陳建豪譯，1998；Preece et al., 2002）。在此階段，本研究者招募三 名大學新生作為受試者，以單人玩家的方式使用原型系統進行 PDA 螢幕上所指 示的任務，並在其任務執行過程中，以 DV 錄影的方式紀錄其操作的情況與遭遇 的問題。在其任務結束後，本研究者將用質性資料的分析方式對觀察資料分類歸 納，並以「客觀績效測量」的量化資料分析方式，統計錄影檔中使用者發生錯誤 的次數（Nielsen & Levy, 1994），這些發生錯誤次數的資料將可協助發掘系統原 型設計的潛在問題，而錯誤次數的數值越小表示系統設計越佳。此階段評估所招 募的三名受試者之基本資料如下表 3-3-2。
表 3-3-2 第二階段評估受試者編號與基本資料表
編號 就讀系所
受試者 A 資工系
受試者 B 傳科系
受試者 C 資工系
（二）問卷與訪談
在參與式調查結束之後，本研究者將使用問卷與訪談的方式，詢問受試者使 用系統來完成任務的滿意度、觀感、遭遇的問題、使用此系統進行學習與導覽後 的成效等。在問卷的設計部份，本研究首先參考修改 Lewis（1995）提出的「電 腦系統使用性問卷（The Computer System Usability Questionnaire, CSUQ）」來評 估使用者對於系統介面使用性的滿意度，此問卷特別適合用在非實驗室的使用性 測試情境，問卷採 7 點量尺的方式計算分數，並評測四個向度的使用者滿意程 度，分別為整體滿意度分數（overall satisfaction score）、系統有用程度（system
usefulness）、資訊品質（information quality）、介面品質（interface quality），該向 度的分數越高表示使用者的滿意度越高。此外，本研究並參考修改傅豐玲、蘇榮 章及王政（2007）提出的「數位學習遊戲中學習者愉悅程度量表」中符合本研究 情境的項目以及其他自編項目，來評估使用者對於使用系統後的學習成果及遊戲 性的滿意程度。因此，此份問卷共可評測六個向度的使用者滿意程度，此六向度 分別為「整體滿意度分數」（題 1-28）、「系統有用程度」（題 1-4）、「資訊品質」
（題 5-11）、「介面品質」（題 12-14）、「使用系統後的學習成果」（題 1-2 與 15-22）、
「遊戲性滿意程度」（題 23-27）等，完整的評估問卷內容詳見附錄七。
而在訪談方面，本研究採用半結構訪談的方式，於受試者填答完滿意度問卷 後進行。訪談的重點包含受試者在使用系統的過程中所遭遇到的問題、對於系統 整體及遊戲可玩性的評價、學習成果與建議等。詳細的受試者訪談大綱詳見附錄 八。
三、 第三階段─放聲思考法、問卷與訪談、記錄檔案分析
（一）放聲思考法
放聲思考法是由使用者「說出」其對於系統操作的觀察、想法或操作步驟，
並由評估者將這些使用者的口語資料紀錄下來，以發掘系統潛在問題的一種評估 方式（陳建豪譯，1998）。本研究在系統的第三階段評估中，預計招募五名大學 新生作為受試者，以單人玩家的方式使用原型系統進行 PDA 螢幕上所指示的任 務，並在任務進行過程中，要求他們將使用時的步驟、想法及遭遇到的困難等，
以放聲思考的方式說出來，以其配戴的錄音筆錄音來收集此部分的評估資料。資 料的分析方面，此部分將以質性資料的分析方式進行分類歸納。此階段評估所招 募的五名受試者之基本資料如下表 3-3-3。
表 3-3-3 第三階段評估受試者編號與基本資料表
編號 就讀系所
受試者 A 應化系
受試者 B 機械系
受試者 C 奈米系
受試者 D 光電系
受試者 E 傳科系
（二）問卷與訪談
此部分的評估主要近似第二階段的問卷與訪談法，但會視第二階段的評估結 果，必要時對於問卷問題及訪談大綱加以修正。
（三）記錄檔案分析
記錄檔案（log file）為系統記錄使用者操作的各步驟與狀態的檔案，此收集 資料的方法可以不干擾使用者的方式，記錄使用者和系統互動的情形，作為評估 系統與後續研究的重要資料（陳建豪譯，1998）。本研究系統的原型設計可統計 使用者總作答題數、答對率、選題的類型與難度、變換樓層解題的次數、各樓層 的答題數、平均的解題時間等項目。其中總作答題數、答對率、選題的類型與難 度、平均的解題時間等資料，有助於本研究者瞭解預設時間內，玩家答題的情況、
題目是否過難或過易、是否因系統設計不當而衍生出其他問題等等。而變換樓層 解題的次數、各樓層的答題數等資料，則可作為本研究後續的延伸研究中，關於 玩家解題策略或遊戲風格等的重要參考。
第四章 系統評估結果
本章主要說明原型系統各階段介面評估的結果，並陳述根據評估結果進行系 統的原型修正重點。