此階段評估招募五名交通大學大一的學生作為受試者，實際於交大圖書館使 用思謎遊第三版原型系統進行一個小時的導覽遊戲活動，過程中受試者將配戴麥 克風與錄音筆「說出」其使用系統時的操作步驟、想法或觀察等；本研究者於此 階段評估後，將受試者於評估過程當中所錄製的放聲思考錄音檔，以逐字稿的方 式轉換成文字檔案，並將這些文字檔案進行質性資料編碼與歸類的工作，結果共 發掘出介面與系統操作、活動流程、題目與系統臭蟲等問題。另外，此階段評估 於受試者使用系統後，以問卷評測受試者對於系統各面向的滿意程度（以 1 到 7 代表從非常不滿意到非常滿意的滿意程度），經事後統計分析六個向度的平均分 數皆大於 5。並接著使用半結構式的訪談蒐集受試者使用系統的過程中所遭遇到 的問題、對於系統整體及遊戲可玩性的評價、學習成果與建議等方面的資料，事 後以開放性編碼將受試者的訪談內容歸類成「對於系統功能與介面的感受與建 議」、「使用系統學習到的知識與技能」、「對於系統遊戲性的感受與建議」、「對於 遊戲題目的感受與建議」、「活動的進行方式與流程」及「對於系統的整體評價」
等六個類目。最後，此階段評估亦蒐集了受試者操作系統時的記錄檔案，供本研 究統計受試者總作答題數、答對率、選題的類型與難度、平均的解題時間等數據 資料。以下將詳細說明此階段各部分的評估結果。
一、 放聲思考法
在受試者放聲思考評估法的後續資料分析中，本研究者先將五名受試者放聲 思考的逐字稿作逐句的預覽，接著將受試者使用系統過程中的特殊狀況與錯誤依 四個類別作分類，分別為「介面與系統操作問題」、「系統臭蟲」、「活動流程問題」、 與「題目問題」等，以下將逐項說明。
（一）介面與系統操作問題
僅有受試者 A 反應了與介面相關的疑惑，其情況為進入詢問是否進行挑戰 題的畫面出現時，懷疑其若進入挑戰是否還可跳出。本研究第三版的原型系統已 於挑戰題答題畫面加入「放棄」鈕，故此不為系統介面使用性問題。
此外受試者出現比較多操作問題的部份在於一開始輸入學號的地方，受試者 D 與 E 皆於叫出 PDA 內建的輸入小鍵盤後，不知如何關閉輸入小鍵盤，因此誤 以為 Windows CE 預設工具列上的「關閉」功能可關閉輸入小鍵盤，因此出現詢 問是否關閉整個程式的對話框，為一種非使用者預期的操作錯誤。
好像誤按到關閉程式（使用者 D）
我以為左下角的關閉是關閉小鍵盤的意思所以我按關閉，可是其實它是要問我是不是要關
閉程式（使用者 E）
（二）系統臭蟲
在系統臭蟲的發掘上，第三版原型系統僅有受試者 A 反應出現已作答過的 遊戲題目此 1 個臭蟲。
（三）活動流程問題
在活動流程問題部分，出現了 3 個問題，第 1 個問題為受試者 A 在詢問館 員遊戲題目解決方式時，館員告知其再去辦公室詢問另一名館員，辦公室館員又 請受試者去詢問二樓的櫃檯人員，造成其答題上的困擾。第 2 個問題在於受試者
B 作答與書籍相關的問題時，發現儘管網頁上顯示書籍未被借閱，但仍無法於書 架上找到該本書，故無法進行作答。第 3 個問題為受試者 C 反應圖書館電腦網 路的速度太過於緩慢導致其無法順利找到作答參考用的資訊。
（四）題目問題
五名受試者共說出 14 個有問題的題目，這些題目的問題包括答案與自己找 到或問到的不符、沒有正確答案的選項及題目敘述不清等。其他受試者反應的題 目問題還包括題目給的提示不夠清楚、題目太過於分散導致解題過程中，大量移 動所造成的體力消耗。
剛剛的提示看不太懂，年度出版訊息，那是什麼東西啊？（使用者 B）
五樓的題目不太集中，又要讓我繞一次，天啊好累喔，圖書館很大耶，幹嘛這樣！（使用
者 C）
二、 滿意度問卷
統計五名受試者於參與式調查評估後填寫的系統滿意度問卷，可以得到受試 者對於思謎遊系統滿意程度的量化資料（以 1 到 7 代表從非常不滿意到非常滿意 的滿意程度），下表 4-3-1 為第三階段評估的系統滿意度問卷描述性統計資料：
表 4-3-1 第三階段評估系統滿意度問卷描述性統計表（n=5）
問卷項目 平均數
（M）
標準差
（SD）
1. 我可以使用本系統很快的學到圖書館相關的知識與技
能。 5.80 0.75
2. 本系統可以幫助我正確的學習圖書館相關的知識與技
能。 5.60 1.02
3. 使用本系統是舒服的。 5.60 0.80 4. 本系統是容易學習如何使用的。 6.80 0.40 5. 本系統提供清楚的錯誤訊息及修復方式。 5.20 1.17 6. 當我操作錯誤時，我可以快速且容易地將這個系統恢
復。 5.00 0.71
7. 這個系統提供的資訊（例如剩餘時間）是清楚的。 6.60 0.49
確指出圖書館各樓層的空間配置與資源分佈」平均分數為 4.6，及第 10 項「這個 系統提供的資訊可以幫助我有效率的使用系統完成任務」平均分數為 4.8 屬最低 分的項目。
同第二階段之使用者滿意度問卷，此問卷亦可計算六個向度的使用者滿意程 度（以 1 到 7 代表從非常不滿意到非常滿意的滿意程度），各向度的平均分數見 下表 4-3-2：
表 4-3-2 各向度平均分數表
向度名稱 題數（n） 平均數（M）
整體滿意度分數 28 5.78
系統有用程度 4 5.95
資訊品質 7 5.57
介面品質 3 5.64
使用系統後的學習成果 10 5.70 遊戲性滿意程度 5 6.04
從上表可以得知六個向度的平均數皆大於 5，顯示目前受試者在此六個面向上對 系統設計的滿意程度高，其中尤以「遊戲性滿意程度」的得分 6.04 最高，表示 本系統及活動帶給受試者遊戲的樂趣性感受程度高。
最後，五名受試者在問卷中的「意見與建議」部分共提出 25 項意見與建議，
詳細的受試者意見與建議及其對應的問卷項目與編號請見附錄十一。本研究者將 此 25 項意見與建議進行分類，共歸納出包含「使用系統學習後的感受」、「對於 系統介面與功能的意見與建議」、「對於遊戲題目的意見與建議」、「對於遊戲性的 感受」等四類，以下將詳細敘述：
（一）使用系統學習後的感受
受試者反應，使用本系統可以促進其對於圖書館資源的認識，且在活動過程 中所出現的題目皆已清楚瞭解其正確的答案。
知道圖書館有很多很棒的東西。（17-E）
問的問題都已清楚知道答案。（15-D）
但受試者亦反應許多目前系統與活動不利於其學習的地方，如遊戲的時間不 足以讓其完成所有樓層的題目，使得受試者僅只能學習到某些樓層的知識。
時間太少，所以我還未能進入每一樓層。（18-A）
或是即使找到了答案答對了遊戲問題，但是以非正規的方式去獲得問題的答 案，可能也不算是習得了正確的圖書館知識與利用方式。
我未必是用所謂正確的知識技能去找到答案，我可能會用任何方法去找到答案，可能跟那
個正確未必是一樣的；系統應該有希望我們去學習到的正確知識技能，但我在遊戲過程中
不盡然是用這些方法，可能會是一些旁門左道。（2-C）
像有一題問我書在哪裡，我是直接用選項在找答案，但實際上我不太知道怎樣找。（18-D）
最後，受試者亦反應了目前本系統與活動的學習可能只能達到初步認識圖書 館有哪些資源的作用，屬於較淺層的學習。
與其說是知識與技能，不如說是認識館內「有什麼」。（15-E）
（二）對於系統介面與功能的意見與建議
受試者對於目前系統的介面與功能的觀感是基本上能滿足其進行任務的需 求。
介面看似普通，但主要的還是功能；分數不高是因為覺得普通而已，沒有特別驚豔的感覺，
但基本上功能是能滿足自己進行這個活動的需求。（15-A）
受試者亦反應目前關於一些系統功能的介面設計可能不夠明顯，導致其不知 道有該功能的存在。例如一位受試者即表示他沒有注意到有圖書館的平面圖和一 些提示的功能存在。
此外，受試者並反應目前系統所提供關於解題的資訊太少，例如提示的幫助 性不大，而導致需要大量使用電腦查詢
系統提供不多「完成任務」的資訊，就我要一直找電腦，系統的資訊是指題目啊選項啊時
間限制那些，可是關於作答題目這個東西的資訊好像比較少，提示也沒什麼用。（10-C）
最後，受試者提出目前本系統對於操作發生錯誤時的指示太少，因此若發生 錯誤時可能不知如何排除與回復。
剛開始我操作錯誤時，不太清楚怎麼跳出錯誤，有指示按錯了要如何處理會更好，像我剛
開始有收小鍵盤但是按到下面的結束，我那時候不知道怎麼跳出我按錯。（6-D）
（三）對於遊戲題目的意見與建議
受試者對目前遊戲題目的意見與建議主要集中在提示不夠有效以及有些題 目敘述不清此兩點上。
挑戰題那題浪淘沙感覺提示太大了，既然都是提示了，告訴人家該看哪一頁或許比較理想，
不然要找很久才能找到。（5-A-2）
有些題目在敘述、或者是題意上不清，所以有時候問人也找不出，像視聽資源或是圖書證
的密碼這些題目敘述可能跟館員的認知有落差，所以有時候問他們也不知道該怎麼問下
去。（9-A）
（四）對於遊戲性的感受
受試者認為本系統的遊戲性高，也肯定了目前系統的一些遊戲機制。
像我就是一個超弱的玩家，所以系統給與我機會參加搶救貧窮的活動，鼓勵我。（26-A）
但亦有受試者持反面的看法，認為本系統與活動玩久了容易厭倦，以及遊戲
但亦有受試者持反面的看法，認為本系統與活動玩久了容易厭倦，以及遊戲