第三章 研究設計與實施
第一節 研究方法與設計
本研究旨在探討使用者使用 EBSCOhost2.0 視覺化資訊檢索介面之情形、圖 形化搜尋是否會改變使用者的知識概念圖與理想詞彙、哪些好用性問題會影響使 用者的使用經驗。研究方法上兼採量化和質化的方法，以實驗法和問卷調查法探 討使用者和視覺化資訊檢索介面互動的情形，以訪談法探討使用者對於視覺化檢 索工具的主觀認知，而以回溯性放聲思考（retrospective think-aloud protocol），深 入了解使用者如何使用 Column 介面（分類架構工具）以及 Block 介面（互動式 圖形化檢索地圖）。具體而言，本研究將從使用者角度出發，主要將討論三個面 向:（1）以實證的方式深入了解使用者，實際使用 EBSCOhost2.0 視覺化資訊檢 索 介 面 的情 形（2）EBSCOhost2.0 視覺化檢索介面之實質效益為何?（3）
EBSCOhost2.0 視覺化檢索介面適用於何種使用情境？
根據第 二章 的文 獻分 析， 使用者在 視覺化資訊檢索環 境中的資訊搜尋
（information searching）行為是動態，跟系統介面互動會比傳統檢索環境更為頻 繁 。 因此 研究 者認 為精 確率 （ precision）與 回收率（recall）當作評估標準
（performance criteria）已經不足以回答本研究問題，因此本研究將採用檢索效 率 （ efficiency）、檢 索效能 （effectiveness ）、滿意 度（satisfaction）、學 習性
（learnability）、理想檢索詞彙（ideal query）五個指標當作評估指標。
一、研究方法
（1）實驗法
本研究將根據研究目的與問題，進行操控性實驗（controlled experiment），
52
研究中所使用的檢索任務來自於每個受試者自己本身的資訊需求（real quests），
而不是由研究者事先指定任務（pre-defined task）。主要有幾個原因：（1）由於考 量實驗時間，研究者事先設計的任務通常過於簡單，受試者也許會很容易抓住任
本研究採用組內設計（within-subject design），使用者必須分別在 Block（方 塊模式）、Column（欄位模式），重複搜尋同樣的檢索問題。並且將受試者隨機 指派至下列兩組，一組是從 Column（欄位模式）介面開始進行檢索，另外一組 是從 Block（介面）開始進行檢索。 程度（topic familiarity）會影響使用者的資訊搜尋行為（information searching behavior），研究者告知每位受試者在參與實驗之前，事先準備一個檢索問題，由 受試者自行評估對於檢索問題的熟悉程度。根據過去實證研究顯示，若在進行實 驗之前先讓使用者熟悉介面操作，會增進使用者之後在視覺化資訊檢索系統的表 現（Koshman, 2005），因此在進行實驗之前會讓受試者有一段時間訓練，讓受試 者熟悉介面操作。
53
(2)問卷調查
在開始進行實驗之前，會讓受試者先填前測問卷，前測問卷內容包括基本問 卷（brief-questionnaire）（請參見附錄二）、檢索前的問卷（pre-search questionnaire）
（請參見附錄三、附錄五）。基本問卷的內容主要是蒐集使用者的知識背景、教 育程度、主題熟悉度，檢索前的問卷主要是蒐集使用者對於檢索前的信心程度。
在每題檢索任務問題結束之後，會讓受試者填寫後測問卷（請參見附錄四、附錄 六），主要是蒐集使用者和系統介面互動結束過後的情形。
（3）訪談
本研究訪談採用半結構式，研究者事先擬定訪談大綱（請參見附錄七），以 深入了解使用者對於 EBSCOhost2.0 視覺化檢索介面的主觀認知，以及受試者在 從事檢索任務過程中，所遇到的困難與問題，由研究者與受試者進行一對一的訪 談，藉由錄音的過程紀錄訪談，以利於後續訪談內容分析與編碼。
（4）回溯性放聲思考法
回溯性放聲思考法（retrospective think-aloud protocol）是放聲思考法的改良，
不同於放聲思考法，回溯性放聲思考法是使用者在介面上完成檢索任務之後，才 詢問使用者在檢索過程中的想法。本研究整個實驗過程會使用螢幕錄製軟體，錄 下使用者檢索畫面，而回溯性放聲思考法利用於本研究，主要目的在於讓研究者 和受試者一起回顧檢索介面的抓取，討論受試者在檢索過程中的一切想法。
研究者會先預想下列的觀察重點：
1、分類架構工具所提供的詞彙類別，和受試者心中的符合程度。
2、使用者在介面操作上遇到的困難，例如：觀察是否有停頓，不知道如何進行 的情形。
3、是否有迷失在視覺化檢索介面的情形。
54
二、評估指標
本研究的評估指標分別為：檢索效率（efficiency）、檢索效能（effectiveness）、
滿意度（satisfaction）、理想詞彙（idea query）、學習性(learnability)。理想詞彙主 要是參考 Tang, Wu , & Hung 在 2009 年所寫的文章” Evaluating a Metadata-based Term Suggestion Interface for PubMed with Real Users with Real Requests＂的作 法。
55
56
三、知識概念圖
知識概念圖（concept map） 是用來呈現知識之間的關係，由節點（node）
與連結（link）所組成（請參見附錄八）。研究在開始進行介面測試之前，會要求 每個受試者盡可能畫出關於檢索主題之知識概念圖（concept map），意義在於了 解受試者對於檢索主題認知的情形，和介面互動結束之後，再畫一次知識概念圖 的目的是為了檢視受試者和視覺化檢索介面互動結束之後，是否能更加深對於檢 索主題之概念的完整度，以及檢視分群架構與分類架構工具的完整性。
57