• 沒有找到結果。

第三章 研究設計與實施

第四節 研究與實驗流程

一、研究流程

(一)分析國內外相關文獻

首先,研究者會先設定研究主題,確認研究主題與範圍,之後開始進行 文獻蒐集,因為國內關於視覺化資訊檢索的文獻並不多,因此本研究所蒐集 的文獻主要是以國外的文獻為主。

(二)確定研究目的與問題

根據文獻分析歸納,瞭解目前關於研究主題發展的現況,並從中發現可 以深入研究的議題,之後確定本研究的研究目的與問題。

(三)確定研究對象

本研究是以 EBSCOhost 2.0 視覺化檢索介面為研究個案,由於 EBSCO 是以英文資料為主的資料庫,且視覺化資訊檢索介面,加入資訊視覺化以及 分群的元素,因此本研究在挑選研究對象,必須具備一定的資訊檢索能力以 及英文能力。有鑑於此,本研究的研究對象是以碩士生為主。

(四)實驗設計

本研究的實驗設計分為四個部份:前測問卷、檢索任務、後測問卷、訪 談大綱,檢索任務的設計主要來自於使用者的真實任務(real tasks),前測問 卷主要是瞭解受試者的基本資料、主題熟悉。後測問卷主要了解使用者和系 統互動的情形,檢索任務以及後測問卷完成之後,進行回溯性放聲思考法,

透過畫面的抓取,讓受試者和研究者一起討論在檢索過程中的一切想法。訪 談在整個實驗完成之後進行,由研究者一對一和受試者進行訪談,目的是深 入了解受試者對於系統介面的主觀認知、以及在實驗過程中遇到的困難。

62

(五)進行前測

(六)修正實驗設計,並進行正式實驗

(七)分析實驗資料,並撰寫論文

整個實驗過程蒐集資料,包括前測問卷、實驗資料、後測問卷以及訪談。

根據研究問題與目的,分析所蒐集到的資料。

二、實驗流程

本研究總共招募 12 位受試者,以研究生為主要招募的對象,整個實驗 流程如下:

一、開始進行正式實驗時,先找 2-3 位受試者進行前測。

二、事先告知使用者準備一題檢索問題,由受試者自行判定主題的熟悉程 度。

三、開始進行實驗之前,研究者會先和受試者說明此次實驗目的與程序。之 後讓受試者填寫前測問卷,前測問卷包括基本問卷與檢索前的問卷,在 開始進行實驗之前,研究者會事先示範介面如何操作。

四、在開始進行實驗之前,由研究者先行擬定兩題的檢索問題,讓使用者透 過檢索練習題,熟悉檢索介面操作,時間限制為 10 分鐘,之後才會真 正進行檢索任務。

五、本研究所使用的介面分別為 block(方塊模式)介面、column(欄位模 式),受試者必須分別在兩個介面重複搜尋同樣的檢索問題,並且將受 試者隨機分派至兩組,一組從 block(方塊模式)介面開始做、另外一 組是從 column(欄位模式)開始做,在開始和系統介面互動之前,受 試者必須先填寫前測問卷,並且畫下關於欲檢索主題之知識概念圖。每 組受試者將有十五分鐘時間完成每題的檢索任務,受試者可以在實驗過

63

程中更換自己的查詢詞彙,檢索任務必須從資訊檢索結果挑選十筆,與 受試者本身資訊需求相關的主題文獻,在每題檢索問題結束之後,受試 者必須填寫後測問卷,並且再次畫下關於欲檢索主題之知識概念圖,實 驗結束之後,研究者將會和受試者一起回顧檢索畫面的抓取,討論在檢 索過程中的一切想法。

六、訪談。

三、前導研究

為了要提升本研究的效度,在開始進行正式實驗之前,進行前導研究

(pilot study),目的是修正實驗設計的內容。前導研究受試者的人數總共有 兩位,兩位受試者都是來自於圖資所的學生,其中一位有使用過資訊視覺化 網站(例如:Grokker 視覺化搜尋引擎);另外一位並沒有使用過任何資訊視 覺化工具,開始進行前測之前,將受試者隨機指派至各組,一位受試者測試 column(欄位模式)介面;另外一位受試者測試 blocks(方塊模式)介面,

開始進行實驗之前,由研究者向受試者說明實驗進行的方式,並親自示範過 後,才讓受試者進行實驗。開始進行實驗之前,先讓受試者填寫基本問卷以 及前測問卷,主要是了解使用者的基本資料、使用網路經驗、知識背景、主 題熟悉程度,在所有檢索任務完成之後,讓受試者填寫後測問卷,並劃下關 於檢索主題之知識概念圖(concept map)。

在檢索任務以及問卷填答完成之後,開始進行回溯性放聲思考法,受試 者將會和研究者透過回顧檢索畫面的抓取,一起討論在檢索過程中關於介面 使用的一切想法,接著才以訪談大綱為主,讓受試者自行表達心中對於介面 的主觀認知。

64

一、修正實驗設計內容

前導研究總共進行兩位受試者,觀察受試者在檢索過程中的表現以及問 卷的填答,發現受試者檢索表現並不佳,並沒有在限制的時間內,完成檢索 任務。研究者認為可能的原因是因為在前導研究中,並沒有先讓受試者先熟 悉介面之後才進行測試,因此影響使用者的檢索表現。此外,研究者發現受 試者通常在第二題的檢索任務的時候,會比較熟悉介面。

根據前導研究的結果,在正式實驗之前,會先讓受試者有一段時間訓練,

之後才會真正進行測試。另外,經由前導研究發現,兩位受試者皆認為畫知 識概念圖(concept map)的想法非常有趣,但是受試者並不是很清楚何謂知 識概念圖(concept map),因此在正式實驗時,應該加入知識概念圖(concept map)的範例。另外,原本研究者設定在互動結束之後,畫下關於檢索主題 的知識概念圖(concept map),但是為了要了解受試者和視覺化檢索介面互 動結束,是否能夠加深受試者原本心中對於檢索主題所建構出的心智模型,

因此將畫圖的順序改為和系統介面互動之前和互動之後。

在所有檢索任務完成之後,開始進行回溯性放聲思考法,原本研究者主 要設定詢問受試者兩個問題,在熟悉與不熟悉的問題情境之下,如何使用分 類架構工具(column 介面)與互動式圖形化檢索地圖(block 介面),但是受 試者反應此問題過於抽象,因此研究者修改在進行回溯性放聲思考法過程中,

研究者觀察受試者的重點。

二、訪談大綱修改

根據前導研究發現,使用者認為一些訪談問題過於抽象,因此修改訪談 大綱內容,修改內容如下:

65

表 3.3 訪談大綱修改內容

訪談內容 修改之後的內容

1、請問就您使用 EBSCOhost 2.0 文 字型檢索介面經驗而言,妳認為文字 型檢索介面的經驗而言,文字型介面 跟視覺化資訊檢索介面的差異性,並 簡述您使用 EBSCOhost 2.0 視覺化資 訊檢索介面的心得

2、請問您分別在介面上搜尋自己的 檢索問題,有任何找尋資料的策略或 是方式嗎?

簡述您使用 EBSCOhost 2.0 視覺化檢 索介面的心得,您認為平常所使用的 文字型介面跟視覺化資訊檢索介面 不同之處為何?

2、請問您如何在介面上進行瀏覽?

66

圖 3.3 研究流程圖 設定研究主題

文獻蒐集與分析

確定研究目的與問題

確定研究對象

實驗設計

修正實驗設計

實驗結果與分析

撰寫論文 前測

67