第一節 第一節

第三章 第三章 第三章

第三章 研究方 研究方 研究方法與設計 研究方 法與設計 法與設計 法與設計

首先從研究流程與研究架構闡述本研究進行之過程與核心概 念；其次說明本研究之研究對象，包括指定任務與自訂任務受試者；

之後介紹研究中所使用到之研究方法與設計說明，包括實驗法、觀察 法、調查法與訪談法，接著依據前述之研究方法設計研究工具與資料 分析方式；最後，則為實驗實施的程序，包含前導研究與正式實驗兩 部分。

第一節 第一節

第一節 第一節 研究流程與架構 研究流程與架構 研究流程與架構 研究流程與架構

本研究之研究流程，如圖 3-1 所示。一開始先設定研究主題，確 認研究主題與範圍，繼而尋找與主題相關之文獻，瞭解研究主題的發 展現況，並從中發現可研究之議題後，確認研究之目的與問題。接著 再次蒐集相關文獻，從中歸納與本研究相關的議題，以建立背景知識 及幫助擬定研究方法與研究設計。

實驗設計分為三部分：檢索任務、訪談大綱與搜尋引擎評估表、

自動分群搜尋引擎群集架構評估表(以下簡稱，群集架構評估表)之設 計。檢索任務之設計主要以任務的情境模式讓受試者融入該情境，以 利之後訪談及評估的進行，並客觀評估受試者使用自動分群搜尋引擎 之情形；訪談大綱則是在任務完成後，能更深入的瞭解受試者的主觀 認知，與釐清任務過程中所觀察到的問題；搜尋引擎評估表與群集架 構評估表則是藉由評估量表，將受試者主觀感受以量化的方式呈現。

實驗設計完成後，進行前導研究以提升本研究之信度與效度，及 改善研究實施程序與設計。之後修正實驗設計，即開始進行正式實 驗，實驗中並輔以 Morae 軟體紀錄受試者檢索歷程，及訪談錄音紀錄 訪談內容。最後，依據研究目的與問題將實驗結果整理分析與歸納，

並提出結論與建議。

圖 3-1、研究流程圖 設定研究主題

文獻探討 尋找相關文獻

擬定研究方法

前導研究

修正實驗設計

正式實驗

實驗結果分析與歸納

結論與建議 確認目的與界定問題

實驗設計 檢索任務 訪談大綱 群集架構評估表搜尋引擎評估表

紀錄檢索歷程 訪談錄音

紀錄檢索歷程 訪談錄音 尋找相關文獻

根據本研究之研究目的與問題，提出本研究之研究架構，以利各 項流程之進行，如圖 3-2。並依據研究目的與問題定義研究之自變項 (Independent Variable)：搜尋引擎類型包括，相關排序式與自動分群 式，以及問題類型包括，難易度與封閉性；依變項(Dependent Variable) 則 為 評 估 面 項 ， 包 括 檢 索 效 率 、 檢 索 效 益 與 滿 意 度 ； 中 介 變 項 (Intervening Variable)則為個人特質，包括性別、教育程度、學科領 域……等。

圖 3-2、研究架構圖 搜尋引擎類型

搜尋引擎類型搜尋引擎類型 搜尋引擎類型

相關排序式(RLS)

自動分群式(Vivisimo) 問題類型

問題類型問題類型 問題類型

難易度(簡單/困難)

封閉性(開放/封閉)

自訂需求

評估面項 評估面項評估面項 評估面項

檢索效率

檢索效益

滿意度 自變項

依變項 中介變項

個人特質 個人特質 個人特質 個人特質

性別

教育程度

學科領域

網路使用經驗

搜尋引擎使用經驗

資訊檢索程度

任務熟悉程度

第二節 第二節

第二節 第二節 研究對象 研究對象 研究對象 研究對象

基於本研究之研究目的與問題，以及搜尋引擎語言之限制，同時 為 了 能 夠 更 深 入 瞭 解 受 試 者 對 群 集 架 構 之 看 法 ， 採 用 立 意 抽 樣 (Purposive Sampling)的方式選擇受試者，挑選之受試者需具備基本資 訊檢索能力，並需對搜尋主題有一定的瞭解。因此選擇碩士以上學 歷、熟悉英文，且有資訊需求者為主要研究對象。

本研究之實驗分為指定任務及自訂任務兩部分，故將兩項實驗之 研究對象分別說明如後：

一 一

一 一、 、 、 、 實驗一 實驗一 實驗一 實驗一： ： ： ：指定任務 指定任務 指定任務 指定任務受試者 受試者 受試者 受試者

因需選擇背景相近之受試者，故選擇師大圖資所一年級之研究生 為受試對象，分為 A、B 兩組，共計八位受試者，七位女性及一位男 性。

二 二

二 二、 、 、 、 實驗二 實驗二 實驗二 實驗二： ： ： ：自訂任務 自訂任務 自訂任務 自訂任務受試者 受試者 受試者 受試者

自訂任務則以有學術或工作資訊需求之碩士以上學歷者為研究 對象，並依學科領域分為人社、理工、商管、醫農，各兩名，共計八 位，如自訂任務受試者基本資料表 3-1 所示。

表 3-1、自訂任務受試者基本資料 受試者受試者

受試者受試者 性別性別性別性別 領域領域 領域領域 學科學科學科學科 學歷學歷學歷學歷

C01 女 商管 企管 碩二

C02 女 人社 資傳 碩一

C03 女 人社 圖資 碩畢

C04 男 理工 電子 碩一

C05 女 醫農 公衛 碩畢

C06 男 商管 財管 碩一

C07 男 理工 資工 博士

C08 女 醫農 臨床牙醫 碩二

第三節 第三節

第三節 第三節 研究方法與設計 研究方法與設計 研究方法與設計 研究方法與設計

為探討使用者與自動分群搜尋引擎之關係，本研究將以使用者導 向之研究方法進行研究設計，包括實驗法、觀察法、檢索記錄分析法、

問卷調查法及訪談法，茲分別描述如下：

一 一 一

一、 、 、 、 實驗法 實驗法 實驗法 實驗法

根據研究目的與問題之特性，進行操控性實驗。由於搜尋引擎的 使用情境會依其檢索需求、問題類型、難易度等而有所不同，因此本 研究將分兩部分進行實驗，分別為指定任務與自訂任務。

(一一一一) 實驗一實驗一實驗一實驗一：：：：指定任務指定任務指定任務指定任務

指定任務將使用兩種搜尋引擎：RLS、Vivisimo，讓受試者在 相同的情境下進行四項任務，每種任務分別由兩個搜尋引擎各執 行一次，為避免使用順序之先後所造成的影響，特將指定任務分 成 A、B 兩組進行。A 組：先使用相關排序搜尋引擎(以下皆以 RLS 稱之)，後使用自動分群搜尋引擎(以下皆以 Vivisimo 稱之)；

B 組：先使用 Vivisimo，再使用 RLS。任務則依問題類型(Query Type)的難易度(簡單/困難)¹與封閉性(封閉/開放)² 分為四種：簡單 /封閉、簡單/開放、困難/封閉、困難/開放。

(二二二二) 實驗二實驗二實驗二實驗二：：：：自訂任務自訂任務自訂任務自訂任務

自訂任務則由受試者自行定義檢索任務，包含主題、動機目 的、需求等。任務中僅使用 Vivisimo，相關排序搜尋引擎部分則 以受試者先前搜尋相同主題之經驗為主。問題類型則依上述原則

將受試者自行定義之檢索任務，以難易度和封閉性區分。

二 二 二

二、 、 、 、 觀察法 觀察法 觀察法 觀察法

檢索任務期間，研究者從旁觀察受者檢索行為，並記錄檢索過程 中發現的問題或特殊行為。例如受試者之情緒反應，感到困擾、焦慮、

愉快等；或是瀏覽行為，瀏覽哪些檢索結果、瀏覽至第幾筆結果等；

反覆或遲疑等特殊行為，以便後續訪談中與受試者釐清，瞭解受試者 實際使用感受。

三 三 三

三、 、 、 、 檢索歷程紀錄分析法 檢索歷程紀錄分析法 檢索歷程紀錄分析法 檢索歷程紀錄分析法

檢索歷程紀錄分析法為 IR 領域及使用性評估研究中之常用方法 之一，對於瞭解使用者是相當重要的來源，因其紀錄包含了查詢詞彙 及檢索過程等資訊。故本研究利用電腦螢幕錄製軟體³紀錄受試者之檢 索歷程，以避免觀察過程中有所遺漏，及發現觀察過程中無法察覺之 行為。觀察項目包括，受試者之點選次數、輸入之查詢詞彙、開啟網 頁、點選群集等，以瞭解受試者之檢索效率與效益。

四 四 四

四、 、 、 、問卷調查法 問卷調查法 問卷調查法 問卷調查法

藉以問卷調查方式，瞭解受試者之基本資料及個人特質，更藉由 問卷調查受試者對檢索任務之熟悉程度，及完成檢索任務後的評估。

因為在指定任務中，受試者對任務之需求與瞭解並不像自訂任務受試 者那麼強烈，故指定任務受試者僅需填寫搜尋引擎評估表；自訂任務 受試者則需填寫搜尋引擎評估表及群集架構評估表。

五 五

五 五、 、 、 、訪談法 訪談法 訪談法 訪談法

本研究採取半結構式訪談，先行制訂訪談大綱與提出檢索過程中 發現之問題，以深入瞭解受試者使用群集的情況，及其對群集架構與 名稱的認知，並挖掘更多受試者願意或不願意使用自動分群搜尋引擎 的原因。訪談中僅由受試者與研究者進行一對一之訪談，以及藉由錄 音和筆記紀錄訪談過程，以利後續訪談內容之分析與編碼。

第四節 第四節

第四節 第四節 研究工具與資料分析 研究工具與資料分析 研究工具與資料分析 研究工具與資料分析

依據上述之研究方法，本節將介紹各個研究方法中，所採用之研 究工具與研究設計方式，以及各項資料的分析方法。

一 一 一

一、 、 、 、 研究工具 研究工具 研究工具 研究工具

(一一一一) 搜尋引擎網站搜尋引擎網站搜尋引擎網站搜尋引擎網站⁴

目前並無適合本研究操作之平台，因此研究中製作 RLS 以供 實驗之用。為提供相同檢索結果來源及相同的排序結果，本研究 以 Vivisimo 之檢索結果為來源，並依其檢索結果排序作為 RLS 檢索結果之排序。

研究者自行製作之實驗平台如圖 3-3 所示，提供任務規則與 範例說明。RLS 並依照受試者相關排序搜尋引擎之呈現與使用方 式設計，並經由前導研究測試後修正 RLS 系統介面減少介面影響 程度，如圖 3-4。受試者使用 RLS 時，只需直接由檢索任務點選 查詢詞彙即可連結到檢索結果。

圖 3-3、實驗平台

圖 3-4、RLS 檢索結果範例

此網站為讓受試者處於相同情境下使用 RLS 與 Vivisimo 兩 個搜尋引擎，以探討受試者相關排序搜尋引擎與自動分群搜尋引 擎的使用觀感。希望藉由相同的使用情境，讓受試者對於相關排 序搜尋引擎與自動分群搜尋引擎能有一致的情境，在比較兩者差 異時較能表達兩者不同之處。故需設定相同的任務和情境予以受 試者使用，因此 RLS 與 Vivisimo 之檢索結果為相同來源，相關 排序方式亦設定為 Vivisimo 之檢索結果排序，如圖 3-5 所示。

圖 3-5、Vivisimo 檢索結果範例

(二二二二) 檢索任務與評估問卷檢索任務與評估問卷檢索任務與評估問卷檢索任務與評估問卷

分為檢索任務與評估問卷設計兩部分，皆由文獻探討歸納整 理而來。檢索任務包含指定任務及自訂任務：指定任務中依問題 類型設計四個問題，如表 3-2(詳見附錄一、附錄二)；自訂任務則

檢索結果

分群結果

依受試者需求由受試者自行定義，給予自訂任務表由其自行描述 所欲檢索之主題、動機目的、需求內容與先前相關主題之檢索經 驗等(詳見附錄三)。

任務以難易度與封閉性設計四種問題類型，其中難易度包含 兩個屬性：簡單與困難，依主題的單一或多元性區分，例如 jaguar 代表了美洲豹，亦代表汽車品牌，則該此類具有多元意義的主題 為困難；反之，一個主題僅代表一種意義，則該類主題為簡單。

封閉性則包含封閉與開放兩個屬性，依答案之範圍區分，有固定 答案者稱為封閉；反之，沒有固定的答案者，則為開放。

表 3-2、問題類型 難易度

封閉性 簡單 困難

封閉

任務一、請說明何謂書目記錄 功 能 需 求 (Functional Requirements for Bibliographic Records，簡稱 FRBR)？

任 務 三 、 請 說 明 何 謂 ontology？

開放

任 務 二 、 請 問 數 位 圖 書 館 (digital library) 有 哪 些 相 關 標 準？

任務四、請說明知識組織 (knowledge organization)的 重要性與方法有哪些？

任務問題則由台大、政大、師大民國 91 年至 95 年圖書資訊 學領域研究所考古題抽取，並經由圖書資訊學領域專家與前導研 究後確認任務題目之可行性。依據研究目的，需將受試者之查詢 詞彙統一，以確立相同的檢索結果及需求、情境的統一，因此將 題目類型、查詢詞彙、情境、需求等給予定義，如表 3-3(詳見附 錄四)。

表 3-3、指定任務定義說明 問題

問題 問題 問題 類型 類型 類型 類型

查詢 查詢 查詢 查詢 詞彙 詞彙 詞彙

詞彙 情境情境 情境情境 任務任務任務任務 資訊需求資訊需求資訊需求資訊需求

簡單/

封閉 FRBR

針 對 時 代 的 改 變，目錄的功能對 於 現 代 來說 應 具 備 更 多 元 的 用 途，FRBR 即為此 而誕生。

請說明何謂書目記錄功 能 需 求 (Functional Requirements for Bibliographic Records，簡 稱 FRBR)？

FRBR 的 定義、功 能、介紹 等。

任務時間為每個問題五分鐘，且只能使用一個查詢詞彙 (Huang, C.K. et al., 2003; Silverstein, C. et al.,1998)。因此，指定任 務完成時間為二十分鐘，但受試者可自行提前結束，再加上等待 轉換搜尋引擎的時間以及訪談，整個實驗可在九十分鐘內完成。

評估問卷經由文獻探討整理歸納可評估的範疇與項目，包 括：檢索效率、檢索效益、滿意度(整體滿意度、群集架構、群集 內容)等三個面向，並經由圖書資訊學領域專家與前導研究後確認 評估表內容，如表 3-4，歸納兩份評估表分別為：搜尋引擎評估 表(詳見附錄五)及群集架構評估表(詳見附錄六)。在前導研究中發 現受試者在填寫群集架評估表時，最好能對主題有需求且具備一 定的瞭解程度，才能填寫群集架構評估表，因此該評估表較適合 自訂任務受試者填寫。研究中所使用之評估表採李克特量表 (Likert Scale)調查受試者態度，指數則由 1 分~5 分表示非常不同 意~非常同意。

表 3-4、評估範疇與問題 範疇範疇

範疇範疇 問題假設問題假設問題假設問題假設 項目項目項目項目 使用者能藉由自動分群搜尋引

擎的呈現方式加快瀏覽檢索結 果的速度

我能迅速瀏覽檢索 效率 結果

(Efficiency)

自動分群搜尋引擎的使用更能 符合使用者的使用直覺

我能很快的找到我 所需要的資訊 自動分群搜尋引擎更能幫助使

用者瞭解檢索主題的整體概念

我能瞭解檢索結果 的整體概念

自動分群搜尋引擎更能幫助使 用者瞭解各項主題間的關聯

我能瞭解檢索結果 主題間的關聯 使用者能藉由自動分群搜尋引

擎更加瞭解檢索主題的概念

我能更瞭解檢索主 題的意涵

使用者能藉由自動分群搜尋引 擎獲得原本所不知道的相關主 題

我能找到我原本不 知道，但與檢索主 題相關的主題 使用者能藉由自動分群搜尋引

擎獲得先前所沒有預期到的結 果

我能找到之前所預 期不到的檢索結果 使用者能藉由自動分群搜尋引

擎找到所有與檢索主題相關的 資訊

我能找到所有與檢 索主題相關的資訊 效益

(Effectiveness)

自動分群搜尋引擎不會找到與 檢索主題無關的資訊

我能找到的都是我 所需要且與檢索主 題相關的資訊 使用自動分群搜尋引擎不會增

加使用者的認知負擔

我能輕鬆的找到我 所需要且與檢索主 題相關的資訊 整體

(Integral )

使用者較滿意自動分群搜尋引 擎的檢索結果

整體而言，我很滿 意檢索的結果 使用者能滿意自動分群搜尋引

擎所提供之每一層的群集數量

我認為每一層群集 的數量剛好

使用者能滿意自動分群搜尋引 擎所提供的層級數目

我認為群集的分群 層級數目合宜 滿意度

(Satisfaction)

架構

(Structure)

使用者能理解自動分群搜尋引 擎的階層邏輯

我認為群集的階層 排列具有邏輯性

使用者認為自動分群搜尋引擎 的群集具有主題代表性

我認為群集能代表 其主題之特徵 使用者能明確瞭解自動分群搜

尋引擎的群集主題

我認為群集的主題 明確，不會與其他 主題混淆

使用者能輕易理解自動分群搜 尋引擎的群集主題

我認為群集的主題 容易理解

使用者認為自動分群搜尋引擎 能將群集相同主題完全包含在 同一類別

我認為群集中同一 類別的主題，不會 出現在其他類別裡 使用者認為自動分群搜尋引擎

能將不同群集的主題完全區隔 開

我認為相同的群集 中，不會出現不相 關的群集

使用者認為自動分群搜尋引擎 能包含所有相關主題的群集

我認為群集內包含 了所有相關的類別 使用者認為自動分群搜尋引擎

的群集皆與檢索主題相關

我認為群集皆與檢 索主題相關

使用者認為自動分群搜尋引擎 的群集名稱能代表其所包含之 主題

我認為群集名稱能 代表其所包含之主 題

使用者認為自動分群搜尋引擎 的群集名稱能符合其認知

我認為群集名稱符 合我的認知

使用者認為自動分群搜尋引擎 的群集架構具有提示聯想作用

我認為群集架構具 有提示聯想作用 內容

(Content)

使用者認為自動分群搜尋引擎 的群集名稱具有提示聯想作用

我認為群集名稱具 有提示聯想作用

為了讓受試者順利填寫群集架構評估表，以及確認受試者對 題目之認知與研究問題一致，研究者準備了自動分群搜尋引擎群 集架構圖供受試者參考，如圖 3-6。

圖 3-6、自動分群搜尋引擎群集架構 Query (頂層，Top Level)

○ 群集(Cluster)類別

A-D 主群集名稱(Cluster Name)-第一層(Fist Level)

a-g 第一層次群集名稱(1st Sub-cluster Name)-第二層(Second Level) 1-5 第二層次群集名稱(2nd Sub-cluster Name)-第三層(Third Level)

網頁連結-第四層(Result Level) c

d

網頁連結

網頁連結

B

網頁連結

C

a b

網頁連結

A

1 2

網頁連結 網頁連結 網頁連結

3

4

5

D e

f

g

網頁連結

網頁連結

網頁連結

網頁連結 網頁連結

(三三三三) 訪談大綱訪談大綱訪談大綱 訪談大綱

為能深入瞭解受試者使用自動分群搜尋引擎之情形，故透過 訪談詢問受試者對於相關排序搜尋引擎之觀感，及今日使用自動 分群搜尋引擎之觀感，以確認檢索歷程中所觀察到的受試者行 為，期能挖掘受試者心中的想法與意見，內容詳見附錄七。

(四四四四) 電腦電腦電腦電腦螢幕螢幕螢幕螢幕錄製軟體錄製軟體錄製軟體錄製軟體⁵

研究中利用 TechSmith 所研發之網站使用性(Usability)測 試，及使用者經驗(User Experience)研究用之電腦動螢幕製軟體。

將其裝置於執行檢索任務的電腦上，並在檢索任務開始時同時執 行，紀錄整個檢索歷程，藉以進行歷程分析。由紀錄之檢索畫面 得以完整呈現受試者的檢索過程，並發現觀察中所未察覺之處。

二 二 二

二、 、 、 、 資料 資料 資料 資料分析 分析 分析 分析

本研究採質量兼具的方式，透過問卷取得受試者基本與個人特質 資料，並由評估表獲得受試者主觀認知態度，之後透過量化方式以次 數分配表及次數百分比進行簡單描述統計分析。另外藉由實驗與觀察 所得，將歷程分析搭配觀察記錄進行質化分析，轉化受試者之檢索行 為分析目標包括：受試者所給予之查詢詞彙、轉換詞彙時間、相關網 址、網頁資訊品質、找到相關網址的時間、點選網頁次數……等進行 分析，之後再以量化方式統計。訪談則藉由錄音資料謄錄為文字稿，

再以質化方式進行編碼與分析。

(一一一一) 問卷與評估表問卷與評估表問卷與評估表問卷與評估表

問卷主要為取得受試者基本資料與瞭解受試者個人特質，故 分析項目分別為受試者之性別、教育程度、學科領域、網路使用

經驗、搜尋引擎使用經驗、資訊檢索程度以及任務熟悉程度，以 量化的方式利用次數分配表及次數百分比進行簡單描述統計之 分析。評估表則依表 3-4 的範疇與項目進行分析與統計，以瞭解 受試者之觀點與認知狀態。

(二二二二) 歷程分析與觀察記錄歷程分析與觀察記錄歷程分析與觀察記錄歷程分析與觀察記錄

藉由電腦動態錄製軟體紀錄整個檢索歷程，將歷程與觀察記 錄進行質化分析，轉化的分析項目包括：受試者所給之查詢詞 彙、轉換詞彙時間、相關網址、網頁資訊品質⁶、找到相關網址的 時間、尋找路徑、點選群集次數、群集層次、點選次數、開啟網 頁次數……等，繼而從受試者觀察中瞭解檢索效率與檢索效益兩 個面向。

(三三三三) 任務後訪談任務後訪談任務後訪談任務後訪談

將錄音資料謄錄成文字資料後，藉由質化方式進行編碼與分 析，如表 3-5(詳見附錄八)。並依據訪談內容，分析受試者對群集 架構與命名的認知、自動分群搜尋引擎使用心得、自動分群搜尋 引擎的使用情況、分群對受試者的幫助、分群對受試者的困擾、

自動分群搜尋引擎的再使用情形、以及改善建議等。藉以瞭解受 試者主觀感受，並作為將來自動分群搜尋引擎改善之建議。

表 3-5、訪談稿編碼範例 編碼編碼

編碼編碼 訪談內容訪談內容訪談內容訪談內容

1 研究者研究者研究者研究者：：：：請問你在這四個任務開始之前，看到這個題目有沒有什麼樣的搜尋 2 策略，有先想過要怎麼找嗎？就是你會怎麼去判斷哪些是你要的哪些是你不 3 要的。

4 受試者受試者受試者受試者：：：：我會先從標題跟摘要，然後一方面是因為語文的關係，如果是中文 5 的話就會順便看摘要，英文的話可能會先以標題為主。

第五節 第五節

第五節 第五節 實驗實施程序 實驗實施程序 實驗實施程序 實驗實施程序

為提升本研究之信度與效度，在正式施測前先進行前導研究(Pilot Study)，並請圖書資訊學領域專家審查指定任務與評估表。接著根據 專家建議與前導研究結果修改任務與評估表，以及確認實驗流程與注 意事項，之後才進行正式實驗。

實驗之施測地點與設備，以不干擾受試者或以受試者熟悉的地點 為主，設備亦希望能優先以受試者所熟悉且慣用的器材為主。因此施 測地點為受試者的工作室或研究室，設備則請受試者自行攜帶或準 備。若受試者無法準備器材，研究者亦會提供設備供受試者使用，並 準備研究室方便受試者進行實驗。

一 一 一

一、 、 、 、 前導研究 前導研究 前導研究 前導研究

前導研究施測時間從民國 96 年 3 月 19 日至 3 月 31 日止，共計 十三天。受試對象包括指定任務四位，自訂任務一位。其中有四位女 性，一位男性； 四位圖資所研究生， 一位資傳所研究生；使用網路 經驗皆為五年以上；平均上網頻率皆為每天至少一次，每次一到五小 時以上不等；最常使用的搜尋引擎皆為 Google；其中四位受試者曾使 用過自動分群搜尋引擎，但使用頻率非常少；所用過之自動分群搜尋 引擎為 Vivisimo 與 Grokker；檢索技巧平均為 3.2。整體看來，五位受 試者無論在資訊素養或電腦素養上都有相當不錯的水準。

實驗開始前，由研究者先行向受試者說明實驗的進行方式與注意 事項，並由研究者操作示範後再由受試者練習後才開始實驗。任務開 始前，先請受試者填寫基本資料與閱讀問題，並針對每個問題給予熟 悉度評分。指定任務將四位受試者分為兩組，一組先使用 RLS 後再使 用 Vivisimo；另一組則相反，先使用 Vivisimo 後再使用 RLS。故實驗 分成兩次進行，每次先用一個搜尋引擎，完成四個任務問題後，再換 另外一個搜尋引擎，完成同樣的四個任務問題。搜尋引擎轉換期間則 讓受試者休息十分鐘後，再重複一開始的示範與練習，然後繼續進行 下一個搜尋引擎的檢索任務。

所有實驗完成後，請受試者填寫評估表，包括：搜尋引擎評估表 及群集架構評估表，待受試者填寫完畢後進行訪談。首先，提出檢索 任務時所觀察到的問題，以釐清受試者使用搜尋引擎的行為；接著才 以訪談大綱為主，讓受試者自行表述心中的想法，再從訪談中發現問 題進而提問。

二 二

二 二、 、 、 、 正式實驗 正式實驗 正式實驗 正式實驗

正式實驗施測時間從民國 96 年 4 月 2 日至 4 月 17 日止，共計十 六天。正式實驗開始前，藉由前導研究分析所發現之問題進行修改與 增補，並確立實驗流程如圖 3-7 所示。

圖 3-7、實驗流程 填寫搜尋引擎評估表

指定任務說明

自訂任務描述與示範練習 任務示範與練習

自訂任務說明

檢索任務開始

A 組組組組

先 使 用 RLS 檢 索 ， 再 使 用 Vivisimo 檢索

B 組組組組

先 使 用 Vivisimo 檢索，再使用 RLS 檢索

判斷相關網頁

實驗後訪談

實驗結束

檢索任務開始

任務結束

任務結束

填寫搜尋引擎評估表

填寫群集架構評估表 分群搜尋引擎檢索

判斷相關網頁 填寫基本資料

實驗一 實驗一 實驗一 實驗一

實 實實 實驗二驗二驗二 驗二 說明實驗內容

雖然在前導研究中發現學習效應(Learning Effect)實為不可避免 之現象，但根據受試者表示由於語文的差異，對於英文感受度較差覺 得影響不深，故在正式實驗中提出修正：1. 為避免出現先前之點選記 錄，將在轉換下一個搜尋引擎期間先行將快取與歷史紀錄清除；2. 延 長休息時間至二十分鐘以上。

另外在受試者檢索歷程中所觀察到的問題，亦將作為正式實驗中 所觀察的重點與提問：1. 是否有預設的搜尋策略，會影響所找到的相 關網頁；2. 哪個問題特別難，亦可觀察受試者檢索情況，包括情緒與 時間等。此外，有些受試者會嘗試進行站內搜尋，此部分將偏離本研 究之目的，故限定受試者禁止使用網站內提供之搜尋引擎進行站內檢 索，但站內連結並不在本研究之限制範圍內。

經由前導研究後發現，指定任務之受試者在填寫群集架構評估表 時有許多的困難，因此在正式任務中決定指定任務之受試者不需填寫 群集架構評估表。而且原本群集架構評估表中所制訂之評估項目 14(表 3-6)，大部分受試者分辨不出其與項目 15 之差異，再加上每位 受試者都給予群集的提示聯想作用 3 級分，幾無差異，故將項目 14 刪除，剩下的 14 個項目即為正式的群集架構評估項目。

表 3-6、群集架構評估項目修改 評估項目評估項目

評估項目評估項目 評分評分評分評分

… …

13. 我認為群集架構具有提示聯想作用 1 2 3 4 5 14. 我認為群集具有提示聯想作用 1 2 3 4 5 15. 我認為群集名稱具有提示聯想作用 1 2 3 4 5

前導研究後所修改之正式實驗流程如上圖 3-7 所示，亦完成正式 問卷及評估表之修改後，包括：基本資料問卷(附錄一)、指定任務問 卷(附錄二)、自訂任務說明表(附錄三)、指定任務評估表：搜尋引擎評 估表(附錄五)、自訂任務評估表：搜尋引擎評估表、群集架構評估表(附 錄六)、及訪談大綱(附錄七)等。

1 依主題的單一或多元性區分。

2 依答案之範圍區分。

3 Morae，參考 http://www.techsmith.com/morae.asp

4 http://town.glis.ntnu.edu.tw/~69315007/ranklist/

5 http://www.techsmith.com/morae.asp

6 針對指定任務，將受試者認為相關之網頁進行品質判斷。依據該網 頁與任務之相關性、權威性給分，分數由 1~5 代表品質非常不好~

非常好。由二位圖資所研究生判斷評分，最後取兩者之平均作為該 網頁之品質分數。