第四章 研究結果分析
第二節 檢索成效分析
搜尋引擎檢索歷程記錄所包含項目及分析目的類似於傳統圖書資訊檢索系統,
前者之數量及內容龐雜,所使用的分析方法不同於後者。搜尋引擎的檢索歷程記 錄可分為檢索詞彙、檢索語句、及檢索歷程等三種分析層面。故本節藉由檢索歷 程紀錄及問卷資料,分析資訊尋獲與資訊再尋獲之檢索成效。
一、檢索詞彙分析
受試者在執行檢索過程中所輸入任何中英文單字、片語、指令等皆屬檢索詞 彙範圍,而英文大小寫對檢索並無影響,故在此不分析檢索詞彙之大小寫。研究 者分別於資訊尋獲階段與資訊再尋獲階段取得199 個檢索詞彙(102 個中文詞彙、
97 個英文詞彙)、與 239 個檢索詞彙(99 個中文詞彙、140 個英文詞彙)。計算其 檢索詞彙之平均長度(見表4-2-1)發現,資訊尋獲階段之受試者輸入中文詞彙長 度為 3.21 個字串(characters),而資訊再尋獲階段則降低為 2.78 個字串;英文詞 彙平均長度則從 1.94 個詞(words)提高至 2.16 個詞。由此可知,受試者輸入中 文詞彙多為一複合詞彙(compound words),而英文詞彙則由單連詞(uni-gram)
轉變為雙連字串或雙詞(bi-gram)。
表4-2-1、檢索詞彙之平均長度 階段
項目 資訊尋獲階段 資訊再尋獲階段
中文詞彙 3.21 2.78
英文詞彙 1.94 2.16
兩階段實驗之中文檢索詞彙平均長度變化可從中文詞彙之字數統計得之,如 表4-2-2 及圖 4-2-1 所示,受試者尋獲資訊時,輸入 4 個字數之使用次數(33.33%)
最為常見,而資訊再尋獲階段則集中於2 個字數(35.35%)。
表4-2-2、中文檢索詞彙之使用字數
表4-2-3、檢索概念數之組合列表 階段
任務 資訊尋獲階段 資訊再尋獲階段
第一項任務 來源;拍攝者+主題;主題 來源;拍攝者+主題;主題;拍攝者 第二項任務 來源;人名(團名);人名+來源;人
名+樂器;人名+相簿主題
來源;人名(團名);人名+來源;人名+樂 器+來源
第三項任務 來源;主題 來源;主題;來源+主題
第四項任務 來源 來源;主題
第五項任務 來源;主題;來源+主題 來源;主題;來源+主題;主題+限制條件 第六項任務 來源;人名;人名+主題 來源;人名;人名+主題
第六項任務 人名+來源 人名+來源;人名+限制條件
第七項任務 來源;主題 來源;主題
第八項任務 來源;主題 來源;主題;主題+日期
由上述各檢索任務之檢索詞彙概念數來看,受試者普遍都有相關詞彙的概念,
如同義詞、單複數變化或詞性變化等。受試者尋獲資訊時,除第四項任務使用單 一概念外,其它任務均使用2 至 3 個相關概念。而再尋獲資訊時,除第二項任務 之檢索詞彙概念數少於資訊尋獲階段外,其它任務之檢索概念數皆高於資訊尋獲 階段。此外,分析其概念類別,多數任務較常使用來源與主題兩個概念,且以單 一概念組合即可尋獲與再尋獲目標資訊。
綜合上述分析,受試者於資訊尋獲階段最常輸入 4 個字串的中文檢索詞彙,
英文詞彙平均長度為 1.94 個詞。而資訊再尋獲階段之中文檢索詞彙長度則降至約 2 個字串,英文詞彙則提高至 2.16 個詞。此外,兩階段實驗常以來源與主題兩種 概念作為檢索詞彙,且資訊再尋獲階段之檢索詞彙概念數高於資訊尋獲階段。
二、檢索語句分析
一組檢索語句包含一至多個檢索詞彙,由此表達檢索者使用搜尋引擎之資訊 問題,分析重點包含:檢索語句平均長度、布林邏輯或修飾符號使用情況及檢索 語句更動情況。扣除未使用搜尋引擎進行檢索之情況,本研究分別於資訊尋獲階
段與資訊再尋獲階段取得 122 個檢索語句及 144 個檢索語句。計算其檢索語句平
圖4-2-2、檢索語句之詞彙使用數量分佈圖
成之檢索語句仍維持原始檢索詞彙,顯示受試者所輸入之檢索詞彙能正確反映其 資訊需求。此外,資訊再尋獲階段之檢索語句更動比例高於資訊尋獲階段,其中 增加與更換檢索詞彙之比例有明顯增加,而刪減檢索詞彙則降低。由此可知,受 試者再尋獲資訊時,常面臨所得之檢索結果過大或檢索結果不相關之情況,故須 以增加檢索詞彙縮小檢索範圍,或更換檢索詞彙轉換檢索主題。
表4-2-7、檢索語句之更動次數 階段
項目
資訊尋獲階段
(n=122)
資訊再尋獲階段
(n=144)
使用次數 百分比 使用次數 百分比 維持原始輸入檢索詞彙 104 85.25% 107 74.31%增加(add)檢索詞彙 9 7.38% 20 13.89%
刪減(delete)檢索詞彙 7 5.74% 4 2.78%
更換(change)檢索詞彙 2 1.64% 13 9.03%
註:更動次數是指受試者在指定任務檢索中更動檢索語句的次數
綜合檢索語句分析可知,受試者尋獲資訊時平均輸入之檢索語句長度為 1.68 個,而再尋獲資訊則增加至1.86 個。兩階段實驗所輸入之檢索語句以 1 個檢索詞 彙為主,但資訊再尋獲階段使用 2 個檢索詞彙以上之比例高於資訊尋獲階段,由 此反映受試者多以簡短的檢索語句尋獲與再尋獲資訊。檢索過程中,除使用空格 以表達交集功能外,受試者鮮少使用布林邏輯運算元與修飾符號,但整體而言,
資訊再尋獲階段之進階檢索功能使用高於資訊尋獲階段。最後,分析檢索語句更 動情況發現,資訊再尋獲階段之檢索語句更動情況高於資訊尋獲階段,又以增加 與更換檢索詞彙等兩種情況為主。
三、檢索歷程分析
檢索詞彙是建立檢索語句之基礎,而檢索語句則是建立檢索歷程之基礎,透 過檢索歷程分析可看出在一任務中受試者與搜尋引擎的一連串互動。故其分析重
點包含:檢索歷程平均長度、檢索結果頁瀏覽數量、任務完成時間、點擊次數、
表4-2-9、檢索歷程之語句使用數量
結果,而資訊再尋獲階段則增加為2.65 頁。
表4-2-10、檢索結果頁之平均瀏覽數量 階段
項目
資訊尋獲階段
(n=59)
資訊再尋獲階段
(n=57)
平均數 1.42 2.65
標準差 1.16 1.97.
最大值 5 7
最小值 1 1
深入分析檢索結果頁瀏覽數量分佈,如表4-2-11 及圖 4-2-4 所示,受試者尋獲 資訊時,瀏覽 1 頁檢索結果(49.15%)之比例較為普遍,而當再尋獲資訊時,瀏 覽 2 頁檢索結果以上之比例明顯增加。觀察任務執行過程發現,受試者為了成功 再尋獲資訊,會從檢索結果頁中尋找相關線索,故會瀏覽較多檢索結果頁數。
表4-2-11、檢索結果頁之瀏覽頁數 階段
瀏覽頁數
資訊尋獲階段
(n=59)
資訊再尋獲階段
(n=57)
使用次數 百分比 使用次數 百分比 1 頁 29 49.15% 12 21.05%2 頁 16 27.12% 23 40.35%
3 頁 9 15.25% 13 21.05%
4 頁 4 6.78% 4 7.02%
5 頁 1 1.69% 2 3.51%
6 頁 - - 2 3.51%
7 頁 - - 1 1.75%
圖4-2-4、檢索結果頁之瀏覽頁數分佈圖
整體檢索任務執行方面,分析檢索任務平均完成時間(見表4-2-12)可知,受 試者尋獲資訊時,平均花費130 秒,相當於 2 分 10 秒,即可成功尋獲目標資訊。
而再尋獲資訊時則下降為111 秒,相當於 1 分 51 秒。從觀察及訪談得知,因受試 者運用特殊取用方式及檢索工具,故能更快速地再尋獲資訊。但資訊再尋獲階段 之標準差增加情況來看,本研究推論部分受試者執行過程中,可能受到選擇重新 尋找或檢索路徑增加之影響而花費許多時間。
表4-2-12、任務之平均完成時間 階段
項目
資訊尋獲階段
(n=64)
資訊再尋獲階段
(n=64)
平均數 130 秒 111 秒標準差 88.24 98.79
最大值 472 秒 557 秒 最小值 34 秒 28 秒
以分鐘為單位統計其任務完成時間分佈,如表4-2-13 及圖 4-2-5 所示,約六成 的檢索任務可在 2 分鐘內成功尋獲目標資訊;而資訊再尋獲階段則提高至七成比
0%
10%
20%
30%
40%
50%
60%
1頁 2頁 3頁 4頁 5頁 6頁 7頁
資訊尋獲階段 資訊再尋獲階段
表4-2-13、任務之完成時間統計
0-1min 1-2min 2-3min 3-4min 4-5min 5min以上
資訊尋獲階段 資訊再尋獲階段
表4-2-14、任務之平均點擊次數
(一)第一項指定任務
如圖4-2-6 所示,資訊尋獲階段時,受試者較常利用搜尋引擎或直接輸入 URL 至Youtube 網站,接著輸入各種檢索詞彙組合,瀏覽檢索結果並找到目標資訊。過 程中,並未出現瀏覽其它網頁。到了資訊再尋獲階段,除依循資訊尋獲階段之檢 索路徑外,受試者以檢索歷史為檢索起點,透過檢索或排序日期直接取得目標資 訊、或利用網路瀏覽器中附屬功能直接檢索 Youtube 網站內容,減少網頁點選過 程。
網站/網頁 取用途徑
執行檢索
檢視檢索 結果
終止檢索
圖4-2-6、指定任務一之檢索路徑圖
(二)第二項指定任務
如圖 4-2-7 所示,受試者尋獲資訊時,可透過直接輸入 URL、點選 Yahoo 首 頁之分類目錄、利用搜尋引擎檢索等方式抵達無名小站。接著於站內檢索bar 輸入 檢索詞彙後並瀏覽檢索結果,受試者可直接於檢索結果中尋獲目標資訊、或利用
資訊再尋獲階段之路徑 資訊尋獲階段之路徑 搜尋引擎
檢索
抵達 Youtube 網站 輸入 Youtube
之 URL
輸入檢索詞彙後,
進行站內檢索
找到目標資訊
檢索歷史 Youtube 網站 檢索
瀏覽檢索結果
好友相簿連結等方式取得目標資訊。尋獲過程中,可能會因找不到相關網頁而放
4-2-8 所示,受試者選擇搜尋引擎檢索、點選 Yahoo 分類目錄、或直接輸入 URL
一位受試者則是忘記已閱讀文章內容,僅記得部分標題,故選擇先至該部落格後,
利用站內檢索方式再尋獲目標資訊。
網站/網頁 取用途徑
執行檢索
檢視檢索 結果 終止檢索
圖4-2-9、指定任務四之檢索路徑圖
(五) 第五項指定任務
如圖 4-2-10 所示,受試者尋獲與再尋獲資訊之檢索路徑相同,可透過搜尋引 擎或點選bookmark 連結維基百科,接著輸入檢索詞彙後即可成功取得目標資訊。
此外,受試者亦可利用一般網頁檢索或網路瀏覽器之附屬功能直接檢索維基百科 相關條目。
資訊再尋獲階段之路徑 資訊尋獲階段之路徑 搜尋引擎
檢索 點選我的最愛 使用 RSS 閱讀器
找到目標資訊 抵達 Library View
點選文章彙整分類目錄
瀏覽檢索結果 輸入檢索詞彙後,
瀏覽檢索結果 輸入檢索詞彙後,