第九節 第九節 綜合討論 綜合討論 綜合討論 綜合討論
本章首先利用問卷調查，設計基本資料問卷(附錄一)分析受試者 背景。接著設計檢索任務實驗(附錄二、附錄三)，觀察受試者實際使 用自動分群搜尋引擎的情形，利用觀察及檢索歷程紀錄受試者使用情 況，實驗完成後藉由評估問卷(附錄五、附錄六)與訪談，深入瞭解受 試者主觀認知。因此，以觀察及訪談方式整理歸納受試者之檢索行為 特性，並利用檢索歷程紀錄、訪談、評估問卷等方式，分析搜尋引擎 之檢索效率與效益，至於滿意度則以訪談及評估問卷分析之。以及使 用檢索歷程紀錄與訪談資料，分析歸納問題類型與搜尋引擎類型之檢 索表現。群集分析方面，則以檢索歷程紀錄、觀察與訪談資料，整理 分析群集使用率、群集層級使用率及群集特性，亦利用訪談與評估問 卷調查受試者之群集滿意度。自動分群搜尋引擎之使用評價與情境方 面，則以觀察及訪談資料分析整理之。故依本研究之研究目的欲問 題，研究中所用到的研究方法與分析素材作一整理如下圖 4-1 所示。
圖 4-1、研究素材分析圖
綜合前幾節所述，可以發現受試者之檢索行為特性，無論是在檢 索策略的制訂或是檢索結果過濾與相關判斷依據方面，並不會受到搜 尋引擎的影響，不過在檢索結果的瀏覽則會受到不同搜尋引擎影響。
因為使用習慣的影響，受試者在使用相關排序搜尋引擎時，皆以直接 依序瀏覽檢索結果；使用自動分群搜尋引擎時，則是會交互使用群集 與排序結果，並不像相關排序搜尋引擎以直線瀏覽的方式，而是以二 維交錯的方式進行檢索結果的瀏覽。
此外，在評估自動分群搜尋引擎對使用者的助益方面，經由檢索 效率、檢索效益與滿意度之檢索歷程、問卷調查與訪談分析整理後發 現，如表 4-49 所示。相關排序搜尋引擎無論在客觀判斷或主觀認知上 之檢索效率皆優於自動分群搜尋引擎；檢索效益方面，則以客觀判斷 相關排序搜尋引擎表現較佳，但受試者確認為自動分群搜尋引擎的檢 索效益比較好；不過在受試者滿意度上，卻又以相關排序搜尋引擎之 滿意度較高。若以整個搜尋評估表來看，則以相關排序搜尋引擎獲得 較高評價10。
表 4-49、搜尋引擎之助益比較 搜尋引擎類型
搜尋引擎類型搜尋引擎類型 搜尋引擎類型 評估面向評估面向
評估面向評估面向 相關排序搜尋引擎相關排序搜尋引擎 相關排序搜尋引擎相關排序搜尋引擎 自動分群搜尋引擎自動分群搜尋引擎 自動分群搜尋引擎自動分群搜尋引擎 歷程分析 ˇ
檢索效率
認知分析 ˇ 歷程分析 ˇ 檢索效益
認知分析 ˇ
滿意度 認知分析 ˇ
雖然受試者對於自動分群搜尋引擎仍不熟悉，但卻給予分群搜尋
自動分群搜尋引擎之群集使用情形，則因其受試者與任務不同而 有差異，例如指定任務中受試者平均群集使用率為 44.24%，最高使用 率 51.95%，最低也有 39.90%，都可以達到近四成的使用率；但自訂 任務受試者之平均使用率為 18.84%，最高使用率 43%，最低則為 0%。
且由指定任務中發現，熟悉度會影響群集的使用次數，越不熟悉的主 題越會使用群集。
而受試者最常使用的群集層級為第一層，其次為第二層及頂層，
最後才是第三層。受試者亦表示，第一層與第二層已足夠看到整個架 構，尤以第一層幫助最大，若再用到第三層則會造成認知負擔的加 重，反而無法有效幫助釐清主題。除了常用層級外，受試者所使用之 群集類別，則多會依據任務需求而定，不過仍偏好使用以主題類別、
實際應用、相似概念、及機構組織等類型之群集類別
表 4-51、受試者使用之群集層級 受試者受試者
受試者受試者 層級
層級 層級
層級 指定任務指定任務 指定任務指定任務 自訂任務自訂任務自訂任務自訂任務 總數總數總數總數 百分比百分比(%) 百分比百分比 頂層 48 30 78 12.38 第一層 193 132 325 51.59 第二層 98 18 226 35.87 第三層 1 0 1 0.16
另外在層級的檢索表現方面，無論在找到相關資訊的速度或品質 上，皆以第一層表現最佳，且最常為受試者利用。因此，受試者多只 需要瀏覽至第一層，即可獲得所需之相關資訊。
表 4-52、層級檢索表現之比較 比較項目
比較項目 比較項目 比較項目 任務任務任務
任務 排序排序 排序排序 使用率使用率使用率使用率 檢索效益檢索效益 檢索效益檢索效益 資訊品質資訊品質 資訊品質資訊品質 1 第一層 第一層 第二層 2 第二層 頂層 頂層 3 頂層 第二層 第一層 指定
4 第三層 第三層 第三層 1 第一層 第一層 / 2 頂層 頂層 / 3 第二層 第二層 / 自訂
4 第三層 第三層 /
根據檢索歷程、訪談與問卷調查後，可以發現受試者在群集認知 方面，皆有不錯的接受度與滿意度。例如對於群集內容，受試者除了 對群集類別的同質與互斥上較不滿意之外，其他都有達到 3 以上的滿 意度 ；群集名稱認知方面，受試者對於名稱代表性與直覺性，更有 高達 3.75 的滿意度；而群集的提示聯想，更是有高達 4 的滿意度。另 外就群集架構來看，受試者都能對群集所提供之群集數量、層級數目 與層級的邏輯感到滿意。不過，經由訪談與歷程分析結果中發現，受 試者對於理解群集的分群方法上仍有些困擾，或是實際實驗中，受試 者都只會使用到第二層，僅有一位使用到第三層，故雖然受試者主觀 認知感到滿意，但實際上則非如此。
受試者對於自動分群搜尋引擎有如此高之接受度與滿意度，是因 為自動分群搜尋引擎能作為關鍵詞提示幫助受試者縮小範圍，提供主 題架構給受試者建立初步概念，亦能夠突顯重要概念，讓受試者有不 一樣的角度發現新觀點。相對的，使用上會加重受試者的認知負擔，
或是需要花時間判斷、尋找群集，瀏覽群集中重複的檢索結果，以及 語言限制等，造成受試者使用上的困擾。另外，受試者亦提出一些改
善建議，例如提供中文化服務，增加群集內檢索結果的數量，提供常 用之群集類別與組合，提示群集與檢索結果功能，以及藉由與使用者 互動調整分群結果，提升自動分群搜尋引擎之群集品質。
最後，研究中亦歸納出受試者願意再使用自動分群搜尋引擎的原 因與情境，像是當受者沒有有立即性需求時，或是作為慣用搜尋引擎 後的選擇；使用目的則以，生活娛樂、學術課業、工作業務等為主；
會以自動分群搜尋引擎檢所之主題類別，則為不熟悉或是模糊不確定 的主題；以及想更深入瞭解主題及其範圍架構、獲得不同思考方向時。
1 http://www.pubmed.gov，美國國家生計資訊中心(NCBI)所製作的生 物醫學資料庫，提供全文服務。
2 資訊品質指數從 1~5，代表品質非常不好~非常好。
3 認同度之計算方式，依題項給予 1~5 分，分數越高表示越認同。經 由受試者給分，相加後除以受試者人數所得之平均數，即為項目中 所指之認同度。計算公式如下： 認同度
受試者人數 受試者給分
∑
= ，四捨五入至小數點第二位。
4 問題類型之主題熟悉度，由熟悉到不熟悉：FRBR>ontology>DLS、
KO。
5 受試者依其對問題之熟悉度給予 1~5 分，分數越高代表越熟悉。
6 受試者會以較長(精準)的查詢詞彙先行過濾，將檢索結果筆數減少 至二位數以下。
7 檢索任務進行中，受試者有找到兩筆有興趣的網頁，甚至利用其中 一筆資料，以其文中之詞彙作為查詢詞彙，但最後受試者並沒有把 此網頁儲存起來作為相關網頁記錄。
8 C01-商情資料庫；C02-不特定資料庫；C05-PubMed；C06-商情資料 庫；C08-PubMed。
9 受試者解釋，只有看群集類別，但沒想去點是因為，檢索結果出來 的資料量已經很少，可以全部看完。
10 相關排序搜尋引擎為 3.17，自動排序搜尋引擎為 3.28。