第四章 研究結果與分析
第二節 視覺化檢索介面效用
視覺化檢索介面效用(effectiveness)將分成以下幾個部份進行討論：(1)評估指 標分析（2）受試者檢索行為分析（3）使用者檢索詞彙分析（4）使用者知識概 念圖分析（5）視覺化檢索介面整體評價與使用情境。
一、評估指標分析
本小節將呈現評估指標(performance criteria)分析結果，分別為檢索效率 (efficiency)、檢索效能(effectiveness)、滿意度(satisfactions) 、學習性(learnability)，
而理想詞彙(ideal terms)將放在使用者檢索詞彙分析部份進行討論。
(一)檢索效率
檢索效率(efficiency)指標是透過使用者完成任務時間、找到第一筆資訊的時 間、以及檢索成功來衡量檢索效率指標。
1、檢索效率
研究者會計算每位受試者完成任務的時間，以及找到第一筆資訊的時間，
並且計算 12 位受試者平均完成任務花費時間、以及平均找到第一筆資訊的時間。
若受試者未在限定時間內完成任務，時間將寫成十五分鐘。
由表 4.3 可以知道使用者在 Block 介面任務花費的時間、找到第一筆資訊 的時間都優於 Column 介面。但是由於檢索任務是採取使用者本身的任務，且 樣本數太小(n=12)，所以在統計上並沒有統計力。
81
表 4. 3 視覺化檢索介面之檢索效率
平均數 任務花費時間
Column Block
13 分 10 秒 12 分 36 秒 找到第一筆資訊的時間
Column Block
3 分 14 秒 2 分 8 秒
2、檢索成功
受試者主要檢索任務有兩種: (1)在 15 分鐘找到 10 筆相關文獻(2)寫下欲檢 索問題之最佳理想詞彙。若使用者在限時時間內沒找到 10 筆資訊，就算是任 務失敗，因此總共有六位受試者在 Column 介面進行檢索，未達成檢索任務，
任務失敗率為 50%；而有四位受試者在 Block 介面進行檢索，未達成檢索任務，
任務失敗率為 33%，但是其中受試者#5、#7 因為遇到好用性問題，所以導致 檢索失敗。
(二)檢索效能
檢索效能(effectiveness)是透過受試者在檢索互動結束之後的問卷，判斷找到 每一篇文章與檢索主題的相關程度，以及帶給文章新穎程度，來衡量視覺化檢索 介面之檢索效能。
82
表 4. 4 視覺化檢索介面之檢索效能
1、文章相關程度
受試者在 Column 介面找到文章相關程度(Mean=4.6)，在 Block 介面找到文 章相關程度(Mean=3.9)。
2、文章新穎程度
受試者在 Column 介面找到文章新穎程度(Mean=3.9)，在 block 介面找到文 章新穎程度(Mean=4.0)。
3、平均文章找到筆數
Column Block
Column Block
3.9 4.0
.7 .84
83
表 4. 5 滿意度分析表
平均數 標準差
介面有用程度 Column
Block
Column Block 程度(usefulness)層面，兩個介面對於使用者有用程度差距不大，Block 介面為 3.25，
Column 介面為 3.3，但是分析受試者訪談，發現介面有用程度會受到熟悉主題程
在檢索結果滿意程度層面，Block 介面為 3.3，Column 介面為 3.58，但是檢 索結果的滿意程度也會受到受試者熟悉文字型介面的影響。
84
對於檢索結果很不滿意，就整個介面的呈現資訊方式也很不習慣，可能是我 們都很熟悉文字型檢索。(#10:277)
不論在介面有用程度或是檢索結果滿意度，Column 都優於 Block 介面，但 是差異不大。在詞彙滿意度方面，研究者只詢問受試者對於 Column 介面動態產 生詞彙類別的滿意程度，主要是因為 Column 介面產生的詞彙類別多於 Block 介 面，受試者平均對於詞彙滿意度為 2.3。
上述陳述的分析指標結果，因為本研究的樣本數(n=12)太小，所以並無統計 效力，亦即無法作任何統計上的推論。
(四)學習性
學習性(learnability)是指使用者是指剛接觸系統到熟悉系統的時間，因此對 於新手使用者而言，系統的學習性是相當重要的面向。Jeng(2006)認為若系統容 易學習，就會讓使用者很容易完成任務。因此學習性測量指標，主要透過任務花 費時間以及任務回答正確率測量。
表 4. 6 檢索練習題
題目 難易程度
Column 資 訊 科 學 (information science)的定義
簡單
Block FRBR 的定義 簡單
研究者事先設定的兩個檢索任務，分別為(1)Column 介面：資訊科學的定義；
(2)Block 介面：FRBR 的定義，這兩題對於圖資系學生並不困難，因此當作練習 時間的檢索任務，分別計算受試者任務花費時間。
85
Column Block
86
二、使用者檢索行為分析
本研究藉由觀察受試者的檢索畫面以及分析訪談，深入了解使用者的檢索行 為，包括瀏覽行為、檢索結果過濾以及相關判斷行為，研究結果指出圖資系的研 究生使用視覺化檢索介面之檢索行為，僅在瀏覽行為層面和傳統檢索行為呈現較 大差異。
(一) 檢索結果之瀏覽行為
1、Column(分類架構瀏覽介面)
Column 透過自動分群技術會產生分類架構，提供使用者欲檢索主題之相關 重要概念。分析使用者的訪談內容，受試者在以下兩種情境之下，其瀏覽介面的 方式會有所不同。首先，若受試者對於介面自動產生的詞彙類別(category)，符 合心中關於欲檢索主題之心智模型程度高時，使用者會從最熟悉的詞彙類別開始 進行瀏覽。然而，若介面自動產生的詞彙類別(category)和心中建構出的檢索主 題之心智模型(mental models)符合的程度低時，受試者會偏向以隨意的方式進行 瀏覽。
而且一定是你、最想要知道的、最想要去找的那個類目下來，開始下手。
(5:356)
一開始並沒有特別的瀏覽策略，因為不懂Column介面所呈現的分類架構，
所以就隨意點選介面的分類，一一去看裡面的資訊，(#1:48)。
另外，受試者#8 的瀏覽行為和其他受試者瀏覽介面的方式不同，通常是受 試者會根據自己內心的資訊需求，去點選介面所呈現的群集(cluster)內容，但是 受試者#8 發現 Column 介面呈現檢索結果之第二以及第三層和第一層呈現的檢索 結果是一樣的，所以只要在第一層群集底下就可以瀏覽全部檢索結果。
87
受試者：我發現Column介面分得其實找出來的資料好像一樣耶，但是說你在後
研究者：重複性資料過高嗎？
2、Block(互動式檢索地圖)
Block 介面是以 map(地圖)的方式，直接展開所有的檢索結果給使用者，也 會和 Column 介面一樣，會自動產生群集(clusters)，提示使用者欲檢索主題之相 關重要概念，但是相對於 Column(分類架構瀏覽)介面，群集產生的數量比較少，
經由實際分析受試者的訪談發現，大多數使用者通常會以依序瀏覽的方式，瀏覽 檢索結果，並不太會注意到介面左側的群集，但是並不代表這些群集對於使用者 是沒有用處，因為有些使用者還是會從群集(clusters)進入，搜尋所需的資訊。
左邊那個分類大多數來講並沒有什麼用，所以我就還是用右邊一筆一筆去看
88
我覺得因是因為剛有先使用Column介面，所以知道Block介面呈現檢索結果 的模式，會跟Column介面一樣，所以我後來在使用Block介面的時候，就是 直接看第一排的檢索結果。(#6 :121 )
總而言之，因為兩個介面呈現檢索結果的方式不同，造成使用者瀏覽介面的 方式不同。另外，本研究了解受試者使用群集的情形，僅從觀察受試者的檢索畫 面和分析受試者訪談內容，了解受試者使用群集的情形，研究結果指出受試者在 Colum 介面環境下，必須不斷點擊群集(clusters)，才能搜尋到所需的資訊，因此 相對於 Block 介面，使用群集的比率較高；受試者在 Block 介面傾向直接瀏覽檢 索結果，並不太會注意左側的群集。
我來講看左側的分類是一個困擾，就看左邊那個...然後我就會開始想說，左 邊那個跟...右邊那些文章，為什麼要這樣分
？就是它為什麼分在這一類？這 真的很奇怪...所以我後來都沒有看了...就是左邊我都沒有看，我就直接看這 個...像這樣直接看...然後忽略左邊這一排這樣子。(#11:221)
(二) 檢索結果之過濾
使用者在文字型介面搜尋資訊時，通常是透過不斷換關鍵字或是利用布林邏 輯，過濾不相關的資訊，但是在 EBSCOhost 視覺化搜尋介面，只能透過介面所 提供過濾檢索結果的方式。
可是它這個就不行阿！這個就是你一次就打完關鍵字，然後直接找，它不能 說你找來的結果，你自己再去縮小...而是你要透過它幫你縮小...那個範圍阿...
可是那個範圍不是我要的阿…..。.(#10:149)
以下將分段說明視覺化檢索介面之檢索結果過濾的方式。
89
1、Column (分類架構瀏覽介面):
分類架構瀏覽介面會自動產生分群架構(cluster structure)，每個詞彙類別是和 使用者的檢索詞彙進行相似性比對所得出的結果，使用者通常會透過點擊有興趣 的群集(clusters)，進一步縮小瀏覽範圍。以圖 4.11 為例，使用者的檢索詞彙是 information behavior ，一開始檢索結果的筆數為 250 筆，之後使用者點擊 internet searching 以及 internet literacy，檢索結果的筆數從 250 筆縮小至 4 筆。
圖 4.11 Column 介面呈現檢索結果之舉例
2、Block (互動式檢索地圖):
使用者透過點擊介面上方的群集(clusters)，可以進一步縮小使用者瀏覽範圍，
但是實際查看使用者的檢索畫面，使用者通常不會使用介面提供過濾資訊的方式，
比較會依序瀏覽檢索結果，並且過濾不相關的資訊。
90
圖 4.12 Block 介面檢索結果舉例
總而言之，使用者習慣使用布林邏輯檢索，過濾不相關資訊，但是在 Column 和 Block 介面環境下，提供使用者過濾不相關資訊的方式，都是透過點擊群集 (clusters)，進一步縮小瀏覽範圍，但是仔細查看兩種介面呈現檢索結果的方式不 同，造成使用者過濾資訊方式的不同。詳細來說，Column 介面類似階層式架構，
受試者必須探索介面並點擊群集(clusters)內容，才能過濾不相關資訊；然而 Block 介面是直接把檢索結果展開給使用者，必須要點擊介面左方或是上方的群集，才 能縮小檢索範圍。
(三)檢索結果之相關判斷依據
一般文字型檢索介面通常提供文章篇名以及摘要作為使用者判斷相關資訊 的依據 。在 Block 以及 Column 介面的所有文章，都會加入相關提示鍵(relevance key)(請參見圖 4.13 )，以 1-3 格方式提供給受試者判斷相關資訊之用，3 格是高 度相關的文獻，1 格是最不相關的文獻。但是受試者幾乎不會使用此項功能，甚 至有受試者認為相關提示鍵(relevance key)，相關程度並不高。
91
我覺得介面提供給我的一些文章，像這個就不會是我要的…因為只是一個’
個案而已，可是這篇文章判定為高度相關，因此我覺得有些文章的相關程度，
個案而已，可是這篇文章判定為高度相關，因此我覺得有些文章的相關程度，