• 沒有找到結果。

第四章 第四章 研究 研究 研究 研究結 結 結 結果分析 果分析 果分析 果分析

N/A
N/A
Protected

Academic year: 2021

Share "第四章 第四章 研究 研究 研究 研究結 結 結 結果分析 果分析 果分析 果分析 "

Copied!
82
0
0

加載中.... (立即查看全文)

全文

(1)

第四章 第四章

第四章 第四章 研究 研究 研究 研究結 結 結 結果分析 果分析 果分析 果分析

文中首先分析受試者背景與檢索行為特性,接著評估搜尋引擎之 檢索效率、效益與受試者滿意度,並依據問題類型分析搜尋引擎對使 用者之助益,以及深入探討自動分群搜尋引擎之群集使用情形與受試 者認知,再依受試者建議與評價與分析受試者使用自動分群搜尋引擎 之情境,最後並提出研究結果之綜合討論。

第一節 第一節

第一節 第一節 受試者 受試者 受試者 受試者背景分析 背景分析 背景分析 背景分析

本節說明受試者背景特性,包括性別、教育程度、學科領域、網 路使用經驗、搜尋引擎使用經驗、資訊檢索素養程度等。分為指定任 務與自訂任務受試者,並將指定任務受試者分為 A、B 兩組,基本資 料分析項目請參見附錄九。

研究中分為指定任務與自訂任務,指定任務受試者皆為圖資所碩 一生,共計八位,男女比例為 1:7。網路使用資歷除一位未滿五年外,

其餘七位均有五年以上的上網資歷。八位受試者每天至少上網一次,

每次上網時間都在三小時以上,有五位更達五小時以上。受試者最常 使用的搜尋引擎為 Google,次常用的搜尋引擎則為 Yahoo。至於自動 分群搜尋引擎的使用經驗,僅有二位曾經使用過 Vivisimo 與 Clusty,

但使用頻率都不高。受試者對個人檢索技巧的認知多集中在普通等

級,不過八位受試者中,也有二位肯定自己的檢索技巧屬於很好的等

級。

(2)

自訂任務受試者依學科領域分為人社、理工、商管、醫農四種,

每種領域各邀請二位受試者,共計八位,男女比例為 3:5,教育程度 從碩士到博士不等,如表 4-1 所示。網路使用資歷皆在五年以上,平 均每天至少上網一次,其中有四位每次的上網時數為一到三小時之 間,三位為三到五小時,一位則在五小時以上。

表 4-1、自訂任務受試者基本資料 領域

領域 領域

領域 學科 學科 學科 學科 受試者 受試者 受試者 受試者 教育程度 教育程度 教育程度 教育程度

資傳 C02 碩一

人社 圖資 C03 碩畢

電子 C04 碩一

理工 資工 C07 博士

企管 C01 碩二

商管 財管 C06 碩一

公衛 C05 碩畢

醫農 臨床牙醫 C08 碩二

自訂任務受試者最常使用的搜尋引擎也是 Google,其次為 Yahoo 與 PubMed

1

。至於自動分群搜尋引擎的使用經驗,僅一位曾經使用過 Vivisimo,使用頻率亦不高。檢索技巧上,也多集中在普通層級,八 位受試者中,也有二位認為自己的檢索技巧屬於很好的等級。

綜合上述,十六位受試者(共計四位男性,十二位女性)皆屬於網

路重度使用者,雖然多無使用自動分群搜尋引擎之經驗,但對於搜尋

引擎之使用與檢索技巧都具有相當的經驗與能力。

(3)

第二節 第二節

第二節 第二節 檢索行為特性 檢索行為特性 檢索行為特性 檢索行為特性

由於資訊檢索行為本身即是一項很複雜的研究,其範圍包含資訊 尋求行為、資訊素養、使用者心裡、資訊管道、檢索策略、瀏覽行為、

資訊過濾……等面向。故本研究僅藉由觀察使用者使用搜尋引擎的情 形與訪談結果,嘗試瞭解受試者之瀏覽習慣、檢索結果過濾方式、以 及相關判斷依據,藉此歸納受試者之檢索行為特性。其中藉由觀察受 試者瀏覽的情形,例如瀏覽檢索結果的情況與點選檢索結果的情形,

並以訪談深入瞭解受試者是否有預先制訂檢索策略的習慣,及不同搜 尋引擎的使用是否有不同的使用習慣。

至於受試者過濾檢索結果的情況,則觀察受試者檢索任務期間所 用到之過濾方式,包括輸入查詢詞彙的情形、瀏覽檢索結果的情形、

是否使用特殊或進階的檢索功能等,並輔以訪談瞭解是否有其他過濾 方式。另外,受試者對於檢索結果的相關判斷依據,亦是藉由觀察與 訪談受試者檢索任務期間所點選之檢索結果,像是觀察受試者多點選 何種檢索結果、瀏覽檢索結果中的哪些資訊等。

一 一

一 一、 、 、 、 檢索結果之瀏覽 檢索結果之瀏覽 檢索結果之瀏覽 檢索結果之瀏覽

(一 一 一 一) 相關排序搜尋引擎之使用情形 相關排序搜尋引擎之使用情形 相關排序搜尋引擎之使用情形 相關排序搜尋引擎之使用情形

受試者最常利用搜尋引擎查找一般生活娛樂以及專業學術 性之相關資訊,但也有部分受試者不以搜尋引擎查找學術資訊,

例如商管及醫農領域偏向查詢資料庫或特定網站,搜尋引擎對他

們來說較常用於一般生活娛樂或查找圖片。(詳見附錄十)

(4)

我還是會習慣用 我還是會習慣用 我還是會習慣用

我還是會習慣用 PubMed 。可是如果要找圖 如果要找圖 如果要找圖 如果要找圖, , , ,我還是會用 我還是會用 我還是會用 我還是會用 Google 去找 去找 去找 去找, , , , Google 圖庫也蠻大的 圖庫也蠻大的。 圖庫也蠻大的 圖庫也蠻大的 (C08: 21-24)

受試者在瀏覽檢索結果時,多會依序瀏覽檢索出的結果,並 藉由相關排序即可從前面幾頁獲得所需。因此,在本研究中藉由 受試者歷程分析與訪談分析,發現受試者的瀏覽習慣可以分成:

(1) 依序瀏覽所有檢索結果;(2) 看到某頁後,再回到第一頁重新 瀏覽一遍;(3) 瀏覽到某頁為止,即停止瀏覽。(詳見附錄十、附 錄十一)

研究者:你有習慣看到第四頁 你有習慣看到第四頁 你有習慣看到第四頁、 你有習慣看到第四頁 、 、 、第五頁的時候你就會回頭 第五頁的時候你就會回頭 第五頁的時候你就會回頭 第五頁的時候你就會回頭。 。 。 。 受試者:對 對 對。 對

研究者:為什麼不會想再翻下去?

受試者:因為後面應該沒有什麼好找的 因為後面應該沒有什麼好找的 因為後面應該沒有什麼好找的。 因為後面應該沒有什麼好找的 。 。 。但是我會覺得排在 但是我會覺得排在 但是我會覺得排在 但是我會覺得排在 前面的

前面的 前面的

前面的, , , ,我會怕遺漏掉 我會怕遺漏掉 我會怕遺漏掉。 我會怕遺漏掉

研究者:可是回頭看你又幾乎一筆一筆點。

受試者:嗯。 (B02: 1-7)

研究者:那你通常會看到第幾頁?

受試者:大概五頁吧 大概五頁吧 大概五頁吧 大概五頁吧! ! ! !因為後面都差不多 因為後面都差不多 因為後面都差不多, 因為後面都差不多 , , ,都是不太相關的 都是不太相關的 都是不太相關的 都是不太相關的。

(A04: 105-106)

相關排序搜尋引擎為受用者習慣使用之搜尋引擎,使用目的 包含一般生活娛樂以及專業學術需求。但也有部分領域如商管、

醫農的受試者,僅利用相關排序搜尋引擎查找一般生活娛樂用之

網路資源,若有專業學術需求時,則會利用資料庫或搜尋特定的

網站。再者,受試者瀏覽檢索結果時,多會依序瀏覽檢索出之相

關排序結果,且大部分受試者僅藉由前面幾筆檢索結果即可獲得

所需。

(5)

(二 二 二 二) 自動分群搜尋引擎之使用情 自動分群搜尋引擎之使用情 自動分群搜尋引擎之使用情 自動分群搜尋引擎之使用情形 形 形 形

自動分群搜尋引擎所檢索出之結果分為左側群集結果,與右 側網頁連結相關排序結果(以下簡稱排序結果) ,請參考圖 3-5。

經由觀察受試者與訪談分析中發現,有一半的受試者會直接從右 側排序結果開始看起,另外一半則是從左側群集結果開始看起,

也有少部分受試者幾乎不使用左側群集。但受試者表示,雖然不 一定會去點選群集,不過還是會快速瀏覽左側群集後再去細看右 側排序結果,若無所需資訊或檢索結果太多時,受試者會再回到 左側群集重新瀏覽一遍;反之,亦有先瀏覽右側排序結果後,再 去看左側群集的情形。當兩者皆無法令受試者滿意時,則會考慮 轉換關鍵詞。(詳見附錄十、附錄十一)

研究者:像你好像都是先會從左邊這邊開始看對不對 像你好像都是先會從左邊這邊開始看對不對 像你好像都是先會從左邊這邊開始看對不對, 像你好像都是先會從左邊這邊開始看對不對 , , ,那看 那看 那看 那看 到有你要的就會點進去看

到有你要的就會點進去看 到有你要的就會點進去看

到有你要的就會點進去看, , , ,可是其實有時候點完以後 可是其實有時候點完以後 可是其實有時候點完以後 可是其實有時候點完以後 發現沒有你要的

發現沒有你要的 發現沒有你要的

發現沒有你要的, , ,你又會回來這邊 , 你又會回來這邊 你又會回來這邊 你又會回來這邊 ( 右側的全部檢索 右側的全部檢索 右側的全部檢索 右側的全部檢索 結果

結果 結果

結果 ) ,然後我看你頂多就看到大概十幾筆而已。

受試者:嗯。

研究者:可是你看完以後你又回去點左邊的,為什麼?

受試者:因為我覺得我從這左邊的 因為我覺得我從這左邊的 因為我覺得我從這左邊的, 因為我覺得我從這左邊的 , ,就是從這邊分類我覺得 , 就是從這邊分類我覺得 就是從這邊分類我覺得 就是從這邊分類我覺得 好像找不太到我要的東西

好像找不太到我要的東西 好像找不太到我要的東西

好像找不太到我要的東西, , , ,所以我就想說全部從頭看 所以我就想說全部從頭看 所以我就想說全部從頭看 所以我就想說全部從頭看 好了 好了

好了 好了, , , ,然後就從頭開始稍微看一下 然後就從頭開始稍微看一下 然後就從頭開始稍微看一下 然後就從頭開始稍微看一下, , ,我就覺得再試試 , 我就覺得再試試 我就覺得再試試 我就覺得再試試 看好了

看好了 看好了

看好了, , , ,所以我又再回去 所以我又再回去 所以我又再回去, 所以我又再回去 , , ,就是再試從左邊的群集再 就是再試從左邊的群集再 就是再試從左邊的群集再 就是再試從左邊的群集再 去點

去點 去點

去點。 。 。 。 (C01: 64-71)

其中有十一位受試者在群集中瀏覽完其排序結果後,又會回

到頂層重新瀏覽所有的排序結果,是因為:(1) 群集結果中沒有

發現符合需求的群集或相關網頁;(2) 開啟太多群集反而造成受

試者無法聚焦在原本的主題上。由於自動分群搜尋引擎一頁就包

含了二十筆檢索結果,因此大部分受試者多會點選至第二頁為

止,不過當檢索結果數量少於六十筆時,受試者都會將檢索結果

(6)

看完(詳見附錄十一)。由於自動分群搜尋引擎非受試者所習慣使 用之搜尋引擎,因此使用上較為不熟悉,再加上自動分群搜尋引 擎較相關排序搜尋引擎多了群集結果,因此增加了受試者瀏覽判 斷的時間。

此外,經由觀察受試者與訪談後發現,受試者在制訂檢索策略 時,並不會考慮搜尋引擎類型,而是依其需求及主題內容制訂檢索策 略。一些受試者表示,會在檢索任務開始前,預想可以找到哪些資料。

即使在檢索之前,未先制訂策略,但在檢索過程中也會思考不同的檢 索策略。例如捨棄搜尋引擎,轉而利用不同的資訊源,像是找尋 FRBR 相關資料時,會想到 IFLA 網站搜尋。(詳見附錄十)

我一開始沒有這樣的設定,因為我會先看題目。有啦!後面有想 到,應該就是從官方的資料可能比較 從官方的資料可能比較 從官方的資料可能比較 從官方的資料可能比較 ok 。 (A01: 8-11)

或是限定某種主題類型,例如技術報告、圖片資料等。(詳見附錄 十)

研究者:因為你要找的是比較屬於技術跟規格的東西 找的是比較屬於技術跟規格的東西 找的是比較屬於技術跟規格的東西,所以像一 找的是比較屬於技術跟規格的東西 般 .com 的網頁你也會要 的網頁你也會要 的網頁你也會要 的網頁你也會要,畢竟這類網頁比較不像機構比 較具有某種權威性。

受試者:對,但有時候他可能會有一些東西,就可能一些點可能 有相關。雖然不全然的深入,但有那個想法就夠了。

研究者:所以你覺得 .com 也可以就對了。

受試者:對。因為我們主要做的是要做新的東西 主要做的是要做新的東西 主要做的是要做新的東西, 主要做的是要做新的東西 , ,所以只要有用 , 所以只要有用 所以只要有用 所以只要有用 的

的 的

的 idea 就可以 就可以 就可以 就可以。 (C04: 11-17)

以及限定檔案格式,如 pdf、網域,如.com、年代如西元年等。(詳

見附錄十)

(7)

應該就是網頁 網頁 網頁 網頁為主 為主 為主 為主, , ,然後 , 然後 然後 然後 pdf 是可以看 是可以看 是可以看 是可以看, , , ,可是 可是 可是 可是 ppt 我會覺得他可能 我會覺得他可能 我會覺得他可能 我會覺得他可能 就是講比較簡略這樣子

就是講比較簡略這樣子 就是講比較簡略這樣子

就是講比較簡略這樣子。 。 。 。 (B03: 5-6)

亦即受試者制訂檢索策略時並不會受到搜尋引擎類型影響,而是 針對需求與主題內容制訂檢索策。檢索策略之制訂不一定會在任務開 始前就設定好,更多時候會在檢索進行中慢慢成形,例如利用不同的 資訊源、限定主題類型與檔案格式等策略。

二 二 二

二、 、 、 、 檢索結果之 檢索結果之 檢索結果之 檢索結果之過濾 過濾 過濾 過濾

受試者多會採取重新輸入關鍵詞的方式過濾檢索結果,例如轉換 關鍵詞、加長關鍵詞、限制關鍵詞(Comma),設法讓檢索詞彙更加精 準以減少不相關的檢索結果。(詳見附錄十二)

研究者:所以比方說你平常在 Google 找資料的話,過濾資訊的方 過濾資訊的方 過濾資訊的方 過濾資訊的方 式就是下

式就是下 式就是下

式就是下關鍵詞 關鍵詞 關鍵詞,拼命換關鍵詞? 關鍵詞

受試者:不然就增加一些其他 不然就增加一些其他 不然就增加一些其他關鍵詞 不然就增加一些其他 關鍵詞 關鍵詞 關鍵詞去找 去找 去找 去找。 (C04: 97-99)

我用 我用 我用

我用 Google 的時候一定會把他 的時候一定會把他 的時候一定會把他 的時候一定會把他 comma 起來 起來 起來 起來 。(B01: 32)

再加上受試者認為越後面的排序相關性越低,以及有過多的檢索 結果,所以為了節省時間與力氣只看排序結果的前幾頁,放棄後面的 資訊,只選擇前面幾頁相關性高且有可能看完的數量。(詳見附錄十二)

受試者:因為大概抓五頁就差不多了 大概抓五頁就差不多了 大概抓五頁就差不多了。 大概抓五頁就差不多了 研究者:你覺得後面不會……

受試者:就後面 就後面 就後面…… 就後面 …… …… ……覺得關連性會比較低 覺得關連性會比較低 覺得關連性會比較低 覺得關連性會比較低。 (B03: 50-52)

(8)

或是以檢索結果的來源進行過濾,例如機構的權威性、網頁類 型、資源種類等。(詳見附錄十二)

研 究 者 : 所 以 你 會 針 對 他 的 網 頁 的 類 型 你 會 針 對 他 的 網 頁 的 類 型 你 會 針 對 他 的 網 頁 的 類 型 你 會 針 對 他 的 網 頁 的 類 型 , , , , 網 頁 的 網 頁 的 網 頁 的 網 頁 的 type 。 。 。 。 就 就 就 就 是

是 是

是 .org 、 、 、 、 .com 的 的 的 的, , ,還是 , 還是 還是 還是 blog 的這種 的這種 的這種 的這種。 。 。你資料判斷的來源 。 你資料判斷的來源 你資料判斷的來源 你資料判斷的來源 會依據他的

會依據他的 會依據他的

會依據他的 source 是從哪來的 是從哪來的 是從哪來的 是從哪來的, , ,所以你還會重視他的權 , 所以你還會重視他的權 所以你還會重視他的權 所以你還會重視他的權 威性

威性 威性 威性。 。 。 。 受試者:嗯嗯嗯嗯 嗯嗯嗯嗯 嗯嗯嗯嗯 嗯嗯嗯嗯 ~

研究者:那所以像 像 像 像 .com 、 、個人的 、 、 個人的 個人的 個人的, , , ,你也是就是還是一樣都是不要 你也是就是還是一樣都是不要 你也是就是還是一樣都是不要 你也是就是還是一樣都是不要 的 的 的

的, , , ,不管 不管 不管 不管……

受試者:會考慮 會考慮 會考慮。 會考慮 。 。 。會看他寫的就是很像那種談話性的 會看他寫的就是很像那種談話性的 會看他寫的就是很像那種談話性的 會看他寫的就是很像那種談話性的, , , ,如果是很 如果是很 如果是很 如果是很 像談話性的就不會覺得那個是很重要的資料

像談話性的就不會覺得那個是很重要的資料 像談話性的就不會覺得那個是很重要的資料

像談話性的就不會覺得那個是很重要的資料。 (B02:

97-103)

以及利用語言進行過濾,像是非英語或無法理解的語言皆一律排 除在外。(詳見附錄十二)

受試者:…… …… ……因為我覺得那個不是英文 …… 覺得那個不是英文 覺得那個不是英文 覺得那個不是英文。

研究者:所以你會選擇語言?

受試者:對。 (C01: 45-47)

設定範圍、利用進階搜尋,限定要找範圍可能包括年代、語言、

文件類型等。(詳見附錄十二)

受試者:……比如說今天想看某個論文,就會打像那種可以搜尋 就會打像那種可以搜尋 就會打像那種可以搜尋 就會打像那種可以搜尋 pdf 檔或 檔或 檔或 檔或 word 檔的 檔的 檔的 檔的。

研究者:所以你會鎖定文件類型 所以你會鎖定文件類型 所以你會鎖定文件類型? 所以你會鎖定文件類型 ? ? ? 受試者:對對對 對對對 對對對…… 對對對 (C06: 6-9)

藉由他人協助給予提示,例如商管領域受試者多以資料庫為主,

因為在網路上找資料往往太耗費時間且效益不高,但若藉由老師提示

則能省下許多時間與提升檢索的效益。(詳見附錄十二)

(9)

看老師就是會不會給我們一點提示 看老師就是會不會給我們一點提示 看老師就是會不會給我們一點提示

看老師就是會不會給我們一點提示, , , ,不然如果不理我們就會花超 不然如果不理我們就會花超 不然如果不理我們就會花超 不然如果不理我們就會花超 多時間的

多時間的 多時間的

多時間的。 。 。 。 (C06: 90-94)

綜合上述分析可以發現,受試者過濾檢索結果有六種方式,最常 用利用關鍵詞縮小範圍使檢索結果更加精準,其次為節省時間與精力 僅瀏覽前面頁數,或是利用資訊來源或語言判斷所需,亦有使用進階 功能限定範圍、年代、文件類型的過濾方式,甚至是經由他人提示以 節省時間提升效益。

三 三 三

三、 、 、 、 檢索結果之相關判斷依據 檢索結果之相關判斷依據 檢索結果之相關判斷依據 檢索結果之相關判斷依據

搜尋引擎檢索結果所提供的標題(Title)與摘要(Snippy),為受試者 判斷相關最重要之依據。此外,標題與摘要中顯示的粗體字(High-Light) 或其他提示功能,亦為幫助受試者判斷相關之重要依據。(詳見附錄十 三)

受試者:就會從這些 會從這些 會從這些 會從這些 title 看 看,然後想一想、一筆一筆看一下哪一 看 看 個會比較相關。

研究者:所以你在判斷上也是從標題跟摘要會先看 你在判斷上也是從標題跟摘要會先看 你在判斷上也是從標題跟摘要會先看, 你在判斷上也是從標題跟摘要會先看 , , ,就是粗體字 就是粗體字 就是粗體字 就是粗體字。 。 。 。 受試者:嗯哼 嗯哼 嗯哼。 嗯哼 (A03: 117-120)

資料來源亦為受試者判斷相關的方式之一,例如機構網站和 Wiki 等較為受試者信任的特定網站,認為這些網站具有權威性,應與檢索 主題較為相關。(詳見附錄十三)

因為還蠻信任 還蠻信任 還蠻信任 還蠻信任 Wiki 的資料。 (A03: 36)

因為我看他標題 看他標題 看他標題 看他標題嘛,如果機構的話就會點進去 如果機構的話就會點進去 如果機構的話就會點進去 如果機構的話就會點進去看看。 (A04: 46)

(10)

或是以內容本身來判斷,例如受試者預設之判斷條件,會依圖 片、公式、表格、數據等評斷,不過最重要的還是依資源本身是否符 合受試者需求而定。(詳見附錄十三)

先看有沒有圖 先看有沒有圖 先看有沒有圖

先看有沒有圖, , , ,後來再看他的標題 後來再看他的標題 後來再看他的標題 後來再看他的標題, , , ,會大概瞄一下內容 會大概瞄一下內容 會大概瞄一下內容 會大概瞄一下內容 。(C05:

27-28)

因此,受試者判斷檢索結果相關之依據多在於使用標題及摘要,

及系統提示粗體字功能,只要與查詢詞彙完全吻合者,受試者極容易

判定為相關。或是依據資料來源判斷權威性,認為權威性較高之資源

相關性亦較為準確。不過最重要的還是以內容本身來判斷,依據受試

者預先設定之判斷條件與需求而定,例如圖片、公式或某些特定主

題,只要符合該條件受試者即判定為相關。

(11)

第三節 第三節

第三節 第三節 檢索效率分析 檢索效率分析 檢索效率分析 檢索效率分析

本節藉由檢索歷程(附錄十四)及搜尋引擎評估問卷(附錄五),分析 相關排序搜尋引擎(RLS)及自動分群搜尋引擎(Vivisimoo)之檢索效 率。檢索歷程分析項目包括:查詢詞彙(Query)、檢索主題熟悉度 (Familiarity)、轉換詞彙時間(Query Change Time)、相關網頁(URL)、

相關網頁之資訊品質

2

(Quality)、找到相關網頁的時間(Seeking Time)、

點選群集次數(Cluster Clicks)、找尋路徑(Path)、點選次數(Click)、開 啟網頁次數(Webpage Clicks)等(詳見附錄十五)。

搜尋引擎之檢索效率分析,除利用分析指定任務檢索歷程之完成 時間、相關網頁、找到第一筆相關網頁時間、任務完成點擊次數及任 務完成開啟網址數外。並以搜尋引擎評估表分析指定及自訂任務受試 者之主觀認同度,包括受試者認知之瀏覽檢索結果速度與受試者使用 直覺之檢索效率。

據檢索歷程分析結果發現,RLS 不論在完成時間、找到第一筆相 關網頁時間及尋獲相關網頁數量上,皆優於 Vivisimo 的表現,參考表 4-2。此外,在任務問題完成度方面,以表 4-3 指定任務時間內未完成 任務次數來看,其中 RLS 平均每次任務中有四人無法在時間內完成,

Vivisimo 則平均每次任務中有五人,故以 RLS 之完成度較高。

(12)

表 4-2、指定任務之搜尋引擎檢索效率 搜尋引擎 搜尋引擎

搜尋引擎 搜尋引擎 完成時間 完成時間 完成時間 完成時間 相關網頁 相關網頁 相關網頁 相關網頁 資訊品質 資訊品質 資訊品質 第一筆網 資訊品質 第一筆網 第一筆網 第一筆網址 址 址 址 點擊次數 點擊次數 點擊次數 點擊次數 開啟網頁 開啟網頁 開啟網頁 開啟網頁 RLS 4'15'' 4.63 3.48 1'07'' 20.38 8.59 Vivisimo 4'33'' 2.96 3.48 1'39'' 19.76 6.30

表 4-3、指定任務時間內未完成任務人數 搜尋引擎

搜尋引擎 搜尋引擎

搜尋引擎 問題一 問題一 問題一 問題一 問題二 問題二 問題二 問題二 問題三 問題三 問題三 問題三 問題四 問題四 問題四 問題四 平均 平均 平均 平均

RLS 4 5 3 5 4

Vivisimo 5 4 6 6 5

受試者主觀認知包含指定任務及自訂任務受試者,可由以下兩點 來看:

一 一 一

一、 、 、 、 受試者認知之 受試者認知之 受試者認知之 受試者認知之瀏覽 瀏覽 瀏覽檢索結果 瀏覽 檢索結果 檢索結果 檢索結果速度 速度 速度 速度

受試者認為無論何種類型之搜尋引擎皆能快速瀏覽檢索結果,但 指定任務受試者認為相關排序搜尋引擎有較佳之檢索效率,而自訂任 務受試者則較滿意自動分群搜尋引擎。

表 4-4、瀏覽速度與檢索效率之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者

受試者 受試者

受試者 回覆 回覆 回覆 回覆

次數 次數

次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度

3

次數 次數 次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 同意 6 (75%) 6 (75%)

指定

任務 不同意 2 (25%)

3.50

1 (25%)

3.38

自訂 同意 7 (87.5%) 3.38 6 (75%) 3.63

(13)

任務 不同意 1 (12.5%) 1 (25%) 同意 13 (81.25%) 12 (75%) 整體

不同意 3 (18.75%)

3.44

2 (25%)

3.51

以整體認知來看,受試者則認為自動分群搜尋引擎有較佳之檢索 效率,能快速瀏覽檢索結果。受試者亦提到使用自動分群搜尋引擎的 感覺較為輕鬆,較能輕鬆瀏覽、快速發現從何處開始,且有助於不相 關資訊的過濾。(詳見附錄十六)

我覺得看 看 看 看 Vivisimo 這個好像比較輕 這個好像比較輕 這個好像比較輕 這個好像比較輕鬆 鬆 鬆 鬆,就是以這邊(右邊的排序) 來講他這邊(右邊的排序)會整理的讓人家覺得有點亂。 (A02:

33-34)

受試者:我覺得可以快速看有沒有我想要的 可以快速看有沒有我想要的 可以快速看有沒有我想要的, 可以快速看有沒有我想要的 , , ,就可能我看完他那 就可能我看完他那 就可能我看完他那 就可能我看完他那 個

個 個

個 ( 群集 群集 群集 群集 ) 就覺得好像沒有我要的那種感覺 就覺得好像沒有我要的那種感覺。 就覺得好像沒有我要的那種感覺 就覺得好像沒有我要的那種感覺 研究者:所以你就不會想再去看更深入的 ( 往下層點 ) ?

受試者:對。其實像 hotle 這種什麼的,可能就根本不會點進去。

(C01: 167-170)

因此,就受試者認知之瀏覽檢索結果速度上,指定任務受試者認 為相關排序搜尋引擎較佳,自訂任務受試者則反之。但就兩項任務之 整體認同度來看,仍以自動分群搜尋引擎獲得較高的認同度。

二 二 二

二、 、 、 、 受試者之 受試者之 受試者之 受試者之使用直覺 使用直覺 使用直覺 使用直覺與檢索效率 與檢索效率 與檢索效率 與檢索效率

對於使用直覺,受試者則有不同意見。指定任務受試者認為兩者

皆能符合使用直覺,效果不具差異;但自訂任務受試者,則認為相關

排序搜尋引擎較符合使用直覺,對於自動分群搜尋引擎是否更符合使

用直覺則持保留態度。

(14)

表 4-5、使用直覺與檢索效率之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者 受試者

受試者 受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 次數 次數 次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 同意 7 (87.5%) 8 (100%)

指定

任務 不同意 1 (12.5%)

3.38

0 (0%)

3.38

同意 7 (87.5%) 4 (50%) 自訂

任務 不同意 1 (12.5%)

3.25

4 (50%)

3

同意 14 (87.5%) 12 (75%) 整體

不同意 2 (12.5%)

3.32

4 (25%)

3.19

不過以整體認知來看,受試者還是覺得相關排序搜尋引擎比較符 合使用直覺。對自動分群搜尋引擎亦持正面肯定態度,認為自動分群 可以幫助受試者找得更精確,以及過濾不相關資訊,加快瀏覽及找到 相關資訊的速度。(詳見附錄十六)

研究者:…… …… ……所以你覺得他對你是有幫助。 ……

受試者:對。

研究者 : 可以幫助你看得更快 可以幫助你看得更快 可以幫助你看得更快 可以幫助你看得更快? ? ?還是幫助你可以讓你找得更好 ? 還是幫助你可以讓你找得更好 還是幫助你可以讓你找得更好 還是幫助你可以讓你找得更好? ? ? ? 更理解你要找的主題的內容是什麼

更理解你要找的主題的內容是什麼 更理解你要找的主題的內容是什麼 更理解你要找的主題的內容是什麼? ? ? ?

受試者:看得更快 看得更快 看得更快 看得更快。 。 。 。可以馬上看得出來大概有哪一些東西 可以馬上看得出來大概有哪一些東西 可以馬上看得出來大概有哪一些東西 可以馬上看得出來大概有哪一些東西。 (B02:

132-136)

受試者對使用直覺意見分歧,指定任務受試者認為兩者沒有差 異,自訂任務受試者則認為自動分群搜尋引擎較不具使用的直覺性。

因此整體認同度,則以相關排序搜尋引擎較符合受者之使用直覺。

(15)

表 4-6、檢索效率之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 檢索效

檢索效 檢索效 檢索效 率認知 率認知 率認知

率認知 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 次數 次數(百分比 次數 次數 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 同意 13 (81.25%) 12 (75%)

項目一

不同意 3 (18.75%)

3.44

2 (25%)

3.51

同意 14 (87.5%) 12 (75%) 項目二

不同意 2 (12.5%)

3.32

4 (25%)

3.19

同意 27 (84.38%) 24 (75%) 整體

不同意 5 (15.62%)

3.38

6 (25%)

3.35

綜合以上兩點,表 4-6 檢索效率之認同度來看,受試者在檢索效

率主觀認知上,亦認同相關排序搜尋引擎有較高之檢索效率。因此搜

尋引擎之檢索效率表現,無論由客觀檢索歷程或是主觀問卷評估的結

果,皆以相關排序搜尋引擎有較佳之檢索效率。

(16)

第四節 第四節

第四節 第四節 檢索效益分析 檢索效益分析 檢索效益分析 檢索效益分析

本節藉由分析指定任務之檢索歷程(附錄十五)之資訊品質、尋找 相關網頁時間,並利用尋得之相關網頁數、點擊次數、開啟網頁數等,

整理歸納出尋找每筆相關網頁所需耗費之時間,搜尋每筆相關網頁之 點擊次數,以及搜尋每筆相關網頁所需開啟之網頁數,如表 4-7 所示。

RLS 與 Vivisimo 之資訊品質皆達到好以上的等級,而在搜尋到每 筆相關網頁所花的時間,則以 RLS 每 56 秒就能找到一筆相關網頁表 現較佳;點擊次數亦以 RLS,只需點擊不到五次,開啟不到兩筆網頁 之表現,優於 Vivisimo 需點擊五次以上,並開啟兩筆以上網頁才能找 到一筆相關網頁來的節省時間與精力。

表 4-7、指定任務之搜尋引擎檢索效益

搜尋引擎 搜尋引擎 搜尋引擎

搜尋引擎 資訊品質 資訊品質 資訊品質 資訊品質 每筆 每筆 每筆 每筆相關網 相關網 相關網 相關網 頁 頁

頁 頁花費時間 花費時間 花費時間 花費時間 搜尋 搜尋 搜尋

搜尋相關網頁 相關網頁 相關網頁 相關網頁 的點擊次數 的點擊次數 的點擊次數 的點擊次數

搜尋 搜尋 搜尋

搜尋相關網頁 相關網頁 相關網頁的 相關網頁 的 的 的 開啟網頁筆數 開啟網頁筆數 開啟網頁筆數 開啟網頁筆數 RLS 3.48 56'' 4.53 1.92 Vivisimo 3.48 1'31'' 5.15 2.14

主觀認知部分,則由搜尋引擎評估問卷(附錄五)的七個問題來看:

一 一

一 一、 、 、 、 檢索主題 檢索主題 檢索主題 檢索主題整體概念 整體概念 整體概念 整體概念的瞭解 的瞭解 的瞭解 的瞭解

指定任務受試者認為,自動分群搜尋引擎最能夠幫助瞭解檢索主

題的整體概念;而自訂任務受試者雖然同意兩種搜尋引擎都能幫助瞭

(17)

擎。

表 4-8、檢索主題概念瞭解之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自 自 自 自動分群搜尋引擎 動分群搜尋引擎 動分群搜尋引擎 動分群搜尋引擎 受試者 受試者

受試者 受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 次數 次數(百分比 次數 次數 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 同意 2 (25%) 7 (87.5%)

指定

任務 不同意 6 (75%)

2.38

1 (12.5%)

3.5

同意 6 (75%) 7 (87.5%) 自訂

任務 不同意 2 (25%)

2.88

1 (12.5%)

3.38

同意 8 (50%) 14 (87.5%) 整體

不同意 8 (50%)

2.63

2 (12.5%)

3.44

受試者亦表示,利用自動分群搜尋引擎可以看到檢索主題的整體 性,相較於相關排序搜尋引擎屬於線性概念,自動化分群搜尋引擎則 能提供多維度的思考。(詳見附錄十六)

因為我覺得這個分群的 這個分群的 這個分群的 這個分群的, , , ,可能比較會有整體 可能比較會有整體 可能比較會有整體 可能比較會有整體。比較有整體的感覺 吧,然後這種 (RLS) 的就是比較線性。 (B04: 95-96)

因此就受試者整體認知來說,自動分群搜尋引擎獲得較高的認

同,認為自動分群搜尋引比相關排序搜尋引擎更能夠幫助受試者瞭解

檢索主題的整體概念。

(18)

二 二

二 二、 、 、 、 檢索結果之 檢索結果之 檢索結果之 檢索結果之關連 關連 關連 關連瞭解 瞭解 瞭解 瞭解

指定任務受試者認為自動分群搜尋引擎能夠幫助瞭解檢索結果 之關連,但相關排序搜尋引擎則無法達成此作用。但自訂任務受試者 表示兩種搜尋引擎皆能有所幫助,不過以自動分群搜尋引擎之認同度 較高。

表 4-9、檢索結果關連瞭解之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者

受試者 受試者

受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 次數 次數(百分比 次數 次數 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 同意 3 (37.5%) 7 (87.5%)

指定

任務 不同意 5 (62.5%)

2.63

1 (12.5%)

3.38

同意 7 (87.5%) 8 (100%) 自訂

任務 不同意 1 (12.5%)

3.13

0 (100%)

3.88 同意 10 (62.5%) 15 (93.75%)

整體 不同意 6 (37.5%) 2.88

1 (6.25%) 3.63

亦即,受試者皆同意自動分群搜尋引擎更能夠幫助受者瞭解檢索 結果之關連。例如指定問題三、四之檢索主題具有多元意義,而受試 者就能藉由 Vivisimo 的群集結果更加瞭解不同主題間的關連。(詳見 附錄十六)

受試者:比方說像是 ontology , ,就我已經很清楚 , , 就我已經很清楚 就我已經很清楚 就我已經很清楚, , , ,其實我只要那個 其實我只要那個 其實我只要那個 其實我只要那個 OWL 那個網站 那個網站 那個網站 那個網站, , , ,那其他的我只是興趣稍微看一下這樣 那其他的我只是興趣稍微看一下這樣 那其他的我只是興趣稍微看一下這樣。 那其他的我只是興趣稍微看一下這樣 研究者:所以你覺得他有把 你覺得他有把 你覺得他有把 你覺得他有把 ontology 的概念給表現出來 的概念給表現出來 的概念給表現出來 的概念給表現出來? ? ? ?

受試者:對 對 對 對, , , ,他有他有 他有他有 他有他有 他有他有。 (A03: 178-181)

(19)

三 三

三 三、 、 、 、 檢索主題意涵的瞭解 檢索主題意涵的瞭解 檢索主題意涵的瞭解 檢索主題意涵的瞭解

指定任務受試者同意兩種搜尋引擎皆能幫助瞭解檢索主題之意 涵,其中又以自動分群搜尋引擎有較高之認同度;對自訂任務受試者 來說,雖然較認同相關排序搜尋引擎之表現,但兩者皆未達認同之程 度。

表 4-10、檢索主題意涵瞭解之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者

受試者 受試者

受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 次數 次數 次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 同意 6 (75%) 7 (87.5%)

指定

任務 不同意 2 (25%)

3.13

1 (12.5%)

3.38

同意 6 (75%) 4 (50%) 自訂

任務 不同意 2 (25%)

2.75

4 (50%)

2.87

同意 12 (75%) 11 (68.75%) 整體 不同意 4 (25%) 2.94

5 (31.25%) 3.13

受試者亦表示,在檢索不熟悉的主題時,自動分群搜尋引擎能夠 提供更大的幫助,能讓使用者更加瞭解主題之意涵。(詳見附錄十六)

因為我覺得他這邊,其實我對數位圖書館沒有很熟 我對數位圖書館沒有很熟 我對數位圖書館沒有很熟 我對數位圖書館沒有很熟, , ,然後我剛剛 , 然後我剛剛 然後我剛剛 然後我剛剛 在找數位圖書館的時候比較有點困難

在找數位圖書館的時候比較有點困難 在找數位圖書館的時候比較有點困難

在找數位圖書館的時候比較有點困難, , , ,但是這邊分群對我幫助很 但是這邊分群對我幫助很 但是這邊分群對我幫助很 但是這邊分群對我幫助很 大

大 大

大。 (A03: 45-46)

研究者:那除了這個以外,你會覺得他有讓你找得更好嗎?如果 就今天這四個任務,你覺得他找到的東西。

受試者:我覺得對我不熟的題目可以 我覺得對我不熟的題目可以 我覺得對我不熟的題目可以ㄝ 我覺得對我不熟的題目可以 ㄝ ㄝ ㄝ, , ,但我熟的就比較不行 , 但我熟的就比較不行 但我熟的就比較不行。 但我熟的就比較不行

(B02: 60-62)

(20)

所以就整體認知來看,受試者認為自動分群搜尋引擎較相關排序 搜尋引擎更能夠幫助瞭解主題之意涵。

四 四 四

四、 、 、 、 意外發掘之相關主題 意外發掘之相關主題 意外發掘之相關主題 意外發掘之相關主題

受試者同意藉由搜尋引擎,能獲得原本不知道卻與檢索主題相關 的其他主題。指定任務受試者認為自動分群搜尋引擎幫助較大,自訂 任務受試者則認為相關排序搜尋引擎較有幫助。

表 4-11、意外發掘相關主題之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自 自 自 自動分群搜尋引擎 動分群搜尋引擎 動分群搜尋引擎 動分群搜尋引擎 受試者

受試者 受試者

受試者 回覆 回覆 回覆 回覆

次數 次數

次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 次數 次數(百分比 次數 次數 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 同意 8 (100%) 7 (87.5%)

指定

任務 不同意 0 (0%)

3.5

1 (12.5%)

3.63

同意 6 (75%) 5 (62.5%) 自訂

任務 不同意 2 (25%)

3.5

3 (37.5%)

3.38

同意 14 (87.5%) 12 (75%) 整體

不同意 2 (12.5%)

3.5

4 (25%)

3.51

就整體認知來說,受試者對使用這兩種搜尋引擎,而意外發掘相

關主題的認同度方面並無差異。不過受試者表示,自動分群搜尋引擎

會分出一些沒有想過卻與主題相關之群集,這些群集亦刺激受試者更

多的聯想。(詳見附錄十六)

(21)

有什麼差異?差很多,就是旁邊那個分類,就是他會把一些你不 他會把一些你不 他會把一些你不 他會把一些你不 會想到的但是卻跟主題有關的東西列出來

會想到的但是卻跟主題有關的東西列出來 會想到的但是卻跟主題有關的東西列出來

會想到的但是卻跟主題有關的東西列出來。 (B01: 20-25)

研究者:可是你可以藉由 你可以藉由 你可以藉由 你可以藉由 Vivisimo 的呈現方式 的呈現方式 的呈現方式 的呈現方式, , , ,可以讓你想到些 可以讓你想到些 可以讓你想到些 可以讓你想到些 在

在 在

在 Google 沒有想到到的主題 沒有想到到的主題? 沒有想到到的主題 沒有想到到的主題 ? ? ? 受試者:嗯 嗯 嗯 嗯, , , ,我覺得會 我覺得會 我覺得會 我覺得會。 。 。 。 (C01: 19-21)

五 五 五

五、 、 、 、意外發掘之相關檢索結果 意外發掘之相關檢索結果 意外發掘之相關檢索結果 意外發掘之相關檢索結果

兩種搜尋引擎皆能讓受試者獲得先前所沒有預期到的結果,無論 是指定任務或自訂任務,受試者皆認為自動分群搜尋引擎有比相關排 序搜尋引擎更好的表現。

表 4-12、意外發掘相關檢索結果之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者 受試者

受試者 受試者 回覆 回覆 回覆 回覆

次數 次數

次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 次數 次數(百分比 次數 次數 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 同意 7 (87.5%) 8 (100%)

指定

任務 不同意 1 (12.5%)

3.25

0 (0%)

3.75

同意 6 (75%) 5 (62.5%) 自訂

任務 不同意 2 (25%)

3.25

3 (37.5%)

3.63

同意 13 (81.25%) 13 (81.25%) 整體

不同意 3 (18.75%)

3.25

3 (18.75%)

3.69

使用 Vivisimmo 時,受試者會發現一些有趣新奇的東西,或許與

檢索主題無關,但實際上仍屬於受試者之需求,只是當時受試者並沒

有想到有這樣的概念,反而經由檢索中意外發掘相關的檢索結果。(詳

見附錄十六)

(22)

喔!沒有,那個是我在想很妙,因為 ontology 可以 可以 可以 可以 download 。沒 有就是個人,因為我之前寫 因為我之前寫 因為我之前寫 因為我之前寫 ontology 的時候我是寫 的時候我是寫 的時候我是寫 的時候我是寫 network 這個 這個 這個 這個 ontology 的部分 的部分, 的部分 的部分 , ,他有就是有 , 他有就是有 他有就是有 他有就是有 download 一個版本 一個版本 一個版本 一個版本, , ,然 , 然 然 然後可以讓你 後可以讓你 後可以讓你 後可以讓你 建構

建構 建構

建構 ontology 。 。 。 。我就是在想說 我就是在想說 我就是在想說, 我就是在想說 , ,他那個 , 他那個 他那個 他那個 download 會不會就是有很 會不會就是有很 會不會就是有很 會不會就是有很 多那個

多那個 多那個

多那個, , , ,就是每一個網站每一個 就是每一個網站每一個 就是每一個網站每一個 就是每一個網站每一個 ontology 的東西都可以 的東西都可以 的東西都可以 的東西都可以 download , , , , 就是很好奇而已

就是很好奇而已 就是很好奇而已

就是很好奇而已。 (A03: 94-106)

忽然有發現到採樣的部分 忽然有發現到採樣的部分 忽然有發現到採樣的部分

忽然有發現到採樣的部分。 。 。 。因為我原本只是要看環境的部分 因為我原本只是要看環境的部分 因為我原本只是要看環境的部分 因為我原本只是要看環境的部分, , , ,可 可 可 可 是他 是他

是他 是他 (Vivisimo) 後來有跑出採樣的部分跟分析的方法 後來有跑出採樣的部分跟分析的方法 後來有跑出採樣的部分跟分析的方法 後來有跑出採樣的部分跟分析的方法, , , ,然後我覺得 然後我覺得 然後我覺得 然後我覺得 其實這個我也是要找的

其實這個我也是要找的 其實這個我也是要找的

其實這個我也是要找的, , ,就忽然有我就有用一下 , 就忽然有我就有用一下 就忽然有我就有用一下 就忽然有我就有用一下。 (C05: 72-78)

以受試者整體認知來看,皆同意自動分群搜尋引擎比相關排序搜 尋引擎更能意外發現其他相關的檢索結果,更能帶給受試者意想不到 的聯想與新發現。

六 六 六

六、 、 、 、 檢索結果之完整性 檢索結果之完整性 檢索結果之完整性 檢索結果之完整性

對於是否能找到所有與檢索主題相關的資訊方面(亦即 IR 之求全 率),指定任務受試者認為兩者表現差異不大,不過自訂任務受試者卻 認為自動分群搜尋引擎的表現較差,較無法完整找到所有與檢索主題 相關的資訊。

表 4-13、檢索結果完整性之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者

受試者 受試者

受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 次數 次數 次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 同意 6 (75%) 5 (62.5%)

指定

任務 不同意 2 (25%) 3

3 (37.5%) 3 同意 7 (87.5%) 3 (37.5%)

自訂

任務 不同意 1 (12.5%) 3.25

5 (62.5%) 2.63 同意 13 (81.25%) 8 (50%)

整體 不同意 3 (18.75%) 3.13

8 (50%) 2.82

(23)

受試者表示,會有這樣的想法是因為對自動分群搜尋引擎還沒有 那麼熟悉,對於該搜尋引擎還在摸索階段,可能需要一些時間才會對 其較有信任感。(詳見附錄十六)

也不是排斥,就是會覺得沒這麼熟悉 會覺得沒這麼熟悉 會覺得沒這麼熟悉,覺得就半個小時沒有辦法 會覺得沒這麼熟悉 可以讓我跟他很熟悉。像如果我用 Google 我就會覺得,因為他很 多所以我一直往下看應該可以找到我要的,就是如果我多看一點 的話,或者是多用一些關鍵詞去搜,我可能就會找得比較多。因 因 因 因 為對他 為對他

為對他 為對他 (Vivisimo) 我還沒有很有信任感 我還沒有很有信任感 我還沒有很有信任感 我還沒有很有信任感, , , ,所以我就可能會這邊看看 所以我就可能會這邊看看 所以我就可能會這邊看看 所以我就可能會這邊看看 那邊看看

那邊看看 那邊看看

那邊看看, , , ,就還有點像是在試用他那種感覺 就還有點像是在試用他那種感覺 就還有點像是在試用他那種感覺 就還有點像是在試用他那種感覺, , , ,所以我就是沒有辦 所以我就是沒有辦 所以我就是沒有辦 所以我就是沒有辦 法當作很一般的搜尋來用

法當作很一般的搜尋來用 法當作很一般的搜尋來用

法當作很一般的搜尋來用。我還是有在仔細看啊,可是就是還是 多少有點在試用的感覺。 (C01: 86-92)

整體來說,受試者對檢索結果完整性之認知,則認為利用相關排 序搜尋引擎較能找到所有之相關資訊。

七 七 七

七、 、 、 、 檢索結果之相關性 檢索結果之相關性 檢索結果之相關性 檢索結果之相關性

對指定任務受試者來說,兩種搜尋引擎皆能找到其所需且與檢索

主題相關的資訊(亦即 IR 之求準率),其中又認為自動分群搜尋引擎表

現較好;但對自訂任務受試者來說,反而認為自動分群搜尋引擎比較

不能滿足此方面的需要。究其原因,與前述相同,在於受試者對自動

分群搜尋引擎之不熟悉,因此無論對其使用或檢索結果方面仍較不具

信心。

(24)

表 4-14、檢索結果相關性之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者 受試者

受試者 受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比) 百分比 認同度 認同度 認同度 認同度 次數 次數 次數 次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 同意 7 (87.5%) 7 (87.5%)

指定

任務 不同意 1 (12.5%)

3.38

1 (12.5%)

3.5

同意 5 (62.5%) 3 (37.5%) 自訂

任務 不同意 3 (37.5%)

2.88

5 (62.5%)

2.38

同意 12 (75%) 10 (62.5%) 整體

不同意 4 (25%)

3.13

6 (37.5%)

2.94

雖然自訂任務受試者對自動分群搜尋引擎之檢索結果相關性認 同度較低,但仍抱持肯定的態度,認為其所找到的資訊仍與檢索主題 相關,只是剛好不是受試者所需要。(詳見附錄十六)

這一個 這一個

這一個 這一個 (Vivisimo) 他會幫你分類 他會幫你分類, 他會幫你分類 他會幫你分類 , , ,後來大部分這 後來大部分這 後來大部分這 後來大部分這些找到的都是我要 些找到的都是我要 些找到的都是我要 些找到的都是我要 的

的 的

的。 (C05: 34-38) 但可能是他也是 但可能是他也是 但可能是他也是

但可能是他也是, , , ,但只是他不是我要做的 但只是他不是我要做的 但只是他不是我要做的。 但只是他不是我要做的 。 。雖然他不是我要的主 。 雖然他不是我要的主 雖然他不是我要的主 雖然他不是我要的主 題

題 題

題, , ,但他還是跟那個 , 但他還是跟那個 但他還是跟那個 但他還是跟那個 ( 群集 群集 群集 群集 ) 有相關 有相關。 有相關 有相關 (C04: 22-24)

因此就受試者整體認知,仍以相關排序搜尋引擎在檢索結果之相

關性上,有較高的認同度,認為相關排序搜尋引擎較所能找到的都是

與檢索主題相關的資訊。

(25)

表 4-15、檢索效益之認同度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 檢索效

檢索效 檢索效 檢索效 益認知 益認知 益認知

益認知 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 次數 次數(百分比 次數 次數 百分比 百分比 百分比) 認同度 認同度 認同度 認同度 同意 8 (50%) 14 (87.5%)

項目一

不同意 8 (50%)

2.63

2 (12.5%)

3.44

同意 10 (62.5%) 15 (93.75%) 項目二

不同意 6 (37.5%)

2.88

1 (6.25%)

3.63

同意 12 (75%) 11 (68.75%) 項目三

不同意 4 (25%)

2.94

5 (31.25%)

3.13

同意 14 (87.5%) 12 (75%) 項目四

不同意 2 (12.5%)

3.5

4 (25%)

3.51

同意 13 (81.25%) 13 (81.25%) 項目五

不同意 3 (18.75%)

3.25

3 (18.75%)

3.69

同意 13 (81.25%) 8 (50%) 項目六

不同意 3 (18.75%)

3.13

8 (50%)

2.82

同意 12 (75%) 10 (62.5%) 項目七

不同意 4 (25%)

3.13

6 (37.5%)

2.94

同意 82 (73.21%) 83 (74.1%) 整體 不同意 30 (26.39%)

3.07

29 (25.9%)

3.31

綜合上述七項,如表 4-15 檢索效益之認同度所示,相關排序只有

在最後兩項檢索結果之完整性與相關性獲得受試者較高的認同,其餘

皆由自動分群搜尋引擎獲得較高之認同度。亦即表示,在受試者主觀

認定之檢索效益方面,以自動分群搜尋引擎有較佳之檢索效益。

(26)

因此,搜尋引擎之檢索效益在經過客觀檢索歷程分析及主觀認知

評估後,出現分歧結果。檢索歷程評估以資訊品質及節省精力等面向

評估後,發現相關排序搜尋引擎有較佳之檢索效益,但在受試者主觀

認知上,則以自動分群搜尋引擎有較佳之檢索效益。

(27)

第五節 第五節

第五節 第五節 滿意度分析 滿意度分析 滿意度分析 滿意度分析

本研究將滿意度分為三個評估面向,分別為整體滿意度、群集內 容滿意度及群集架構滿意度。但本節僅利用受試者主觀評估,分析搜 尋引擎評估表(附錄五),探討受試者主觀認知之整體滿意度,至於群 集內容與群集架構滿意度則在第七節群集分析中有詳細探討。

整體滿意度方面,藉由評估受試者認知負擔,及其對檢索結果之 整體滿意觀感,如下:

一 一

一 一、 、 、 、 受試者認知負擔 受試者認知負擔 受試者認知負擔 受試者認知負擔

雖然指定任務與自訂任務之受試者皆表示能藉由搜尋引擎輕鬆 找到所需之相關資訊,但若就滿意程度來看,仍以相關排序搜尋引擎 較能輕鬆找到所需資訊。

表 4-16、受試者認知負擔之滿意度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分 自動分 自動分 自動分群搜尋引擎 群搜尋引擎 群搜尋引擎 群搜尋引擎 受試者 受試者 受試者

受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比 百分比) 滿意度 滿意度 滿意度 滿意度 次數 次數 次數 次數(百分比 百分比 百分比 百分比) 滿意度 滿意度 滿意度 滿意度 同意 7 (87.5%) 8 (100%)

指定

任務 不同意 1 (12.5%)

3.38

0 (0%)

3.25

同意 6 (75%) 4 (50%) 自訂

任務 不同意 2 (25%)

3.13

4 (50%)

2.88

同意 13 (81.25%) 12 (75%) 整體

不同意 3 (18.75%)

3.26

4 (25%)

3.07

(28)

受試者表示,因為自動分群搜尋引擎檢索出來之群集結果比相關 排序多了一些資訊,再加上受試者不能理解群集的分類,所以除了增 加認知負擔外,還需花費較多的時間判斷這些資訊。(詳見附錄十六)

嗯。就是數量上可能有差,可是我覺得就對他 (Vivisimo) 不公平,

要給他 要給他 要給他

要給他 (Vivisimo) 多一點時間 多一點時間 多一點時間 多一點時間, , , ,因為畢竟他有兩列資訊 因為畢竟他有兩列資訊 因為畢竟他有兩列資訊 因為畢竟他有兩列資訊。 (B04: 44-45)

不是困擾 不是困擾 不是困擾

不是困擾, , ,只是我覺得說要給我更多時間去想 , 只是我覺得說要給我更多時間去想 只是我覺得說要給我更多時間去想 只是我覺得說要給我更多時間去想。 (C02: 68-70)

就整體認知來看,受試者皆同意相關排序搜尋引擎之認知負擔較 自動分群搜尋引擎小,亦認為相關排序搜尋引擎較能輕鬆找到所需之 資訊。

二 二 二

二、 、 、 、 整體檢索結果滿意度 整體檢索結果滿意度 整體檢索結果滿意度 整體檢索結果滿意度

指定任務受試者認為整體差異不大,對兩者檢索之結果都很滿 意,不過自訂任務受試者並不滿意自動分群搜尋引擎之結果。

表 4-17、整體檢索結果滿意度 相關排序搜尋引擎

相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 受試者

受試者 受試者

受試者 回覆 回覆 回覆 回覆

次數 次數 次數

次數(百分比 百分比 百分比 百分比) 滿意度 滿意度 滿意度 滿意度 次數 次數 次數 次數(百分比 百分比 百分比 百分比) 滿意度 滿意度 滿意度 滿意度 同意 7 (87.5%) 7 (87.5%)

指定

任務 不同意 1 (12.5%)

3.38

1 (12.5%)

3.38

同意 7 (87.5%) 4 (50%) 自訂

任務 不同意 1 (12.5%)

3.25

4 (50%)

2.88

同意 14 (87.5%) 11 (68.75%)

整體 不同意 3.32 3.13

(29)

受試者表示不滿意自動分群搜尋引擎的原因,在於沒有使用自動 分群搜尋引擎的習慣,以及認為相關排序就已經足夠找到所需的資 訊。(詳見附錄十六)

研究者:所以你就覺得這樣的相關性就已經夠了 你就覺得這樣的相關性就已經夠了 你就覺得這樣的相關性就已經夠了 你就覺得這樣的相關性就已經夠了。

受試者:對呀!因為如果說只是想做一個大概的了解,那其實我 就看前幾個就好了,就不管用什麼搜尋引擎,只要那個搜 只要那個搜 只要那個搜 只要那個搜 尋引擎不要設計得太不合理的話他

尋引擎不要設計得太不合理的話他 尋引擎不要設計得太不合理的話他

尋引擎不要設計得太不合理的話他 ( 搜尋引擎 搜尋引擎 搜尋引擎 搜尋引擎 ) 應該都會 應該都會 應該都會 應該都會 把他 把他

把他 把他 ( 檢索主題 檢索主題 檢索主題 檢索主題 ) 放很前面 放很前面 放很前面 放很前面。

研究者:所以你覺得光靠排序就已經夠了 你覺得光靠排序就已經夠了 你覺得光靠排序就已經夠了 你覺得光靠排序就已經夠了。

受試者:對對對 對對對 對對對 對對對。 (C07: 69-74)

因為我沒有習慣用這個 我沒有習慣用這個 我沒有習慣用這個, 我沒有習慣用這個 , , ,所以沒有被幫助到什麼 所以沒有被幫助到什麼 所以沒有被幫助到什麼 所以沒有被幫助到什麼,就沒有習慣用 這種東西。 (C07: 34-35)

至於滿意的理由,則是認為自動分群搜尋引擎可以更有系統的 找、用起來有趣、能有不同於相關排序之發現。因為受試者認為搜尋 引擎之相關排序與受試者所認為的相關還是具有很大的差異,有了群 集的幫助,則能夠發現隱藏在後面排序的重要資訊。(詳見附錄十六)

研究者:所以你覺得這是有差。可是如果好,那我們不要講 Google ,比方說就是剛剛你用 Rank list search ,這樣子 兩者比較起來的感覺,你會覺得用 用 用 用 Vivisimo 會讓你更有 會讓你更有 會讓你更有 會讓你更有 系統的在找東西

系統的在找東西 系統的在找東西 系統的在找東西? ? ? ? 受試者:對 對 對 對。

研究者:我看你的滿意度,就是比較滿意 比較滿意 比較滿意 比較滿意 Vivisimo 找出來的東西 找出來的東西。 找出來的東西 找出來的東西 受試者:對 對 對 對。 (B01: 35-40)

研究者:你覺得他 你覺得他 你覺得他 你覺得他 (Vivisimo) 找到的資料品質比較好 找到的資料品質比較好。 找到的資料品質比較好 找到的資料品質比較好 受試者:對 對 對。 對 。 。 。

研究者:你會覺得他 覺得他 覺得他 覺得他 (Vivisimo) 比較可信 比較可信 比較可信 比較可信?

受試者:對 對 對 對, , , ,我覺得 我覺得 我覺得 我覺得。因為他的 ranking ,他跟他的相關性我可能 他跟他的相關性我可能 他跟他的相關性我可能 他跟他的相關性我可能 會不覺得他們有相關

會不覺得他們有相關 會不覺得他們有相關

會不覺得他們有相關, , ,就不覺得他應該擺在第一頁 , 就不覺得他應該擺在第一頁 就不覺得他應該擺在第一頁 就不覺得他應該擺在第一頁, , , ,就 就 就 就 是

是 是

是 maybe 我的資料會排在第七頁也不一定 我的資料會排在第七頁也不一定 我的資料會排在第七頁也不一定 我的資料會排在第七頁也不一定。 (B01: 56-63)

(30)

整體認知方面,受試者對相關排序搜尋引擎之整體檢索結果較為 滿意,但也肯定自動分群搜尋引擎能比相關排序搜尋引擎更有系統地 檢索,以及發現埋藏在相關排序裡的重要資訊。

表 4-18、整體滿意度 相關排序搜尋引擎 相關排序搜尋引擎 相關排序搜尋引擎

相關排序搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎 滿意度

滿意度 滿意度 滿意度 認知 認知

認知 認知 回覆 回覆 回覆 回覆

次數 次數

次數 次數(百分比 百分比 百分比 百分比) 滿意度 滿意度 滿意度 滿意度 次數 次數 次數 次數(百分比 百分比 百分比) 百分比 滿意度 滿意度 滿意度 滿意度 同意 13 (81.25%) 12 (75%)

項目一

不同意 3 (18.75%)

3.26

4 (25%)

3.07

同意 14 (87.5%) 11 (68.75%) 項目二

不同意 2 (12.5%)

3.32

5 (31.25%)

3.13

同意 27 (84.38%) 23 (71.88%) 整體

不同意 5 (15.62%)

3.29

9 (28.12%)

3.1

綜合上述兩點,如表 4-18 整體滿意度所示,因為受試者使用習

慣與熟悉度的影響,就整體滿意度上仍以相關排序搜尋引擎獲得較高

的滿意度,但自動分群搜尋引擎所獲得之滿意程度與相關排序搜尋引

擎差距不大。受試者對於兩種搜尋引擎之整體檢索結果,皆達到滿意

的程度。

(31)

第六節 第六節

第六節 第六節 問題類型與檢索歷程 問題類型與檢索歷程 問題類型與檢索歷程 問題類型與檢索歷程

此節利用分析檢索任務之歷程(附錄十四),包括四項指定檢索任 務及八項自訂檢索任務。分析項目包括:查詢詞彙、檢索主題熟悉度、

轉換詞彙時間、相關網頁、相關網頁之資訊品質、找到相關網頁的時 間、點選群集次數、找尋路徑、點選次數、開啟網頁次數等(詳見附錄 十五),藉此評估以不同問題類型之檢索效率與檢索效益表現。

由於指定任務與自訂任務在需求特性的差異,歷程分析項目亦稍 有不同。例如指定任務每題限定一個查詢詞彙,而自訂任務則由受試 者自由輸入。或是指定任務,會由研究者評估檢索結果之資訊品質,

自訂任務則不進行評估。

一 一 一

一、 、 、 、 指定任務 指定任務 指定任務 指定任務之檢索 之檢索 之檢索 之檢索問題類型與歷程 問題類型與歷程 問題類型與歷程 問題類型與歷程

(一 一 一 一) 簡單 簡單 簡單 簡單/封閉 封閉 封閉 封閉: : : :FRBR

四個檢索問題中,受試者最熟悉之主題為簡單/封閉的問題。

雖然兩個搜尋引擎皆能在五分鐘以內完成任務,但實際任務時,

兩者皆有超過一半的受試者無法在時間內結束任務,請參考表 4-3。其他表現,則以 RLS 完成任務的速度較快,找的資料量也 較多,不過資訊品質則以 Vivisimo 較佳。

表 4-19、簡單/封閉:FRBR 之檢索歷程 搜尋引擎

搜尋引擎 搜尋引擎

搜尋引擎 熟悉度 熟悉度 熟悉度 完成時間 熟悉度 完成時間 完成時間 完成時間 相關網頁 相關網頁 相關網頁 相關網頁 資訊品質 資訊品質 資訊品質 資訊品質 第一筆網頁 第一筆網頁 第一筆網頁 點擊次數 第一筆網頁 點擊次數 點擊次數 點擊次數 開啟網頁 開啟網頁 開啟網頁 開啟網頁 RLS 4'17'' 3.75 3.44 59'' 18.25 8.13 Vivisimo 3.13

4'23'' 2.88 3.76 1'37'' 17.25 5.88

數據

表 4-2、指定任務之搜尋引擎檢索效率  搜尋引擎 搜尋引擎搜尋引擎 搜尋引擎  完成時間完成時間完成時間 完成時間 相關網頁相關網頁相關網頁 相關網頁 資訊品質資訊品質 資訊品質 第一筆網資訊品質 第一筆網第一筆網 第一筆網址址址 址 點擊次數點擊次數點擊次數 點擊次數 開啟網頁開啟網頁 開啟網頁 開啟網頁 RLS  4'15''  4.63  3.48  1'07''  20.38  8.59  Vivisimo  4'33''  2.96  3.48  1'39''  19.76  6.30  表 4
表 4-5、使用直覺與檢索效率之認同度  相關排序搜尋引擎相關排序搜尋引擎相關排序搜尋引擎 相關排序搜尋引擎  自動分群搜尋引擎 自動分群搜尋引擎 自動分群搜尋引擎自動分群搜尋引擎 受試者 受試者受試者 受試者  回覆回覆回覆 回覆  次數 次數次數 次數(百分比百分比 百分比) 百分比 認同度認同度認同度 認同度  次數次數次數 次數(百分比百分比百分比 百分比)  認同度 認同度 認同度認同度 同意  7  (87.5%)  8  (100%)  指定  任務  不同意  1  (12.5%)  3.3
表 4-6、檢索效率之認同度  相關排序搜尋引擎相關排序搜尋引擎相關排序搜尋引擎 相關排序搜尋引擎  自動分群搜尋引擎自動分群搜尋引擎自動分群搜尋引擎 自動分群搜尋引擎  檢索效檢索效檢索效檢索效 率認知率認知率認知 率認知  回覆回覆回覆 回覆  次數次數次數 次數(百分比百分比 百分比) 百分比 認同度認同度認同度 認同度  次數 次數(百分比次數次數百分比 百分比) 百分比 認同度 認同度 認同度認同度 同意  13  (81.25%)  12  (75%)  項目一  不同意  3  (18.75%
表 4-14、檢索結果相關性之認同度  相關排序搜尋引擎 相關排序搜尋引擎 相關排序搜尋引擎 相關排序搜尋引擎  自動分群搜尋引擎自動分群搜尋引擎自動分群搜尋引擎 自動分群搜尋引擎  受試者 受試者受試者 受試者  回覆回覆回覆 回覆  次數 次數次數 次數(百分比百分比 百分比) 百分比 認同度認同度認同度 認同度  次數次數次數 次數(百分比百分比百分比 百分比)  認同度認同度認同度 認同度  同意  7  (87.5%)  7  (87.5%)  指定  任務  不同意  1  (12.5%)  3
+7

參考文獻

相關文件

行政院於八十二年十月七日函頒公共工程施工 品質三層級管理制度;第三層級品管工程施工 查核為工程主管機關或工程會,第二層級品管 品質保證為工程主辦單位或監造單位,第一層

規劃順序:第二層 → 第一層 → 第三層 →

sort 函式可將一組資料排序成遞增 (ascending order) 或 遞減順序 (descending order)。. 如果這組資料是一個行或列向量,整組資料會進行排序。

Step 4: : :模擬結果分析 : 模擬結果分析 模擬結果分析(脈寬為 模擬結果分析 脈寬為 脈寬為90%) 脈寬為.

第二層 尊重及懂得引述資訊來源,並對知識產權監管法例有所認識 高小 第三層

Hofmann, “Collaborative filtering via Gaussian probabilistic latent semantic analysis”, Proceedings of the 26th Annual International ACM SIGIR Conference on Research and

浮尖 浮尖     第二層 第二層 第二層 第二層(STEM (STEM (STEM (STEM學會 學會 學會 學會))))、第三層培訓 、第三層培訓

Weaver, 黃嘉斌譯 , “Finance and Accounting For Nonfinancial