使用者評估

在文檔中 具視覺化工具輔助的新聞瀏覽系統設計 (頁 71-83)

第四章 系統展示與使用者評估結果

第三節 使用者評估

本研究所採用的使用者評估方法分為「新聞主題任務」與「使用滿意度」兩 部份,本小節針對此二部份的評估結果作描述。

一、 新聞主題任務

表 7 為使用歸納法,基於四個介面元件,所歸納出使用過程與晤談時的正 面與負面回饋,以下將依序列出各種回饋所對應最具代表的例子。

64

65

(一) 視覺化關鍵字推薦

分析結果發現,使用者大部份都能夠理解且運用「關鍵字推薦」與「關 鍵字導覽」的功能,其能夠幫助瀏覽,但是相對的也造成資訊負荷的增加與 遺失焦點的問題。

1. 助於瀏覽

使用者大致上能夠運用關鍵字的推薦,發現感興趣的詞彙,並從新聞文 章中理解該詞彙的意涵。

Q:之後我看見你有嘗試去點了幾個關鍵字,然後你又回頭去看新 聞文章,你那時候有看見你覺得有趣的東西嗎?

A:因為我想減少一些關鍵字,那時候我好像是想要看那個市長,

紐約的市長,我是看了新聞才看見他是市長的。[F002_25-28]

2. 增加資訊負荷

在關鍵字推薦的幫助之下,卻也發現使用者會因為過多的關鍵字而增加 資訊負荷。

Q:我剛剛看你有一段時間不斷的點開關鍵字,那時候你想做什 麼?

A:喔,因為我看到幾個關鍵字不知道在說什麼,我就是想點。

Q:哪幾個關鍵字,你還記得嗎?

A:好像是…那個總統,埃及的總統吧!還有什麼…我忘了,反正 我覺得那些關鍵字推薦是還不錯啦!只是有時候太多了,不知道接 下來要幹嘛。[F004_62-66]

3. 產生焦慮

在關鍵字推薦的幫助之下,卻也發現使用者會因為過多的關鍵字而增加 資訊負荷。

66

Q:所以你覺得相關關鍵字的效果不太好?

A:對啊!你這個給太多關鍵字,少一點我可以接受,但是至少讓 我知道有可以有相關的東西啦,只是看到那些根本不相關的東西我 就覺得很煩躁![F005_83-86]

(二) 歷程紀錄與控制

分析結果發現,使用者能夠妥善運用歷程紀錄來幫助瀏覽,且能夠運控 歷程控制的功能自由於歷程中前進或是後退,但是也發現使用者對於系統自 動過濾歷程的功能產生焦慮並使其遺失焦點。

1. 協助導航歷程與控制歷程

Q:我剛剛看見你有好幾次都是,點開了關鍵字,看了一下子又去 打開 Disable 的功能,把關鍵字清除,你是覺得那些關鍵字你都沒 興趣嗎?

A:其實是我點錯了,我想要把他擦掉,還有就是在我這條路,覺 得不對了,因為你這像是一個雲嘛,是不同的關鍵字組合嘛,那我 想要重新換關鍵字,重新組合關鍵字,所以去掉我不想要的。就因 為我發現好像找到不太合適的,所以想把它關掉。[F007_125-130]

2. 產生焦慮與遺失焦點

Q:我看見你好像沒有用幾次 Path Filter,是為什麼?

A:因為我覺得他會把我目前看到的狀態弄不見,所以我不想他幫 我去除那些關鍵字,我不喜歡。[F001_8-10]

67

(三) 過濾資訊

分析結果發現,使用者會嘗試運用共現濾器來減少關鍵字,但是也反應 此功能不易使用。

1. 幫助減少關鍵字

Q : 我 看 你 剛 剛 點 了 幾 個 關 鍵 字 , 接 著 嘗 試 去 設 定 Threshold

(Relation Threshold),你是想要做什麼嗎?

A:喔,因為我點開來發現有幾個關鍵字不太好,所以我想用來去 掉一些。[F009_151-153]

2. 使用困難

Q:我看你剛剛有嘗試去設定 Threshold(Relation Threshold),但 是之後你又去看新聞文章,為什麼?

A:喔,因為我想要把很多關鍵字去掉,但是你這個要滾很久耶!

我滾半天他都沒少幾個![F005_79-82]

(四) 資訊分群

分析結果發現,使用者認為佈局的切換能夠幫助分類關鍵字,並且從分 類中觀察到相關議題,但是有的時候無法理解分群的內涵。

1. 利用分群挖掘相關議題

Q:我剛剛注意到你停在 Chameleon 的 Layout 好久,請問你剛剛是 想要做什麼或是在觀察什麼嗎?

A:喔,我剛剛是在看這個分群好像挺有道理的,譬如某一些關鍵 字就是在講財經這一塊的,他會再一起;或是有一些是關於國際關 係的會聚在一起。[F007_117-120]

2. 無法理解分群內涵

68

Q : 我 剛 剛 看 你 都 在 用 Chameleon 你 幾 乎 都 沒 有 在 使 用 Force-Directed 的 Layout,是你覺得沒幫助嗎?

A:因為我感覺不出來他帶給我什麼,我覺得有可能是我不熟悉吧。

我感覺這個(環狀)還有這個(Chameleon)比較清楚。[F007_121-124]

(五) 整體功能

整體功能方面,使用者認為系統所提供的功能具多元化,但是同時也認 為過於複雜而難以使用。另一方面,有部份使用者偏好閱讀新聞文章,但是 認為新聞內容本身通常都預設使用者已對主題有充分了解,而直接報導特定 的相關事件。

1. 功能多元化,但使用難度高

Q:我看你剛剛是不是有想要測試畫布裡面的互動功能?因為我看 你有對畫布點了兩下。

A:因為我在想你這個左邊這一塊功能可以做成右鍵的方式開啟,

我知道你這個功能有很多面向啦!只是有點複雜。[F004_58-61]

2. 閱讀新聞原文與預設讀者立場

Q:我剛剛看見你剛開始都一直看新聞文章,你是想要知道什麼 嗎?

A:因為我想找事件的原因,但是好像有看到又好像沒看到,我覺

得 有 些 新 聞 都 預 設 我 已 經 了 解 那 個 華 爾 街 是 怎 麼 回 事 了 。

[F003_37-40]

二、 使用序列樣式

附件 3 為新聞主題任務的實驗中,利用 AprioriAll 演算法(Rakesh &

69

Ramakrishnan, 1995),以支持度 0.6(支持度大於或等於 0.6 之樣式即視為最大樣 式)探勘所有使用者之實際使用過程,依照支持度由低至高排列所得到之大型序 之前,必定使用過 Force-directed 或是 Chameleon 的繪圖規則,進而發現其

70

二繪圖規則無法幫助瀏覽而切換為環狀繪圖,亦或因為其二繪圖規則的呈現 過於複雜,而需要環狀繪圖的呈現來檢視關鍵字。而環狀的關鍵字網絡具有 清楚、互不重疊且主要與相關關鍵字易區分等特色,助於使用者一覽所有關 鍵字而無遺,大部份的受試者事實上需要環狀網絡的幫助,來總攬所有關鍵 字,並藉此釐清下一步驟瀏覽的進行。

2. 切換不同視角觀察所獲關鍵字概念網絡(編號 20、43 與 44 序列)

如表 8 所示,此三序列主要為受試者對 Force-directed 與 Chameleon 繪 圖規則的使用。編號 20 之序列顯示出七成(支持度 0.7)之受試者於使用 Force-directed 繪圖規則後能夠獲取資訊,雖然於晤談中發現有些受試者認 為,相較於 Chameleon 繪圖規則,難以理解 Force-directed 繪圖規則能夠帶 來何種瀏覽上的助益(如[F007_121-124]),但是此序列卻顯示大多數的受 試者於使用 Force-directed 繪圖規則後能夠獲得資訊,而如此矛盾的結果,

事實上能夠於編號 43 與 44 序列中得到進一步的解釋。編號 43 序列顯示出 共有九成(支持度 0.9)之受試者於使用 Force-directed 繪圖規則後,會使用 Chameleon 繪圖規則,表示絕大多數之受試者也許無法理解 Force-directed 繪圖規則,而進而切換至 Chameleon 繪圖;另一方面,編號 44 序列顯示出 九成的受試者於閱讀新聞原文後,會使用 Chameleon 繪圖規則,最後獲得 資訊,這表示絕大多數的受試者能夠藉由運用 Chameleon 繪圖規則來獲取 資訊。

雖然這樣的結果看似對立且矛盾,但是事實上,晤談的結果代表受試者 的使用感受,而序列樣式表示受試者之實際使用情形;受試者能夠藉 Force-directed 繪圖規則獲取資訊,但是過程中確實感到困惑;也因為如此,

藉由 Chameleon 繪圖規則獲取資訊之使用樣式的比例較高。

71

(二) 視野調整

如表 8 所示,編號 02 與 45 序列,顯示出大部分之受試者能夠運用視 覺化互動功能來調整觀察視野。點擊相關關鍵字(圓形節點)後網絡圖會展 開與其相關之關鍵字的節點,呈現過多的節點有時候會使得網絡圖過於複雜,

編號 02 序列即表示九成(支持度 0.9)使用者於點擊關鍵字後會調整視野。

而編號 45 序列顯示出有六成受試者會於切換 Chameleon 繪圖規則後調整視 野,Chameleon 繪圖規則與環狀或是 Force-directed 繪圖規則最大的不同在 於,其著重的是關鍵字分群,目的是呈現關鍵字子群的絕對關係,關鍵字子 群之間的距離並不具任何意義,受試者會移動畫布調整視野,表示受試者因 為這些分群而產生興趣,進而將焦點轉移至某關鍵字子群上。

(三) 歷程控制與相關關鍵字再搜尋

本系統所設計之歷程控制器包含兩種功能,其一為自動歷程控制,能夠 自動地將較舊的瀏覽歷程過濾;其二為歷程刪除功能,能夠讓使用者自行決 定應刪除哪些歷程,編號 08 與 34 序列即分別代表此二種功能的使用序列(如 表 8)。而編號 34 序列為一個「改變瀏覽路徑」的典型樣式,受試者因為發 現展開了其認為不重要之相關關鍵字,進而利用歷程刪除功能將其刪除,並 且點擊其他相關關鍵字(圓形節點)進行更多瀏覽,此部分的結果與晤談中 的發現相互呼應,受試者認為此功能的助益在於自行選擇刪除其認為非重點 之資訊,能夠自我且即時的改變瀏覽歷程(如[F007_125-130])。

另一方面,比較二者的支持度能夠發現,歷程刪除的使用略高於自動歷 程控制(0.7 與 0.6),此結果與晤談中受試者表示自動歷程控制會改變起始 瀏覽狀態,以至於產生焦慮(如[F001_8-10])的影響相互對應,意即,受 試者一方面能夠於瀏覽過程中運用自動歷程控制的功能,但一方面也發現此

72

功能之敝處,歷程刪除功能則更能夠符合於動態瀏覽過程中,達到能夠自行 操作與自我定位之益。

(四) 依詞彙相關性進行過濾控制

共現強度濾器的目的在於幫助使用者過濾資訊,有時因為展開過多節點,

而導致網絡圖變得過於複雜,濾器的設計便是為了降低此複雜度。如表 8 所示,編號 32 與 33 顯示出七成(二序列支持度均為 0.7)受試者藉由此功 能幫助進行下一步驟的瀏覽與以其運用獲得資訊。此部分的發現與晤談結果

而導致網絡圖變得過於複雜,濾器的設計便是為了降低此複雜度。如表 8 所示,編號 32 與 33 顯示出七成(二序列支持度均為 0.7)受試者藉由此功 能幫助進行下一步驟的瀏覽與以其運用獲得資訊。此部分的發現與晤談結果

在文檔中 具視覺化工具輔助的新聞瀏覽系統設計 (頁 71-83)