第五章 實驗結果與討論
5.3 評估指標驗證
國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
5.2
排除異常值
進行實驗分析前，可以先用 OGAMA 內建的熱區圖，排除異常的使用者，例如 圖 5.1為 S 圖的眼動與滑鼠實驗結果，受測者 7 眼動、滑鼠的位置可以很輕易地對應到 原圖中的圓，但受測者 1 沒辦法。這些不合理的使用資料就會被排除。
(a) 受測者 7 眼動熱區圖 (b) 受測者 1 眼動熱區圖
(c) 受測者 7 滑鼠熱區圖 (d) 受測者 1 滑鼠熱區圖
圖 5.1 以熱區圖排除異常受測者
5.3
評估指標驗證
這個小節將討論表 4.7中各個評估指標如何操作，有沒有效，意義為何。支持這些 指標的數據都來自使用者眼動與滑鼠的操作資料，取其停駐點（包含 gaze fixation 和 mouse fixation）來計算，避免不經意的使用像是瞄到或是滑鼠移過都被統計。關於資料 的可信度，需根據使用者有意識的程度，滑鼠點擊 (mouse click) 是最有意識的行為，接 著是滑鼠移上 (mouse on，滑鼠短暫停留在一個地方)，最後是眼睛凝視。指標包含：吸 引力、易發現性、困難度、易識別性分析探索時，使用者的第一印象與直覺反應；易
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
理解性、精準表達程度、細部困難度、使用效率則是討論任務期，針對各個功能特別 設計任務來測試該功能的表現如何。
5.3.1 吸引力
我們想知道使用者看到這個視覺化的第一眼會看哪裡？哪個區域最吸引人注意？
以下的統計加總各區域是第一個興趣區域的人數，越多人第一眼就看到該區域顏色越 接近紅色，越少人越接近深藍色，結果如圖 5.2所示。
(a) S 圖第一個被看到的功能區域人次 (b) T 圖第一個被看到的功能區域人次
圖 5.2 吸引力實驗結果
透過熱區圖可以快速檢視設計的重點有沒有吸引力。另外，從這兩個結果觀察得 知越中間的地方越有吸引力，螢幕四個角落的吸引力從大到小，分別是左上、右上、
其他地方，因為過去網頁使用經驗裡，通常會出現選單的地方最多是左上角，再來是 右上角。
5.3.2 易發現性
對於一個互動式資料視覺化工具來說，每一個設計的功能都是使用者探索原始資 料的管道，可是這些功能都有被使用到嗎？圖 5.3討論了平均每個興趣區域第一次被凝 視、滑鼠使用（包含滑鼠移上和點擊）的時間點，越早被發現越好，顏色越接近紅色。
易發現性同樣用熱區圖顯示，設計者可以很快得知哪些功能很早被使用，哪些區 域幾乎沒有被使用。此外，從以上實驗結果得知眼睛凝視和滑鼠操作的第一個時間點
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
(a) S 圖第一次凝視時間 (b) S 圖第一次滑鼠使用時間點
(c) T 圖第一次凝視時間 (d) T 圖第一次滑鼠使用時間點
圖 5.3 易發現性實驗結果
呈現正相關；越中間的區域越容易被發現，反之越角落越難；角落區域中，左上角最 容易被發現，同樣是因為網頁使用經驗。其中異常值為 T 圖中間的區域，在最中間的 位置，使用時間卻比圓環晚，根據質化的結果得知使用者一開始以為是一個圖騰不能 使用，如圖 5.4中紅線框出的區域。
圖 5.4 易發現性異常值說明圖
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
5.3.3 困難度
基於眼動與心智一致的原則，如果使用者盯著一個功能區域較久的時間，表示需 要花費較多心力來理解，所以我們計算了平均每人在每個興趣區域的總凝視時間占總 探索時間的比率來表示困難度，以比率計算是因為每個人的總探索時間不同不能直接 比較，這個指標的值越小越好，但是需與「易發現性」對應，某些極小值來自幾乎沒有 人發現。結果如圖 5.5，每一個區域由上而下分別是異常值（紅色十字）、最大值、第三 四分位數、中位數（紅線）、第一四分位數、最小值，編碼位置請參照圖 4.12。
(a) S 圖各區域凝視時間比率 (b) T 圖各區域凝視時間比率
圖 5.5 困難度實驗結果
困難度結果以箱型圖表示，可以從整個箱子的高度和中位數大小得知同一個視覺 化裡哪一個功能需要花較多時間理解，箱子的部分長度越長表示使用者間的差異越大，
如果第三四分位數離中位數較遠，表示有多數人需要比較長的時間；如果第一四分位 數離中位數較遠，表示通常不需要很多時間，而是有少部分人看了特別久。
關於困難度的異常值，圖 5.5(a)中，S 圖編號 5 的區域（左圓外環，如圖 5.6(a)中紅 線框出的區域）需要較多時間理解，因為左圓圓環同時包含過多功能，圓點大小和顏色 分別代表不同的意思，還有滑鼠移上、滑鼠點擊的功能，而且滑鼠點擊還會改變被點 擊的圓點的顏色。需要第二多時間的區域為編號 12 右圓外環，如圖 5.6(b)中紅線標示 出的區域，它來自左圓外環圓點點擊，因為沒有可見的連結性，而且表達方向較為抽 象，所以多數使用者在短時間內不容易理解其意義，而且有些人是不小心點擊到打開 右圖，更是困惑。圖 5.5(b)中編號 2 的區域（圖 5.6(c)中紅線內的區域）同樣是因為包 含太多功能，顏色呈現按讚數多寡，區域大小取決於讚數與留言數的加權值，滑鼠移
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
上則顯示留言的內容。總結來說，若一個興趣區域中包含太多功能，又表現形式有點 抽象而需要思考，便會提高困難度。
(a) S 圖 AOI 5 (b) S 圖 AOI 12
(c) T 圖 AOI 2
圖 5.6 困難度異常值說明圖
5.3.4 易識別性
使用者知道每個設計有哪些功能嗎？每一個興趣區域是否被完整探索其功能？分 為以下兩點來討論：
A. 易識別性指標一：每一個興趣區域的凝視、滑鼠移上與點擊是否被誤用或忽略的 累積人次占總人數比率
我們對每一個興趣區域計算其凝視、滑鼠移上與點擊的設計是否被誤用或忽 略，統計累積人次占總受測人數比率。有設計沒有被使用，即忽略；沒有設計卻 被使用，定義為誤用，兩者都是比例越小越好。
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
(a) S 圖各區域被忽略人數比率
(b) S 圖各區域被誤用人數比率
(c) T 圖各區域被忽略人數比率
(d) T 圖各區域被誤用人數比率
圖 5.7 易識別性實驗結果一
從圖 5.7的結果可以看各區域被忽略以及被誤用的情形。其中，如果滑鼠移 上沒有功能，滑鼠點擊有功能，而滑鼠移上被算成誤用者可忽略不計，因為此 行為很可能是點擊前的停留，而不是有意要滑鼠移上，例如 S 圖第 1、2 AOI。
接下來，觀察其他的異常值，圖 5.7(a)中 S 圖第 1、2 AOI 滑鼠點擊經常被忽略，
原因是圖 5.8(a)紅線中的區域的點擊暗示不夠明顯，通常瀏覽網頁時，當滑鼠
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
移到可以點擊的區域，鼠標會從箭頭變成手，或是該區域會改變大小或是顏 色。第二個異常值為 S 圖第 6 至 10 AOI 在很中間的位置（圖 5.8(b)紅線標示出 來的區域）卻是最容易被忽略的地方，因為相對周圍很不吸引人。另外，關於 圖 5.7(b)和圖 5.7(d)中被誤用的比率較高的區域，探究其原因得知使用者通常是 覺得有點困惑、困難而想要嘗試其他可能的用法，例如 S 圖 AOI 4、11、12、13，
如圖 5.8(c)中紅色線內的區域。最後，從圖 5.7(c)得知 T 圖的每一個區域都有被使 用，表示區域的設計都很明顯。
(a) S 圖 AOI 1、2 (b) S 圖 AOI 6、7、8、9、10
(c) S 圖 AOI 4、11、12、13
圖 5.8 易識別性指標一異常值說明圖
B. 易識別性指標二：平均每人在每一個興趣區域的滑鼠與凝視時間差
易識別性的第二個指標，我們想要知道當使用者看到了一個區域之後，需要 多久的時間反應才做滑鼠動作（包含滑鼠移上、點擊），根據眼動與心智一致之假 說，時間差的意義為猶豫和不確定。如果滑鼠有功能，反應時間越短越好，表示 提示很明顯，反之，可能需要增加提示；如果滑鼠沒有功能，反應時間越短表示 很容易吸引人誤用。
我們將結果以直方圖呈現，圖 5.9中紅色柱狀的 AOI 提示性不足，可以對應 到圖 5.10中紅色框內的區域，多數使用者需要較長的時間才知道它們可以操作；
圖 5.9中黃色柱狀則標出提示過多的區域，可以對應到圖 5.10黃色框起來的位置，
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
多數受測者都誤以為它可以操作。
(a) S 圖滑鼠與眼動操作時間差
(b) T 圖滑鼠與眼動操作時間差
圖 5.9 易識別性實驗結果二
圖 5.10 易識別性指標二異常值說明圖
5.3.5 易理解性
我們在 4.6.3 節已驗證本研究的實驗方法可以區分出不同互動式資料視覺化工具的 理解程度，這裡我們再提出一個綜合分析的方法，同時考慮了所有受測者平均答題正 確率、平均完成任務所花的時間，表 5.2詳細說明各功能的問題。因為每一個任務對應
‧
‧
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
5. 取消標定面積太小的興趣區域，例如角度極小的圓環，如圖 5.11中紅線框出的區 域，因為沒有任何實際使用資料能被蒐集到。
圖 5.11 面積太小的興趣區域舉例
最終實驗結果如表 5.5，有七至八成的使用者操作能符合最少步驟序列，其中 S 圖、T 圖有約莫一成的功能屬於設計太困難。
表 5.5 精準表達程度實驗結果
(a) S 圖平均每人每題精準表達程度分析
按照順序完成任務
有 無
正確 58.8 % 9.6 % 答題
錯誤 13 % 18.5 %
(b) T 圖平均每人每題精準表達程度分析
按照順序完成任務
有 無
正確 69.1 % 13.5 % 答題 錯誤 9.7 % 7.7 %
若分開來看每一題的情況，更能了解主要的問題在哪，圖 5.12為 S、T 圖各題步驟 與答題正確率的比較，其中 S 圖第 12 題為設計太困難，很多人得到足夠的資訊仍然無
‧ 國
立 政 治 大 學
‧
Na tiona
l Ch engchi University
法答對；S 圖第 16 題很多人答對了，卻沒有執行應該有的步驟，經觀察結果得知應該 要切換到第一個分頁才能回答，但有些人停留在上一題的第三個分頁也猜對了答案；T 圖第 2 題答題正確率高於步驟正確率，因為這個視覺化在轉換原始資料時，數值極小，
呈現的區域面積也極小，讓使用者不容易操作，需要反覆多次，或是取個大概。
(a) S 圖步驟與答題正確率比較
(b) T 圖步驟與答題正確率比較
圖 5.12 精準表達程度各題實驗結果
因為使用者操作紀錄的資料量非常高，我們不可能一一檢視有沒有發生什麼問題，
透過平均答題與步驟正確率的比較可以快速知道此視覺化的設計會不會太困難，再來
透過平均答題與步驟正確率的比較可以快速知道此視覺化的設計會不會太困難，再來