使用性評估成效分析

本節主要敘述後測部份，分為後測實施方式、後測結果以及使用性評估成效 三個部份說明。使用性評估經過此一循環，始具有意義。

一、後測實施方式

本研究後測實施方式為挑選受試者完成任務平均時間最大以及標準差最大 的前三道任務作為後測內容，表 26 為本研究所使用之 11 道任務根據平均完成時 間以及完成時間標準差分別進行排序之資料。

表 26 使用性測試任務效能排序表

編號 平均完成時間(秒) 編號 完成時間標準差 任務 3 200.03 任務 3 114.37 任務 6 121.63 任務 8 110.86 任務 8 94.11 任務 6 99.00 任務 9 65.54 任務 9 83.56 任務 5 55.91 任務 2 72.99 任務 4 52.23 任務 5 45.09 任務 1 48.23 任務 11 32.91 任務 11 43.09 任務 4 29.90 任務 2 37.63 任務 1 24.79 任務 10 20.94 任務 10 19.68 任務 7 20.89 任務 7 15.52

完成時間愈長，表示受試者執行此任務時遭遇到困難；標準差愈大，則表示 各個受試者之間個別完成時間愈趨發散。由表 19 可知，平均完成時間最大的前 三名分別為任務 3、任務 6、任務 8；完成時間標準差最大的前三名為任務 3、任 務 8 以及任務 6。且根據受試者任務效能資料，任務 3、任務 6、任務 8 分別是 受試者放棄任務最多的三名，各有 14 人、2 人以及 6 人無法完成任務。因此選 定任務 3、任務 6 以及任務 8 作為後測主要測試任務，詳細任務內容如下：

z 我想看小說家 J.K. 羅琳 (J.K. Rowling)所寫的書，我要怎麼透過師大圖 書館網站查詢館內有哪些他所寫的書？

z 我聽說學校圖書館的電子資料庫有購買「天下知識庫」，可以免費下載 天下雜誌所收錄的文章，我該怎麼透過師大圖書館網站的電子資料庫服 務來使用？

z 我想借一本書，但書目記錄顯示這本書在歷史系圖書室。該怎麼透過師 大圖書館網站找到歷史系圖書室的開放時間？

後測的標的同樣為臺師大圖書館網站，並且根據進行使用性測試與訪談後所 獲得之資訊進行網站修改。本研究之後測進行方式同使用性測試，亦為請受試者 試圖於修改過之臺師大圖書館網站中試圖完成任務 3、任務 6 以及任務 8，並測 量使用者完成任務時間，檢視臺師大圖書館網站經過進行使用性測試，並針對相 關使用性問題提出改進建議與實做後的圖書館網站是否能夠大幅降低受試者原 先感受之使用性問題。

承上所提及之本使用性評估所使用之後測任務為任務 3、任務 6 以及任務 8，

針對使用者進行任務時會使用到的畫面，根據本研究所提出之修改建議進行頁面

調整，並徵集 15 名受試者針對這三道任務進行測試，觀察其完成時間以及成功 率。將所蒐集資料與前一次使用性測試所獲得資料進行比較，檢視新修正後的網 頁是否能大幅提高使用者成功率以及減少其花費時間。修改的頁面內容及修改的 方式如下：

(一)

檢索結果回饋

由使用性測試的資料可以發現，受試者對於現有圖書館網站檢索系統於查無 資料時所回饋的訊息大多不甚能理解(圖 37)。

圖 37 臺師大圖書館網站檢索回饋訊息

因此根據受試者意見以及測試中所觀察到之狀況，調整檢索頁面回饋訊息如 圖所示。

圖 38 修改過後之臺師大圖書館網站檢索回饋訊息

做此修改的目的為讓使用者看到此訊息時，能夠更容易瞭解訊息之內容，並 且瞭解如何進行下一步動作。於本修改為例，希望使用者看到本畫面時，下一步 動作為點選「請按這裡」連結，可直接導向由同一組查詢詞進行關鍵字檢索之檢 索結果。

(二) 電子資料庫

受試者於進行尋找電子資料庫任務時曾做出「為什麼這個地方沒有設一個檢 索功能？」的質疑。因此，本次頁面修改主要著重於提供該頁面電子資料庫名稱 檢索功能(圖 39)，希望使用者進到該頁面時，可以選擇除了學科類型、中文以及 英文等排序方式外，也可以直接使用檢索功能尋找所需資料，提供更簡便的方式 使用。

圖 39 修改後之臺師大圖書館網站電子資料庫頁面(紅框處為新增部份)

(三) 開放時間

根據使用性測試記錄，部份受試者於進行尋找歷史系圖書室開放時間任務 時，會忽略區域導覽系統中所提供之連結資訊，而前往其他的索引標籤(如各項 服務) 中尋找。遍尋不著後放棄完成任務，或者是回到開放時間頁面中重新尋 找，導致進行該任務時所花費的時間過長。而受試者也認為若能將系所圖書室開 放時間連結置放於情境式導覽系統中會比較好。因此，針對本任務主要所作之修 改為調整系所圖書室開放時間連結位置，將其由原本的區域導覽系統中調整到情 境式導覽系統上，如圖 40 所示。

圖 40 修改之系所圖書室連結位置(新增紅框處連結)

進行此更動主要目的為希望使用者能夠更直覺的使用網頁，將系所圖書室連 結置放於使用者較直覺會去注意到的位置；希望一開始即可吸引其注意力，直接 前往該頁面。

二、後測結果

後測所需要的相關資源透過和臺師大館方接洽，獲得館方同意後，由系統資 訊組協助提供所需要之資源。在不影響目前上線之圖書館網站的情況下作修改、

測試。受試者亦透過校內外 BBS 站進行募集，總共徵得 15 名受試者參與本次後 測，這 15 名受試者均未參加過正式測試。

後測進行方式為請受試者於修改過的圖書館網站中嘗試完成以西文作者查 詢圖書、尋找電子資料庫以及系所圖書室開放時間三道任務。並記錄受試者完成 時間，以此作為判斷修改過的臺師大圖書館網站在使用效率上是否更佳的依據。

表 27 為這 15 名受試者於後測任務中的表現。

表 27 後測受試者完成任務時間(單位：秒)

表 28 正式測試與後測平均完成時間表(單位：秒)

表 29 受試者完成測試花費時間表

除了透過任務平均時間檢視正式測試與後測差別外，以下將針對每一道任務

表 32 已知西文作者姓名進行館藏查詢任務時間單因子變異數分析摘要表

變源 Sum of Squares 自由度 Mean Square F Sig.

組間 23952.595 1 23952.595 1.752 .192 組內 656273.905 48 13672.373

總和 680226.500 49

觀察後測時受試者的操作資料發現大多數的受試者看到任務後，第一個動作 是直接鍵入 J. K. Rowling 作為查詢詞。對於館藏查詢系統所要求的使用 Rowling, J. K.作為查詢詞這項設定並不瞭解。

針對後測所進行頁面修改為加強檢索回饋頁面訊息提示，吸引受試者進而點 選對應連結(圖 41)。

圖 41 檢索回饋訊息頁面修改(紅框處)

觀察受試者的操作過程發現這項變更效果不如預期，受試者普遍覺得該訊息 說明亦不夠明確、不知道想表達什麼。以及根據以往經驗會先去修改檢索條件，

重新進行檢索。

受試者亦提到理想上希望能夠不管查詢詞怎麼打都找得到資料，由於目前網

際網路使用普及，搜尋引擎的功能日益強大。大多使用者均習慣於現有網際網路

進一步針對相關資料進行單因子變異數分析，可得分析結果如表 34。由表 可知 F 值為 8.297，P 值為 .006 < .01，達顯著水準。可知在此任務中，正式測試 與後測完成時間具有顯著差異。亦即後測受試者完成任務所花費的時間較短，並 達顯著水準。

表 34 以已知電子資料庫名稱查詢館藏單因子變異數分析摘要表

變源 Sum of Squares 自由度 Mean Square F Sig.

組間 61226.975 1 61226.975 8.297 .006**

組內 354227.105 48 7379.731 總和 415454.080 49

**P < .01

根據正式測試時受試者的意見，本任務於頁面修改中增加電子資料庫檢索功 能，觀察受試者資料顯示使用檢索功能完成任務的有 12 名受試者，使用檢索功 能的比率為 80%，由此可知此修改的確符合原先設想，使用者可直接透過檢索功 能找到所需資訊。

(三) 查詢系所圖書室開放時間

在第三道任務查詢系所圖書室開放時間中，後測受試者平均完成任務的時間 低於正式測試；且後測受試者失敗率為 0%，亦優於正式測試受試者失敗率 17%，

詳細資料如表 35。

表 35 查詢系所圖書室開放時間正式測試與後測花費時間表(單位：秒)

三、 系統使用性量表比較

表 38 正式測試與後測系統使用性滿意度單因子變異數分析摘要表

變源 Sum of Squares 自由度 Mean Square F Sig.

組間 1147.959 1 1147.959 7.114 .010*

組內 7583.929 47 161.3602

總和 8731.888 48

* P < .05

由表可知，F 值為 7.114，P 值為 .010 < .05，達顯著。由此可知，後測受試 者系統使用性滿意度明顯高於正式測試受試者。亦即後測所進行之修正對受試者 而言，確實能夠提昇系統使用性滿意度。