行政院國家科學委員會專題研究計畫 期末報告
檔案資訊檢索系統易用性評估與使用者意見調查
計 畫 類 別 : 個別型 計 畫 編 號 : NSC 101-2410-H-004-194- 執 行 期 間 : 101 年 08 月 01 日至 102 年 07 月 31 日 執 行 單 位 : 國立政治大學圖書資訊與檔案學研究所 計 畫 主 持 人 : 林巧敏 計畫參與人員: 碩士班研究生-兼任助理人員:戴芳伶 碩士班研究生-兼任助理人員:林玉珮 報 告 附 件 : 出席國際會議研究心得報告及發表論文 公 開 資 訊 : 本計畫涉及專利或其他智慧財產權,1 年後可公開查詢 中 華 民 國 102 年 07 月 17 日中 文 摘 要 : 隨著網路與資訊科技的進步,檔案檢索工具已從書本或是卡 片形式,轉換為電子形式在網頁呈現,建置成為線上檢索工 具或是檔案資訊系統。線上檢索工具藉由典藏機構網站提供 服務,將更便於使用者檢索有興趣的館藏資源。但資訊檢索 系統發揮的效益與網站設計原則息息相關,檔案館建置之線 上檢索工具,能否提供使用者最佳的館藏檢索方式是值得關 注的問題。 過去不乏檔案使用者研究顯示,使用者在瀏覽線上檔案檢索 工具時,往往歷經館藏層級瀏覽後,迷失路徑;使用者對於 檔案館提供的主題標目,經常感到困惑;也希望檔案館不只 是目錄查詢,最好能直接線上顯示數位內容。但最大的困難 則是系統採用很多術語是檔案人員所瞭解,但使用者則未必 知悉。顯然檔案人員慣常以資料為中心取向,進行館藏資源 描述,導致編製之檢索工具與使用者期待有所落差。值此資 訊系統不斷發展之際,檔案典藏機構需要根據使用者需求分 析,重新思考檔案系統呈現的資訊方式,以促進使用者能與 系統產生更有效的互動。 因此,如何加強檔案資訊系統的易用性,提供使用者有效率 的檢索檔案資訊系統是重要議題。系統「易用性」 (Usability)設計是讓系統能夠符合使用者的習慣與需求, 藉由易用性測試也可瞭解系統容易使用的程度。易用性測試 通常關注系統使用介面,特別是有關使用系統的效益、效率 與滿意程度。 本研究主要進行任務取向之系統易用性評估,藉由使用者操 作系統之實測觀察方式,分析使用者檢索歷程與操作過程, 再輔以深度訪談方式,探知使用者對於操作系統的看法與意 見。另以問卷調查表用於系統測試後瞭解使用者對於操作系 統之滿意度。本研究以國內具有指標意義之檔案管理局「國 家檔案資訊網」進行實測分析,瞭解使用者與系統互動之情 況,同時分析美、英、加等國家檔案資訊系統介面設計與功 能現況,俾於相互比較,瞭解優劣。 研究結果發現受測者使用國家檔案資訊網容易失敗之原因, 包括:(一)無法順暢使用非 IE 瀏覽器;(二)「進階搜 尋」圖示不明顯;(三)「全宗(機關)代碼查詢」功能不易 理解;(四)檢索結果排序功能用語失當;(五)無法直觀 理解系統層級瀏覽功能;(六)調閱申請操作步驟繁複; (七)操作指引內容解說不夠詳盡;(八)功能系統回應速 度較慢等原因。最終,根據結論,提出國家檔案資訊系統功 能改善之建議,並進而歸納提出系統易用性設計之原則。
中文關鍵詞: 檔案檢索工具;檔案資訊系統;使用者調查;易用性測試 英 文 摘 要 : Usability is associated with the user's needs of a
system or a product to reach their goals and the user's satisfaction throughout the process.
Usability testing can help to realize how easy-to-use of a system. The majority thinks that usability is related to interface, especially to the efficiency, effectiveness, and satisfaction.
This study conducted task-based usability testing, observations, and in-depth interviews to obtain users' perspectives for online finding aids. Questionnaires also were taken to measure the satisfaction of the system after users testing. National Archives Access Service System, established by National Archives administration in Taiwan, will be selected to investigate the usability questions about navigation, access function, display, and terminology of online system. This study provides insights regarding how users navigate archival information system and how archivists might design interfaces that facilitate efficient search
strategies. The interfaces and functions in National Archives Systems of the United States, United Kingdom and Canada are taken as examples to explain their state-of-the-art.
The results are summarized as follows: (1) Browsers of non-Internet Explorer can't display smooth. (2) Advanced Search icon is unapparent. (3) Collection Identifier can't be realized. (4) The commentary of result sorting is blurred. (5) The function of browse by hierarchy can't understand intuitively. (6) The procedure of order and view records is complicated. (7) The user help and search guide aren't detailed enough. (8) The response time of system is slower. According to the result, the suggestions will be proposed for improving the system interface functions and draft the principles of system usability design. 英文關鍵詞: archival fonding aids;online finding aids;archival
行政院國家科學委員會補助專題研究計畫
■ 成 果 報 告
□期中進度報告
檔案資訊檢索系統易用性評估與使用者意見調查
計畫類別:■個別型計畫 □整合型計畫
計畫編號:
NSC 101-2410-H-004-194
執行期間:2012 年 8 月 1 日至 2013 年 7
月 31 日
執行機構及系所:國立政治大學圖書資訊與檔案學研究所
計畫主持人:林巧敏
共同主持人:
計畫參與人員:戴芳伶、林玉珮
成果報告類型(依經費核定清單規定繳交):□精簡報告 ■完整報告
本計畫除繳交成果報告外,另須繳交以下出國心得報告:
□赴國外出差或研習心得報告
□赴大陸地區出差或研習心得報告
■出席國際學術會議心得報告
□國際合作研究計畫國外研究報告
處理方式:
除列管計畫及下列情形者外,得立即公開查詢
□涉及專利或其他智慧財產權,□一年□二年後可公開查詢
中 華 民 國 一○二 年 七 月 三十一 日
中文摘要
隨著網路與資訊科技的進步,檔案檢索工具已從書本或是卡片形式,轉換為 電子形式在網頁呈現,建置成為線上檢索工具或是檔案資訊系統。線上檢索工具 藉由典藏機構網站提供服務,將更便於使用者檢索有興趣的館藏資源。但資訊檢 索系統發揮的效益與網站設計原則息息相關,檔案館建置之線上檢索工具,能否 提供使用者最佳的館藏檢索方式是值得關注的問題。 過去不乏檔案使用者研究顯示,使用者在瀏覽線上檔案檢索工具時,往往歷 經館藏層級瀏覽後,迷失路徑;使用者對於檔案館提供的主題標目,經常感到困 惑;也希望檔案館不只是目錄查詢,最好能直接線上顯示數位內容。但最大的困 難則是系統採用很多術語是檔案人員所瞭解,但使用者則未必知悉。顯然檔案人 員慣常以資料為中心取向,進行館藏資源描述,導致編製之檢索工具與使用者期 待有所落差。值此資訊系統不斷發展之際,檔案典藏機構需要根據使用者需求分 析,重新思考檔案系統呈現的資訊方式,以促進使用者能與系統產生更有效的互 動。 因此,如何加強檔案資訊系統的易用性,提供使用者有效率的檢索檔案資訊 系統是重要議題。系統「易用性」(Usability)設計是讓系統能夠符合使用者的 習慣與需求,藉由易用性測試也可瞭解系統容易使用的程度。易用性測試通常關 注系統使用介面,特別是有關使用系統的效益、效率與滿意程度。 本研究主要進行任務取向之系統易用性評估,藉由使用者操作系統之實測觀 察方式,分析使用者檢索歷程與操作過程,再輔以深度訪談方式,探知使用者對 於操作系統的看法與意見。另以問卷調查表用於系統測試後瞭解使用者對於操作 系統之滿意度。本研究以國內具有指標意義之檔案管理局「國家檔案資訊網」進 行實測分析,瞭解使用者與系統互動之情況,同時分析美、英、加等國家檔案資 訊系統介面設計與功能現況,俾於相互比較,瞭解優劣。 研究結果發現受測者使用國家檔案資訊網容易失敗之原因,包括:(一)無 法順暢使用非 IE 瀏覽器;(二)「進階搜尋」圖示不明顯;(三)「全宗(機關)代 碼查詢」功能不易理解;(四)檢索結果排序功能用語失當;(五)無法直觀理解 系統層級瀏覽功能;(六)調閱申請操作步驟繁複;(七)操作指引內容解說不夠 詳盡;(八)功能系統回應速度較慢等原因。最終,根據結論,提出國家檔案資 訊系統功能改善之建議,並進而歸納提出系統易用性設計之原則。ABSTRACT
With the advent of the Internet and information technologies develop, archives have moved finding aids from bookshelves and card catalogs into the websites that are named online finding aids or archival information systems. Online finding aids available through repository websites are intended to facilitate the discovery of archival collections in which users might be interested. However, website designers' design principles can greatly influence the efficiency of information retrieval on any websites. It is more important than before to discuss whether online finding aids really provide the best means of access to archival collections.
According to archival user surveys found that users became lost in the hierarchy of the finding aids, and were confused by subject headings. Users also expected resources to be available online rather than only offer bibliographic information. The most difficulties were that archival terminology was unintelligible to users. In the past, the archivists have often taken a materials-centric approach to depict collections, and that consequently, the finding aids do a very poor job of meeting users' needs. Increasingly, archival repositories are designing their online finding aids on the web. Archival repositories need to rethinking the display of descriptive information will lead to more effective user interactions, and that reformatting should be based on an analysis of user needs.
Therefore, how to enhance the usability of online finding aids so that users can be satisfied with the efficiency of the archives system becomes a critical issue. Usability is associated with the user's needs of a system or a product to reach their goals and the user's satisfaction throughout the process. Usability testing can help to realize how easy-to-use of a system. The majority thinks that usability is related to interface, especially to the efficiency, effectiveness, and satisfaction.
This study conducted task-based usability testing, observations, and in-depth interviews to obtain users' perspectives for online finding aids. Questionnaires also were taken to measure the satisfaction of the system after users testing. National Archives Access Service System, established by National Archives administration in Taiwan, will be selected to investigate the usability questions about navigation, access function, display, and terminology of online system. This study provides insights regarding how users navigate archival information system and how archivists might design interfaces that facilitate efficient search strategies. The interfaces and functions in National Archives Systems of the United States, United Kingdom and Canada are taken as examples to explain their state-of-the-art.
The results are summarized as follows: (1) Browsers of non-Internet Explorer can't display smooth. (2) Advanced Search icon is unapparent. (3) Collection Identifier can't be realized. (4) The commentary of result sorting is blurred. (5) The function of browse by hierarchy can't understand intuitively. (6) The procedure of order and view records is complicated. (7) The user help and search guide aren't detailed enough. (8) The response time of system is slower. According to the result, the
suggestions will be proposed for improving the system interface functions and draft the principles of system usability design.
關 鍵 字 : 檔 案 檢 索 工 具 ; 檔 案 資 訊 系 統 ; 使 用 者 調 查 ; 易 用 性 測 試 Keywords: archival fonding aids; online finding aids; archival
目次 第一章 緒論 ... 1 第一節 問題陳述...1 第二節 研究目的...4 第三節 研究範圍與限制...5 第二章 文獻分析 ... 7 第一節 檔案資訊系統功能需求...7 第二節 系統易用性評估設計...11 第三節 檔案資訊系統使用調查...16 第四節 系統易用性評估相關研究...20 第三章 研究設計與實施 ... 27 第一節 研究設計...27 第二節 研究方法...28 第三節 研究對象...33 第四節 研究步驟與流程...36 第五節 資料處理與分析...40 第四章 檔案資訊系統介紹 ... 43 第一節 美國國家檔案資訊系統...43 第二節 英國國家檔案館檢索系統...53 第三節 加拿大國家圖書與檔案館檢索系統...68 第四節 臺灣國家檔案資訊系統...81 第五節 綜合分析...89 第五章 調查結果與分析 ... 93 第一節 易用性實測結果分析...93 第二節 問卷滿意度分析...110 第三節 訪談意見分析...115 第六章 結論與建議 ... 135 第一節 結論...135 第二節 建議...139 第三節 進一步研究建議...141 參考書目 ... 143
附錄一:檢索任務描述 ... 151 附錄二:「國家檔案資訊網」易用性評估問卷... 152 附錄三:國家檔案資訊網使用者訪談大綱 ... 155
表次 表 3.1 實測任務描述說明 ...31 表 3.2 訪談評估問題重點與內容大綱 ...32 表 3.3 受測者背景資料分析 ...35 表 3.4 易用性評估任務觀察標示類型與說明 ...40 表 5.1 各項任務完成時間統計表 ...93 表 5.2 易用性評估任務失敗類型統計表 ...94 表 5.3 各項任務失敗類型統計表 ...95 表 5.4 任務一錯誤類型統計表 ...96 表 5.5 任務二錯誤類型統計表 ...100 表 5.6 任務三錯誤類型統計表 ...101 表 5.7 任務四錯誤類型統計表 ...103 表 5.8 任務五錯誤類型統計表 ...106 表 5.9 任務六錯誤類型統計表 ...107 表 5.10 受測者背景分析 ...110 表 5.11 受測者對於系統各項功能滿意度統計表 ...113
圖次
圖 2.1 測試者人數與發現問題數量關係統計圖 ...15
圖 3.1 研究實施步驟流程圖示 ...39
圖 4.1 NARA 網站首頁...44
圖 4.2 Research Our Records 呈現畫面...45
圖 4.3 簡易檢索與熱門詞彙 ...46 圖 4.4 進階檢索 ...47 圖 4.5 後分類 ...48 圖 4.6 檢索結果呈現 ...49 圖 4.7 查詢結果的呈現 ...50 圖 4.8 層級瀏覽 ...50 圖 4.9 應用限制 ...51 圖 4.10 全文影像 ...51 圖 4.11 線上輔助說明 ...52 圖 4.12 簡易檢索可提供關鍵字鍵入或是依政府部門瀏覽目錄 ...56 圖 4.13 進階檢索提供多欄位組合查詢 ...56 圖 4.14 檢索框說明圖示(一) ...57 圖 4.15 檢索說明框圖示(二) ...58 圖 4.16 查詢結果顯示 ...60 圖 4.17 詳目內容顯示 ...60 圖 4.18 層級瀏覽(一) ...61 圖 4.19 層級瀏覽(二) ...62 圖 4.20 應用限制處理 ...63 圖 4.21 線上申請表單 ...64 圖 4.22 Search Help ...65
圖 4.24 FAQS ...67 圖 4.25 簡易檢索 ...70 圖 4.26 進階檢索 ...71 圖 4.27 錯誤提醒 ...72 圖 4.28 結果排序 ...72 圖 4.29 結果篩選與目錄結果 ...74 圖 4.30 詳細內容 ...74 圖 4.31 層級瀏覽(一) ...75 圖 4.32 層級瀏覽(二) ...75 圖 4.33 數位化檔案 ...76 圖 4.34 應用限制說明 ...77 圖 4.35 申請表格(一) ...77 圖 4.36 申請表格(二) ...78 圖 4.37 Freelance Research ...79 圖 4.38 查檢工具 ...80 圖 4.39 檢索協助 ...80 圖 4.40 簡易檢索 ...82 圖 4.41 進階檢索 ...83 圖 4.42 熱門應用 ...84 圖 4.43 排序結果 ...84 圖 4.44 詳細內容 ...85 圖 4.45 檢索結果之層級圖 ...86 圖 4.46 檔案開放資訊 ...86 圖 4.47 使用說明 ...87 圖 4.48 檔案管理局之 AA 使用說明 ...88 圖 5.1 任務一常發生檢索概念鍵入錯誤問題 ...98
圖 5.2 任務一因瀏覽器問題發生系統出現錯誤訊息 ...98 圖 5.3 任務二檢索結果排序選單設計不當 ...101 圖 5.4 任務三層級瀏覽易誤解點選至詳細內容 ...102 圖 5.5 任務四調閱申請畫面易帶給受測者操作猶豫 ...105 圖 5.6 任務六 RSS 訂閱過程的系統錯誤畫面 ...108 圖 5.7 系統學習性滿意度統計圖 ...111 圖 5.8 系統記憶性滿意度統計圖 ...111 圖 5.9 系統容錯性滿意度統計圖 ...112 圖 5.10 系統效率性滿意度統計圖 ...112 圖 5.11 有經驗之受測者各項滿意度統計圖 ...113 圖 5.12 無經驗之受測者各項滿意度統計圖 ...114 圖 5.13 有無經驗之受測者滿意性認同度比較統計圖 ...114
第一章 緒論
第一節 問題陳述
檔案檢索工具是檔案數量成長後的必然發展,數量龐大的檔案資 訊無法僅憑人類所謂的博學強記,就能迅速找到所需的檔案材料,為 瞭解決數量浩繁的檔案管理與使用查詢需求,檔案檢索工具與檔案資 訊系統因而產生。檔案檢索工具(finding aids)是檔案館對於典藏 檔案之實體(physical)或智能(intellectual)描述性的工具,可藉此 對該檔案館的特定館藏資訊進行檢索。(Edgecombe,1993,p.248)檔 案檢索工具是使用者在檔案檢索活動中,按照一定的檔案實體特徵、 主題範圍或內容要項,進行檔案資訊查詢的工具,不僅是檔案應用的 基礎,更是館藏控制的重要依據。 隨著資訊科技的進步,檔案檢索工具多以電子形式呈現,所建置 之檔案資訊檢索系統(簡稱檔案資訊系統)是一個介於檔案使用者與 檔案資訊總體之間的一項設施,是根據特定目的將檔案文獻依照檢索 語言進行著錄與標引後,按一定的結構次序組織起來,並透過自動化 系統提供檔案文獻檢索的方式。 過去使用檔案館藏僅為少數研究人員的需求,研究人員多半可尋 求檔案館參考諮詢人員的協助檢索查詢館藏,但政府資訊公開之後, 檔案應用對象擴及一般使用者,背景多元之使用者,期許檔案資訊系 統應該更簡便而易於操作。根據國際檔案理事會(International Council on Archives Committee)的觀點,認為檔案資訊系統的基本 功能應是:能提供檢索檔案館藏資訊;是正確、一致而具有解釋性的 館藏檢索工具;並可呈現多層次的描述格式,以展現檔案資料的內容 與 關 係 。( International Council on Archives Committee onDescriptive Standards,2002)但並非所有檔案資訊系統均能符合使 用者期待,國外不少實證研究顯示,檔案館一廂情願所建置的檔案資 訊系統往往與使用者需求意願相違,使用者認為檢索檔案資訊,並不 是 一 件 容 易 的 事 。( Rosenbusch, 2001,p.46; Duff & Johnson, 2002,p.472; Cox,2007,p.9)因此,如何瞭解使用者線上系統檢索行 為,並建置功能完善之檔案資訊系統成為重要研究議題。 國內檔案典藏機構,近年來在「數位典藏國家型科技計畫」支持 下,陸續進行珍貴檔案史料的數位典藏及檔案檢索工具的建置,如: 國史館的「史料暨史籍資料庫檢索系統」、國史館臺灣文獻館的「臺 灣總督府檔案數位典藏計畫」、中央研究院近代史研究所檔案館的「近 史所檔案館外交經濟重要檔案數位典藏計畫」、國立故宮博物院與中 央研究院歷史語言研究所合作之「明清內閣大庫檔案國家數位典藏計 畫」,均已建置檔案資訊系統,並陸續將檔案全文掃描,提供使用者 透過網際網路檢索。而國外國家檔案館建置之檔案資訊系統亦已行之 有年,著名的系統,如:美國的 ARC(Archives Research Catalog)、 英國的 PROCAT(Public Record Office Online Catalogue)與 A2A (Access to Archives),甚至加拿大、澳洲、紐西蘭等國,均有代 表性之國家檔案資訊系統。我國檔案中央主管機關「檔案管理局」目 前亦已建置提供行政機關現行文件目錄查詢之「機關檔案目錄查詢 網」,亦有「國家檔案資訊網」提供國家檔案目錄檢索與影像調閱瀏 覽服務。 目前國內各檔案典藏機構各自發展系統,系統功能與建檔內容殊 異,造成使用者操作檢索檔案資訊極大的負擔。加上研究顯示國內各 檔案館因缺乏資訊專長人員,又因成本經費考量,主要都是由機關擬 定系統功能需求書,再委外由廠商開發系統,或有部分機關與中央研 究院計算中心技術合作開發系統。但整體而言,各機關認為系統長期
維運與新增功能需求都是負擔。(林巧敏,鄭伊廷,2011,頁 91) 故系統一旦開發完成啟用後,往往少有機會檢視系統或新增修改系 統。再者,委外雖是最經濟和便捷的方式,但也導致各館檔案資訊系 統功能分歧,使用者不僅須熟習不同的檢索介面,對於系統使用評價 落差也很大。因此,在系統開發初始,如何設計一個符合使用需求的 檔案資訊系統是非常重要的問題,特別是在目前國內檔案資訊系統正 值陸續發展與改版之際。 此外,因應檔案資訊系統的逐漸發展,檔案界開始重視使用者研 究議題,亦不乏對於檔案資訊檢索系統之研究,過去多半採用觀察、 問卷、訪談或焦點團體等調查方式,分析檔案資訊系統使用者之檢索 需求及其對於系統的意見,期許藉由對檢索過程與問題之瞭解,作為 系統改善之參考。問卷或訪談等調查方式固然可探知使用者意見,但 仍屬使用者主觀認知,對於瞭解使用者線上實際操作歷程與操作錯誤 處,只能瞭解使用者可記憶或可回顧的部分問題。因此,如果著重系 統功能之評估,宜採實測觀察方式,進行系統易用性評估,雖然圖書 資訊領域已有系統易用性評估實例,但檔案資訊系統使用研究關注系 統易用性評估者不多。 本研究希望先藉由文獻分析瞭解國外檔案資訊系統建置發展整 體情況;並藉由系統易用性(usability)評估程序,實際以國內具 有指標意義的檔案管理局「國家檔案資訊網」進行實測分析,藉由使 用者操作系統之實測觀察方式,分析使用者檢索歷程與操作過程,再 輔以問卷調查與深度訪談方式,探知使用者對於操作系統的看法與意 見,不僅可瞭解使用者與檔案系統互動之情況,進而可探討檔案資訊 系統介面存在之易用性問題,期許可供國內檔案資訊系統設計與功能 改善之參考。
第二節 研究目的
本研究計畫主要是藉由文獻分析瞭解國外檔案資訊檢索系統 發展過程與規劃重點,並藉由使用者實際檢索國內檔案資訊系統過 程分析,探究使用者檢索國家檔案資訊系統之使用行為,記錄檢索 過程障礙與檢索滿意程度,並檢視系統瀏覽、查詢指令、結果呈現、 操作說明與個人化服務等系統功能易用性評估結果,進而輔以深度 訪談方式,瞭解系統符合使用者需求情形及其對於系統功能滿意度 與意見,期許藉由分析國內目前檔案資訊系統檢索功能設計之優 劣,提出系統功能改善之建議,並歸納有關檔案資訊系統介面設計 應考量之基本原則。具體研究目的條列如下: 一、 瞭解國內外檔案資訊檢索系統發展歷程與系統規劃整體概況, 比較國內外差異,提供國內對於檔案資訊系統整體政策規劃之 參考。 二、 藉由系統易用性評估原則,實際分析使用者檢索國家檔案資訊 系統之檢索過程,瞭解檔案使用者檢索行為與系統符合使用者 需求情形。 三、 探討分析國家檔案資訊系統之優劣,以及使用者對於系統使用 經驗之感受與意見,提供國家檔案資訊系統本身功能改善建議。 四、 綜合分析檔案資訊系統易用性評估與使用者意見調查結果,歸 納提出我國檔案資訊系統設計應考量之通則性建議。第三節 研究範圍與限制
本研究基於研究目的、研究期限以及語文能力等因素考量,本研 究進行之際,針對下列事項設定研究範圍與限制,俾於整體研究之進 行: 一、研究語文與地區之限制:文獻分析因囿於語文能力,以英文文獻 及中文文獻為限。 二、研究結果之限制:有鑑於各別資訊系統功能設計重點與使用對象 不同,各別系統實測都具有唯一性特質。本研究欲探析「國家檔 案資訊網」介面設計是否符合使用者需求,故針對此一系統進行 實測分析,研究結果可直接反應此系統改善需求,但不盡然適用 其他系統介面問題,然可期許研究過程與檔案檢索介面設計通 則,可供同質性研究之參考。 三、實測研究對象之限制:本研究為瞭解使用者查詢系統之過程,徵 求系統使用者進行實測,參與實測者以政治大學歷史相關系所師 生為主。第二章 文獻分析
第一節 檔案資訊系統功能需求
長久以來檔案管理人員埋首於大量的文件、照片、磁帶與錄影音 資料之整理,檔案檢索工具原為紙本形式,因 MARC-AMC 與 EAD 等機 讀目錄格式的產生,使檔案資訊檢索有革命性的改變。檔案資訊檢索 系統是使用者找尋浩瀚檔案資源的重要指引,因網路與資訊技術的發 展,檔案檢索由原本的紙本轉變為電子線上形式,線上檔案資訊系統 相較於傳統紙本檢索工具,具有檢索速度快、檢索點較多、便於資源 共享、檢索結果輸出靈活等長處,也能藉由連結功能提供使用者悠遊 檔案層級結構之間,瀏覽相互關連的案卷與人名、地名權威等資訊。 (Meagher, Brown & Fisher,2000,pp.44-45)但每個線上檢索系統 界面設計不盡相同,也不是所有的線上系統都很容易使用。系統必須 擁有符合使用者需求的檢索功能,具有易於學習和操作的使用介面, 並適時提供必要的輔助說明,才能將使用者線上查詢操作,可能遭遇 的問題降到最低。但如何建構一個符合使用者需求的檔案資訊檢索系 統,則需要藉助檢索系統評估,瞭解系統滿足使用者需求的程度。 影響檔案資訊系統檢索品質的問題,在系統規劃與資料建置過程 中,影響因素包括:(馮惠玲,1999,頁 10-12;王向明,2001,頁 19-20) (一)資料著錄的詳簡程度 資料著錄時如果能對於檔案材料的特徵描述比較細緻,蘊含的資 訊量較多,檢索時就能提供較多的檢索判斷條件。但著錄詳簡程度與 資料建置成本有關,不必然是愈詳細愈好,詳盡程度以能完整描述資 料特性為宜。(二)文獻標引的深度與專指性 編製檢索工具對檔案內容分析愈透徹,標示出反映內容的主題詞 組愈貼切、愈具體,日後就愈能根據這些代表文件的主題詞彙找到這 份文件,主題標引詞彙如採用控制詞彙,固然能因具有良好詞彙結 構,有助於檢索回現率與精確率,但是維護成本較高且不具彈性;如 果採自然語言,雖然具有索引作業快、與使用者用語符合的優點,但 是對於同義、同類的相關詞彙未加以組織,容易造成檢索錯誤的連結。 (三)靈活運用檢索方法與策略 透過檢索問題分析,儘量準確的表達檢索需求,合理選用與之相 對應的檢索工具,並熟悉各項檢索工具之特點與收錄範圍,將檢索需 求以檢索系統語言進行查詢,必要時不以查詢一種工具為限,要能靈 活運用各種工具,可根據檢索結果修正檢索策略,以求得最理想之檢 索結果。 (四)提高檢索資料庫品質與功能 資料庫建置過程需要考量界定資料收錄範圍,並要求資料鍵入正 確、著錄精準,系統檢索介面功能要講究親和性,透過使用者研究瞭 解使用行為,並據以設計貼切使用需求之檢索系統功能。為了確保檔 案目錄資料庫品質,對於檔案目錄建檔資料應訂定規範及作業手冊, 需要加強教育訓練提昇著錄人員素質;既然目錄著錄過程,因人為或 系統缺失導致內容錯誤是無法避免的,需要建立檢核的機制,找出錯 誤所在,進而可加以修正,所謂的「檢核」是依據標準,檢查書目紀 錄本身有無錯誤,在書目資料匯入資料庫之前,可藉由資料校閱的程 序,檢視目錄內容有無任何錯誤的情形,以減少錯誤的比率。(林巧 敏,2004,頁 82-83) 雖然系統建置目的在於提供查詢,使用者也希望能以最迅速方 式、最短時間、取得最符合需要的檔案資訊資源。但不乏實證研究顯
示檔案資訊系統存在不少令人詬病之處,主要問題包括:
(一) 檔案層級瀏覽容易迷失路徑
根據 B. Altman 與 J.R. Nemmers 的研究顯示,使用者進行檔案 目錄層級瀏覽時經常迷失路徑,系統畫面應該呈現目前所屬層級位 階。E. Yakel 與 J.C. Chapman 等人的實證研究,也同樣提出使用者 對於系統所呈現之檔案編排層級架構的瀏覽功能,往往歷經館藏層級 瀏 覽 後 , 而 不 知 身 在 何 處 。( Rosenbusch,2001,p.50; Alman,Nemmers,2001,p.126;Yakel,2004,p.68;Chapman,2010,p.26) (二)過多專業術語難以理解 根據 Rosalie Lack 的分析認為,檔案系統採用很多術語是檔案 人員瞭解,但使用者未必知悉。(Lack,2006,p.77)使用者甚至對於 「行政資訊」(administrative information)此類檔案描述欄位名 稱,無法直觀理解,Wendy Scheir 建議檔案資訊系統應該提供專業 術 語 的 超 連 結 解 釋 , 可 幫 助 使 用 者 理 解 介 面 功 能 選 項 的 涵 義 。 (Scheir,2005,p.72) (三)檢索結果無法連結呈現全文 使用者對於資訊檢索系統的期許也不只是目錄查詢,更希望能在 檢索結果直觀點選,線上呈現檔案的數位內容。(Lack,2006,p.77) (四)不恰當的社群參與功能設計 由於 WEB 2.0 風潮帶來強調使用者參與之介面設計,但 R. Lack 的 研 究 顯 示 使 用 者 對 於 熱 門 推 薦 的 功 能 可 能 感 到 興 趣 。 (Lack,2006,p.79)但檔案資訊系統提供使用者評論(comment)與 標籤(tag)功能並不實用,因檔案資訊專深性較高,學者專家提供 的評論或許可用,但一般社會大眾參與評論並無價值,M.G.Krause 與 E. Yake 也曾分析檔案資訊系統線上評論功能,發現使用者幾稀,
致用性不高。(Krause,Yakel,2007.p.298)
J.G. Daines 與 C.L. Nimer 則進一步歸納前人研究文獻,認為 檔案資訊系統普遍存在的檢索問題,包括:檔案階層顯示不清、案件 層級檢索功能不佳、文字區塊的過度使用以及過多的專業術語等狀 況。(Daines,Nimer,2011,p.7)現階段檔案學者對於檔案檢索工具的 評論,也並不友善,W. M. Duff, C.A. Johnson 與 Helen R. Tibbo 等人認為許多使用者並不瞭解如何檢索檔案資訊系統,甚至認為在檔 案館找尋資訊並不容易,因而建議檔案館應該跳脫全宗檢索和書目指 導的傳統思維,真正瞭解使用者線上檢索行為,才能設計符合使用者 需求之檔案資訊系統,讓使用者不需個別指導即可線上操作。(Duff & Johnson,2002,p.472.;Tibbo,2003,p.29) 根據既有的檔案資訊系統使用研究在在顯示,檢索系統的功能如 果缺乏使用者導向設計,勢必和使用者能力與期許產生落差。目前國 內檔案典藏機構不乏已建置檔案資訊系統者,系統的建置往往需要機 構投注相當人力與資源,如果系統功能與使用需求相左,致使系統不 受使用者青睞,殊為可惜。現今臺灣地區檔案資訊系統使用人次相較 於國外檔案資訊系統造訪人次數量,相形見拙。雖然不同資訊檢索系 統有其規劃設定之服務對象、資料收錄特性與系統功能,不能全然以 使用次數評估系統價值,但系統介面「易用性」(Usability)設計, 應是所有系統一致性的目標。 檔案資訊系統介面如能符合使用者需求導向設計,自可降低使用 者檢索系統的障礙。「易用性」是一種以使用者為中心的設計概念, 易用性設計的重點在於讓系統能夠符合使用者的習慣與需求,藉由易 用性測試也可瞭解系統容易使用的程度。如能藉由研究分析,瞭解國 內檔案資訊系統介面易用性問題,將有助於系統功能提升,改善如前 述研究顯示檔案系統不易檢索的刻板印象,進而提升檔案資訊系統使 用人次。
目前國內檔案資訊檢索系統,尚無進行系統易用性評估之實證研 究,但系統介面設計之良莠,則深刻影響使用者的檢索表現與使用滿 意度。適值國內檔案資訊系統紛紛建置之際,實有必要探討檔案資訊 系統易用性設計問題。
第二節 系統易用性評估設計
「易用性」(Usability) 這個名詞目前中譯有優使性、使用性、 易用度、易用性、好用性、可用性等不同的翻譯名稱(維基百科, 2011),本研究參考在網路資源較常出現之「易用性」稱之。 「易用性」是一種以使用者為中心的設計概念,剛開始只是人機 介面(Human Computer Interaction, HCI)研究中的一個關鍵性概 念,並沒有明確的定義與評估方法,近年來隨著使用者資訊需求研究 的興起,其概念現已擴展到針對各種產品或服務,並且與使用者經驗 聯結在一起。1980 年代,系統設計師和學者曾提出「使用者友善」 (user friendly)的概念,強調產品設計與開發,應以使用者為中心 進行設計,而非使用者遷就產品或機器,然隨著時間的演進,目前「易 用性」已逐漸取代「使用者友善」一詞的使用,被廣泛用於對系統設 計之要求。 「易用性」的定義,根據 Jeffrey Rubin 的看法,認為所謂網站 易用性就是在網際網路的介面環境下,讓使用者能夠有效率、輕鬆地 利用電腦系統所提供的功能,並擁有讓使用者容易閱讀、輸入及搜尋 資訊的輔助設計,以利迅速達成使用目的。(Rubin,1994,p.10)另 根據國際標準組織制定的 ISO 9241-11《易用性指南》(Guidance on Usability ) 對 「 易 用 性 」 的 定 義 為 : 一 項 產 品 能 以 有 效 率 (Efficiency)、有效能(Effectiveness)且令人滿意(satisfaction) 的方式,讓特定的使用者達成指定的目標。(Usability Net,1998) 易用性專家 Jakob Nielsen 則認為易用性是在衡量使用者和網站、應用軟體等設備互動經驗的指標。(Nielsen, 1993, p.23.) 因此,可 歸納易用性主要是用於評估使用者認為特定系統是否易用的標準,其 衡量過程除了在乎使用者使用系統的效率外,也包括使用過程是否能 提供美好的使用經驗。 「易用性」的特點與評估準則,依據 Jakob Nielsen 在《易用性 工程學》(Usability Engineering)一書中所列,易用性應具備以下 五種特點:(Nielsen,1993,p.6) (一) 學習性(learnability):使用者在首次面對從未使用過的 系統時,能輕易地學習如何使用,並順利完成一些基本的 任務。 (二) 助記性(memorability):使用操作易於記憶,使用者即使 非長期使用也能容易回溯過去的使用經驗,而不需重複學 習,亦即系統的功能和操作方式具有助記性。
(三) 容錯程度 (error frequency and serverity):系統必須 盡量降低錯誤率的發生,讓使用者容易從錯誤中回復任 務,且在錯誤產生時,使用者也能瞭解錯誤的原因,並調 整使用的方式。 (四) 使用效率(efficiency of use):使用者能有效率地掌握操 作邏輯並使用系統,且產生良好工作效能。 (五) 滿意度(subjective satisfaction):系統應提供使用者愉 悅的操作經驗,滿足其主觀的喜好。 根據上述「易用性」評估的特點,為了讓設計者在設計系統或使 用介面時,能有可供依循的設計原則,研究者藉由實證經驗累積,歸 納提出對於系統易用性的設計準則,包括:(Pearrow,2007,p.193; 魏澤群,2007,頁 13-8)
(一) 可視性原則(visibility of system status):系統必須在 合理的時間裡作出反應,讓使用者能夠了解系統進行的狀
況。
(二) 設計必須對應真實世界的情況(match between system and real world):系統設計必須採用使用者熟悉的語言、概 念、邏輯、習慣。
(三) 由使用者掌握控制權(user control and freedom):系統 設計必須讓使用者能夠感到自由,並能控制操作的過程。 (四) 一致性原則(consistency and standards):系統內容每頁
版面要有一致性,尤其是頁面中的一些重要元件,以及頁 面與頁面之間的風格差異不可過大。
(五) 避免出錯(error prevention):介面設計要避免讓使用者 在操作過程中產生錯誤,若操作錯誤,也要能讓使用者了 解錯誤發生的原因及如何改進。
(六) 直覺化的介面(recognition rather than recall):系統 設計必須讓使用者在看到的同時就瞭解操作方式,而不是 讓使用者在嘗試許多錯誤後,才學習到系統的正確使用方 法。
(七) 具有彈性的設計(flexibility and efficience of use): 系統設計必須提供不同導覽方式,讓具有不同使用經驗的 使用者都能輕易使用。
(八) 美觀與極簡化設計(aesthetics and minialist design): 系統的視覺設計與內容必須簡潔,與使用者任務無關的內 容或視覺效果,如造成使用困難,應予刪減。
(九) 幫助使用者了解錯誤發生的原因並解決問題(help users recognize, diagnose, and recover from errors)。 (十) 提供輔助說明(help and documentation):系統必須提供
清楚且容易理解的說明文件,以協助使用者解決問題。 上述系統易用性的特點與原則,雖可提供不同資訊系統在進行易
用性評估的基本評量標準,但個別資訊系統因其資訊內容與使用對象 不同,而各有獨具之資訊生態,進行系統易用性評估適合以個案方式 進行,可根據上述基本原則,逐一檢視特定資訊系統符合易用性標準 之程度,並據以作為系統功能改善之依據。 系統易用性評估有許多方法,進行時需取決於研究對象性質、所 處的設計階段與周邊資源的整合情形與研究目的,實際進行評估時可 將不同的評估方法結合,並視評估目的謹慎考慮各種方法之間的比 重。Jakob Nielsen 曾提出九種易用性評估方法,包括:啟發式評估 法(heuristic evaluation)、績效量測法(performance measures)、 放聲思考法(thinking aloud)、觀察法(observation)、問卷調查法 (questionnaires) 、 訪 談 法 (interviews) 、 焦 點 團 體 法 (focus groups)、記錄實際使用法(logging actual use)、使用者回饋法(user feedback)。(Nielsen,1993,p.25)但經常被使用的評估方法為: (Preece,1998,p.32) (一) 分析法(analytic):利用正式或半正式的使用者介面描述 去預測使用者表現。 (二) 專家法(expert):在易用性評估原則引導下,由專家參與 易用性評估測試團隊,也被稱為「啟發式評估(heuristic evaluation)」。「專家」指的是擁有使用者介面設計或人因 工程相關實務經驗的人,扮演一般使用者角色進行評估系 統,並描述自身所假設的一般使用者可能會遇到的問題。 (三) 觀察法(observation):由使用者實際操作系統介面時,進 行使用行為觀察與記錄,觀察的地點可選在易用性實驗室 (usability laboratory)或使用者的工作環境進行,但需 對使用者的干擾降到最低。 (四) 調查法(survey):利用問卷調查或是訪談的方式,試圖取 得使用者對系統使用介面的主觀意見。
(五) 實驗法(experimental):使用科學實驗方法印證使用者對 於使用某個系統介面的假設。 其中,特別是實測觀察方式,有別於訪談或問卷調查之主觀意見 表示,而被廣泛應用於易用性評估,是由受測者進行實際操作,並從 中觀察使用行為與記錄過程。至於參與受測之使用人數,根據 Jakob Nielsen(2000)的建議,如以最少的 5 位具代表性的受測者參與測 試,可發掘將近 85%的問題,如能募集 15 位受測者進行實地測試, 則可發掘將近 100%的問題。(Nielsen,2000) Nielsen 的說法是基於受測者人數與發現問題數量統計,得出計 算公式:(Nielsen & Landauer,1993)
Found(n)=N(1-(1-L)n ) 假設參與實地測試的人員數量為 n,N 為系統易用性測試發現的 問題總數,L 是各別單一測試人員的問題發現率。統計發現,多數測 試者的平均問題發現率為 31%。當 L=31%時,可以得到如下曲線:(圖 2.1) 圖 2.1 測試者人數與發現問題數量關係統計圖
資料來源:Nielsen, J.(2000, March 19). Why You Only Need to Test With Five Users. Retrieved November 2, 2011, from
當測試者為零時,發現的問題數目自然是零,亦即“零測試零發 現"。當第一個測試者參與,可發現將近三分之一的系統設計易用性 問題,當第二個測試者參與測試時,可發現有一部分的問題是和第一 個測試者重複的;第二個測試者可以發現一些不同於第一個測試者的 問題,但發現新問題的數量不及第一個測試者的最初發現;第三個測 試者找到的是與前兩者更多重合的系統問題,第三個測試者雖能發現 少量的新問題,但數量遠不及前兩個測試者。一旦加入更多的測試人 員,會發現一個現象,就是隨著人數的增加,重複發現的問題一再出 現,新問題的發現率開始下降,顯然不再需要更多的測試者重複發現 相同的問題。(Nielsen, 2000) 綜合上述進行易用性評估設計之文獻,可知易用性評估雖有一般 性的使用介面評估原則,但個別系統因資訊內容與使用對象不同而各 具特色,易用性評估應針對個案方式進行。系統易用性評估方法多 元,但各種評估方法有其適用之時機與評估目的,觀察法、訪談法或 是問卷調查法是多數情境可適用之方式,如進行實測觀察,參與受測 人數 5 名,是最具經濟效益的方式,可以發掘八成五的系統問題,如 果希望達到掌握瞭解 100%的問題,則需要到 15 名受測者。
第三節 檔案資訊系統使用調查
前述釋義說明檔案資料經過選擇、徵集與概念分析後,藉由特定 的詞彙轉換,將足以代表原始檔案文獻的簡要訊息,轉化為書目紀 錄,而建置成為檔案資訊系統。檔案資訊系統檢索功能的良莠,深刻 影響使用者對於系統效能認知與觀感,為了提高使用者對於檢索結果 的滿意程度,需要瞭解使用者檢索行為並據以加強系統功能改善。因 此,對於資訊檢索行為之研究,探討重點多半關注使用者在檢索線上 系統時,檢索過程的障礙與問題,以便瞭解使用者和資訊檢索系統之 間的互動關係。過去對於檔案資訊系統之使用研究,較偏向採使用意見調查方 式,分析使用者常用之檢索系統、檢索點與檢索詞彙等面向,提供檢 索系統功能及畫面欄位設計之參考。1977 年 Michael E. Stevens 首 先對威斯康辛州 123 位擁有博士學位的歷史學者進行問卷調查發 現,正式的檔案檢索工具只有「國家聯合手稿目錄」(NUCMC)是比較 常用的系統,而在查詢檔案資料時,這些學者最常使用人名與主題查 詢,但仍以專指性較高的人名查詢為主。(Stevens,1977,pp.64-74)
Jone Garmendia 則以英國公文書館(The Public Record Office) 檔案目錄檢索系統(Public Record Office Catalogue,PROCAT)進 行研究,利用系統查詢過程記錄與線上意見箱,分析系統使用對象、 經常被使用的館藏與使用者問題,結果發現系統改用 WEB 介面後,大 幅提昇了系統的使用率,增加將近六成的新使用者,檢索主題以政治 史料為最多(21﹪),並歸納出最常被檢索的文件系列(record series)排行榜,作為館藏發展之參考;研究結果針對系統設計、資 料內容與使用者檢索策略等三方面提出建議,最終根據使用者意見建 議目錄題名與範圍註應該更清楚,並希望系統增加切截與相關案卷連 結的功能。(Garmendia,2002,pp.52-53)
B. Altman 與 J.R. Nemmers 由簡稱 POLARIS(Pepper Online Archival Retrieval and Information System)的檔案資訊檢索系 統抽樣使用者,進行問卷調查與焦點團體討論,瞭解使用者對於檢索 系統的滿意度,多數使用者均同意線上系統比傳統檢索工具檢索效果 佳,線上輔助說明功能有助於系統操作指引,但對於線上系統服務方 式的質疑是授權使用範圍、收費與操作技術上的問題。(Altman & Nemmers,2001,pp.127-129) 2001 年 A. Rosenbusch 曾選取美國、英國、澳洲等地的重要檔 案資訊檢索系統,透過網路線上瀏覽觀察並加以分析比較系統功能, 分析項目包括:資料描述層級、系統畫面親和性、檢索結果排序方式、 結果顯示功能、資料連結功能以及系統特色,發現半數以上的系統均
有不同層級顯示與瀏覽的功能,檔案著錄方式多半根據 ISAD(G),檢 索結果排序功能則以提供相關度排序為主,查詢結果顯示方式各系統 之間差異不大,並建議未來需要進行使用者檢索行為之實證研究,以 掌握系統真正被使用的情形。(Rosenbusch,2001,pp.47-52)
E. Yakel 與 D.A. Torres 則徵求密西根大學校內曾經使用檔案 經驗者,以半結構訪談方式瞭解 28 位受訪者意見,發現多數使用者 難以理解系統呈現的檔案術語,且多半使用者在查詢過程需要專人指 導,因而建議檔案資訊系統應該符合易用性設計,讓使用者不需指導 即可自行操作。(Yakel & Torres,2003)
2004 年 C.J. Prom 利用問卷調查法、觀察法與訪談法,分析使 用者線上檢索行為及其對於檢索工具的意見,發現初次檢索者檢索時 間較長,缺乏檔案專業背景者使用檔案線上系統遭遇的問題較多,使 用者在館藏層級(collection-level)與案卷層級(folder-level) 的檢索,偏好採用瀏覽或展開方式功能,而非採用已知條件的鍵入檢 索功能。(Prom,2004,pp.246-260) 國內對於檔案目錄檢索行為研究,曾有林巧敏採問卷調查及檢索 後加以訪談紀錄的方式,蒐集「二二八事件檔案資訊網」使用者檢索 行為資料,發現使用者多具有一定教育程度之中高齡者,其職業以教 職者居多。受訪者使用之檢索途徑,以提供多欄位自然語言查詢之簡 易查詢方式為主;使用者使用之主題檢索詞彙形式,以「單一名詞詞 組」最多;使用者使用之主題檢索詞彙類型,以「專有詞彙」最多; 受訪者檢索目的以「個人或關係人資料查詢」為主;滿意度呈兩極分 布,其中「學術研究」者滿意度相對偏低。(林巧敏,2003) 張淑惠的碩士論文則採用深度訪談法與比較研究法,以中央研究 院近史所檔案館「近代外交與經濟重要檔案數位典藏計畫」為研究範 圍,訪談中研院資訊技術人員、檔案管理人員、檔案使用者,以綜合 觀點比較歸納出在 Web 環境中檔案檢索系統的重要特性與功能,指出
未來可藉由量化研究或評鑑法進行 Web 檔案檢索系統介面的使用研 究。(張淑惠,2004) 張郁蔚係以訪談法針對「全國檔案目錄查詢網」探究使用者對於 系統的意見,訪談對象以曾使用過該查詢網之檔案管理局人員為優先 尋找的志願受訪對象,其次再透過研究者之人際網絡尋找其他機關檔 案管理人員及一般社會人士受訪,研究者依據訪談內容予以分析受訪 者之系統使用經驗、評價與意見,提供系統後續改善之建議。(張郁 蔚,2007) 檔案管理局曾針對「全國檔案目錄查詢網」與「國家檔案資訊網」 召開學者專家與使用者座談會,瞭解系統使用問題,使用者認為現行 檢索系統存在:網站名稱相近亦混淆、應用申請訊息要清楚、依使用 對象區隔瀏覽權限、增加目錄瀏覽功能等問題。故根據使用者意見修 正系統名稱以資區隔,並增加使用者導讀資訊與調整部份畫面設計等 改善措施,但修改多侷限於畫面呈現方式,功能檢討部份改動有限。 (李殷,2009) 上述有關檔案目錄檢索系統應用評估的研究中,大多數皆著重於 使用者使用檔案目錄檢索系統的檢索行為,例如分析使用者經常使用 之檢索點、檢索詞彙類型,或是針對系統檢索結果的滿意程度進行調 查。由於影響使用者檢索滿意判斷之因素很多,例如系統的查詢反應 速度、使用者介面、系統資訊架構等。若僅以使用者認知的使用情形 或對於系統的滿意度進行評估,只能表達使用者對於系統主觀的看 法。因此,有別於前述檔案資訊系統使用研究所採行之調查法,如重 點在於檢索介面之改善,可針對系統操作過程進行檔案資訊系統易用 性評估之實測觀察分析。
第四節 系統易用性評估相關研究
有鑑於使用者意見調查僅能根據使用者回憶與經驗,瞭解系統問 題,但使用者表達意見屬於主觀性看法,故有易用性評估,是一種觀 察個人實際使用系統並記錄使用經驗的方法。在評估過程有使用者實 際參與,研究者可從使用者身上獲取第一手資料進行分析,評估結果 較容易貼近使用者實際感受。國外進行系統易用性評估案例不勝枚 舉,本研究雖聚焦在檔案資訊系統之易用性評估,但不乏數位典藏系 統易用性評估案例值得參考,故先介紹有關數位典藏系統之實測研究 文獻,以參考易用性評估設計與系統介面設計之通則性問題,繼而針 對檔案資訊系統評估研究的成果加以分析,因國內並無檔案資訊系統 易用性評估文獻,故國內易用性評估研究,以曾進行過之網站或是整 合查詢目錄等相關文獻為例。 一、數位典藏系統易用性評估 Jason A. Clark(2004)曾以威斯康辛大學數位典藏系統為例, 進行易用性測試,該典藏系統涵蓋多元媒體類型,除文字資料外尚有 影像與聲音館藏,研究以焦點團體方式收集使用者檢索資訊需求、態 度與對於系統觀感,接續藉由 5 位檢索者實測過程,擷取系統檢索過 程畫面與錄音方式,分析實測者在檢索、資料儲存、資料下載郵寄等 過程中之系統操作問題。藉由兩種分析方法改善系統圖示設計與欄位 標籤等介面功能。H. Long, K. Lage & C. Cronin(2005)則以輔完成之數位影像 系統雛形進行易用性評估,針對系統未來使用族群之地理學系師生為 對象,採訪談方式瞭解需求,再歷經簡要系統功能介紹,讓受測者對 於系統有初步瞭解,然後依循易用性評估實測分析方式交付 4 位受測 者 5 項實測任務,結果發現使用者採地圖檢索方式優於以關鍵字檢索 方式,但對於不熟悉的事物如採關鍵字檢索的失敗比例較低。
試,該典藏系統主要收錄歷史照片與地圖,實測分析徵求 70 位參與 者,觀察其檢索照片的過程,統計每位受測者完成檢索時間,並採檢 索後問卷調查方式蒐集實測者對於系統使用意見,根據問卷分析結果 瞭解系統介面問題。 不同於前述採用實測過程紀錄方式,M. Proffitt(2006)則以 焦點團體輔以問卷調查方式,瞭解 RLG 典藏資源聯合目錄滿足使用者 需求程度與使用者對於系統滿意度,採用訪談方式是希望不僅探知使 用者對於系統易用性觀感,尚可同時蒐集使用者對於系統內容的需求 與期許,關注的不只是界面設計問題,還可瞭解系統內容是否滿足使 用者需求。
M. Ochoa, T. Minton & D. Benson(2009)則是針對弗羅里達 大學發展的報紙數位典藏系統進行易用性測試,希望瞭解系統瀏覽和 檢索功能的易用程度,關注使用者是如何檢索系統的過程?目前檢索 結果的呈現是否為使用者需求?系統有否提供導航與易於操作的設 計?研究徵求 11 名對於報紙內容有使用需求之教師與研究生進行實 測觀察,以前測問卷瞭解測試者背景,利用檢索後測問卷瞭解受測者 對於系統滿意度,並輔以深度訪談方式,探知受測者對於系統操作過 程的意見。個別受測者在檢索過程以放聲思考方式,重述檢索過程與 檢索問題,由研究者記錄問題與檢索過程觀察,最後歸納參與實測者 對於系統整體瀏覽、是否容易使用、系統檢索功能、結果顯示與內容 呈現等各面向之意見,作為系統改善功能之依據。 對於數位典藏系統易用性評估的綜合性分析,有 P. Reakes & M. Ochoa(2009)曾以問卷調查方式,對美國與加拿大地區有報紙數位 典藏系統之 64 所機構發送問卷,希望瞭解各典藏機構是否有進行易 用性測試的經驗與採用的易用性評估方式,根據回覆的 21 份問卷顯 示,各機構採用的測試方式包括問卷、焦點團體訪談、深度訪談、實 測觀察等方式,多數典藏機構認為易用性測試對系統很重要,但顧慮
實測分析費時且質疑分析易受受測者經驗影響,故進行意願不高,加 上典藏機構館員認為易用性測試結果雖可發現系統介面問題,但系統 介面設計需要資訊人員,測試結果不見得能立即改善系統,而認為分 析結果致用性不高。結果顯示缺乏有經驗之施測研究人員與對後續系 統改善能力的質疑,使得進行易用測試之典藏系統經驗,寥寥可數。 國內進行系統易用性評估有蔡維君(2006)以臺灣大學在學學生 為測試對象,採用焦點訪談與易用性實測,進行臺大圖書館網站好用 性評估,研究結果發現臺灣大學圖書館網站首頁雖設計美觀,但首頁 項目過多,需拉動頁面捲軸方可看到所有資訊,而其中多數項目的使 用率並不高,影響使用效率。藉由好用性評估亦可發現資訊結構與網 站好用與否相關,舉凡網站內容分類組織方式、項目如何命名、導覽 系統的設計及站內搜尋功能的提供,皆關係著使用者能否順利瀏覽網 站並從中取得所需資訊完成任務,認為好的網站設計不僅是提供優質 的資訊內容,規劃良善的資訊結構亦為重要因素,研究結果提出好用 性評估建議模式,可供進行網站好用性評估參考。 謝建成與劉至逢(2009)以師範大學圖書館網站為例,針對全校 七個學科領域分別徵求 5 位受測者進行實測記錄,並輔以深度訪談與 量表瞭解受測者的問題與滿意度,並根據受測結果修改網站功能,獲 得修改後使用者完成檢索任務,平均可減少 56%的檢索時間。 姜義臺(2010)以靜宜大學 SmartWeaver 整合系統為例,採易用 性測試與問卷調查方式,由圖書館隨機抽選 15 名受測者進行測試任 務,結果發現使用者對於系統個人化服務困惑、圖示功能與線上輔助 說明欠佳等 11 項系統測試問題。 林佳穎與吳明德(2011)則關注臺灣大學 MUSE 整合查詢系統易 用性問題,徵求 10 位人文、社會、自然科學、生物醫學與工程技術 領域研究生為受測者,給予四項指定任務,並於過程中觀察記錄受測 者與系統互動情形,最終提出改善資訊呈現方式與修改難懂術語等建
議。除上述採系統實測進行易用性評估外,亦有林妙樺為文,提出數 位典藏系統入口網進行易用性評估之模式建議,內容重點在於評估方
式之設計,並非進行實證研究調查。(林妙樺,2006)
二、檔案系統易用性評估
關於檔案資訊系統易用性評估研究,有 B. Altman 與 J.R. Nemmers 以 Florida 大學圖書館建置之檔案檢索系統(POLARIS)為 例,進行系統易用性測試,並以焦點團體訪談方式綜整使用者意見, 研究者強調找到真正有代表性的受測者很重要,並讓受測者依實際需 求,以實際問題完整操作,最後讓受測者以口說方式表達檢索過程與 想法。為廣納意見,同時根據館藏使用統計找出經常使用者,進行焦 點訪談,綜合 11 位受測者檢索過程意見與焦團結果,認為檔案系統 提供內容摘要描述、有檢索詞彙提示或相關詞彙顯示功能,是使用者 認為系統易用的設計。(Altman, Nemmers,2001) C.J. Prom 認為過去對於檔案檢索工具的探討多半關注使用者意 見調查與描述標準規範的討論,對於檢索系統本身功能的分析比較缺 乏,故而希望透過使用者與檢索系統的互動,瞭解使用者對於系統的 看法,研究透過檔案人員論壇(Archivists Listserv)徵求自願受 測者,計有 89 位受測者分群接受九個不同檔案檢索系統的實測觀 察,實測觀察有採現場或遠距實施,測試者完成檢索任務後,輔以問 卷瞭解受測者背景與使用過程意見,研究結果顯示新手使用者與有經 驗之使用者檢索檔案過程不同,越有經驗者檢索時間越短,畫面過多 的連結功能容易讓新手使用者困惑或是會被錯誤引導,使用者介面提 供的檔案目錄瀏覽功能與頁籤說明文字應該加強,最終歸納可針對不 同檢索背景者提供分眾設計以滿足不同需求。(Prom,2004)
Springfield College 曾針對一項聯邦資訊檢索工具 ENCompass 進行易用性評估,採放聲思考方式,設計檢索任務請受測者一邊檢索 一邊表示檢索意見,由研究者加以觀察記錄,藉由 4 位不同背景受測
者執行 7 項任務,研究發現該系統存在收錄資料類型說明不清,使用 者在檢索結果難以判定資料類型;缺乏檢索結果再次限縮條件,使用 者難以過濾檢索資料;系統反應時間過久,應在畫面讓使用者瞭解系 統仍處於查詢狀況,以免重複點選執行。(Alling, Naismith,2007) 英國對於「檔案館中心(archives Hub)」之檔案整合查詢系統 的易用性評估,是採使用者操作後訪談方式,蒐集 10 位使用者意見, 訪談針對檔案資訊系統設計最為人所詬病之系統術語、使用介面呈現 (layout)與內容描述等三項核心問題,請使用者經實際操作後立即 受訪表達意見,研究結果顯示受訪者認為該系統介面呈現符合使用者 期許,但根據「國際檔案描述規範 ISAD(G)」設計之欄位描述術語, 不易被使用者理解,使用者也期許檢索結果能呈現與此次檢索主題相 關之其他研究資源顯示與連結。(Stevenson,2008) J.C.Chapman 則 以 北 卡 羅 來 納 大 學 的 南 方 歷 史 館 藏 目 錄 (Southern Historical Collection, SHC)為例,希望瞭解使用者在 沒有檢索中介者協助下的線上系統操作情形,研究採觀察、問卷與訪 談,藉由軟體記錄使用者線上實際操作過程,以問卷前測瞭解使用者 背景,檢索後以問卷瞭解使用者檢索過程問題,並輔以訪談探知使用 者對於系統的意見。結果發現曾有其他系統檢索經驗之使用者無論是 檢索時間和技巧都優於首次檢索者,也比較能善用瀏覽與線上輔助說 明功能;首次使用者對於文件系列快速連結(Series Quick Links) 功能與檔案術語感到困惑,意味著系統需要更明晰的畫面設計和文字 用語,最終建議需要更多的使用者研究瞭解使用者對於檔案目錄階層 式展開功能的意見。(Chapman,2010) R. Lack(2006)是將過去關注使用者導向設計(user-centered design)的所有易用性研究結果加以歸納,提出檔案資訊系統建置與 介面設計可共同遵循的法則,包括: 1.使用者需要整合式一站購足(one-stop shopping)的查詢需求,
可在同一檢索介面查詢多元類型之檔案資訊。 2.使用者需要清楚獲知檢索結果可否線上取得全文內容,甚至希望系 統可在檢索結果再次限制條件中,能提供有否全文的篩選功能。 3.熱門查詢提示和主題分類瀏覽功能對檢索很有幫助,如果能提供瀏 覽此筆檔案也會瀏覽哪些檔案的建議會更好。 4.檔案層級瀏覽功能要能指引檢索者清楚找回路徑,線上檔案層級架 構顯示有助使用者瞭解案卷關係。 5.使用者對於鍵入正確檢索詞彙的判斷很困難,系統如能提供檢索詞 彙提示功能會有助益。 6.系統需要提供單一詞彙的簡易查詢(simple search)與多欄位的 進階查詢(advanced search)功能,可滿足不同檢索取向需求。 7.檢索結果顯示欄位應足以提供使用者判斷檔案內容資訊,檢索結果 提供依相關度排序會比較有用。 8.介面標籤和圖示設計需清楚,如有必要可以增加文字解釋。 9.系統畫面應隨時都有系統名稱顯示,重要功能選項也應顯示在畫面 中,不用回到上一頁執行。 W. Scheir(2008)有鑑於使用者對檔案資訊系統不易理解之處 在於:檢索術語(terminology)、層級瀏覽(navigation)、結果顯 示(display)與檔案結構(structure)四項問題。故由線上方式募 集 9 位受測者,採電子郵件發送任務與登入系統說明方式,請受測者 依據指示完成六項任務,任務操作完畢以電話或電子郵件方式訪談受 測者意見,研究分析先說明每一項任務內容,繼而探討受測者執行該 項任務產生的問題,研究結果針對一些使用者不易理解的術語,如: 「範圍與內容」等諸如此類欄位標籤提出建議,並認為檔案系統經點 選瀏覽後有難以回到首頁或回到開始點選處的困擾,檢索結果有顯示
簡目供判別,再顯示詳目的必要。使用者也期許系統應有明確資訊告 知系統資料收錄範圍,而層級瀏覽架構雖有助使用者找尋相關案卷, 但超連結功能容易迷失路徑,系統應提供所處層級說明會比較理想。 (Scheir,2008) 國內尚無針對檔案資訊系統進行系統易用性實測觀察研究,但有 鄭伊廷(2012)碩士論文採用問卷調查及深度訪談法,蒐集使用者對 於「檔案資源整合查詢平台(ACROSS)」系統易用性之看法,問卷發放 對象為北部七間大學的歷史碩博士班學生;訪談對象為十位歷史碩博 士班研究生,訪談內容包括對系統之看法、建議及滿意程度,研究結 果根據易用性評估原則提出對於 ACROSS 系統改善功能建議。 歸納上述易用性相關研究成果,可知易用性評估進行方式有多種 方法,問卷調查、訪談、焦點團體與實測觀察是經常採用者,如兼採 多法可互補不足,但實測分析參與者人數歧異,少則 10 人以下,也 有多達 70 位受測者(Kramer,2005)。國內已有學者採易用性評估測 試,進行圖書館網站或整合查詢系統評估,但有鑑於個別系統功能設 計重點與使用對象不同,加上檔案資訊系統根據檔案描述理論要求, 需呈現案卷層級關連檢索功能,其功能需求與設計自是與圖書館資訊 系統有所分別,實有必要針對檔案資訊系統加以分析瞭解。因此,本 研究欲有別於前人對於檔案資訊系統經常採用之訪談與問卷等調查 研究方式,希望能偏重在對於系統操作過程的瞭解,故採取系統實測 觀察法,參酌前人研究設計經驗,輔以問卷和深度訪談方式,藉由使 用者線上實際操作過程,分析使用者檢索系統的障礙和問題,再藉由 問卷和深度訪談取得使用者對於系統的看法與意見。
第三章 研究設計與實施
本章計分五節,第一節研究設計,說明本研究採用問卷調查、觀 察法與訪談研究的原因;第二節研究方法,說明本研究採行的研究 法;第三節研究對象,說明選擇研究對象的背景考量;第四節研究架 構與流程,說明資料蒐集及調查過程,並輔以流程圖說明研究程序; 最後一節說明研究資料處理與分析的過程。第一節 研究設計
研究取徑的選擇必須考量質化與量化不同研究方式的優缺點,配 合研究議題特性,決定最適合的研究方式。量化研究的取向相信事物 有一般法則的存在,透過對這些法則的探究,對人類行為產生預測作 用,量化研究者是透過科學、客觀、中立的資料收集過程,將蒐集的 資料發展出一般法則,並將這些法則進一步推論到具有類似特質的其 他對象。質性研究的取向主張每個個體有其獨特性,研究者只有透過 被研究者的立場,才能瞭解這些生活經驗對被研究對象的意義。質性 研究的主要目的在於瞭解社會事實的建構過程,亦即在不同的、特有 的文化社會情境脈絡下的經驗和解釋,而量化研究主要是以客觀的計 量尋找普遍法則,著重因果假設的驗證和統計推論。(潘淑滿,2003, 頁 4-5)兩者並無優劣之分,而是有各自適用的議題和對象。通常研 究以人為中心、重情境和歷程性等因素,即適合採用質性的研究方法。 本研究探討檔案資訊系統之易用性評估,進行系統易用性評估 經常使用的方式為:(Preece,1998,p.32) 一、 分析法(analytic):利用正式或半正式的使用者介面描述去預 測使用者表現。 二、 專家法(expert):在易用性評估原則引導下,由專家參與易用 性 評 估 測 試 團 隊 , 也 被 稱 為 「 啟 發 式 評 估 (heuristic evaluation)」。「專家」指的是擁有使用者介面設計或人因工程相關實務經驗的人,扮演一般使用者角色進行評估系統,並描 述自身所假設的一般使用者可能會遇到的問題。 三、 觀察法(observation):由使用者實際操作系統介面時,進行使 用 行 為 觀 察 與 記 錄 , 觀 察 的 地 點 可 選 在 易 用 性 實 驗 室 (usability laboratory)或使用者的工作環境進行,但需對使 用者的干擾降到最低。 四、 調查法(survey):利用問卷調查或是訪談的方式,試圖取得使 用者對系統使用介面的主觀意見。 五、 實驗法(experimental):使用科學實驗方法印證使用者對於使 用某個系統介面的假設。 本研究衡酌各法優劣,研究設計以實測觀察方式,設計使用者實 測任務,觀察記錄使用者實際操作過程,以忠實分析使用者進行實際 操作過程的問題,另為瞭解使用者參與使用系統之觀感與經驗,實測 觀察前進行測前問卷瞭解使用者背景,測後再次進行問卷以系統化方 式,瞭解使用者操作系統滿意度,同時兼採訪談方式,請受測者當場 回顧說明實測過程感受與操作經驗。
第二節 研究方法
本研究主要採任務導向之實測觀察與深度訪談研究方法,首先藉 由文獻分析參考前人相關研究建立本研究的概念架構,繼而重點分析 國外檔案資訊系統整體規劃過程與設計理念,瞭解國家檔案資訊系統 分衍與整合發展歷程,以及不同系統之間檔案資訊範圍區隔及其特 色。 由於各檔案資訊系統具有內容獨具之資訊生態,探討系統易用性 適合以個案方式進行,本研究以臺灣地區具有指標性意義,由檔案業 務 主 管 機 關 之 檔 案 管 理 局 所 建 置 的 「 國 家 檔 案 資 訊 網 」(https://aa.archives.gov.tw/index.aspx)為例,進行檔案資訊 系統易用性評估測試觀察,記錄使用過程並發掘使用者使用國家檔案 資訊網的問題;進一步採用系統易用性測試量表問卷,於易用性測試 前後瞭解使用者背景,並於測後分析對於國家檔案資訊系統之滿意 度。最後針對觀察結果輔以深度訪談方式,蒐集使用者實際參與歷程 的經驗,瞭解使用者檢索國家檔案資訊系統的困難與建議。最後輔以 文獻分析結果,進行觀察測試與深度訪談結果之檢核及參照。針對本 研究所採用的各種研究方法與研究設計說明分述如下: 一、文獻分析法 文獻分析旨在確保研究問題的價值性、研究方向的正確性,以及 研究模式的合理性,文獻分析有助於建立研究概念,在質性研究過程 需要反覆地分析資料、閱讀文獻,在許多質性研究中多半會將訪談法 或觀察法與文獻分析法結合,使研究方法間可收相互印證之效。(潘 淑滿,2003)本研究文獻分析的重點,除了蒐集檔案資訊檢索系統評 估與使用調查相關文獻外,並藉由各國國家檔案館網站與國外研究報 告,瞭解國外檔案資訊系統發展過程與系統建置情況,做為國內檔案 資訊系統整體規劃之參考。蒐集的文獻範圍與來源,以中、英文為主, 含圖書、期刊、會議論文與研究報告,也包括相關的網路資源。文獻 探討內容主題涵蓋先進國家檔案資訊系統發展歷程、系統易用性評 估、檔案檢索系統使用調查與易用性測試等相關議題之文獻為主。 二、實測觀察法 為探究使用者進行國家檔案資訊網檔案檢索歷程與檢索行為,本 研究運用 Morae 軟體記錄使用者操作過程,Morae 是一項針對易用性 研究所開發之專業軟體,可側錄電腦螢幕畫面與使用者臉部表情,能 記錄操作過程所有動作(包括點按滑鼠、網頁畫面與鍵入指令),也 能將測試過程同步傳送到其他電腦上同步觀察分析,並允許線上問卷 設計與分析。