電子資源評鑑

圖書館大量引進電子資源，但要了解使用者如何使用電子資源以及評鑑其好 壞卻十分困難。電子資源不像紙本館藏取得即可閱讀使用，其必須配合圖書館網 路服務才能使用，如藉由線上檢索系統服務、數位參考、館際合作、推廣教育等。

電子資源評鑑常有許多問題，傳統館藏評鑑方法不適用於電子資源的評鑑。許多 圖書館會採用資料庫使用統計作為評鑑工具，但統計數據多來自資料庫廠商提 供，缺乏一致性，無法正確地解釋統計數據，電子資源的高使用次數統計也不一 定可以保證資訊品質優良或受到讀者喜愛，所以圖書館電子資源使用與評鑑值得 重視。

在評鑑或比較資料庫應該有一客觀的方法，所以圖書館開啟資料庫評鑑活動 是合適的。本研究報告為採購決策而微觀資料庫的評鑑，即對某一資料庫或一些 資料庫進行客觀評鑑。為了採購、保留與撤回目的而評鑑一個資料庫或者資料庫 館藏，需要應用評鑑程序。需要配合個別圖書館資訊需求而進行評鑑過程。評鑑 過程包含確認評鑑準則、評鑑資料庫、對照數據、報告評鑑數據與結果，以及做 資料庫處理的決策。(Powers,2006).

鑑於學術圖書館電子資源與服務受到讀者喜愛，美國研究圖書館學會(ARL) 自 1999 年開始提倡「新評鑑運動」(New Measure Initiatives)，提出「電子資源新 評鑑」觀念，以回應圖書館被要求表現對大學與研究機構的成效和影響力，以及 面臨預算減少的壓力，致力於提高電子資源的使用效率，並發展最佳實務。這種 觀念發展出多項電子資源與數位內容評鑑計畫—圖書館統計與評鑑」(Statistics and Assessment)，其宗旨是「網路電子資源和服務的傳播促使許多人有興趣研究 發展各種數據和評鑑活動，以描述正在出現的資訊提供環境。」新評鑑計畫包括：

LibQual+(圖書館服務品質評鑑)、ARL Emetrics (數位圖書館計量評鑑)、ARL Statistics™、ClimateQUAL®(圖書館文化與多樣 性評量)、DigiQUAL(評鑑數 位圖書館)、 Library Value(圖書館價值)、MINES for Libraries®(網路電子服務影 響力的評鑑)、組織績效評鑑計畫(Organizational Performance Assessment)。ARL 首先推動 E-Metrics 計畫，其次研究電子資源網路使用調查，記錄特定使用者群 的使用情形，確定圖書館提供的哪些電子資源與服務對大學與研究機構最重要，

並且評鑑電子資源和服務對母機構的影響力。有關數位資源與服務的網路調查計 畫包括三種：第一是測量圖書館使用者滿意度的工具 LibQUAL+®，第二個是

DigiQUAL^TM，測量數位圖書館的使用者滿意度，第三個以網路為基礎的電子資 源使用調查 MINES for Libraries^TM。(Franklin, & Plum, 2008)美國研究圖書館學會 的電子資源評鑑活動是否可以提供我國圖書館從事電子資源管理與評鑑的啟 發？

評鑑是以科學方法評定某事或某物的過程，圖書館評鑑目的在有效的管理人 員、財源與資訊源，使這些資源充分達成經營目的。現代圖書館演進成為複合圖 書館(Hybrid Library)，須兼顧實體圖書館與電子圖書館的經營。電子圖書館 (Electronic Library)係由於大量引入電子資源，而發展網路服務與資源。電子資源 (Electronic Resources)涵蓋電子書、電子期刊、資料庫與線上教材等；網路服務 (Network Services)包括數位參考、館際合作、線上教育等。電子資源評鑑與印刷 資源不同，如透過資訊系統以提供套裝產品取用，系統的報告軟體可檢視使用者 與利用行為，使用的資料記錄在網路伺服器上，可以摘要成報告作為評鑑電子資 源與服務的參考。(Bertot, 2004, Chapter 2)

鑑於電子資源採購經費昂貴與作業複雜，需要進行評鑑以為支援採購決策。

電子資源評鑑是一個重要的議題但十分複雜。McClure (1985)界定評鑑(evaluation) 是一種判斷某一種作業活動之效能(effectiveness)與效率(efficiency)之有計劃方 法，可以配合作業標準與目標以協助作決策。(Noh, 2012)館藏評鑑係有系統的描 繪某時間的圖書館資源現況與有效程度，評鑑需要對館藏加以測量、分析與依據 某些標準來判斷好壞，如相關性、數量大小、品質與使用。電子資源評鑑必須同 時考量紙本館藏與電子資源需求，首先要蒐集評鑑資料，相關館藏評鑑資料包 括：(1)使用者在網路上取用與使用的活動與資料；(2)圖書館提供的電腦設備；

(3)電子資源與網路服務成本；(4)網站與資料庫登入統計、瀏覽次數、查詢、列 印、下載等資料。

電子資源評鑑作業內容涵蓋評鑑取向、評鑑方法、評鑑模式與資料蒐集。綜 合許多相關研究，大致將電子資源評鑑取向劃分下列幾項：(1)使用研究、使用 統計、與使用評鑑，(2)績效評鑑，(3)電子計量評鑑，(4)滿意度與服務品質評鑑，

(5)優使性評鑑，(6)圖書館價值與影響評鑑。若從規模來分電子資源評鑑類型，

涵蓋整體宏觀評鑑與個別微觀評鑑，即對圖書館整體電子資源與服務評鑑，或個 別種類的電子資源評鑑。也有研究分為電子資源與系統導向評鑑、及使用者導向 評鑑。電子資源與服務評鑑若基於成本、產出有不同評鑑基準，包括：成本、效 率、效益、效能、使用者滿意度、成效、影響力。

Bertot 與 Snead(2004)提出 5 種電子資源與服務評鑑方法，包括產出評鑑 (Output Assessment)、績效評鑑(Performance Assessment)、服務品質評鑑(Service Quality Assessment)、成效評鑑(Outcomes Assessment)、以及平衡計分卡(Balanced Scorecard)。電子資源與服務「產出評鑑」，係指測量服務與資源的使用、可及性、

有效率性、有效性有關，包括館藏資源/服務與諮詢/使用者/使用情形/經費與預 算等資料。「績效評鑑」是結合個別圖書館服務與資源測量統計(如服務人口、流 通量)、與效益(如每一服務人口的流通冊數)的結合。服務品質評鑑係一個好服務 與資源的測量成果是如何透過使用者評估和已訂定品質標準。「成效評鑑」係測 量服務/資源改變使用者技巧、知識與行為；或服務與資源對使用者的影響及利 益。「平衡計分卡評鑑」係測量結合輸出、服務品質與成就評鑑來發展全面的圖 書館工作意識。 (Bertot, 2004, Chapter 1)

電子資源的評鑑複雜，有不同方法取向，其實施需要一套評鑑模式。Saracevic 提出的數位圖書館評鑑模式可為參用，其主張數位服務與系統需要藉由績效表現 與功能來評量，評鑑的績效常包括：效益、效率、或成本效益。電子資源評鑑是 一項複雜的工程，在評鑑前需要精細規劃與思考策略，其歸納評鑑五構面：(1) 評鑑之建構：如要評鑑什麼？電子資源所指為何？包含哪些要件、有什麼組件與 程序；(2)評鑑之背景：如評鑑目標、架構、觀點或層次的選擇、評鑑層級；(3) 針對選定目標能反映相關之績效準則(含績效表現的參數、要評鑑的面向或特 質)；(4)能反映出與績效紀錄相關準則所用的測量：如使用次數、成本等；(5)評 鑑的方法：如測量工具、資料取樣、資料蒐集程序、資料如何分析等。(Saracevic, 2000)

電子資源與服務評鑑工作程序包括如下：(1)對資源或服務本身的瞭解；(2) 了解評鑑目的與分析財力資源的限制；(3)決定評鑑目標方法與架構；(4)決定資 料蒐集方法策略；(5)進行資料蒐集實施；(6)分析資料提出評鑑報告 (Bertot, 2004)。電子資源評鑑的資料蒐集方法有許多，涵蓋：(1)電子資源使用統計；(2) 問卷調查；(3)焦點團體訪談；(4)網站使用交易檔分析；(5)網站使用次數分析；

(6)廠商提供統計；(7)館際合作需求統計。(8)使用者觀察法（User Protocol）。使 用者觀察法是一種結構化、探究性的觀察研究，皆需對使用者在進行任務時的行 為給予定義，其目的在於對個人行為與經驗深入的理解，包含多重主題以確認其 行為與經驗的模式。圖書館蒐集整理這些電子資源使用數據，進行使用與成本分 析，最後撰寫館藏評鑑報告，作為電子資源館藏發展與管理作業參考。(Vicki, 2006)

因為數位圖書館是實體圖書館的延伸，它們必須透過使用存在的技術與電子 計量來評鑑。評鑑圖書館在讀者生活與較大的社會環境之影響是評鑑最後的目 標，但是評鑑實際上的困難是如此複雜且各種影響引發我們來評鑑圖書館營運與 服務的有效與效能(Marchionini,2000)。在評鑑過程中，像是可用性、效能、有效 性與滿足感可能都有包含在內。有些評鑑擁有相對明確的完成步驟，例如評鑑效 能。然而，像是評鑑滿意度較複雜，也需要較多複雜的手段。Tsakonas 與 Papatheodorou(2008)探索開放取用數位圖書館使用 ITF 的實用與優使性，他們評 鑑 E-LIS，在圖書館與資訊科學學科領域中的國際數位印刷檔案。它們使用線上

調查問卷來收集評鑑過程中的三軸資料，包括系統，使用者與內容。這項標準得 分最高為便於使用及易學性，兩者都屬於優使性類別。雖然效用標準的得分較 高，回應表示使用者期望更多來自於該系統，特別是在覆蓋範圍方面。最後在績 效類別，使用者評分回應時間比起回收率與精確度更高。(Garoufallou, E., Siatri, R., & Hartley, R. J. 2009)

Xie(2008)評鑑美國記憶與威斯康辛州大學的數位館藏。學科被要求確定有 關在兩間圖書館中特定的主題資訊，並詳述整個日誌中的搜尋過程。使用者接著 必須按優先順序處理在問卷所列出的評鑑標準，並且增加包含在內的其他標準。

最後，在開放式調查中，他們被要求根據先前選擇的標準來評論這兩種資源的優 勢與劣勢。最重要的資源評鑑準則為介面優使性、一般績效、館藏的品質與正確 性。

DL 評鑑應考慮使用者與其資訊需求，所有數位圖書館設計實施評鑑應源自 使用者之資訊需求特質與在數位圖書館之脈絡情境。Sarcevic(2009)，在本文提 出更高 DL 評鑑四架構。(1)performance 績效評鑑。數位圖書館常用績效評鑑用 來鑑定系統的績效與功能，常採用的評鑑準則包括：效能 Effectiveness:即一個系 統功能針對目標所達到的程度；效率 Efficiency:系統執行功能的效率，花多少時 間或金錢；Cost-effectiveness:即結合二者。(2)使用者需求為中心數位圖書館評 鑑。(3)Metrics 計量學評鑑。目前圖書館尚未發展計量評鑑。Metrics 計量學意指 以量化方法描述連續成果的指標，其他領域已有科學計量學、經濟計量學。圖書 館已經在館藏與服務運用計量學在圖書館館藏與服務的管理。但在數位圖書館評 鑑仍缺乏計量學應用，需要努力研究可獲得更佳成果。(4)數位圖書館價值。價

DL 評鑑應考慮使用者與其資訊需求，所有數位圖書館設計實施評鑑應源自 使用者之資訊需求特質與在數位圖書館之脈絡情境。Sarcevic(2009)，在本文提 出更高 DL 評鑑四架構。(1)performance 績效評鑑。數位圖書館常用績效評鑑用 來鑑定系統的績效與功能，常採用的評鑑準則包括：效能 Effectiveness:即一個系 統功能針對目標所達到的程度；效率 Efficiency:系統執行功能的效率，花多少時 間或金錢；Cost-effectiveness:即結合二者。(2)使用者需求為中心數位圖書館評 鑑。(3)Metrics 計量學評鑑。目前圖書館尚未發展計量評鑑。Metrics 計量學意指 以量化方法描述連續成果的指標，其他領域已有科學計量學、經濟計量學。圖書 館已經在館藏與服務運用計量學在圖書館館藏與服務的管理。但在數位圖書館評 鑑仍缺乏計量學應用，需要努力研究可獲得更佳成果。(4)數位圖書館價值。價