大學圖書館資料庫績效指標與評鑑模式建構之研究
A Study on Developing Evaluation Indicators and Models for
Database Performance Measurement at Academic Libraries
王梅玲
Mei-Ling Wang
政治大學圖書資訊與檔案學研究所教授
Professor, Graduate Institute of Library, Information and Archival Studies, National Chengchi University
E-mail: meilingw@nccu.edu.tw
李函儒
Han-Ju Lee
政治大學圖書資訊與檔案學研究所研究生
Graduate Student, Graduate Institute of Library, Information and Archival Studies, National Chengchi University
E-mail: hanlu780930@gmail.com
【摘
要】
我國大學圖書館大量採購電子資料庫普遍受到歡迎，但仍遭遇經費刪減與使 用者不滿意的問題。許多大學圖書館希望了解使用者如何使用資料庫，與進行資 料庫評鑑以為館藏發展、採購評選與推廣服務之參考。本論文旨在從支援採購決 策觀點探討圖書館資料庫績效評鑑，將探討資料庫評選與採購問題，績效評鑑意 涵，資料庫績效評鑑指標與模式建構，以及如何應用在資料庫採購評鑑決策。本 論文運用疊慧研究法邀請來自 17 所大學圖書館的 22 位專家學者，發展出資料庫 績效評鑑準則，涵蓋四構面及 23 項指標，四構面包括：資料庫採購成本、資料庫 使用次數、資料庫內容與品質、以及資料庫推廣與服務。【
Abstract】
Many university libraries in Taiwan have purchased a variety of databases, but libraries have also encountered serious problems in the shape of insufficient funding and user dissatisfaction. Many libraries want to investigate how users use the databases and how to undertake database evaluation in supporting collection development, selection,
壹、前言
由於網際網路與數位科技的發展， 大學圖書館近年採購許多資料庫，對 於館藏建設與資訊服務形成新典範。 資料庫又稱電子資料庫、電子資源， 一般涵蓋索引摘要資料庫、綜合資料 庫、主題資料庫、全文資料庫、電子 書、電子期刊等。美國研究圖書館學 會（Association of Research Libraries， 簡 稱 ARL） 調 查 會 員 圖 書 館 的 書 刊 與電子資源經費，發現電子資源經費 大 幅 成 長。2011 年，113 個 會 員 圖 書 館 的 電 子 資 源 平 均 採 購 經 費 為 美 金 $7,576,559 元， 佔 書 刊 總 經 費（ 美 金 $12,126,878 元）的 65.03％比例。綜觀 1992 至 2011 年這 20 年間，統計顯示 電子資源經費逐年成長，從 1993 年的 每館平均美金 172,532 元，佔 3.6％； 2001 年，佔 16.25％；2011 年，平均美 金 7,576,559 元，佔 65.03％，電子資源 採購經費在 20 年間成長 44 倍，並超 過書刊經費半數，其對大學圖書館的 重要可見一斑（Association of Research Libraries, 2012）。 我國大學圖書館同樣重視電子資 源館藏，王梅玲（2008）調查臺灣的 大學圖書館採購電子資料庫經費平均 為 11,357,444 元，約佔書刊經費（平均 為新台幣 33,754,843 元）三分之一。在 100 年度，我國整體大專院校圖書館電 子資源受到各館重視，佔 50.75％，相 較於 96 年度的 35.7％，明顯增加一成 五，且 100 年度更首次超過書刊總經費 的五成比例（黃鴻珠，2012）。 另一方面，美國近年來經歷經濟風 暴，許多學術圖書館檢討電子資源徵 集、評鑑與使用者服務。美國研究圖書 館學會調查會員圖書館有關電子資源評 選作業，涵蓋電子資源提供、採購評選 與決策、續訂評鑑以及推廣服務。53％ 圖書館研訂電子資源館藏政策，68％圖 書館採用電子資源管理系統，圖書館與 聯盟評選電子資源採用若干評選標準。 該調查發現美國學術圖書館花費許多經 費採購電子資源，但普遍缺乏館藏政策 and purchasing services. This article aims to construct databases performance evaluation indicators and models in supporting databases purchasing and evaluation. The Delphi research method was used in the study with 22 experts of university librarians from 17 universities to develop database performance evaluation criteria composed of four dimensions and 23 indicators. The four dimensions included database procurement costs, database usage, database content, and database promotion service.關 鍵 字： 電子資源；資料庫採購；績效評鑑；學術圖書館；績效指標 Keywords： electronic resources; database purchasing; performance measurement;
且無電子資源評選程序。該學會建議學 術圖書館應重視電子資源評鑑課題，訂 定電子資源政策，訓練館員與廠商協商 授權合約，圖書館間分享電子資源評鑑 策略，以及合作發展電子資源評選標準 （Bleiler, 2010）。電子資源評鑑的觀 念開始受到重視。 大學圖書館近年進行調查研究，發 現電子資源雖然受到師生喜歡，但使用 者也有許多不滿意。2010 年，政大圖 書館進行服務滿意度調查，讀者反應許 多電子資源搜尋有困難，例如不會操 作，查詢介面複雜，電子資源使用有障 礙等。2011 年調查，讀者反應圖書館 電子資源過少，希望新增資料庫以及購 買點數，並期望解決期刊電子全文論文 延遲上線（embargo）無法取用的問題 （政治大學圖書館，2011）。這些反映 使用者愈大量使用資料庫，也愈引發更 多使用問題。 經濟風暴也開始侵襲我國大學圖書 館，面臨經費刪減與資料庫刪訂的難 題。政治大學圖書館在 2012 年面臨資 料庫刪除 20％的困難，學校並要求圖 書館購買資料庫需要考量使用效率（政 治大學，2013）。圖書館大量引進資料 庫，但要評鑑資料庫好壞卻十分困難。 資料庫不若紙本書刊看到即可閱讀使 用，尚須配合網路服務才能使用。傳統 館藏評鑑方法不適用於資料庫的評鑑， 許多圖書館採用資料庫使用統計作為評 鑑依據，但數據多來自資料庫廠商，缺 乏一致性，無法正確地解釋統計數據。 此外，資料庫的高使用次數統計也不一 定保證品質優良或受到讀者喜愛，所以 圖書館資料庫評鑑值得重視。 績效評鑑近年來受到圖書館關注， 主要是運用績效觀點來評估圖書館館藏 與服務效益，其也適合應用在評鑑資料 庫的效益，值得圖書館運用。績效評鑑 的重要工作是建立評鑑指標，以運用於 績效評鑑作業，資料庫績效評鑑是為了 分析各種資料庫的價值及適用性，以為 訂購決策的依據，進而加強內部管理並 改善服務品質。資料庫的使用與績效評 鑑是值得研討的課題，圖書館以使用者 中心來進行績效評鑑，將幫助資料庫發 揮更大效益。我國大學圖書館大量採購 資料庫但遭遇經費不足與使用者抱怨的 問題，許多圖書館希望進行資料庫評鑑 以為館藏發展、採購評選與推廣服務之 參考。本論文旨在從支援採購決策觀點 探討圖書館資料庫績效評鑑，將探討資 料庫評選與採購問題，績效評鑑意涵， 資料庫績效評鑑指標與模式建構，以應 用在資料庫績效採購決策。
貳、文獻探討
本研究旨在從支援採購決策觀點探 討圖書館資料庫的績效評鑑，文將相關 文獻分為二類：圖書館績效評鑑、電子 資源評鑑與指標論述於後。一、圖書館績效評鑑
績 效（performance） 係 指 一 個 組 織或個人在一定時期的投入與產出情 況。「圖書館績效」依據國際標準組織 （ISO, 2008）界定，「其是指圖書館提供服務的效能以及撥款和資源利用在 提供服務中的效率」。從經濟學角度來 說，圖書館績效是對其資源的有效配 置，是投入產出能力、競爭能力與經營 管理水平的總稱。績效評鑑是行政與管 理程序中重要步驟之一，用以評鑑某 一機構達成目標進展之程度。績效評 鑑是對圖書館達成目標程度的一種評 鑑，係評鑑圖書館提供服務、實施活動 與 專 案 計 畫 的 效 能（effectiveness）， 與提供服務所使用經費與資源的效率 （efficiency）（李建霞，2011）。依此 定義，圖書館績效評鑑牽涉到服務、採 購的資源、與花費成本三方面。服務只 是抽象名詞，具體而言，圖書館服務包 括讀者使用與推廣服務。 績效評鑑基於成本、產出有不同評 鑑標準，包括：成本、效率、效能、效 益、使用者滿意度、成效、影響力。效 能（effectiveness）係測量圖書館達成 既定目標之程度。效率（efficiency）係 測量運用經費所購置資源達到特定目標 的程度（ISO, 2008）。圖書館績效評 鑑測量標準常採用效率、效能與使用者 滿意度，一般包括：使用者滿意度、圖 書館設施使用、圖書館資料流通量、文 獻傳遞時間、參考服務、主題查詢、圖 書資料可及性等。 績效評鑑通常以量化方式進行，評 鑑 時 常 需 運 用 績 效 指 標（performance indicator），其係圖書館統計和資料所 衍生的數字、符號或文字，用以展現圖 書館之績效。績效評鑑實施有許多不同 評鑑模式，即測量圖書館服務或設施之 效能、效率、效用與相關性之評估程序 （ISO, 2008）。
二、電子資源評鑑與指標
近年來圖書館電子資源館藏建設受 到重視漸有規模，但電子資源如何採 購與管理，其實與傳統紙本館藏大不相 同。電子資源館藏具有多元性，必須與 資訊系統、電腦網路技術、計價模式、 授權合約合併考量，不僅使用者困擾， 也造成圖書館評選與採購的問題。電子 資源的評鑑複雜，有不同方法，實施時 需要有評鑑模式。 Saracevic（2000）提出的數位圖書 館評鑑架構可為參考，其主張數位服務 與系統需要藉由績效表現與功能來評 量，評鑑的績效常包括：效益、效率、 或成本效益。數位圖書館評鑑是一項複 雜的工程，在評鑑前需要精細規劃與思 考策略，其歸納評鑑五構面：(1) 評鑑 之建構：如要評鑑什麼？數位資源所指 為何？包含哪些要件、有什麼組件與程 序；(2) 評鑑之背景：如評鑑目標、架 構、觀點或層次的選擇、評鑑層級； (3) 針對選定目標能反映相關之績效準 則（含績效表現的參數、要評鑑的面向 或特質）；(4) 能反映出與績效紀錄相 關準則所用的測量：如使用次數、成本 等；(5) 評鑑的方法：如測量工具、資 料取樣、資料蒐集程序、資料如何分析 等。 Sarcevic（2009）基於使用者資訊 需求與數位圖書館的脈絡情境，進而 提出數位圖書館評鑑四種模式，可為 資料庫評鑑參考。主要有四種評鑑模式，包括：(1) 績效評鑑（Performance Evaluation）：數位圖書館常用績效評 鑑來鑑定系統的績效與功能，採用的 評 鑑 準 則 包 括 效 能（effectiveness）， 即一個系統功能針對目標所達到的程 度；效率（efficiency），即系統執行功 能的效率，花多少時間或金錢；成本 效 能（cost-effectiveness）， 即 結 合 成 本與效能二者；(2) 以使用者需求為中 心的數位圖書館評鑑；(3) 計量學評鑑 （Metrics）：計量學係以量化方法描 述連續成果的指標，圖書館開始運用計 量學在館藏與服務的管理，但在數位圖 書館評鑑仍缺乏計量學應用，值得發展 研究；(4) 數位圖書館價值評鑑：其係 依據數位圖書館特質，而採用預估、鑑 定、與測量來評鑑數位圖書館的價值。 資料庫績效評鑑係基於成本效益評 鑑原理，依據評鑑標準或指標，選擇 評鑑模式，對於圖書館採購資料庫的投 入、處理、與產出進行評鑑活動，以判 斷資料庫產出之效益，並支援採購與刪 訂決策。相關研究包括電子資源評鑑標 準、電子資源績效指標、與績效評鑑模 式等。電子資源績效評鑑主要是運用績 效觀點來評估電子資源使用效益，常包 括電子資源成本與使用次數。圖書館電 子資源績效評鑑是為了分析和了解各種 電子資源的價值和適用性，以獲得決策 的依據，進而加強內部管理並改善服務 品質。績效評鑑的重要工作是建立評鑑 指標與評鑑模式，以運用績效評鑑作 業。績效指標（performance indicator） 係電子資源與服務結合在電腦收集使用 數量與效率的可測量指標，常包括： (1) 顯示網路服務與資源如何被呈現與 接受；(2) 測量線上服務與資源的效益 與效率；(3) 決定使用者滿意度；(4) 確 認使用者需求；(5) 辨識使用者在網路 服務與資源的問題（Bertot, 2004）。 電 子 資 源 績 效 指 標 可 參 考 相 關 的 標 準 與 研 究。Brophy（2006） 報 告 EQUINOX 電子圖書館服務績效評鑑計 畫，是由歐洲委員會所支持的有關電子 圖書館使用資料評鑑。該計畫目的是強 化圖書館評鑑指標 ISO 11620：Library Performance Indicators。 其 提 出 電 子 圖 書館績效指標與資料計算方法，並列出 電子圖書館 14 項績效指標如下：(1) 電 子圖書館服務人口百分比；(2) 目標族 群每一成員在每一電子圖書館服務的連 線數（sessions）；(3) 每服務的使用者 遠端使用電子圖書館服務的連線數；(4) 電子圖書館服務在每一連線數所觀看 的文件和紀錄數；(5) 電子圖書館服務 在每一連線數所花的費用；(6) 檢視電 子圖書館服務的每份文件和紀錄所花的 費用；(7) 以電子方式提交的資訊要求 的百分比；(8) 圖書館電腦工作站使用 率；(9) 每一使用者可用圖書館電腦工 作站的小時數；(10) 受拒的連線數占總 連線數的百分比；(11) 用於採購電子圖 書館服務占總採購經費的比例；(12) 正 式的電子圖書館服務的培訓課程，每一 服務的人口的成員人次；(13) 圖書館工 作人員的發展、管理、提供使用者訓練 占所有館員的比例；(14) 電子圖書館服 務的使用者滿意度。 圖書館引進電子資源需要定期蒐集 使用統計，可作為評估電子資源的表
現，但電子資源使用統計有名詞與定 義不一致的問題，需要制定標準與指 南，以要求代理商依據標準提供資料。 電 子 資 源 資 料 相 關 標 準 如 ICOLC、 COUNTER（2013）、以及 NISO、ISO、 我 國 CNS 圖 書 館 統 計 標 準 等 均 可 參 考。The International Coalition of Library Consortia（ 簡 稱 ICOLC）， 訂 定《 網 路資源使用數據的統計評量指南修訂 版 》（Revised Guidelines for Statistical Measures of Usage of Web-based Information Resources），係對網路使用為基礎的 索引、摘要、全文電子資源統計的評 鑑指引，建議評鑑項目需包括檢索次 數、選單數、連線次數、受拒次數、 全文下載次數，並提出使用資料最低 限度的內容需求，也列出隱私權、機 密性、取得性、傳遞與報表格式之指 引（International Coalition of Library Consortia, 2008）。 有關資料庫績效評鑑指標有四篇 文獻值得參考，包含：Powers（2006） 發展資料庫評鑑準則，徐革（2008） 建構電子資源績效評鑑指標體系，王 梅玲（2008 年 12 月）探討電子期刊網 路服務與評鑑模式之建構，韓國 Noh （2010）提出圖書館電子資源整體績效 的評鑑指標。Powers（2006）為採購決 策而進行資料庫評鑑研究，發展資料庫 評鑑準則包括已知數據評鑑與同儕機構 比較兩部分。在已知數據評鑑準則方 面，如：資料庫成本、使用（每年使 用次數統計）、每一使用成本（每次 資料庫使用的成本）、重複性（與其 他資料庫重複的比較）、以及同儕機 構比較（同行機構的可用資料庫）。 其他評鑑準則包括：內容、內容獨特 性、易於使用、教學應用、整體品質、 圖書館需求。其觀察資料庫預算分配是 重要因素，成本與使用常列為評鑑資料 庫的有效準則。該研究評鑑結果將資料 庫分成四類：低成本 低使用、高成本 高使用、低成本 高使用、以及高 成本 低使用。該研究以 University of Montevallo 圖書館為個案，研究顯示， 圖書館理想的資料庫具有下列特徵：低 成本、高使用、低重複性、高度評價與 高度需要；而高成本、低使用、高重複 性、不需要的資料庫將列入優先刪訂對 象。 徐革（2008）研究大陸大學圖書館 電子資源績效評鑑指標，確定績效評 鑑指標的重要影響因子與指標權重，以 構建電子資源綜合績效評鑑指標體系。 該調查首先建立績效指標體系，進行專 家調查，構造大學圖書館電子資源績效 的綜合評鑑指標體系表，共有 5 個一級 績效評鑑指標（構面）和 25 個二級評 鑑指標，每一級的評鑑指標包含有指標 權重及內涵說明，所有分值以 0-7 分計 算。其參考 ARL 的 E-Metrics 的指標體 系結構，並綜合其他學者提出的 5 個績 效評鑑構面，包括：(1) 資料庫內容： 確定資料庫收錄是否全面、準確、權 威、時效性強、符合本校需求。(2) 資 料庫檢索系統：資料庫的檢索系統功能 與內容的有效使用。(3) 資料庫利用情 況：使用者對資料庫的利用以及滿意程 度。(4) 資料庫成本評鑑：資料庫的使 用價值與成本比較。(5) 資料庫提供廠
商服務：資料庫服務商提供的服務是否 滿足需要。 王梅玲（2008 年 12 月）探討電子 期刊網路服務與評鑑模式，以電子期刊 資料庫研究為對象，採用文獻探討法、 焦點團體法與問卷調查法，應用在學術 圖書館個案研究。該研究獲致電子期刊 網路服務計量評鑑模式，包括：電子 期刊資源、電子期刊使用、電子期刊成 本、使用績效四大構面及 23 項指標。 並以大學圖書館為個案研究，將評鑑模 式與指標應用在該館電子期刊評鑑上。 但圖書館在採購時須仰賴資料庫廠商提 供資訊，包括：訂購成本、資料庫涵蓋 的期刊種數與論文篇數、資料庫使用數 據。該研究證實計量評鑑可行但仍遭遇 若干問題，如資料庫廠商無法提供電子 期刊種數、全文論文篇數等關鍵資訊， 以及廠商電子期刊使用統計資料不符要 求，仍有許多統計無法取得，並且資料 庫廠商提供的統計報表不一。該研究建 議資源、成本、使用、使用績效四構 面、指標權重、與評鑑模式需要進一步 研究，並應針對同性質資料庫進行評鑑 研究。 Noh（2010）探討韓國大學圖書館 電子資源整體績效指標，該研究確定評 鑑項目與分類，並使用專家與試驗評鑑 確認。首先，這項研究使用疊慧法確認 3 個評鑑面向與 11 個主題索引及 22 個 指標。其次調查專家意見，以確定每個 指標的適當權重。最後透過對大學圖書 館進行試驗評估，來確定評量尺度。該 研究結果顯示：電子資源採購構面占了 40％，電子資源使用構面占 45％，電 子資源使用環境構面占 15％。電子資 源採購評鑑著眼於電子資源的購買和發 展圖書館績效評鑑；電子資源使用評鑑 著眼於使用網路資料庫、電子期刊、電 子書、電子資源內部發展，及其他類型 的電子資源。該研究主要用於各圖書館 整體資料庫績效表現，但不適合應用在 個別資料庫採購評鑑。 其 他 尚 有 應 用 資 料 包 絡 分 析 法 （Data Envelopment Analysis， 簡 稱 DEA）， 黃 明 居、 謝 建 成、 謝 志 佳 （2012）進行電子資源的使用績效評 估，包括電子資源之效率分析、差額分 析與敏感度分析等，並以台灣某大學圖 書館 2011 年所購買的資料庫作實證分 析。該研究的投入項採用：資料庫目標 使用人數、資料庫購入費用。產出項採 用：連線數、搜尋量、下載量。結果發 現資料包絡分析法可根據電子資料庫各 項投入產出項的變數，進行各電子資料 庫最大化效率值的計算，並提供效率值 的比較、未達效率之電子資料庫改善 方法等（黃明居、謝建成、謝志佳， 2012）。該研究主要運用資料包絡分析 法對資料庫效率進行評鑑，但對於資料 庫評鑑準則並未提出有效驗證，所以未 能反映出資料庫成本效益具體分析。本 研究將資料庫評鑑準則相關文獻作為本 論文研究設計的參考。
參、研究方法
一、研究設計
本研究針對大學圖書館資料庫採購作業，探討資料庫績效評鑑以支援採 購決策。資料庫在採購時最佳原則常是 以最少成本、買到最多資源、滿足最多 使用需求。本研究採用績效評鑑方法， 考量資料採購經費、資源的數量、使用 情形、效率、與成本效益，以及支持資 料庫採購決策。研究目的有下列四項： (1) 探討大學圖書館採購資料庫遭遇的 問題與決策困難；(2) 探討圖書館績效 評鑑意涵；(3) 探討圖書館資料庫的績 效評鑑指標與模式建構；(4) 探討資料 庫績效指標與模式在採購評選的應用。 鑑於圖書館資料庫館藏發展的現 況，以及遭到經費刪減如何支援資料庫 刪訂採購的決策，本論文期望對資料庫 作績效評鑑，並建構績效評鑑指標體 系。本計畫研究範圍與限制如下：(1) 資料庫評鑑以績效評鑑法為主，主要建 構資料庫績效評鑑構面與指標體系； (2) 本研究以圖書館採購資料庫為主， 涵蓋電子書、電子期刊、綜合資料庫、 全文資料庫、電子報紙。其他數位圖 書館、機構典藏、與開放取用（Open Access）電子資源不在本研究範圍之 列；(3) 本研究以微觀評鑑為主，即應 用在各個資料庫績效評鑑，如電子期刊 資料庫、電子書資料庫、與電子報紙資 料庫，並非對圖書館整體資料庫表現作 評鑑。 本研究旨在為支援大學圖書館資料 庫採購與刪訂決策而研究資料庫績效 評鑑指標與模式。本研究的資料庫績效 評鑑是針對個別資料庫進行績效評鑑。 所以評鑑指標與模式研究設計包括： (1) 評鑑標的物為圖書館採購的個別資 料庫，包括電子書、電子期刊、數位報 紙、綜合性資料庫、全文資料庫；(2) 評鑑背景。評鑑目標係為支援圖書館資 料庫採購，評鑑層次為同類型的個別資 料庫；(3) 評鑑績效準則，將透過本研 究以獲取大學圖書館資料庫評鑑層面與 指標；(4) 能反映與績效數據相關準則 的測量與模式：如成本、使用次數、效 率、成本效能等；(5) 評鑑的方式：如 測量工具取樣、資料蒐集程序、資料如 何分析等。本研究主要探討資料庫績效 評鑑的構面與指標、績效評鑑模式。首 先運用文獻探討蒐集相關資料庫績效指 標與模式，再採用疊慧研究法，邀請我 國大學圖書館學者專家研訂支援圖書館 採購決策的資料庫績效指標與績效評鑑 模式。在資料庫績效評鑑構面考慮：資 料庫成本、資源內容與品質、資料庫使 用次數、與資料庫推廣服務，研究由構 面與指標組成績效評鑑準則，並進一步 探討評鑑模式，希望獲得資料庫績效評 鑑指標與模式以為應用在採購決策中， 參見圖 1。 本 論 文 採 用 疊 慧 研 究 法（Delphi Method）蒐集專家意見，針對設定的 議題，經由多次的思考程序，引導不同 領域的專家以其專業知能、經驗、及意 見，建立一致的共識，以提升決策的品 質，來解決複雜的議題。疊慧法提供一 種結構化的資訊流通，其運作的方式是 利用連續的「結構化」問卷進行「反覆 的」調查。第一次問卷大多為開放性 的；由受訪者根據研究問題自由提供意 見，其目的在搜集廣泛的資料，做為設 計第二次問卷的基礎。第二次之後的問
卷，是依據前一次問卷的填答情形來修 正。研究小組必須將新的問卷，連同前 一次群體的反應（集中量數）以及受訪 者本人對各題項的反應，一併寄送受訪 者，請受訪者參考回饋資料重新判斷。 如此反覆實施，直到群體建立共識或意 見反應達到某種程度的穩定為止，通常 是四回左右。本研究期望獲得學者專家 對於下列問題的討論共識：(1) 大學圖 書館資料庫採購決策問題；(2) 圖書館 資料庫發展相關構面；(3) 圖書館資料 庫的績效評鑑指標與模式建構；(4) 資 料庫績效指標如何應用在個別資料庫評 鑑 ?
二、研究對象
本研究疊慧小組主要邀請大學圖書 館負責資料庫採訪的館員、參考推廣服 務館員與學者專家。小組成員名單決定 後，研究者透過電話或 E-mail 邀請， 說明研究的目的、疊慧法的實施過程及 可能佔用的時間，並且強調受訪者的專 家性與代表性，加強問卷受訪者對此研 究的重視及參與的意願。 本 研 究 邀 請 17 所 大 學 圖 書 館 的 22 位 館 員 與 學 者 共 同 參 與 疊 慧 小 組， 包 括 女 性 19 位（86.36 ％） 與 男 性 3 位（13.63 ％）。 採 編 館 員 9 位 （40.90％）佔多數，其次為參考館員 7 位（31.81％），圖書資訊學系所教 師與研究人員 3 位（13.63％），期刊 管理館員 1 位（4.54％），資訊系統館 員 1 位（4.54％），典藏 閱覽館員 1 位（4.54％）。以年資來看，以 1 至 3 年為多數，有 9 人（40.90％），其次 是 10 年 以 上， 有 6 人（26.27 ％）， 4-6 年 有 4 人（18.18 ％），7-9 年 者資料庫
採購決策
績效指標
績效評鑑模式
績效構面
績效評鑑
指標與模式
資料庫
成本
資源內容
與品質
資料庫
使用次數
資料庫
推廣服務
圖
1：資料庫績效評鑑模式支援採購決策架構圖
2 人（9.09 ％）， 不 滿 1 年 者 1 人 （4.54％）。學歷以碩士學位為多數， 21 人（95.45％），其次為博士學位 1 人（4.54％）。
三、研究工具
本研究主要參考有關資料庫評鑑 相關四篇文獻：Powers（2006），Noh （2010）， 徐 革（2008）， 與 王 梅 玲 （2008），整合資料庫評鑑構面與績效 指標清單供疊慧小組成員參考，如表 1 與表 2。第一回合問卷採開放性問題， 針對大學圖書館資料庫遭遇的採購決策 問題，圖書館資料庫館藏發展，圖書館 資料庫的績效評鑑指標與模式建構三個 部份，徵求小組成員的意見。開放問 題包括 12 項：(1) 學術圖書館採購資料 庫類型；(2) 學術圖書館資料庫選擇的 原則與政策；(3) 學術圖書館資料庫採 購困難；(4) 學術圖書館資料庫使用統 計；(5) 學術圖書館資料庫評鑑；(6) 資 料庫績效評鑑包括的構面；(7) 資料庫 採購成本構面的評鑑指標；(8) 資料庫 使用統計構面的評鑑指標；(9) 資料庫 內容與品質構面的評鑑指標；(10) 資料 庫服務與推廣構面的評鑑指標；(11) 資 料庫重要績效指標；(12) 其他資料庫績 效評鑑相關構面與指標建議。 第二到第四回合為結構式問卷， 分 為 七 大 向 度：(1) 資 料 庫 績 效 評 鑑 層面；(2) 資料庫採購成本構面相關指 標；(3) 資 料 庫 使 用 次 數 構 面 相 關 指 標；(4) 資料庫內容與品質構面相關指 標；(5) 資料庫推廣與服務構面相關指 標；(6) 資料庫績效評鑑之重要績效指 標（KPI）；以及 (7) 資料庫績效評鑑 模式等。 本疊慧研究第一次問卷附上說明 函，向疊慧法小組成員說明本研究相關 事宜。主要包括：清楚的說明本研究目 的、疊慧法的實施方法與程序、預定進 度、相關名詞解說、小組成員的性質、 小組成員的任務與協助事項以及與研究 者聯絡方式等事宜。其次並附有填答說 明，旨在陳述問卷的結構與填答方法。 第一次問卷填答說明，以問卷填答方法 的說明為主。第二次以後的問卷填答說 明，除了上述的基本說明之外，研究者 會呈現前一次問卷各項的統計結果、意 見彙整結果，以及小組成員在該題項重 要程度之填答數字、做為小組成員重新 判斷各題項的參考。「重要程度」的評 定，研究者採用李克特五點量表，由受 訪者針對各題項依其所認為的重要程 度，勾選出與自己看法一致的答案。其 依序是非常重要、重要、普通、不重要 以及非常不重要，在統計上分別以 5、 4、3、2、1 來加以計分。 本疊慧研究自第二回合至第四回合 形成結構性問卷進行調查，問卷的題 項結構分為資料庫績效評鑑構面，採購 成本構面指標，使用次數構面指標，內 容與品質構面指標，推廣與服務構面指 標，資料庫重要績效指標（KPI），與 資料庫績效評鑑模式七個部分。有關此 七大向度的敘述，綜合小組成員的意 見，將第二回合、第三回合、第四回合 問卷的題項結構與題數列如表 3。表
1：資料庫績效評鑑指標參考清單
評鑑構面 評鑑指標 Power Noh 徐革 王梅玲 1. 採購成本 綜合資料庫年度採購經費 ✔ ✔ 電子期刊年度採購經費 ✔ ✔ ✔ 電子書資料庫年度採購經費 ✔ ✔ 其他資料庫年度採購經費 ✔ ✔ 聯盟年度採購服務費 ✔ 過去三年電子資源與設備花費 ✔ ✔ 2. 使用次數 連線 ( 登入 ) 次數 ✔ ✔ 連線被拒次數 ✔ 瀏覽頁面數 ✔ 查詢次數 ✔ 全文下載次數 ✔ 電子書借閱次數 ✔ 使用者滿意度 ✔ ✔ 電子期刊下載次數 ✔ ✔ 選單使用數量 點擊次數 ✔ 電子期刊下載格式 ✔ 自建電子資源使用量 ✔ 其他電子資源使用量 ✔ 目次 ✔ 摘要 ✔ 電子期刊虛擬造訪次數 ✔ 電子期刊連線時間 ✔ 電子期刊參考諮詢次數 ✔ 讀者人均使用量 ✔ 檢索查全率與查準率 ✔評鑑構面 評鑑指標 Power Noh 徐革 王梅玲 3. 資料庫內容 與品質 資料庫內容獨特性 ✔ 資料庫內容重複 ✔ 系所推薦採購並與教學研究相關 ✔ ✔ 綜合資料庫類型與電子資源種數 ✔ ✔ 電子期刊種數 ✔ ✔ 電子期刊論文篇數 ✔ 電子書種類與數量 ✔ 內容完整性 ✔ 同類機構比較 ✔ 介面好用與取用障礙 ✔ 其他電子資源數量 ✔ 建置電子資源數量 ✔ 電子期刊收錄範圍 ✔ ✔ 提供索引摘要 ✔ 提供目次 ✔ 收錄內容的權威性 ✔ 內容更新頻率 ✔ 4. 推廣與服務 圖書館資料庫推廣講習課程數 ✔ ✔ 電子期刊講習數量 ✔ 電子書講習數量 ✔ 電子資源課程使用次數 ✔ 廠商教育訓練課程次數 ✔ 電子資源的電腦設備使用次數 ✔ 電子資源設備使用時數 ✔ 支援 COUNTER 使用統計 ✔ 資料庫免費試用 ✔ 售後服務及效果 ✔ 資料庫遠程訪問速度與系統穩定 ✔
四、實施程序
本疊慧研究一共實施四回合問卷調 查，第一回合採開放性問題的問卷， 針對大學圖書館數位館藏遭遇的採購決 策問題、圖書館電子資源館藏發展、圖 書館資料庫的績效評鑑指標與模式建構 三個部份的開放式 12 項問題，徵求小 組成員的意見。第二回合針對第一回合 問卷結果設計結構式問卷，包括七項問 題：(1) 資料庫績效評鑑層面；(2) 資料 庫採購成本構面相關指標；(3) 資料庫 使用構面相關指標；(4) 資料庫內容與 品質構面相關指標；(5) 資料庫服務與 推廣構面相關指標；(6) 資料庫重要績 效指標（KPI）；以及 (7) 資料庫績效 評鑑模式等。登錄於該題項下，全部彙 整在一起，再逐項加以編碼，相同意見表
2：疊慧小組資料庫重要績效評鑑指標（KPI）參考清單
重要評鑑指標 Powers 王梅玲 資料庫平均使用成本 ✔ 平均全文論文下載成本 ✔ 平均全文論文被下載次數 ✔ 平均每種電子期刊成本 ✔ 平均每篇論文使用成本 ✔ 每次連線平均下載全文論文數 ✔表
3：疊慧小組三次問卷題項結構與題數
題項結構 題數 第二回合 第三回合 第四回合 資料庫績效評鑑層面 4 4 4 資料庫採購成本構面 9 6 5 資料庫使用次數構面 10 8 8 資料庫內容與品質構面 12 8 8 資料庫推廣與服務構面 8 5 2 資料庫重要績效指標（KPI） 11 10 8 資料庫績效評鑑模式 6 2 3 總題數 60 43 38則登錄一次，概念相同的意見則將其整 併及字句之修飾。 第一回合疊慧問卷於民國 101 年 11 月 16 日至 29 日進行調查，共發出 22 份，回收 22 份問卷。所有受訪者皆 利用 E-mail 回覆，邀請函、問卷與資 料庫績效評鑑指標參考資料。第一回合 疊慧小組的意見資料經編碼整理後，據 以編製成結構式的第二回合疊慧問卷。 第二回合疊慧問卷於民國 102 年 1 月 17 日至 30 日進行調查，共發出 22 份， 全部回收。第二回合問卷，經過統計分 析，產生第三回合問卷。第三回合疊慧 問卷於民國 102 年 3 月 8 日至 22 日進 行調查，共發出 22 份，全部回收。第 三回合問卷，經過統計分析，產生第四 回合問卷。第四回合疊慧問卷於民國 102 年 4 月 12 日至 18 日進行調查，共 回收 22 份問卷。經過統計分析的一致 性與穩定性檢測後停止調查，並產生資 料庫績效評鑑指標與模式體系表。
五、資料處理
本研究採用最小分析單位主要為 「對每一評鑑標準意見」，亦即根據每 一層面、指標，重要字詞出現的次數來 計算。研究者根據資料分析的結果，取 分析單位統計次數超過 3 次者，做為編 製問卷之依據。對於文獻內容標題的處 理，本研究以一個分析單位來計算，藉 以突顯該標題在內容中的重要性。依據 資料分析的原則，以下列的步驟進行分 析與歸類：(1) 確定分析單元是否含有 資料庫績效評鑑相關內容？(2) 將資料 中有關資料庫績效評鑑的內容寫下來， 並在該項目上做次數的劃記，以顯示該 項目在資料庫績效評鑑中的重要性。 (3) 分析該項目的知識領域為何？(4) 最 後，從所歸納的每一領域中，找出一主 題能涵蓋同一領域中的所有項目，做為 該領域的目標類目。依據上述分析資料 的原則與步驟，綜合整理成第一次問卷 調查之敘述，再經由疊慧法進行專家意 見的收集。 針對問卷中，關於各題項的「修正 意見或其他意見」與「綜合建議」予以 整理，並將分析所得的資料，歸納或彙 整做為下次問卷呈現之基礎。有關量的 分析，研究者在問卷回收後進行資料整 理，針對專家學者對各項重要程度評定 結果，加以編碼輸入電腦，利用 SPSS 進行資料分析，本研究應用「次數分 配」、「百分比」、「平均數」、「中 位數」、「眾數」、「標準差」、「四 分位差」等統計方法，採用次數分配、 百分比、標準差、四分位差篩選資料歸 納共識意見。說明如次： 1. 次數分配及百分比 表示小組成員在每一題項重要程度的 反應次數與百分比。將每一題項勾選 重要程度 4 與 5 的所有專家，總比例 達 75.0％以上者，視為該題項之重要 性已達一致性。 2. 平均數與標準差 平均數與標準差係用來瞭解各題項 「重要程度」的平均值與分散情形。 本研究使用五點式李克特量表，5 分 表 示 高 度 同 意，1 分 表 示 高 度 不 同 意。其次，要形成共識，各題項之標準差的值需小於等於 1.00。 3. 中位數 由中位數與平均數之相對關係，可以 瞭解小組成員意見的分布情形。 4. 眾數 由眾數可以瞭解大多數小組成員對該 題項的意見。 5. 四分位差（Q） 四分位差係指在一次次數分配中， 第一個四分位數（Q1）和第三個四 分位數（Q3）之差的一半，用以瞭 解小組成員對問卷中各題項意見一致 性的高低。四分差的數值越大，則表 示受訪者間的看法有較大的差異；反 之，則表示受訪者間的看法趨向一 致。 根 據 荷 登 與 威 德 曼（HoIden & Wedman）的研究建議，四分位差小 於 0.60 者，屬於具有高度一致性； 四分位差介於 0.60 與 1.0 之間者，表 示具有中度一致性；若四分位差大於 1.0 者，則表示沒有達到意見的一致 性。
肆、研究結果與討論
本研究旨在發展「資料庫績效指標 與評鑑模式」以支援資料庫採購決策， 一共邀請 22 位圖書館學者專家，透過 四次疊慧法調查獲得專家群一致性的意 見，以下針對問卷調查進行分析。一、大學圖書館資料庫採購現況與
困難
在資料庫採購現況方面，第一次開 放問卷調查，綜合受訪者說明其在圖 書館從事資料庫採購與服務工作，歸納 為四項主要資料庫採購與服務工作，包 括：(1) 資料庫評估與採購。(2) 舉辦利 用教育及推廣活動。(3) 資料庫購入後 之管理、掛網與連線問題解決。(4) 新 資料庫之了解、評估、試用以及將資訊 轉介相關系所。受訪者近三年辦理的圖 書館資料庫採購類型多元，主要包含： 電子書、電子期刊、綜合資料庫、報紙 資料庫、書目管理軟體、百科全書、專 門主題資料庫、數據型資料庫、新聞資 料庫等。 在資料庫採購困難部分，依照第一 回合疊慧小組的回覆資料，歸納下列大 學圖書館資料庫採購困難，包括：(1) 電子資料庫經費不足與減少。(2) 圖書 館經費縮減。(3) 資料庫內容重複。(4) 資料庫不夠。(5) 綁刊電子期刊訂購方 式缺乏彈性。(6) 資料庫內容與檢索功 能品質待加強。(7) 西文電子期刊及資 料庫遭遇稅法問題。(8) 各系所資料庫 續訂調查，採購預算與資料庫續訂作業 無法配合。(9) 圖書館須支付平台維護 費或連線費等額外費用困難。(10) 資料 庫主題過於分散。(11) 採用下載次數為 計價模式之資料庫，阻礙資料庫推廣與 利用。(12) 跨學院使用之資料庫不易協 調經費。(13) 每年匯率不同而影響資料 庫訂購數量。 有關大學圖書館資料庫是否進行評 鑑？僅有一半受訪者（11 位）表示所 屬圖書館曾進行資料庫評鑑，可見資料 庫評鑑風氣尚未普遍。這 11 所圖書館 評鑑主要考慮準則包含：電子資源的使用率、使用次數、平均論文的使用或下 載成本、電子資源內容獨特性、價格、 使用者的回饋以及期刊影響指數。此 外，圖書館也會徵詢系所意見與專業需 求，或讀者滿意度問卷作為評鑑的參 考。圖書館進行資料庫評鑑主要原因 為：(1) 因校方需進行採購與刪訂的權 衡；(2) 測試電子期刊或資料庫表現； (3) 因圖書館資料庫經費遭刪減。但大 部分圖書館未公布評鑑結果，只有二 館公布：中興大學圖書館在網站公布 西文核心期刊訂購作業（含計畫、問 卷調查、期刊及清單等）相關資料， 並於館訊公布問卷調查、期刊影響指 數（Impact Factor）分析、引文分析作 業。台灣師範大學圖書館訂定電子資源 館藏政策，實施電子資源成本分析，主 要採用使用統計以及成本分析作為採購 資料庫的參考（臺灣師範大學圖書館， 2010）。
二、問卷的信度與效度
在研究信度方面，為瞭解本研究 工具是否具有內部一致性，研究者以 Cronbachα 係 數 檢 定， 其 結 果 如 表 4 所示。根據 Todd 與 Reece 的觀點，研 究工具整體之信度達 0.92 以上者即具 有高內部一致性。下表顯示第四次問 卷整體信度為 0.931，表示達到良好信 度，顯示研究問卷的同質性高，可以有 效的預測同一種特質。但資料庫績效評 鑑模式第三次與第四次問卷信度係數較 低，未能代表具有內部一致性。 在研究效度方面，內部一致性分析 可用來做為研究構念效度之方法，本問表
4：第二回至第四合問卷信度係數表
七大向度 問卷信度第二次 問卷信度第三次 問卷信度第四次 資料庫績效評鑑層面 0.677 0.649 0.733 資料庫採購成本構面 0.728 0.315 0.796 資料庫使用次數構面 0.511 0.712 0.694 資料庫內容範圍與品質構面 0.709 0.689 0.635 資料庫推廣與服務構面 0.784 0.746 0.663 資料庫績效評鑑重要績效指標（KPI） 0.602 0.747 0.758 資料庫績效評鑑模式 0.877 0.332 0.471 整體 0.866 0.830 0.931卷因具有良好的信度，故本問卷之構念 效度亦為良好。另外，本研究問卷主要 以國內外相關文獻為基礎、並且以疊慧 法做為研究方法，所得皆由相關領域專 家針對問卷內容加以修正之結果，故本 研究問卷亦具備專家效度。
三、資料庫的績效評鑑指標
本研究顯示資料庫績效評鑑構面部 分，各題項均達一致性，參見下表。績 效評鑑包括四構面：資料庫採購成本、 資料庫使用次數、資訊庫內容與品質、 資料庫推廣與服務，均達次數分配百分 比，平均數與標準差，中位數與四分位 差門檻。 資料庫採購成本構面達到一致性的 績效指標有五項，包括：綜合資料庫年 度採購經費、電子期刊年度採購經費、 電子書資料庫年度採購經費、其他資料 庫年度採購經費、平均單價成本。原有 四項相關指標，在第二至四回合問卷因 未達一致性而刪除，包括：題項 6「聯 盟年度服務費」、題項 7「軟硬體設備 費」、題項 9「更新及維護成本」，題 項 8「年度漲幅」，參見表 6。 資料庫使用次數構面達到一致性的 績效指標有八項，包括：登入次數、資 料庫連線被拒次數、瀏覽頁面數、查詢 次數、論文全文下載次數、電子書借閱 次數、使用者滿意度、使用總數（含登 入、查詢、下載、瀏覽次數總合）。有 三項相關指標，在第二至四回合問卷刪 除，因為專家總比例未達 75.0 以上的 一致性，包括：題項 18「點擊次數」、 題項 19「檢索與系統效率」以及題項 20「連線時間」。 資料庫內容範圍與品質構面達到一 致性的績效指標有八項，包括：資料 庫內容獨特性、資料庫內容重複、系所 推薦採購並與教學研究主題相關性、資 料的新穎性、綜合資料庫類型與電子資表
5：資料庫績效評鑑構面一致性及重要程度統計表
績效評鑑構面 第二回合 第三回合 第四回合 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 一 致 性 1. 採購成本構面 4.77 0.43 5.00 0.13 4.59 0.50 5.00 0.50 4.82 0.50 5.00 0.00 C 2. 使用次數構面 4.73 0.46 5.00 0.50 4.73 0.46 5.00 0.50 4.86 0.35 5.00 0.00 C 3. 內容與品質構面 4.68 0.48 5.00 0.50 4.64 0.49 5.00 0.50 4.73 0.55 5.00 0.13 C 4. 推廣與服務構面 4.27 0.70 4.00 0.50 4.05 0.79 4.00 1.00 4.05 0.65 4.00 0.13 C ※C 表示已達一致性表
6：資料庫績效指標一致性及重要程度統計表
第二回合 第三回合 第四回合 ( 一 ) 採購成本構面 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 一 致 性 1. 綜合資料庫採購 經費 4.64 0.49 5.00 0.50 4.59 0.50 5.00 0.50 4.77 0.53 5.00 0.00 C 2. 電子期刊採購經費 4.59 0.67 5.00 0.50 4.59 0.50 5.00 0.50 4.68 0.57 5.00 0.50 C 3. 電子書資料庫採 購經費 4.45 0.67 5.00 0.50 4.45 0.60 4.50 0.50 4.55 0.60 5.00 0.50 C 4. 其他資料庫採購 經費 4.45 0.67 5.00 0.50 4.27 0.63 4.00 0.50 4.36 0.50 4.00 0.50 C 5. 平均單價成本 4.27 1.03 4.50 0.50 4.41 0.67 4.50 0.50 4.55 0.51 5.00 0.50 C 6. 聯盟服務費 3.73 0.99 4.00 1.00 7. 軟硬體設備費 3.45 0.96 4.00 0.50 8. 更新及維護成本 3.73 0.99 4.00 0.50 9. 年度漲幅 4.32 1.04 5.00 0.50 4.05 1.13 4.00 0.50 ( 二 ) 使用次數構面 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 一 致 性 10. 登入次數 4.64 0.38 5.00 0.50 4.55 0.51 5.00 0.50 4.82 0.40 5.00 0.00 C 11. 連線被拒次數 4.14 0.38 5.00 0.50 4.27 0.38 4.00 0.50 4.18 0.59 4.00 0.50 C 12. 瀏覽頁面數 4.09 0.38 4.00 0.63 4.09 0.38 4.00 0.00 4.14 0.71 4.00 0.50 C 13. 查詢次數 4.45 0.47 4.50 0.50 4.50 0.51 4.50 0.50 4.59 0.67 5.00 0.50 C 14. 論文全文下載次數 4.95 0.44 5.00 0.00 4.91 0.29 5.00 0.00 4.91 0.29 5.00 0.00 C 15. 電子書借閱次數 4.55 0.74 5.00 0.50 4.59 0.73 5.00 0.50 4.68 0.48 5.00 0.50 C 16. 使用者滿意度 4.27 0.83 5.00 1.00 4.23 0.92 4.50 0.63 4.50 0.60 5.00 0.50 C 17. 使用總數 4.29 0.50 5.00 0.50 4.32 0.78 4.00 0.50 4.32 0.57 4.00 0.50 C 18. 點擊次數 3.91 0.81 4.00 0.00 19. 檢索與系統效率 3.68 0.78 4.00 0.63 20. 連線時間 3.55 0.91 4.00 0.50第二回合 第三回合 第四回合 ( 三 ) 內容與品質構面 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 一 致 性 21. 內容獨特性 4.86 0.35 5.00 0.00 4.68 0.72 5.00 0.13 4.91 0.29 5.00 0.00 C 22. 內容重複 4.59 0.59 5.00 0.50 4.59 0.59 5.00 0.50 4.68 0.57 5.00 0.50 C 23. 系所推薦採購與 教學研究相關 4.86 0.35 5.00 0.00 4.68 0.72 5.00 0.13 4.86 0.47 5.00 0.00 C 24. 資料的新穎性 4.59 0.50 5.00 0.50 4.50 0.51 4.50 0.50 4.36 0.49 4.00 0.50 C 25. 資料庫類型與電 子資源種數 4.18 0.66 4.00 0.50 4.27 0.55 4.00 0.50 4.23 0.53 4.00 0.50 C 26. 電子期刊種數 4.32 0.57 4.00 0.50 4.14 0.71 4.00 0.50 4.18 0.50 4.00 0.13 C 27. 電子期刊論文篇數 4.18 0.80 4.00 0.63 4.14 0.56 4.00 0.13 4.05 0.58 4.00 0.00 C 28. 電子書種類與數量 4.32 0.65 4.00 0.50 4.14 0.56 4.00 0.13 4.23 0.61 4.00 0.50 C 29. 是否延遲出刊 4.09 1.23 4.00 0.50 30. 電子期刊全文率 4.14 1.21 4.50 0.50 31. 介面好用與取用 3.91 1.11 4.00 0.50 32. 電子文件品質 3.82 0.91 4.00 0.63 ( 四 ) 推廣與服務構面 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 一 致 性 33. 資料庫推廣講習課 程數 4.23 0.92 4.50 0.63 4.18 0.73 4.00 0.50 4.14 0.47 4.00 0.00 C 34. 資料庫推廣講習參 加人數 4.09 0.87 4.00 0.63 4.09 1.02 4.00 0.50 4.05 0.58 4.00 0.00 C 35. 查詢取用電腦設備 使用次數 3.59 0.91 4.00 0.50 36. 數位學習課程使用 3.86 0.77 4.00 0.50 37. 教學文件的提供與 宣傳 3.73 0.99 4.00 0.50 38. 廠商教育訓練研習 課程次數 4.00 0.93 4.00 0.50 3.68 1.17 4.00 0.63 39. 資料庫推廣講習滿 意度 4.36 0.79 4.50 0.50 3.77 1.15 4.00 0.25 40. 廠商對資料庫使用 問題解答 4.14 1.04 4.00 0.50 4.14 1.21 4.50 0.50 ※C 表示已達一致性
源種數、電子期刊種數、電子期刊論文 篇數、電子書種類與數量。有四項相關 指標在第二至四回合問卷過程中因未達 一致性而刪除，包括：題項 29「是否 有 embargo」、題項 30「電子期刊的全 文率」、題項 31「介面好用與取用障 礙」、題項 32「電子文件掃描品質」。 資料庫推廣與服務構面達到一致性 的績效指標有二項，包括：圖書館資料 庫推廣講習課程數、圖書館資料庫推廣 講習參加人數。有六項相關指標在第二 至四回合問卷因未達一致性而刪除，包 括：題項 36「查詢取用電子資源的電 腦設備使用次數」、題項 38「數位學 習影音課程使用次數」、題項 39「資 料庫教學文件的提供與宣傳次數」、題 項 35「廠商教育訓練研習課程次數」、 題項 37「資料庫推廣講習滿意度」、 題項 40「廠商對資料庫使用問題的解 答與回覆」。 本研究以第四次問卷調查結果來呈 現專家意見之一致性，詳細資料如表 6 所示，可看出本研究所發展出來的「資 料庫績效評鑑指標與構面」，經四次問 卷的意見徵詢，各題重要性已達統計水 準。故從上述的統計分析可知，本研 究所發展的「資料庫績效評鑑指標與構 面」，共有四構面與 23 項指標，其重 要性已獲得本研究小組成員高度一致性 的認可，同時也顯示專家意見已達高穩 定的狀態。
四、資料庫
KPI 與評鑑模式分析
歷經四回合的疊慧問卷調查，下表 顯示七種資料庫重要績效指標（KPI） 達到一致性，包含：資料庫使用平均成 本、平均每篇論文全文下載成本、平均 每種電刊 / 電書使用成本、平均每篇論 文使用成本、連線被拒次數佔連線次數 百分比、每次連線登入平均查詢次數、 使用總數。其他相關 KPI 在第二至四 回合問卷因未達一致性而刪除，包括： 「資料庫收錄文獻全文率」、「每次連 線平均下載全文論文篇數」、「使用費 用與文獻傳遞費用之比較」。 在資料庫績效評鑑模式方面，第二 回合到第四回的專家意見不一致，研究 者歸納專家意見與相關文獻，最後在第 四回合問卷提出下列三種模式詢問，研 究結果顯示三種模式達到一致，包含： 效率模式、成本效益模式、重要績效 指標。「效率模式」指依資料庫購置產 出與投入比值，如資料庫購買電子期刊 種數與購買經費的比值，希望資料庫購 買的資源種數最多。「成本效益模式」 指依資料庫成效與投入比值，如資料庫 使用次數與購買經費比值，希望以最少 成本獲得最多使用次數。「重要績效指 標」是資料庫重要績效指標排名以反映 資料庫績效表現。五、重要性分析
本研究以學者專家評分平均數 4 以 上者，視為該題項具有重要性。以本問 卷之整體信度來看，七大向度之整體平 均數介於 4.10 至 4.62 之間，可看出此 七大向度均相當重要。尤以績效評鑑層 面、採購成本構面指標、使用次數構面表
7：資料庫重要績效指標一致性及重要程度統計表
資料庫（KPI） 第二回合 第三回合 第四回合 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 平 均 數 標 準 差 中 數 四分 位 差 一 致 性 1. 資料庫使用平均 成本 4.82 0.40 5.00 0.00 4.68 0.48 5.00 0.50 4.91 0.29 5.00 0.00 C 2. 平均每篇論文全 文下載成本 4.91 0.29 5.00 0.00 4.68 0.89 5.00 0.00 4.86 0.35 5.00 0.00 C 3. 平均每種電子期 刊 電子書使用 成本 4.59 0.50 5.00 0.50 4.45 0.96 5.00 0.50 4.64 0.66 5.00 0.50 C 4. 平均每篇論文使 用成本 4.68 0.57 5.00 0.50 4.73 0.46 5.00 0.50 4.64 0.58 5.00 0.50 C 5. 連線被拒次數佔 連線次數百分比 4.14 0.71 4.00 0.50 4.00 0.93 4.00 0.50 3.91 0.61 4.00 0.00 C 6. 每次連線登入平 均查詢次數 4.14 0.71 4.00 0.50 4.14 0.64 4.00 0.50 4.00 0.62 4.00 0.00 C 7. 使用總數 4.59 0.50 5.00 0.50 4.14 1.04 4.00 0.50 4.23 0.61 4.00 0.50 C 8. 文獻全文率 3.82 1.22 4.00 0.13 9. 每次連線平均下 載全文論文篇數 3.95 0.79 4.00 0.25 3.86 1.04 4.00 1.00 10. 使用費用與文獻 傳遞費用比較 4.14 1.04 4.00 0.50 3.86 1.32 4.00 0.63 ※C 表示已達一致性表
8：資料庫績效評鑑模式一致性統計表
資料庫績效評鑑模式 平均數 標準差 中數 四分位差 一致性 1. 效率模式 4.09 0.81 4.00 0.50 C 2. 成本效益模式 4.77 0.53 5.00 0.00 C 3. 重要績效指標 4.23 0.87 4.00 0.50 C ※C 表示已達一致性指標與績效評鑑重要指標受到重視。另 外， 根 據 Holden 與 Wedman（1991） 的意見，中位數可以反應專家意見聚合 之情形。因此，從表 9 中位數與平均數 的關係，可以看出專家的意見已呈現聚 合的情形，顯示專家認為本問卷七大向 度重要性已達一致性。
伍、結論與建議
一、結論
（一）
大學圖書館資料庫採購面臨困
難但鮮少進行評鑑
本研究調查發現各大學圖書館普遍 遭遇資料庫採購困難，並很少實施資料 庫評鑑作業。我國大學圖書館資料庫採 購困難主要包括：(1) 電子資料庫經費 不足。(2) 圖書館經費縮減。(3) 採購的 資料庫內容重複。(4) 資料庫不夠，無 法滿足使用者需求。(5) 綁刊電子期刊 缺乏彈性。(6) 資料庫內容與檢索功能 品質待加強。(7) 西文電子期刊及資料 庫遭遇稅法問題影響資料庫採購。(8) 各系所進行資料庫續訂調查時，發現採 購預算與續訂作業無法有效配合。(9) 圖書館必須支付平台維護費或連線費等 額外費用。(10) 資料庫主題過於分散。 (11) 下載次數的計價模式阻礙資料庫推 廣與利用。(12) 跨學院使用之電子資源 不易協調經費。(13) 每年匯率不同而影 響資料庫訂購數量。各大學圖書館雖認 為資料庫採購與刪訂決策重要，但均感 到困難，但又不知道如何進行評鑑或是 認為評鑑十分耗費人力與資源，希望可 以有容易與有效的資料庫評鑑方法。（二）
本論文獲致資料庫績效評鑑的
四項構面
本論文獲致資料庫績效評鑑指標與 模式可支援資料庫採購決策，「資料 庫績效評鑑構面」包括：資料庫採購成 本、資料庫使用次數、資料庫內容範圍 與品質、資料庫推廣與服務四構面。整 體平均數介於 4.05 至 4.86 之間，且皆表
9：資料庫績效評鑑七大向度平均數與中位數之關係
七大向度 資料庫 績效評 鑑層面 採購成 本構面 指標 使用次 數構面 指標 內容與 品質構 面指標 推廣與 服務構 面指標 績效評 鑑重要 指標 資料庫 績效評 鑑模式 平均數 4.62 4.58 4.52 4.44 4.10 4.46 4.36 次序 1 2 3 5 7 4 6 中位數 4.75 4.80 4.63 4.38 4.00 4.57 4.33 次序 2 1 3 5 7 4 6達到高度一致性。
（三）
本論文建構資料庫績效評鑑指
標與體系
本研究發展資料庫評鑑體系，包括 資料庫評鑑四構面與 23 項指標，均達 到一致性，參見下表。「資料庫採購成 本構面」包括五項指標：綜合資料庫年 度採購經費、電子期刊年度採購經費、 電子書資料庫年度採購經費、其他資料 庫年度採購經費、平均單價成本。「資 料庫使用次數構面」包括八項指標：登 入次數、資料庫連線被拒次數、瀏覽頁 面數、查詢次數、論文全文下載次數、 電子書借閱次數、使用者滿意度、使用 總數（含登入、查詢、下載、瀏覽次數 總合）。「資料庫內容範圍與品質構 面」包括八項指標：資料庫內容獨特 性、資料庫內容重複、系所推薦採購並 與教學研究主題相關性、資料的新穎 性、綜合資料庫類型與電子資源種數、 電子期刊種數、電子期刊論文篇數、電 子書種類與數量。「資料庫推廣服務評 鑑構面」包括二項指標：圖書館資料庫 推廣講習課程數、圖書館資料庫推廣講 習參加人數。（四）
本論文提出資料庫績效評鑑模
式
資料庫評鑑與情境及目的相關，因 為不同的評鑑情境，不同構面應有不同 的權重，本研究並未涉及。為提高資料 庫績效指標在支援圖書館採購實務應用 性，本研究建議將資料庫績效指標與績 效評鑑模式配合使用，以達評鑑目標。 本研究發展「資料庫績效評鑑模式」， 包括三種模式：效率模式、成本效益模 式與重要績效指標模式，整體平均數介 於 4.09 至 4.77 之間，且三個模式皆達 到高度一致性。（五）
本論文提出資料庫 KPI 指標
本研究發展「資料庫重要績效指標 （KPI）」，包括下列七項指標：資料 庫使用平均成本、平均每篇論文全文下 載成本、平均每種電子期刊 / 電子書使 用成本、平均每篇論文使用成本、連線 被拒次數佔連線次數百分比、每次連線 登入平均查詢次數、使用總數。七項指 標之整體平均數介於 3.91 至 4.91 間， 皆達到高度一致性。二、建議
基於上述結論，本研究提出未來研 究建議如下以供參考。 1. 建議後續研究，將本研究建構的資料 庫績效評鑑指標與模式應用於大學圖 書館採購實務。資料庫績效評鑑指標 與模式須經過實證研究才能夠確定是 否可行。為此，本研究將後續與國內 大學圖書館合作，取得近年資料庫採 購與服務相關資料以為模擬實驗之素 材，驗證是否可行，並予以調整以建 立資料庫績效評鑑指標與模式最佳實 務，作為支援大學圖書館採購決策參 考。 2. 建議本研究的資料庫績效評鑑指標 與模式應依不同類型的資料庫進行 評鑑。由於各種不同的資料庫使用模表
10：資料庫績效指標體系表
評鑑構面 評鑑指標 資料庫採購成本 1. 綜合資料庫年度採購經費 2. 電子期刊年度採購經費 3. 電子書資料庫年度採購經費 4. 其他資料庫年度採購經費 5. 平均單價成本 資料庫使用次數 6. 登入次數 7. 資料庫連線被拒次數 8. 瀏覽頁面數 9. 查詢次數 10. 論文全文下載次數 11. 電子書借閱次數 12. 使用者滿意度 13. 使用總數 資料庫內容與品質 14. 資料庫內容獨特性 15. 資料庫內容重複 16. 系所推薦採購並與教學研究相關 17. 資料的新穎性 18. 綜合資料庫類型與電子資源種數 19. 電子期刊種數 20. 電子期刊論文篇數 21. 電子書種類與數量 資料庫推廣與服務構面 22. 資料庫推廣講習課程數 23. 資料庫推廣講習參加人數式不同，統計標準也不同，不適合全 部採用統一的績效評鑑指標。建議參 考本研究提出的資料庫績效評鑑指 標，配合不同類型資料庫需求採用不 同的績效模式進行評鑑，如依電子書 類、電子期刊類，配合效率模式、成 本效益模式與重要績效指標模式進行 評鑑。此外，可依各類資料庫主題、 出版廠商性質與評鑑複雜需求，探討 各類資料庫績效評鑑指標與模式的應 用。 3. 建議與資料庫廠商及電子資源管理系 統公司共同合作，發展電子資源管理 平台，協助大學圖書館定期蒐集資料 庫使用與價格資訊，可依據評鑑指標 與模式，將各種資料庫的使用統計、 採購資訊、使用者資訊建檔，並依評 鑑模式進行計算排名分析，以掌握各 資料庫的使用與績效表現。 4. 建議本研究未來應用電子計量學以建 構資料庫電子計量學，呈現資料庫的 成本、電子資源種數與論文數量，以 及各種使用次數等計量學（如連線、 查詢、瀏覽、下載、受拒次數等）表 現。並與效率、成本效益、KPI 等績 效結合成為資料庫計量學，應用數學 與統計學方法，藉由計算與分析資料 庫的成本、資源與使用不同構面來顯 現同類的各種資料庫表現情形，以及 掌握各類資料庫發展與使用趨勢。
參考文獻
王梅玲（2008）。電子期刊網路服務與評鑑模式之研究。圖書資訊學研究，3(1)， 75-102。 臺灣師範大學圖書館（2010）。電子資源成本分析作業手冊。臺北市：臺灣師範大 學圖書館。 李建霞（2011）。圖書館績效評價研究綜述。圖書情報知識，143，42-52。 政治大學圖書館（2011）。政治大學圖書館 100 年度行政服務品質滿意度調查報 告。臺北市：政治大學圖書館。 政治大學圖書館（2012）。政治大學圖書館 2011年年報。臺北市：政治大學圖書館。 政治大學圖書館（2013）。2013 年圖書館圖書委員會會議記錄。臺北市：政治大學 圖書館。 徐革（2008）。構建電子資源績效評鑑指標體系。在大學圖書館電子資源績效評價 研究（第 5 章）。成都：西南交通大學出版社。 黃明居、謝建成、謝志佳（2012）。資料包絡分析法應用於圖書館電子資料庫使用 績效之研究。教育資料與圖書館學，49(3)，343-368。 黃鴻珠（2012）。大專校院圖書館。在中華民國一○一年圖書館年鑑（頁 109-134）。臺北市：國家圖書館。Association of Research Libraries (2012). ARL Statistics 2010-11. Retrieved September 13, 2012, from http://www.arl.org/stats/annualsurveys/arlstats/arlstats11.shtml
Bleiler, R. & Livingston, J. (2010). Evaluating E-resources. Washington, D.C. : Association of Research Libraries.
Bertot, John Carlo (2004). Selecting Evaluation Approaches for a Network Environment. In Planning and Evaluating Library Networked Services and Resources (Chap. 2). Westport, Conn.: Libraries Unlimited.
Brophy, Peter (2006). Measuring library performance: principles and techniques. London: Facet.
COUNTER (2013). Release 4 of the COUNTER Code of Practice for e-Resources (Published April 2012). Retrieved September 20, 2013, from http://www. projectcounter.org/code_practice.html
International Coalition of Library Consortia (2008). Guidelines for Statistical Measures of Usage of Web-based Information Resources. Retrieved August 27, 2012, from http:// www.library.yale.edu/consortia/2001webstats.htm.
ISO (2008). ISO11620 Information and documentation: Library Performance Indicators. Retrieved October 25, 2013, from http://www.iso.org/iso/iso_catalogue/catalogue_tc/ catalogue_detail.htm?csnumber=37853
National Information Standards Organization (2005). ANSI/NISO Z39.7-2004 Information Services and Use: Metrics & Statistics for Libraries and Information Providers--Data Dictionary. Retrieved November 8, 2005, from http://www.niso.org/emetrics/
Noh, Y. (2010). A study on developing evaluation criteria for electronic resources in evaluation indicators of libraries. Journal of Academic Librarianship, 36(1), 41-52. doi:10.1016/j.acalib.2009.11.005
Powers, A. (2006). Evaluating databases for acquisitions and collection development. In Handbook of Electronic and Digital Acquisitions (pp. 41-59). Leonhardt, T. W. ed. London: Haworth Press.
Saracevic, Tefko (2009). From usage to user: library metrics and expectations for the evaluation of digital libraries. In Tsakonas, G., & Papatheodorou, C. (Eds), Evaluation of Digital Libraries: An insight into useful applications and methods (pp. 17-39). Oxford: Chandos Publishing.
Saracevic, Tefko (2000). Digital Library Evaluation: Toward an Evolution of Concept. Library Trends, 49(2), 350-369.
