臺北市立圖書館館訊 33 卷 4 期
50
圖書館成果評鑑：看見圖書館的價值
Outcome Measurement for Libraries and Implications
王梅玲
Mei-Ling Wang
國立政治大學圖書資訊與檔案學研究所教授
Professor, Graduate Institute of Library, Information and Archival
Studies,
National Chengchi University
Email：meilingw@nccu.edu.tw
藍翊瑄
Yi-Hsuan Lan
臺北市立圖書館館員
Taipei Public Library Librarian
Email: bluestubasa@gmail.com
【摘要】
公共圖書館近年來實施許多大型計畫，從建築空間改造、充實閱讀館 藏、推動多元閱讀活動，受到大眾喜愛，但成果如何？ 如何展現與證明為 期六年的教育部閱讀推廣與館藏充實計畫的成效？圖書館成果評鑑是配合 預設之目標評量圖書館服務與活動對於使用者產生的影響與改變。其是從 投入、活動與過程、產出來看成果；例如參加圖書館活動後，對使用者的 知識、技能、態度、行為發生改變與影響。圖書館服務與新專案計畫的成 果評鑑將可以證明圖書館的價值，也是圖書館新管理思維。本文探討圖書 館成果評鑑的意義、方法、與三個個案應用。圖書館成果評鑑：看見圖書館的價值
51
【Abstract】
In the past six years, public libraries provide a lot of programs, such as library renovation, substantial collections, and diverse reading promotion in Taiwan. It is important that we need to know the outcomes of those programs and readers' satisfaction. Furthermore, it is necessary to identify the effects of six-year reading promotions and collections development plan of the Ministry of Education. Outcome measurement for libraries is that we evaluate the influences or changes from users participating in services or activities by the goal we had made previously. We evaluate what the changes of intellectual, skill, attitude, and behavior from participants in the library activities. Outcome measurement for libraries service and new projects will prove the value of libraries and it is a new thinking of library management. This article examines the definition and methods of outcome measurement for libraries and explores three cases for implications.
關鍵詞： 圖書館、成果評鑑、閱讀推廣活動
Keywords: Library, Outcome Measurement, Reading Promotion Activities
壹、前言
公共圖書館這六年來積極推動閱讀空間與館藏充實計畫，獲得社會大 眾許多迴響。圖書館自 2011 年（民國 100 年）以來有許多改變與創新， 令民眾耳目一新，公共圖書館興建新館，如臺灣資訊公共圖書館、高雄市 立圖書館總館、新北市立圖書館；許多圖書館建築不僅空間改變，館藏與 服務也煥然一新。2009 年，教育部為公共圖書館的空間改善、設備升級、 館藏充實，以及公共圖書館評鑑機制的落實、社會閱讀風氣的提升，訂定 「閱讀植根與空間改造：民國 98-101 年圖書館創新服務發展計畫」。其中 的「公共圖書館活力再造計畫－閱讀推廣與館藏充實計畫」補助各縣市圖臺北市立圖書館館訊 33 卷 4 期 52 書館充實館藏、推廣閱讀，內容包括「閱讀起步走：0-3 歲嬰幼兒閱讀推 廣活動」、「公共圖書館與學校閱讀網絡」、「多元閱讀與館藏充實」推 動全民閱讀。2013 年，教育部賡續推動閱讀植根與空間改造：「102-105 圖書館創新服務發展計畫」，內容包括「閱讀起步走：0-5 歲嬰幼兒閱讀 推廣活動」、「多元閱讀與館藏充實」、「本土語言閱讀推廣計畫」，持 續推動全民閱讀，各縣市均全力積極推展。公共圖書館這六年推動的閱讀 空間與充實計畫，帶動全國閱讀風氣，並獲得大眾許多肯定。 但近日也有幸佳慧（2016）在蘋果日報評論：「『閱讀起步走』是 1992 年英國伯明罕市發起的嬰幼閱讀跨領域研究，而後逐漸變成『贈書禮 袋』的國家政策。臺灣仿效已十年，仍是不知其然的鸚鵡學舌，只是場官 方送書、人民搶書的恩賜文化」。公共圖書館推動閱讀計畫六年成效如何 是需要數據證明，不是用一篇新聞報導即可判斷臺灣的閱讀推廣就是粗 糙。新聞媒體與社會始終關注圖書館發展。這六年間，公共圖書館從建築 空間改造、積極充實館藏、推動多元閱讀活動，如何呈現與證明為期六年 的閱讀推廣與館藏充實計畫的成效？成果評鑑應用在圖書館，將可以證明 圖書館推廣活動的價值與影響。 評鑑是對圖書館的服務與計畫進行管理與成效檢討的機制。圖書館針 對豐富多元閱讀推廣活動，然若要瞭解活動是否能夠帶給參與者效益、帶 來效益之程度，以及活動對於圖書館本身的影響，繼之以活動帶給整體環 境之影響，則需對於活動進行評鑑。評鑑是包含定義、說明、可辯證的參 考準則等，以決定受評對象的價值、品質、有效性或重要性。評鑑可以說 是對於事物價值的評估，評鑑是決定優點、價值或重要的程序，評鑑是為 了判斷可用的決策所作的描述、獲取及提供有用資訊的過程。評鑑是提供 決策者有關於方案運作或效能的可信、有效、相關且有用的資訊。評鑑是 一個蒐集與分析資訊的系統化過程，以決定目標是否達成或目標達成的程
圖書館成果評鑑：看見圖書館的價值 53 度。綜上所述，評鑑不僅在評估價值，亦在改進方案，因此也有學者認 為，評鑑不在證明，而在改進（曾淑惠，2009 ）。 圖書館評鑑早期針對作業進行評估，其目的在有效的管理人力資源、 財力資源與館藏資源，使這些資源充分達成圖書館的目標。 Lancaster （1993）詮釋評鑑是一項實務工作，蒐集有用的資料，以便解決問題及做 更好的決策。進行評鑑首應瞭解圖書館的運作和功能，以及其產生的作 用。圖書館評鑑的範圍包括四方面：投入（input），如人員、館藏、設施 等；處理（operation），如採購、編目；產出（output），如服務的績效； 成果（outcome），如服務績效產生的價值（Matthews, 2007）。 圖書館評鑑目的有多種，如：（1）檢查可能導致圖書館服務成效不 彰的原因，提出診斷性建議，以作為日後改進的參考。（2）藉由服務水 準的指標，與舊指標相比較，以衡量成長或改變。（3）取消或增加某項 服務時，以證明其必要性。（4）作為比較圖書館或各種服務成果的依 據。（5）呈現工作績效，瞭解服務品質。（6）修正調整圖書館服務以永 續經營，可以增加效率，避免錯誤。（7）圖書館在數位時代服務有許多 新發展，新的資訊系統與圖書館新服務均需要評鑑，以證明其可行與有 效 。（ 8）俾利於圖書館推廣與行銷，以增加可見度，證明其影響力 （Matthews, 2007）。 有關評鑑類型，有多種分類方式，從過程可分為形成性評鑑與總結性 評鑑。從實施對象可分為圖書館／系統導向、使用者導向或混成型。若從 範圍區分，評鑑可分下列五類：（1）投入評鑑（Input Measurement），係 評量圖書館作業投入。（2）產出評鑑（Output Measurement），係評量圖 書館系統與服務的產出。（3）績效評鑑（Performance Measurement），係 配 合 圖書 館目標評 鑑圖 書館服 務 與資源 達到 的 成果。 （4）成果評鑑 （Outcomes Measurement），係圖書館服務與活動對於使用者產生的改
臺北市立圖書館館訊 33 卷 4 期
54
變。（5）服務品質評鑑（Service Quality Measurement），是透過使用者 和訂定品質標準測量圖書館服務與資源是否表現品質優良 （Matthews, 2007）。 圖書館評鑑實施有其程序，包括：（1）分析評鑑的對象與目標。 （2）分析評鑑對象情境脈絡、特質。（3）選取評鑑方法、取向、準則。 （4）決定資料工作評鑑項目與單元。（5）設計評鑑方法與工作程序。 （6）進行資料蒐集。（7）進行資料分析。（8）進行評鑑與決策、結 論。（9）撰寫評鑑報告。 評鑑就是一種確認圖書館服務與活動的目標，並用多種方法蒐集資料 與數據以證明服務與活動的成果達成原訂目的的重要機制。傳統圖書館經 常採用產出評鑑，蒐集參加活動人數，借書冊數與入館人數。近年，為了 追求卓越，成果評鑑新觀念提出，也影響了圖書館滿意度調查的方式。成 果評鑑觀念是檢視圖書館服務與活動帶給參與的民眾有何改變，或觀察對 使用者的問題解決與工作能力是否提升。以「閱讀起步走」活動來看，成 果評鑑是指圖書館蒐集資料與數據證明這個活動帶給父母與兒童參加活動 後，對其閱讀興趣、閱讀行為或習性產生哪些改變。成果評鑑是對圖書館 服務與推動大型計畫的新思維，有助於瞭解圖書館活動對民眾帶來的改變 與效益，以及證明圖書館的價值，值得探索與實踐。本文將探討圖書館成 果評鑑的意義、方法，並用三個個案來證明其應用。
貳、成果評鑑意義
成果評鑑（Outcome Measurement）是以「使用者為中心」，進行某項 方案或服務的量測，以回應特定使用者需求，為使用者帶來改變，以達到 一定程度的正向影響（Rubin, 2005）。「方案」（Program）係一組經過 精心設計的行動與努力，以滿足社會對於各種服務的需求，最終能促成有圖書館成果評鑑：看見圖書館的價值
55
需求的人得到高品質的服務。美國博物館與圖書館服務研究院（Institute of Museum and Library Services）界定「成果」（Outcome），是對人們帶 來的好處，「為個人或群體在參與方案活動期間，或參與之後，所獲得的 效益或造成改變，包含獲得新知識、習得新技能、轉變態度或價值觀、修 正行為以及改善狀況等」（Kyrillidou, 2002）。 成果評鑑也是方案評估（Program Evaluation）的一環。整體方案評估 流程包括投入、活動、產出及成果等項目。「投入」係指使方案能夠推動 並執行，以向參與者提供服務的素材或資源，例如設備、員工、志願服務 者、設施或場所、經費等。「活動」係指方案推動中的流程，用以滿足參 與者的需求，例如指導、諮詢、庇護、供給、裝備。「產出」係指參與者 之計量，例如被指導的人數、被諮詢的人數、獲得庇護、供給、裝備的人 數。「成果」係指參與方案的人實際獲得的影響、利益、改變。產出與成 果不盡相同，如一項戒菸方案，評估「產出」是計算參與此戒菸方案的人 數，而評估「成果」是成功戒菸的人數。「成果」可進一步分為短期成果 （方案參與者於觀念、技術上的改變）、中期成果（行為上的改變），以 及長期成果（價值觀、整體狀況、身份的改變），成果評鑑即將評估重點 置於「成果」的部分，即評估接受此服務的人，以探知：（1）他們是否 有良好的表現？（2）有接受服務者與未接受服務者比較，是否有差異？ （3）有接受服務者與未接受服務者比較，有接受服務者是否有改變，而 且 是 朝 好 的 方 向 改 變 （ Posavac & Carey, 2002 ； 羅 國 英 、 張 紉 譯 ， 2014）。
有關成果評鑑的實施方法，首先依據方案活動設計預期達成之成果； 第二，依成果項目制定可量測之指標；第三，選定合適之研究方法，例如 設計問卷或是訪談大綱等，以利進行實際量測；第四，在蒐集研究資料 後，進行彙整與分析，最後提出研究與建議。
臺北市立圖書館館訊 33 卷 4 期
56
成果評鑑除了評估使用者滿意度外，更關注活動的實質性成果，希望 實質性成果能夠真正幫助使用者，帶來正向效益外，並配合圖書館之使命 與任務。美國大學與研究圖書館學會（Association of College and Research Libraries, 簡稱 ACRL）提出關於實質性成果的問題：（1）學生使用圖書 館資源與服務是否能夠提升其學術成績？（2）藉由利用圖書館，學生是 否能夠獲得成功的機會？（3）利用過圖書館的大學生是否更有可能在研 究生學習中獲得成功？（4）圖書館的目錄是否提升學生的資訊素養水 平？（5）作為與圖書館合作的結果，教師是否更能夠把利用圖書館做為 他們課程教學部分？（6）利用過圖書館的學生是否可能獲得更為充實和 滿意的人生？ 以成果評鑑為基礎發展之活動方案，強調在計畫階段即以所服務之讀 者與相關利害關係人連結，考量其需求設計方案內容，搭配成果評鑑成為 機構整體計畫之策畫、實施、評估和改進之部份。以圖書館管理面來看， 即是由「提供什麼服務和如何提供」的思考方向轉至「管理者預期要達到 的是什麼」，並將其列為特定的服務目標，然後根據此目標來探究方案參 與者之變化，並蒐集變化的證據。成果研究也以更寬廣的方向探討，將成 果分成短期及長期，隨著時間推移，方案能夠帶給使用者的影響越來越 廣，並推及至整體社會，舉凡知識、資訊素養、學術或就業成功、社會包 容，個人福利等方面，來評估圖書館對個人技能、綜合能力、態度、行為 帶來的改變。
參、圖書館成果評鑑方法
一、 圖書館成果評鑑模式
圖書館成果評鑑是評量服務與活動對於使用者產生的影響及效益，並圖書館成果評鑑：看見圖書館的價值 57 符合圖書館預設目標。是從投入、活動與過程、產出的連續過程來看成 果，如使用圖書館服務與資源對使用者的知識、技能、態度、行為發生改 變與影響（Mattews, 2007）。Rubin （2005）提出圖書館成果評鑑模式， 係社區需求、圖書館服務目標、與圖書館服務回應三者的交集，如圖 1。 其說明成果評鑑的內涵包括：（1）提出使用者需求和社區目標以界定成 果的內容。（2）依據成果評鑑進行規劃，包括投入、圖書館活動、評鑑 成果的項目、進行圖書館活動與蒐集資料。（3）進行期中與期末成果評 鑑，在活動結束後，進行整體的成果評鑑，以及對社區目標貢獻的檢討。 公共圖書館成果評鑑視其背景及服務方案而有所不同，很難提出統一框 架，僅能以其所規劃之服務方案來設定成果評鑑。例如青少年公共圖書館 閱讀推廣活動，設計成果評鑑三要素可為：（1）瞭解目標讀者閱讀現況 與需求；（2）訂定圖書館閱讀推廣的目標；（3）參與者參加活動後是否 提升閱讀素養。 圖 1 圖書館成果評鑑示意圖
資 料 來源 ：Rubin, R. J. （2005）. Demonstrating results : using outcome measurement in your library. Chicago, Ill. : American Library Association.
社區需求 圖書館服務回應
臺北市立圖書館館訊 33 卷 4 期 58 Rubin（2005）進一步說明方案評鑑流程，分為規劃與評鑑兩部分， 第一階段為規劃部分，在於圖書館依據使用者需求規劃適當的活動，以傳 達圖書館的使命以及管理者的願景，使命意指藉由簡短而清楚的文字，告 知讀者圖書館最重視的理念，並且能夠切合使用者需求，願景意指圖書館 管理者希望以什麼樣形式的圖書館服務回應使用者需求。此階段可以成果 導向的規劃流程表示，包括瞭解社區需求並規劃相對應之服務與方案，設 定服務與方案之目標，繼之以投入相關資源並執行方案活動，最終有所產 出，流程參見圖 2。在本階段中從社區需求、服務回應、服務目標三者界 定成果，進而設定方案目標與活動。 社區需求 服務回應 服務目標 方案目標 投入 方案活動 產出 圖 2 圖書館成果導向的規劃
資 料 來源 ：Rubin, R. J. （2005）. Demonstrating results : using outcome measurement in your library. Chicago, Ill. : American Library Association. 第二階段為評鑑部分，係根據活動結果進行活動之成果評鑑，確認活 動參與者是否因參加而有了改變或有成就。成果評鑑具有下列重要性： （1）對圖書館整體而言，能夠展現圖書館的價值，告知潛在讀者圖書館 能夠帶來的效益，成為品牌行銷方式。（2）對圖書館員而言，能夠藉由 成果的評鑑瞭解這樣的服務方案是否有需要改進，以持續修正服務方式， 因應快速變動的環境。（3）對服務對象而言，除了為讀者帶來實質成 果，還能夠分享給所有相關的利害關係人，讓成果的影響持續擴大，以至 於整個服務社區。此階段的核心項目為設定此活動之成果，此成果項目係 依據社區需求、方案目標、方案回應訂定，轉為可量化之指標並規劃研究 流程，方案活動結束時進行短期及長期之成果評鑑，蒐集成果資料，以瞭 解此方案是否能對所服務之社區有所貢獻，流程參見圖 3。
圖書館成果評鑑：看見圖書館的價值 59 社區目標 定義成果 投入 方案活動 產出 短期成果 長期成果 對社區目標 的貢獻 圖 3 圖書館成果評鑑
資料來源：Rubin, R. J.（2005）. Demonstrating results : using outcome measurement in your library. Chicago, Ill. : American Library Association.
Rubin（2005）將成果評鑑的規劃階段與評鑑階段合併為成果評鑑模 式，參見圖 4。 Text 投入 產出 短期成效 成效 達成目標 過程 結果 圖書館觀點： 圖書館做什麼/提供什麼服務 使用者體驗過後的成效使用者觀點： 活動 圖 4 圖書館成果評鑑流程
資料來源：Rubin, R. J.（2005）. Demonstrating results : using outcome measurement in your library. Chicago, Ill. : American Library Association.
美國密西根大學及華盛頓大學研究團隊的兩位學者 Durrance 及 Fisher （2005）運用成果評鑑的理念於圖書館，配合圖書館目標與使用者需求， 提出「圖書館與館員如何協助」（ How Libraries and Librarians Help ， HLLH）成果評鑑模型，他們歸納圖書館和館員能夠帶給使用者的成效可 概括分為：（1）態度的轉變（由負面轉為正向）；（2）增進資訊近用的 能力；（3）自我效能的提升（包含自尊、自信心、對生命的看法以及未 來規劃、成就感及希望）；（4）技術層面的提升（增進技術素養、語言 能力、溝通技巧及社交技能）；（5）學習成果（增加學習的興趣）； （6）知識獲得（獲得更廣獲更深入的知識）；（7）目標導向的規劃； （8）社交網絡（與社區連接，增加社會資本）；（9）狀態改變（返回校 園學習、找到工作、參與公民活動）；（10）降低成本（節省時間、金
臺北市立圖書館館訊 33 卷 4 期 60 錢、力氣，提升方便性）。 圖書館與館員協助模型包括下列四部分：（1）與機構相關的情境因 素，如圖書館服務模式、圖書館策略計畫、館員的專業貢獻；其他投入因 素如資源、環境等。（2）與使用者相關的情境因素，包含使用者需求、 態度、資訊行為、能與此方案活動互動之任何影響因素。（3）產出，參 與此項服務或方案的人數統計。（4）成果，使用者發生的改變，包含技 能、知識、態度、行為、狀態、生活模式的改變或成就。 圖書館活動的成果深受使用者導向以及情境因素（context）的影響， 在使用者導向方面，不同使用者的需求、資訊素養與態度等皆會影響成果 評鑑的各項流程。圖書館在執行方案評估之前，應先瞭解目標讀者的資訊 行為，才能讓後續方案活動與參與者產生正向連結，為其帶來實質成果。 在情境因素方面，要考量圖書館的本質、願景、任務、服務模式以及館員 人力與能力等，因此，不同圖書館所推出的方案服務，所使用的成果評鑑 指標與面向不盡相同，所用之資料蒐集方法也可能不一。 Matthews（2013）說明兒童暑期閱讀活動如何幫助兒童及其家長，規 劃推廣活動成果評鑑，以 Orr’s Evaluation Model 進行評估。包括資源面、 產能面、使用面、影響及效用面。資源面（投入），可以評估圖書館設計 及執行推廣活動之需求；使用面（產出）統計參與活動之兒童；影響及效 用面（成果），用以評估此活動對於個人、團體及整個社會層面的成果。 此模式可以應用評估圖書館推廣活動，參見圖 5。
圖書館成果評鑑：看見圖書館的價值 61 資源 產能 使用 及效用影響 投入量測 過程量測 產出量測 成效 ↓ 個人、團體、組織
圖 5 Orr’s Evaluation Model
資料來源：Matthews, J. （2013）. Evaluating summer reading programs: suggested improvements. Public Libraries Online. Retrieved from
http://publiclibrariesonline.org/2013/05/evaluating-summer-reading-programs-suggested-improvements/ 投入面向在於評估活動計畫之部分，包含經費及人力資源之應用，分 為（1）預算：包含推廣素材、行銷費用、文宣品及獎勵品。（2）人力： 即負責規劃、執行並評估推廣活動之圖書館員，包含館員參與人數；志工 人數；館外活動地點之數量。（3）館藏（Collection）：館藏可於特定主 題之暑期閱讀活動時使用。（4）設備：提供活動的空間。 產出面向為活動的量化測量，以暑期閱讀活動為例，量測項目包括： （1）報名暑期閱讀活動之人數，（2）暑期閱讀活動參與者於學校年級學 生中所占比例，（3）實際參與暑期閱讀活動的人數，（4）完整參與暑期 閱讀活動人數（以兒童、青少年、成人區分進行量測），（5）參與者閱 讀書籍的數量，（6）於活動中閱讀書籍冊數最小值之人數，（7）暑期閱 讀活動進行期間之借閱量，並與往年比較，（8）進行瀏覽閱讀的人數， （9）單獨閱讀的時間，（10）與父母或照顧者共同閱讀的時間，（11） 兒童與父母或照顧者共同閱讀時間是否較多，（12）參與暑期閱讀活動家 庭辦理借閱證的數量，（13）與暑期閱讀活動相關之活動數量，（14）參 與所有相關活動之總人數。
臺北市立圖書館館訊 33 卷 4 期 62 成果面向主要評量對於兒童、家庭於參與暑期閱讀活動後以及此活動 對於整體社會所造成的影響及成果，包含個人知識、自信、行為、態度等 的質化及量化量測。在評鑑過程中，除了針對參與兒童，其家長、照顧者 及教師也是量測對象。在進行成果評鑑時，下列兩項準則需特別注意： （1）成果與活動需有高度因果相關。（2）成果需是可測量的，並以一致 性且具信賴度之量測工具進行成果量測。
二、 成果評鑑程序
成果評鑑實施包括下列六項程序：選擇方案、決定成果、量化成果、 資料蒐集規劃、準備與實施、研究結果（Rubin, 2005），以下詳細說明。（一）選擇方案
進行成果評鑑的前提，首需選擇一方案，方案選擇具備下列必要條 件：（1）此方案有明確的服務對象，並能夠為其需求進而設計方案內 容。（2）此方案以服務對象的影響結果為主要考量，關注的是讀者會有 什麼樣的改變，而非方案的流程或方案的產物。（3）此方案有明確的開 始時間與結束時間，如此才能夠將成果量化，以進行資料蒐集。（4）有 明確的活動參與者，意指圖書館能夠掌握使用者的基本資料，並能夠進一 步與其進行研究及資料蒐集。（二）決定短期及長期成果
在方案內容確認後，再確定方案預定參與者可能獲得之成果，分別包 括：（1）選擇成果，考慮此方案會為參與者帶來哪些成果。（2）進行測 試，測試所選擇的成果是否與方案有邏輯相關。（3）選擇研究要獲致的 成果，應具有以下特質：對參與者是有價值的，意即是以使用者需求為基 礎，並著重在使用者有重要收穫的層面上；對圖書館是重要的，意即能夠圖書館成果評鑑：看見圖書館的價值 63 符合圖書館的任務、願景與重點政策；以此方案而言是可達到的，能吸引 相關利害關係人並能夠符合當地環境所有情境因素。（4）區分成果的時 間性，方案帶來的影響可能會經由時間的推移帶來不同層面的成果，在訂 定方案成果時，應考慮為短期或長期成果，如滿意度、對某項服務的覺 知、技能的習得可視為最短期的成果，接著是感覺、態度與價值觀的改 變，逐漸內化影響個人認知，改變行為，最後是整體狀態的改變。
（三）量化成果
此一階段將成果進行量化，分為數個面向以及指標進行研究資料的蒐 集，並再依此些面向分為若干個指標。所謂指標（indicator），係指在特 定的評量面向，所包括的各個評量項目，各面向由許多指標所組成。訂定 可衡量的指標，需具備三要素：（1）為每一項成果指定指標，此一階段 係將成果轉為可衡量的指標，包含：動詞、受詞、量以及時間區四項要 素，例如有一推廣閱讀素養的方案，其指標之動詞即為「閱讀」，受詞為 讀了什麼，量則指閱讀的多寡，其中受詞及量可依方案本身的訴求以及目 標對象有所不同，而有關時間區間的訂定，可以選擇「一段時間」。 （2）為指標訂定目標值，此一階段即是訂定方案成功的標準，此一目標 值是以數字形式表示，例如百分比或特定數值，目標值會依方案、圖書館 以及外在環境等各種因素而有所不同，因此，成果的評比著重於自身的比 較與調整，是否能符合圖書館的目標以及讀者需求，而非不同方案或是不 同圖書館之間的比較。（3）成果描述，在最後一階段，每一項成果會有 一到三項指標及其對應之目標值，此時可對成果進行摘要描述，如此更能 完整陳述成果評鑑的架構（Rubin, 2005）。成果描述的結構參見表 1。臺北市立圖書館館訊 33 卷 4 期 64 表 1 評鑑的成果組成要素 成果組成要素 舉例 使用者／參與者 參與此方案的青少年讀者 指標動詞（可量化的行動） 閱讀 此行動的數量（使用者達成之標準） 推薦書單中 60%的書籍 達到標準的使用者人數（方案成功標準） 70%的參與者 時間限制 自計畫開始至結束後
資料來源：Rubin, R. J.（2005）. Demonstrating results : using outcome measurement in your library. Chicago, Ill. : American Library Association.
（四）資料蒐集規劃
此階段包括選擇資料蒐集方法以及選擇資料分析方法兩部分。有關資 料蒐集方法，在指標訂定後，考量所要蒐集之資訊、活動參與者及其他利 害關係人之特質、成本與經費、蒐集以及彙整資料之時間花費等因素，選 擇合適且能夠準確蒐集相關資料的方法。例如：檢視現有紀錄；問卷調查 法；測驗法；訪談法；軼事證據法；觀察法。再根據研究方法，設計研究 之工具。有關資料分析方法，考量採用量化或質化分析方法以及資料分析 的步驟（Rubin, 2005）。（五）準備與實施
此階段在形塑研究實施的流程，以引導方案的實施以及確保實施過程 的品質，包括下列步驟：（1）寫下成果評估計畫，制定每一流程之重點 項目。（2）與相關研究人員溝通，讓與研究相關之利害關係人瞭解計畫 內容與實施方法，並提供需要的幫助。（3）招募並訓練資料蒐集者，使 其熟悉研究進行步驟。（4）進行前測，以修正資料蒐集與分析過程中會 產 生 的 問 題 。 （ 5 ） 執 行 行 動 方 案 ， 將 概 念 與 計 畫 付 諸 實 行 （ Rubin, 2005）。圖書館成果評鑑：看見圖書館的價值 65
（六）研究結果
將蒐集好的資料彙整後，歸納研究結論與建議，對於方案本身，能夠 提供方案目標的確定、流程的修正、資源重新配置、研究工具的選用參 考。對於圖書館方面，能夠提供下階段計畫、長程計畫、決策、經費爭取 等之參考。對參與者方面，更能瞭解參與者與社區的需求，吸引潛在讀者 使用圖書館，並持續為其提供適當之資源與服務（Rubin, 2005）。三、 圖書館成果評鑑個案應用
成果評鑑主要是用來評鑑圖書館服務或活動，是否能為其目標讀者帶 來效益或有所改進，並符合圖書館目標，以下將介紹三個圖書館成果評鑑 個案，以瞭解其應用與結果。（一）公共圖書館暑期閱讀活動成果評鑑
多 明 尼 加 大學 圖 書 資訊 學 研 究 所 （ Graduate School of Library and Information Science, Dominican University, 2010）發表一項合作研究報告 「Public Library Summer Reading Programs Close the Reading Gap」，指出 暑期閱讀活動能夠改善國小三、四年級學童的閱讀行為，並為其學校的課 業上帶來正向影響。該研究關注公共圖書館與學校合作之部分，其研究問 題為：（1）公共圖書館暑期閱讀推廣活動是否能影響學生學童的閱讀成 績？（2）公共圖書館暑期閱讀推廣活動是否能夠引起學童的閱讀動機？ （3）學校與公共圖書館合作推廣暑期閱讀活動之成效為何？研究方法包 含針對學生、家長、圖書館員、學校老師之個別問卷調查，以學術閱讀清 單追蹤學生學業上之閱讀理解能力是否有進步。有關學生的問卷內容包括 三個面向：（1）閱讀習慣；（2）圖書館利用情形；（3）暑期閱讀類型 以及其他活動，於開學後施測，將學生分為有參加以及無參加暑期閱讀活
臺北市立圖書館館訊 33 卷 4 期
66
動兩部分，並做比較，最後研究顯示暑期閱讀活動能夠有效改善學童的閱 讀行為，並提升其在校成績。
加 州 圖 書 館 實 施 成 果 導 向 方 案 評 鑑 初 步 計 畫 （ California Summer Reading Outcomes Initiative），提供加州公共圖書館評鑑暑期閱讀活動成 果的參考，他們設計兩項成果指標：（1）對象為社區中的閱讀者及圖書 館使用者，目標為使社區成員與圖書館以及閱讀產生連結。（2）促使潛 在使用者參與暑期閱讀活動，目標為能夠提高圖書館的使用率，擴大服務 範圍；將此成果設為方案活動的目標。依據這二項指標進行規劃與設計活 動及推廣策略，於活動結束後，採用問卷調查以及焦點團體訪談法以評鑑 活動是否達成預設之成果（Cole, Walter & Mitnick, 2013）。
2012 年，前述研究有 175 所圖書館運用此成果導向方案評估評量暑期 活動的成果，回收 7,764 份有效問卷。研究報告顯示，讀者同意圖書館 為：（1）閱讀的地方。（2）一個友善的地方。（3）一個和平的地方。 （4）一個屬於他們的地方。其他結論包括：（1）他們喜歡分享書籍以及 一起談論所閱讀的書籍。（2）他們認為參與暑期閱讀活動很開心。（3） 於暑假過後他們願意再使用圖書館的服務。56%的兒童、60%的青少年、 44%的成人以及 35%的家庭是第一次參與暑期閱讀活動，意指此活動確實 能提高圖書館的使用率，成功達到推廣的效果。參與之圖書館也反映此成 果評鑑具有下列優點：（1）成果讓我們更加重視潛在讀者群。（2）焦點 團體訪談法讓我們瞭解如何和兒童與青少年溝通，並提供更適合的服務。 （3）能夠提供人力短缺的圖書館良好的設計活動參考。據此，加州圖書 館將持續推廣此成果導向方案評估計畫，讓更多圖書館能夠參與（Cole, Walter & Mitnick, 2013）。
圖書館成果評鑑：看見圖書館的價值 67
（二）臺北市立圖書館青少年閱讀推廣活動成果評鑑
藍翊瑄（2016）探討臺北市立圖書館青少年閱讀推廣活動成果評鑑， 研究目的包括：（1）探討公共圖書館青少年閱讀推廣活動成果評鑑方法 與指標。（2）應用成果評鑑指標，進行圖書館青少年閱讀推廣活動成果 評鑑，評定閱讀素養、閱讀興趣、閱讀習慣與使用圖書館是否提升。 （3）探討公共圖書館青少年閱讀推廣策略。該研究採用焦點團體訪談建 構成果評鑑指標，於執行活動後進行成果評鑑，以問卷及後續追蹤蒐集資 料，評估活動辦理成果。 該研究使用成果評鑑指標包括下列四構面：（1）活動滿意度構面， 採用個人成長、講師專業、活動安排等三項指標。（2）閱讀興趣提升構 面，採用因為參與活動產生閱讀興趣、閱讀與主題相關的書籍或資源二項 指標。（3）知識學習構面，採用尋找答案方式、學習並創造作品二項指 標。（4）圖書館使用意願構面，採用參與活動而提高使用圖書館次數與 借書冊數二項指標。該研究選擇臺北市立圖書館「翻轉知識系列活動─青 少年經典閱讀週」的科學、電影、表演藝術與文學主題演講活動與參與的 高中生為研究對象。科學主題活動 102 人參加，電影主題活動 191 人參 加，表演藝術主題活動 42 人參加，文學主題活動 169 人參加。 該研究結論顯示此次成果評鑑指標具有可行性，並提出下列結論： （1）成果評鑑面向的研究結果皆呈顯著。（2）活動與滿意度量化分析 中，平均數大部分達到 4 以上，可知參與學生對參加系列活動為滿意。 （3）科學主題、表演藝術主題活動使學生願意再次參與相關活動，電影 及文學主題能夠影響學生願意借閱相關書籍或資源的意願。（4）有關學 生閱讀行為，學生提供的閱讀清單的規劃有自主性，以文學類書籍為主。 （5）四項主題活動參與學生對於圖書館皆有正向的意象。（6）後續追蹤 回收數量過少，學生的後續閱讀及圖書館利用不如預期。（7）整體研究臺北市立圖書館館訊 33 卷 4 期 68 發現，在活動主題與類型的搭配方面，電影、表演藝術適合活動類型，以 提升學生的閱讀興趣。科學、文學主題活動適合規劃為長期活動，需要逐 步培養閱讀素養。（8）在閱讀推廣策略方面，本次活動透過「與學校合 作」並「結合圖書館其他資源」達成綜效。歸納青少年閱讀推廣活動較佳 策略：以活動參與者角度進行活動設計，結合生活、課業與未來規劃選定 活動主題。
（三）芬蘭民眾對公共圖書館感知成果評鑑調查
Vakkari & Serola （2011）探討公共圖書館對民眾生活的成效影響，從 民眾生活觀點看公共圖書館帶來的效益進行系統分析，並將對民眾生活的 成果分類。他們對 1,000 位 15 到 79 歲的芬蘭成人進行問卷調查，從民眾 對於公共圖書館的使用看法，將公共圖書館帶給民眾生活產生的成果效益 歸納為四大類：日常生活、文化活動、教育與工作生涯，以及 22 項指 標。並進一步探索成果評鑑與民眾的性別、教育程度、與年齡的關聯。 他們歸納的四大類與 22 項公共圖書館使用成果指標包括：（1）工作 方面：找工作、執行特定工作任務、發展工作技能。（2）教育方面：找 到教育機會、完成正規教育（獲得學位）、教育發展相關的工作、閒暇時 自我教育。（3）日常生活：家務、照顧小孩與上學、住家與家庭修繕、 消費議題、健康、旅行與度假、社交關係。（4）文化活動：閱讀小說、 閱讀非小說、文化活動（觀賞電影或表演）、創意活動（表演樂器或唱 歌）、戶外活動、自然興趣、歷史或社會興趣、參與時務。 該研究經問卷調查，證實公共圖書館對於民眾帶來日常生活、文化、 與工作的成果影響，發現芬蘭民眾最高度認同的公共圖書館為民眾生活帶 來的成果為：閱讀小說（70%），閱讀非小說（67%），閒暇時自我教育 （59%）。其次，認同的公共圖書館對民眾生活成果為：旅行與度假
圖書館成果評鑑：看見圖書館的價值 69 （45%），發展工作技能（44%），健康（43%），文化活動（42%），完 成正規教育（40%），執行特定工作任務（37%），家務（37%）。較少 認同民眾生活成果為：找工作（13%），社交關係（17%），戶外活動 （24%），照顧小孩與上學（24%），消費議題（25%），家務（26%）。 Vakkari 等人（2014）後續又進行芬蘭、挪威、荷蘭三國的公共圖書 館對民眾生活的成果影響問卷調查，結果發現有 19 項成果是有顯著，而 芬蘭影響較挪威與荷蘭廣泛，或許是因為芬蘭的公共圖書館較多的原因。 綜上所述，該研究確認公共圖書館對民眾生活的成果發生影響，並且問卷 有效，確實可評鑑出公共圖書館對民眾生活的成果影響。
肆、 結語
公共圖書館是民眾生活、工作、學習、社交的中心，是社會重要機 構；經常推動大型計畫希望提升民眾文化、資訊與閱讀能力。然而圖書館 的經營需要大量人力與資源投入，圖書館成果評鑑是追求優質服務與有效 經營的重要方法。圖書館成果評鑑是以使用者為中心，進行圖書館服務或 活動的評量，希望瞭解使用者在參加活動之後，可以獲得到利益與發生改 變，包括獲得新知識、新技能、態度，或價值轉變、行為改變。成果指標 的設計為社區需求、圖書館服務目標、與使用者對服務回應的三者交集。 成果評鑑實施程序包括：（1）確定使用者需求和社區目標與界定成果內 容。（2）依據成果評鑑規劃，包括投入、圖書館活動、評鑑成果項目、 進行圖書館活動，蒐集資料。（3）期中評鑑與期末評鑑進行整體成果評 鑑，做為量測使用者與團體參加圖書館活動與服務對其發生生活、工作、 學習的改變，以及對方案目標貢獻進行檢討。圖書館成果評鑑最困難執行 的是成果指標的決定。一般使用者參與活動成果指標可考慮：狀態、行 為、生活技能、改變行為的意願、知識、態度／價值觀、知覺／感覺、服臺北市立圖書館館訊 33 卷 4 期 70 務滿意度、圖書館技能、參與／使用服務、對服務覺知／接觸等，對於社 區的成果指標，如時間節省、學習改善、工作生產力改善、工作品質提 升、新增價值、對組織目標提升、改進工作時效性。 本文介紹的三個案，美國公共圖書館暑期閱讀活動，臺北市立圖書館 青少年閱讀推廣活動，與 Vakkari 芬蘭公共圖書館民眾感知成果影響，均 是圖書館成果評鑑實例，可提供圖書館未來實施成果評鑑的參考。評鑑就 是圖書館管理，而成果評鑑是證明圖書館服務與活動帶給民眾改變的效 益，更是證明圖書館價值與影響力最好方法。
參考書目
Posavac, E. J. & Carey, R. G.（2014）方案評估：方法及案例討論（羅國英， 張紉譯）。臺北市：雙葉書廊。（原著出版年：2002） 幸佳慧（2016）。閱讀起步走，臺灣十年走出什麼。蘋果日報。檢自： http://www.appledaily.com.tw/realtimenews/article/new/20161112/9872 10/ 曾淑惠（2002）。教育方案評鑑。臺北市：師大書苑。 曾淑賢（2009）。公共圖書館管理。臺北市：五南圖書。 藍翊瑄（2016）。公共圖書館青少年閱讀推廣活動成果評鑑：以臺北市立 圖書館為例（未出版之碩士論文）。國立政治大學圖書資訊與檔案 學研究所，臺北市。
Cole, N., Walter, V., & Mitnick, E. (2013). Outcome + outreach the california summer reading outcomes initiative. Public Libraries Online. Retrieved from http://publiclibrariesonline.org/2013/05/outcomes/
圖書館成果評鑑：看見圖書館的價值
71
Graduate School of Library and Information Science , Dominican University (2010). Public Library Summer Reading Programs Close the Reading
Gap. Retrieved from
https://www.oregon.gov/osl/LD/youthsvcs/srp.certificates/dominicanstu dy.pdf
Durrance, J. C. & Fisher, K. E. (2005). .How libraries and librarians help : a
guide to identifying user-centered outcomes. Chicago, Ill. : American
Library Association.
F.W. Lancaster (1993). If You Want to Evaluate Your Library,Champaign, Ill. : University of Illinois, Graduate School of Library and Information Science.
Kyrillidou, M. (2002). From input and output measures to quality and outcome measures, or, from the user in the life of the library to the library in the life of the user. The Journal of Academic Librarianship, 28（1）, 42-46. Hernon, P. & Dugan, Robert E. (2002). An action plan for outcomes assessment
in your library. Chicago, Ill.: American Library Association.
Matthews, Joseph R. (2007).The evaluation and measurement of library
services . Westport, Conn. : Libraries Unlimited.
Matthews, Joseph R. (2013). Evaluating summer reading programs: suggested improvements. Public Libraries Online. Retrieved from
http://publiclibrariesonline.org/2013/05/evaluating-summer-reading-programs-suggested-improvements/
McNamara, C. (2008). Basic guide to outcomes-based evaluation for nonprofit
organizations with very limited resources. Retrieved from
臺北市立圖書館館訊 33 卷 4 期
72
Roman, S., Carran, D. T. & Fiore, C. D. (2012). The Dominican study: public
library summer reading programs close the reading gap. Retrieved from
http://gslis.dom.edu/sites/default/files/documents/IMLS_finalReport.pdf Rubin, R. J. (2005). Demonstrating results : using outcome measurement in
your library. Chicago, Ill. : American Library Association.
Vakkari, P., Aabø, S., Audunson, R., Huysmans, F. & Oomes, M. (2014) Perceived outcomes of public libraries in Finland, Norway and the Netherlands. Journal of Documentation, 70（5）, 927-944. Vakkari , Pertti; Sami, S. (2011). Perceived outcomes of public libraries.
Library & Information Science Research. 34, 37-44.
Wilson-Ahlstrom, A., Yohalem, N., DuBois, D. L., Ji, P. & Hillaker, B. (2014).
From soft skills to hard data: measuring youth program outcomes.
