聊天軟體機器人技術應用於大學圖書館 虛擬參考諮詢服務建置過程與評估研究
范蔚敏
國立臺灣大學圖書資訊學系博士生 E-mail: D05126005@ntu.edu.tw
關鍵字：聊天機器人；圖書館參考服務；使用經驗評估；虛擬參考諮詢服務
【摘要】
近年來大學圖書館虛擬參考諮詢需求逐年提升，服務人力卻持續縮減，該如何滿足支援人力 是一大課題，而隨著聊天機器人技術發展，其他領域開始利用聊天機器人技術提供網路諮詢服 務，藉以滿足客服諮詢需求與支援客服人力不足。大學圖書館應可仿效其他領域作法建置虛擬參 考諮詢聊天機器人來解決人力不足的問題，因此本研究嘗試建置大學圖書館虛擬參考諮詢服務機 器人，並將知識庫建置成果與使用者後續評估分享給圖書館同道參考。本研究歸納虛擬參考諮詢 研究問題類型與應答方式，以應答方式設計聊天機器人對話模式，並以問題類型作為建置知識庫 標準，故選用 78 篇大學圖書館參考服務部落格文章內容建立知識庫，產生 86 組對話問答組與 93 組詞彙同義詞（134 個詞），利用 Google DialogFlow 平台建立虛擬參考諮詢服務機器人。本 研究邀請 32 位具有圖書資訊背景使用者測試，且在測試過程前後施以使用評估問卷測驗。研究 結果顯示互動最頻繁的對話主題為我要找書（搜尋圖書）、開放時間（圖書館開放時間）、預設 歡迎詞（聊天機器人自我介紹與使用說明）、自習室座位（總館與各分館自習室座位使用情形）
四種圖書館服務為主，其餘則與參考資源主題相關。問卷分析後發現使用者在資訊品質與互動性 兩面向評分有極為顯著之提升，系統品質評分則是接近顯著地略微提升。在知覺有用性與知覺易 用性兩方面，使用者評分亦有極為顯著之提升，顯示使用者認為虛擬參考諮詢服務機器人具有四 項特性：容易上手、可提供有品質的諮詢答案、可回應使用者的需求以及可替使用者減少取用步 驟或節省搜尋的時間。然而使用者態度方面評分雖提升但未達顯著，使用者意圖方面評分略為顯 著下降，對照使用者意見可知，使用者雖肯定虛擬參考諮詢服務機器人，但使用者推薦意願較低，
主要原因是使用者盼望參考提問範圍不限於問答組，並可用自然語言與服務機器人對談聊天。整 體而言，聊天機器人技術應用於虛擬參考諮詢服務之可行性極高，大學圖書館可採用聊天機器人 技術以提供虛擬參考諮詢服務，但仍須關注自然語言相關輔助技術，以提供使用者最優質的虛擬 參考服務。
DOI: 10.6245/JLIS.202004_46(1).0001
序言
中華民國圖書館年鑑統計調查2011-2015 年各大學圖書館經營情形，大學圖書館讀者實 際到館人數逐年減少，營運總經費與服務人力日益緊縮，而圖書館內資訊諮詢服務件數卻逐 年增加成長，且網路諮詢件數亦隨之增加（國家圖書館，2012，2014，2015，2016，2017）。
圖書館提供參考諮詢方式主要分為館內實體諮詢與線上虛擬諮詢兩種，而過往虛擬參考諮詢 管道需使用特定即時通訊軟體，由於通訊軟體與通訊技術尚未發展成熟，使用者在利用虛擬 參考諮詢服務時，經常受制於通訊軟體安裝程序或網絡傳輸設備，無法得到即時與便利的虛 擬參考諮詢服務（Ruppel & Fagan, 2002），另外通訊軟體需要編列經費購買軟體授權，種種 原因使得大學圖書館虛擬參考服務並未長久發展，美國麻省理工大學於 2002 年結束虛擬參 考服務就是一例（Horowitz, Flanagan, & Helman, 2005）。
隨著聊天機器人技術逐漸發展，許多行業發展特定服務機器人，協助機構進行服務問題 解答或執行特定業務程序。服務提供端可以預先設定特定關鍵字並建置特定服務主題知識 庫，使用者無需預先安裝通訊軟體，直接在機構網頁上點擊機器人圖像開始對話，機器人依據 擷取之關鍵字回應標準答案或執行其他作業程序。本研究探討聊天機器人應用於大學圖書館虛 擬參考諮詢服務之建置過程與使用評估，期望能滿足使用者的參考需求。相關研究問題如下：
建置大學圖書館虛擬參考諮詢服務聊天機器人的過程為何？
使用者利用大學圖書館虛擬參考諮詢服務聊天機器人的使用評估為何？
文獻探討
大學圖書館虛擬參考諮詢現況說明
根據圖書館統計年鑑內調查一般型大學圖書館資料如表1 所示，比較 2011 年與 2015 年圖書 館營運，總經費平均值下降10.7%，運用服務人力（正式館員、助理、工讀生）平均下降 5.9 人次，
而參考資訊業務諮詢件數平均值上升35%，網路諮詢件數平均值亦提升 6%，顯示使用者有明顯的 參考服務需求，圖書館應增加人力或尋求其他技術支援以因應逐年增加之參考諮詢服務需求。
表1 2011-2015 年圖書館統計年鑑摘要
年度 總經費 服務人力 諮詢件數
資訊諮詢 網路諮詢
2011 2012 2013 2014 2015
28,211,100 27,137,116 26,839,250 25,661,046 25,176,322
38.4 39.4 38.3 33 32.5
6,308 6,980 7,052
- 8,523
1,428 720 696 - 1,521 資料來源： 國家圖書館（2012，2014，2015，2016，2017）。中華民國圖書館 101-105 年年鑑；台北市：國
家圖書館、本研究摘要彙製
聊天機器人技術與應用於虛擬參考諮詢服務評估
聊天機器人，又名Chatbot、Talkbot、Chatterbot、IM bot（instant messaging）、interactive agent，聊天機器人是一種電腦應用程式，採用自然語言處理技術讓使用者能透過文字或語音 與機器人進行對話，主要是指以軟體平台作為即時互動的對話機器人。一般使用者可利用手 機、平板或是電腦在網頁或特定行動應用程式與機器人對話，像是介紹機構產品或服務項 目，使用者可更進一步向機構尋求其他諮詢服務，例如：1.咖啡廳提供顧客詢問菜單、優惠、
店家地址，或進行預約服務，如圖 1 所示；2.計程車叫車服務提供乘客叫車與優惠查詢，如 圖 2 所示；3.茶飲公司利用預設聊天樣本，讓使用者可以與機器人互動，並將程式自動產生 互動圖檔轉發臉書，藉此達到行銷宣傳之效，如圖3 所示。
圖1 咖啡廳聊天機器人 圖2 叫車聊天機器人 圖3 茶飲行銷聊天機器人
資料來源： 貳樓餐廳（2018）。貳 樓餐廳聊天機器人。
取 自 https://www.
facebook.com/search/
top/?q=second%20flo or%20cafe%20%E8%
B2%B3%E6%A8%93
%E9%A4%90%E9%
A3%B2
資料來源： 數位時代（2018）。用 聊 天 機 器 人 幫 你 叫 車，TaxiGo 服務年底 開 進 全 台 。 取 自 https://www.bnext.com.
tw/article/49467/taxi- go-qa
資料來源： 原萃茶飲（2018）。原 萃茶飲聊天機器人。
取 自 https://www.
facebook.com/RealLeaf Taiwan/
對於使用者來說，聊天機器人可以二十四小時全天候提交需求，且無須另外安裝行動應 用程式（mobile application, 簡稱 APP），更可接受服務提供端所推播的相關訊息。從商家或 機構管理端來看，將特定產品或服務項目預建於聊天機器人內，聊天機器人可以全年無休地 提供一對多即時回答或其他服務，且回應內容具一致性與標準化，除讓使用者可以取得正確 諮詢答案或標準化的服務之外，管理者透過對話紀錄處理後續服務。應用聊天機器人可減輕
管理端人力成本與工作負荷，亦可以做為行銷宣傳之最佳管道，例如：以提供免費簡報樣版 為行銷手法吸引潛在使用者來訪，藉由聊天機器人技術回傳使用者索取的樣版，如圖4 所示；
積極推播主辦講座活動訊息，並提供報名與分享的功能，如圖5 所示，更可以透過內建先備 知識提供使用者即時諮詢服務如圖6 所示。
圖4 吸引潛在使用者 圖5 行銷推廣活動 圖6 即時諮詢服務
資料來源： 今日訊息（2018）。今日訊息聊天機器人。取自：https://www.facebook.com/%E4%BB%8A%E 6%97%A5%E8%A8%8A%E6%81%AF-Day-to-Day-1649675225118022/
Janes（2002）建議使用即時通訊應用程式吸引年輕使用者利用參考諮詢服務，Vincze
（2017）提出聊天機器人技術應用於虛擬參考諮詢服務有 13 項益處，本研究認為可以分為 管理端、使用端、機器人三面向，如圖7 所示。從圖書館管理端的角度來看，聊天機器人（1）
可以彌補人力不足與增加預算調配的彈性、（2）可以減輕館員工作負擔，將問題依難易度分 類，如：例行性問題由機器人回答，而複雜的問題由館員來解決、（3）可以為圖書館網站帶 來流量並增加社群能見度、（4）可以透過聊天機器人對話紀錄，使圖書館可以加強服務或重 新分配資源。
另一方面從讀者使用者端的角度來看，聊天機器人（1）可以讓使用者較坦然地詢問各 式問題，像是使用者自覺尷尬或愚笨的問題、（2）可以為使用者分擔尋求資訊的責任與降低 資訊焦慮，使用者無需自行瀏覽或過濾網頁、（3）可以替熟悉手機媒體的年輕世代帶來便利 性與參與性。
最後從機器人的角度來看，聊天機器人（1）可以提供 24/7 全年無休的經營型式、（2）
提供更活潑的互動經驗，可作為優質傳遞資訊的機制、（3）可以即時地與一致地同時回答多 個使用者、（4）可以平靜地回應態度不佳的使用者，有禮並耐心與該使用者互動、（5）可以 做為參考服務行銷的工具，讓使用者熟悉各種資源與服務、（6）可以應用在各類通訊軟體或 網路平台，例如：網頁客服、Google Hangout、Line、Facebook Messenger。
圖7 聊天機器人應用於虛擬參考服務的益處
資料來源： Vincze, J. (2017). Virtual reference librarians (Chatbots). Library Hi Tech News, 34(4), 5-8. doi:10.1108/
lhtn-03-2017-0016、本研究依據文獻內容重製
綜合上述，聊天機器人技術導入圖書館虛擬參考服務的益處很多，預先建立的知識庫可 以協助回答例行諮詢問題、彌補圖書館未開館的參考諮詢空窗時段、可以同時回答多位讀者 問題、提供全年無休的參考諮詢服務，除了填補圖書館人力短缺的情形，更可以做到積極推 廣活動訊息，協助讀者報名或詢問活動相關資訊。且服務讀者參考諮詢服務所自動產生的統 計紀錄亦可做為後續館方調整服務型態與分配管理資源的參考依據。
虛擬參考諮詢服務
八成以上使用者滿意圖書館虛擬參考諮詢服務（Ruppel & Fagan, 2002），在回應時間、
品質、館員知識能力與網站資源易得性四項深受好評（Stoffel & Tucker, 2003），使用者認同 虛擬參考諮詢服務的便利性、匿名性、服務速度（Pomerantz & Luo, 2006; Ruppel & Fagan, 2002），並認為透過虛擬參考諮詢適合提問簡易問題，並可藉由虛擬參考諮詢獲得解答。而 使用者多數偏好獲得直接的解答文字或資源連結。本研究回顧虛擬參考諮詢服務文獻歸納參 考諮詢服務問題類型與應答方式，相關說明如下。
一、虛擬參考諮詢服務問題類型與詢問頻率
Numminen 與 Vakkari（2009）綜整 Sears（2001）、Kwon（2006）、Smyth（2003）將參 考諮詢服務問題類型歸納為五類，主要分為快速參考（Ready Reference）、主題型研究問題
（Subject-based research question）、政策與程序問題（Policy and procedural question）、指引問 題（Directional questions）、其他（Others）。其中各類問題定義為：「快速參考問題」是具有 事實本質的問題，透過查找1-2 種參考工具便可以解答的參考問題，屬於簡易型參考諮詢問 題；「依主題劃分之研究問題」是針對特定主題或欲釐清某種特定事務，需要特定種類的圖 書或文章等的參考問題，屬於程度較為複雜的參考問題；「政策與程序問題」可分為「電子
虛擬參 考服務 應用
機器人
讀者 使用端 圖書館
管理端
資源使用條件與說明與政策」或「服務程序問題」，「指引問題」是指實體環境或線上資源指 引問題；「其他」未能歸於上述種類，但仍有助於提升服務的各類參考問題；各大類下之子 類問題類型進一步定義與範例，如表2 所示。
表2 參考諮詢服務問題類型
問題類型 定義 範例
快速參考 針對已知項目進行搜尋
（Known-item search）
基於具體書目資料欄位尋求 特定項目的參考問題
臺北市立圖書館各分館是否 可以借到侯文詠的《頑皮故 事集》？
針對已知項目進行相關搜尋
（Known-item related search）
尋求特定文獻或特定作者撰 寫的一系列文獻的參考問題
我想要知道侯文詠寫的《白 色巨塔》，裡面描述的故事 情節，故事場景是在描述外 科醫生嗎？
特定類型項目搜尋
（Certain type of item search）
尋求特定項目、特定類型項 目或資源的參考問題
今年有出版任何關於空氣汙 染防制的書籍嗎？
尋求事實
（Fact-finding）
容易回答的事實型問題 我想要知道「孔」的姓氏意
義與由來。
主題型 研究問題
主題搜尋問題
（Topical search question）
需要特定主題的資源或資訊 我想要知道與藍染相關書籍，
並了解藍染的相關工法。
研究問題
（Research question）
針對特定項目要處理的參考 問題或事實型問題，特定主 題需要釐清或解釋並需要其 他資源來解答
小朋友畫圖的時候，通常會 畫一棵樹在房子的旁邊，而 這棵樹象徵的意義是什麼？
是指一個咖啡色樹幹或綠色 的帽子？
個人相關問題
（Person related question）
特定對象資訊的參考問題 圖書館有任何關於布袋戲大 師李天祿的資料嗎？
政策與 程序問題
電子資源使用條件與說明
（Availability and use of e-resources）
關於電子資源的使用條件與 使用情形
圖書館光碟資料是否能按首 字的部首筆畫排？
政策或服務程序問題
（Procedural question）
關於圖書館政策或特定服務 的參考問題
圖書館如何採購館藏？
指引問題 實體環境或線上指引問題
（Directional questions）
關於圖書館實體環境各項服 務與資源的位置或圖書館網 站存取點
關於藝術的光碟資料實際的 館藏位置是？
其他 其他
（Others）
未能歸於上述種類，但仍有 助 於 提 升 服 務 的 各 類 參 考 問題
謝謝館員為我們提供良好的 解答
資料來源： Numminen, P., & Vakkari, P. (2009). Question types in public libraries’ digital reference service in Finland:
Comparing 1999 and 2006. Journal of the American Society for Information Science and Technology, 60(6), 1249-1257. doi:10.1002/asi.21047、本研究依據定義列舉範例
Diamond 與 Pease（2001）耗時兩年調查一間中型規模學術圖書館，收集數位參考服務 450 則服務紀錄並加以分類，而研究結果共將參考問題分為十類，其詢問頻率前五名為「使 用標準參考資源回覆問題」（21.56%）、「學期報告或作業的發想問題」（16.89%）、「具體事實 並非快速參考問題」（12%）、館藏目錄搜尋與使用問題（10.89%）、圖書館政策與程序相關問 題（9.56%）。詳細統計細節如下圖 8 所示。
圖8 參考諮詢問題提問頻率調查
資料來源： Diamond, W., & Pease, B. (2001). Digital reference: a case study of question types in an academic library.
Reference Services Review, 29(3), 210-219. doi:10.1108/eum0000000005663
明尼蘇達大學圖書館（University of Minnesota Libraries）針對虛擬參考諮詢服務（Chat reference）─「快來問我們吧！（Ask Us!）」的對話紀錄（chat transcript）進行使用者需求分 析，欲了解使用者類型、諮詢問題類型、利用時間與過程中使用其他傳播方式交流訊息的情 形。該研究將虛擬參考諮詢問題分為十類進行統計，並交叉比對使用者的諮詢情形，統計結 果說明如表3 所示，顯示參考諮詢服務主要使用者為大學部學生，而最常詢問頻率前五名參 考問題類型為：如何查找（27%）、特定主題與推薦購買（20%）、圖書館館藏問題（10%）、
文件傳遞問題（9%）、流通問題（9%）、技術問題（9%）（Houlson, McCready, & Pfahl, 2007）。
表3 明尼蘇達大學圖書館 問題類型
（單位：%） （n=631） 諮詢
比例
各身分別諮詢問題類別 大學部 研究所 教職員 其他
如何查找（How to Find） 27 24 10 7 4
特定主題與推薦購買（Subject specific & Purchase suggestions） 20 17 6
圖書館館藏問題（Do You Own） 10 5 7
文件傳遞問題（Document Delivery） 9 4
流通問題（Circulation） 9
技術問題（Technical Difficulties） 9 7 4
如何使用（How to Use） 5
圖書館資訊（Library Info） 5
遠端存取（Remote Access/Privileges） 4 5
書目格式指引（Style Assistance ） 2
資料來源： Houlson, V., McCready, K., & Pfahl, C. S. (2007). A Window into Our Patron’s Needs. Internet Reference Services Quarterly, 11(4), 19-39. doi:10.1300/J136v11n04_02
2.44%
2.44%
4.67%
5.78%
6.00%
7.78%
9.56%
10.89%
12.00%
16.89%
21.56%
0.00% 5.00% 10.00% 15.00% 20.00% 25.00%
資料庫技術 非參考問題 其他關聯問題 資訊素養 非圖書館問題並轉介至其他機構 學術研究工作相關問題 圖書館政策、程序、館藏發展願景 館藏目錄搜尋與使用 具體事實並非快速參考問題 學期報告或作業的發想問題 使用標準參考資源回覆的問題
綜合上述，本研究將參考問題依Numminen 與 Vakkari（2009）提出之分類為基礎架構，
並將後續研究者所做之參考諮詢問題頻率逐一分類，分類結果如表4 所示，並將此結果作為 建立聊天機器人先備知識庫之篩選依據。聊天機器人先備知識庫問題類型與對應子類，說明 如下：
(一) 快速參考：詢問圖書館館藏問題，其中可以使用參考資源回覆之相關問題，例如：我想 要借…（特定圖書）。
(二) 主題研究問題：詢問特定主題研究問題，其中包含學生的課業發想需求，例如：我想要 查關於量表相關研究文獻…。
(三) 政策與程序問題：與圖書館電子資源使用相關，像是資料庫技術問題、遠端存取問題、
書目格式引用問題、技術問題等，例如：我要如何進行 VPN 遠端連線；或與圖書館政 策及程序相關的問題，像是推薦購買館藏資源、學術研究工作相關問題等，例如：教師 升等要進行學術評鑑，引文次數要如何查詢？
(四) 指引問題：針對圖書館實體或虛擬環境進行指引，泛指場地與設備相關問題，例如：自 習室可以使用筆記型電腦嗎？圖書館有掃瞄器可以免費使用嗎？。
(五) 其他問題：非參考類型問題，像是詢問個人借閱情形等流通問題，例如：讀者已借閱讀 圖書到期日；或非圖書館參考諮詢問題並轉介至其他機構。
表4 參考問題類型與對應詢問頻率分類 學者
Numminen & Vakkari
（2009）
參考問題類型分類
Diamond & Pease
（2001）
參考問題詢問頻率調查
Houlson 等人
（2007）
參考問題詢問頻率調查 參考
問題 分類
快速參考 使用標準參考資源回覆的問題（21.56%）
其他關聯問題（4.67%）
圖書館館藏問題（10%）
主題型研究問題 學期報告或作業的發想問題（16.89%） 如何查找（27%）
特定主題與推薦購買（20%）
政策與程序問題 館藏目錄搜尋與使用問題（10.89%）
學術研究工作與相關問題（7.78%）
圖書館政策、程序相關問題（9.56%）
具體事實並非快速參考問題（12%）
資料庫技術問題（2.44%）
資訊素養（5.78%）
特定主題與推薦購買（20%）
技術問題（9%）
如何使用（5%）
圖書館資訊（5%）
遠端存取（4%）
書目格式指引（2%）
文件傳遞問題（9%）
指引問題
其他 非參考問題（2.44%）
非圖書館問題並轉介其他機構（6%）
流通問題（9%）
註： Houlson 等人（2007）研究調查項目「特定主題與推薦購買（20%）」涉及兩類，故本研究將其分入兩 個類別。
資料來源：本研究依據研究數據彙整
二、虛擬參考諮詢服務對話設計
Richardson（2002）建立對話導向參考服務品質評量準則，用以評估參考服務的完整性 與正確性，並指出館員用來回答使用者問題的資源亦是評估服務品質的準則之一，而關於資 源評估指標有四項：1.解答資源是否為引用資源？2.如為引用資源，該資源屬於哪一類資源？
3.館員是否建議使用者使用或提供相關使用建議？4.館員所提供之資源是否合適並具備權威 性？而Numminen 與 Vakkari（2009）設計虛擬參考諮詢服務流程之確認工作清單範本，以 供參考館員對照並確認服務品質，如圖 9 所示。參考諮詢館員應從複雜的參考問題摘要並 依序排列相關的搜尋關鍵字，盡可能區分主要關鍵字與次要關鍵字，重新描述或部分引用 使用者諮詢問題，館員向使用者描述自己的假設，並邀請使用者修正假設以取得共識。館 員應盡可能提供各種解答，提供索書號、特定連結或網址，並註記搜尋資源時所使用之關 鍵字，例如：最適切的圖書標題書目以利搜尋圖書、最佳的期刊索引和關鍵字以利搜尋文 章與參考資源（統計摘要、百科全書或網站等）利用完整的句子與標點符號書寫，增加使用 者易讀性與理解程度，若回覆篇幅較長的回答應分成不同段落書寫。館員在提交參考諮詢服 務回覆之前，應再次閱讀參考問題與回覆，確認問題與回覆資訊一致且正確無誤。最後館員 應利用簡易問題以收集使用者回饋想法，例如：是否有解答到您的問題？等字句來確保回覆 品質。
圖9 虛擬參考諮詢服務流程之確認工作清單範本
資料來源： Numminen, P., & Vakkari, P. (2009). Question types in public libraries’ digital reference service in Finland:
Comparing 1999 and 2006. Journal of the American Society for Information Science and Technology, 60(6), 1249-1257. doi:10.1002/asi.21047
Burger、Park 與 Li（2010）採用公共圖書館虛擬參考諮詢服務指引來檢視參考諮詢的服 務品質，服務指引涵蓋「問候、感謝、回覆解答、引用資訊、搜尋策略、結束對話」六項準 則，其描述與範例如表5 所示。藉由分析 528 件虛擬參考諮詢服務對話紀錄，發現高達九成
(1)館員摘出重點 關鍵字
(2)重新描述使用 者問題
(3)向使用者回饋 假設並取得共識
(4)盡可能發想各 種解答
(5)提交前確認解 答 (6)提供索書號和
特定網址 (7)長篇幅解答分
(8)使用者回饋 段回饋
公共圖書館虛擬參考諮詢服務回覆皆符合指引規範的六項準則，可見多數虛擬參考諮詢服務 回覆具有一定的品質。
表5 虛擬參考諮詢服務問答準則
準則 描述 範例
問候（Greeting） 歡迎並問候提問者 問候語
感謝（Acknowledgement） 對於使用虛擬參考諮詢服務表達 謝意
謝謝您提出關於…的提問
依照問題類型回覆的資源或答案
（Two to four sources or answers depending on the type of question）
針對每一問題提供 2-4 個資源，
並確保該資源是免費、可信的網 路資源
關於…第一個找到的網站是…，其 網址為http://…
提供資源名稱或引用出處
（Name or citation for the sources）
提供資源名稱或維護該資訊的單 位，並說明推薦該資源的原因
第一個資源是由非營利組的某某某 撰寫，這是一個數位互動博物館，
更多有用的訊息，請點網址http://…
搜尋策略（Search descriptions） 解釋搜尋的方法，包含為尋求推 薦資源所使用的搜尋詞彙或是用 來解釋毫無檢索結果的錯誤的搜 尋策略
我是利用引用標記“女人”、“士兵”
關鍵字，而在google 檢索到第一個 網站，你也可以試試http://…
結束對話（Closing） 感謝使用者利用本服務並希望使
用者多加利用
我希望本諮詢服務可以幫助到您，
再次感謝您的使用，希望能多加 利用
資料來源： Burger, A., Park, J.-r., & Li, G. (2010). Application of Reference Guidelines for Assessing the Quality of the Internet Public Library's Virtual Reference Services. Internet Reference Services Quarterly, 15(4), 209-226. doi:10.1080/10875301.2010.526479
綜合上述可歸納聊天機器人對話元素應設計具有問候、感謝、回答、確認、結束五項對 話元素，其中個別回答部分應該針對使用者提問提供正確的解答、選用該項資源作為解答之 原因以及引用資料來源作為使用者進一步了解相關訊息的依據。
三、虛擬參考諮詢服務使用評估
本研究主要是在了解使用者在利用聊天機器人進行虛擬參考諮詢服務，希望藉由聊天機 器人技術導入圖書館虛擬參考服務以減輕館員的負擔，因此需要了解虛擬參考諮詢服務評估 面向，與了解應用聊天機器人技術之使用意願調查研究，進一步探討聊天機器人技術在應用 虛擬參考服務對於使用者產生的影響。
關於虛擬參考諮詢服務利用評估研究，Luo（2008）提出虛擬參考諮詢服務評估指標，
從參考諮詢品質、使用者覺察與偏好、使用者認知與感受三面向評估。Horowitz 等人（2005）
以館員專業知能、回答即時性與完整程度、轉介適當性與花費時間等項目作為調查參考諮詢 服務品質之項目。Pomerantz 與 Luo（2006）研究顯示近九成使用者高度滿意參考諮詢回覆完 整度、回覆速度、館員協助程度、軟體易用程度這四面項，並願意推薦此項服務給其他朋友。
Stoffel 與 Tucker（2003）亦調查虛擬參考諮詢服務項目滿意度，其中高滿意度的七項因素為
回應時間、回應品質、易用程度、館員的知識程度、圖書館網站的指引性與資源使用說明。
綜合上述可知，虛擬參考諮詢服務品質與使用者感受極為相關，且參考服務品質主要涉及答 覆即時性、答案完整性與軟體易用程度三項因素。
另外關於聊天機器人使用評估研究部分，部分學者根據各自研究設計調查問卷或採用相 關理論建立問卷進行評估，或採用自行設計之問卷進行聊天機器人之比較研究，邀請使用者 比較三種不同類型的客戶服務工具，藉由測試深度學習演算法聊天機器人、資訊檢索機制聊 天機器人以及人工客服，並請使用者為所獲得的答覆進行評分，就適切性、同理程度、有用 程度三面向進行評分並比較其中差異（Xu, Liu, Guo, & Rama Akkiraju, 2017）。而 Nguyen 與 Sidorova（2018）選用自我決定論（Self-Determination Theory, SDT）所發展之六項影響因素 探討旅遊網站與聊天機器人系統的使用滿意度差異，並進一步探討影響聊天機器人系統使用 滿意度的潛在因素。其中影響系統使用滿意度的六項因素為知覺自主性、知覺能力、認知負 荷、效能滿意度、過程滿意度、系統滿意度，研究假設知覺自主性、知覺能力和認知負荷三 項因素會影響使用者的效能滿意度與過程滿意度，而效能滿意度與過程滿意度會進一步影響 系統滿意度。而徐惠雯（2016）則以基於理性行為理論（Theory of Reason Action, TRA）所 發展出的科技接受模型（Technology Acceptance Model, TAM）為架構發展聊天機器人使用評 估，該模型強調透過外部變數對於使用者的內部信念、態度與意圖的影響，用以解釋人們在 接受新科技時的認知。並參考資訊系統成功模型（Information System Success Model, ISSM），
該模型用以評估資訊系統的導入對於個人或組織績效的影響，從模型評估構面選用系統品 質、資訊品質兩項之外，針對聊天機器人特性加入互動性，以系統品質、資訊品質、互動 性三項作為聊天機器人評估之外部因素，問卷設計架構如圖10 所示。問卷調查結果發現資 訊品質、系統品質與互動性對於使用者知覺有用性與知覺易用性有影響，更進一步影響使 用者的態度與意圖。資訊品質方面主要是了解聊天機器人的回覆資訊即時性、適時性、足 夠程度與問題解決程度。系統品質方面主要是了解聊天機器人的回應速度與使用感受，例 如：有用感、安全感、可靠感。而互動性是在了解在聊天機器人判斷使用者需求給予適當 回應，以及使用者對於聊天內容控制程度，聊天機器人使用評估實務上亦有所應用（林柏 岑，2017）。該研究調查結果與過往虛擬參考服務利用評估項目有所呼應，資訊品質、系統 品質與互動性涵蓋以往虛擬參考諮詢服務品質的面向，知覺有用性、知覺易用性與使用者 態度可表達使用者的認知與感受，最後使用者意圖則包含使用者向其他朋友推薦此項服務 之意願。
圖10 聊天機器人使用意願影響因素問卷架構
資料來源： 徐慧雯（2016）。聊天機器人使用意願影響因素之研究（未出版之碩士論文）。國立臺灣科技大 學資管所，台北。
研究設計
本研究探討聊天機器人應用於大學圖書館虛擬參考諮詢服務的建置流程並加以評估，希 望藉由聊天機器人技術應用於圖書館虛擬參考諮詢服務以支援現有大學圖書館服務人力不 足之現況。本研究流程分兩階段進行，如圖 11 所示，第一階段為建置虛擬參考服務聊天機 器人建置過程，由研究者瀏覽某國立大學圖書館參考服務部落格文章，並擷取文章內容關鍵 字與資源連結，建立聊天機器人知識庫。依據知識庫設計對話，並利用「谷歌─對話流」
（Google DialogFlow）線上軟體建立聊天機器人問答對話組（intents）與問答對話之同義字 字典（entities）。最後針對個別應用程式進行調整，例如Facebook Messenger 可預先設置提問 關鍵字（quick replies），將常見參考問題條列於對答視窗，再介接至 Facebook Messenger。第 二階段利用實驗法採用徐慧雯（2016）所設計之問卷進行使用者評估，以立意抽樣的方式邀 請具有圖書資訊學背景之使用者進行實測，實測前後施以問題調查，並以 SPSS 統計軟體分 析問卷前後測。
第一階段 虛擬參考諮詢服務聊天機器人建置
聊天機器人知識庫建置 瀏覽某大學圖書館參考服務部落格相關內容，
節錄關鍵字與資源連結
↓
聊天機器人對話內容建置 建立問答對話組
建立問答之同義字字典
↓
針對個別應用程式進行調整 介接至臉書即時通程式
針對Facebook Messenger 特有功能進行調整 介接至Facebook Messenger
↓
第二階段 虛擬參考諮詢服務聊天機器人使用評估
使用者評估 受試者填寫問卷（前測）
受試者進行測試虛擬參考服務機器人 受試者填寫問卷（後測）
圖11 研究流程
結果分析
虛擬參考諮詢服務機器人建置過程
本研究虛擬參考諮詢服務機器人建置過程可分三階段發展：建立知識庫、建立對話、預 先設置提問關鍵字，第一階段建立知識庫部分，考量虛擬參考諮詢聊天機器人所管理知識庫 的範圍與專業知識，本研究選用國內某一所綜合型大學圖書館經營之參考諮詢部落格，該部 落格自 2010 年 11 月設立，迄今仍持續維護網頁內容並新增文章，截至 2019 年 7 月共發表 788 篇文章，且部落格內容交由專職圖書館員負責撰寫與編輯，在內容知識性具備一定程度 的準確性，適合作為建置聊天機器人知識庫的素材。另該部落格每篇文章皆由館員定義文章 關鍵字，有利研究者判斷文章重點與發想設計聊天機器人對話內容。因此選用該參考服務部 落格 78 篇文章，發展聊天機器人知識庫，摘錄文章內容主題、關鍵字與所需資源。而知識 庫內涵參考問題類型與其百分比為參考問題77%、政策或服務程序問題 12%、實體環境或線 上指引問題6%、其他問題 5%，參考問題主題類型分布如圖 12 所示。
圖12 虛擬參考諮詢服務機器人對話組之參考問題類型分布
第二階段依據知識庫所節錄之關鍵字與資源連結設計聊天機器人對話內容，建立同義字 字典與問答對話組，同義字字典建立方式主要是將英語縮寫字還原為英文詞彙、英文字母大 小寫轉換以及翻譯中文名與抽取中文縮寫字，共有 93 組同義詞（134 個詞），節錄部分同義 字字典如表 6 所示，問答對話組則是設計使用者發問問句以及相對答案，共 86 組主題式問 答對話組節錄部分範例如表7 所示，若問答對話組使用到同義字，則須在對話問答組內標示 同義字ID，例如：對話問答組 ID51 是針對需要使用經濟合作發展組織資源之使用者設計，
在問答對話組中會給予多種問句與設定標準答案，標準答案包含正確解答以及圖書館網頁說 明超連結，還須另外將「OECD」與「oecd」、「世界經濟發展組織」標示為同義字、倘若讀 者輸入「oecd」，聊天機器人可以自動對照「OECD」並提供解答。
表6 問答對話之同義字字典（entities）範例
同義字ID 同義字No 代表字 同義字集
a_1 1 ACM ACM Digital Library、資訊電腦全文資料庫、acm
a_2 2 ADB ADB、亞洲開發銀行、Asian Development Bank、亞銀、亞行、
亞開行、亞洲發展銀行
a_3 3 EndNoote endnote、EndNote、書目管理軟體 a_4 4 EU Eurostat、歐盟統計局
a_7 7 IEEE IEEE Xplore、IEEE 學會資料庫、ieee
a_9 9 jove 視覺化期刊、JoVE、Journal of Visualized Experiments a_10 10 OECD oecd、經濟合作暨發展組織
參考問題 77%
政策或服務程序 問題12%
實體環境或線上 指引問題6%
其他問題 5%
參考問題
政策或服務程序問題 實體環境或線上指引問題 其他問題
表7 聊天機器人問答對話組（intents）範例
ID 對話主題 訓練問題 訓練答案 同義字ID
2 S_book_account 請問畢業要辦那些 手續
恭喜你！畢業了！大學部跑三關：申請審查
→還書繳罰款→完成手續，研究生多了論文 繳交的手續，更多細節都在這裡囉！（網頁 連結）
8 F_VPN 在家可以用學校資
料庫嗎
在家也可以用學校資料庫，你需要的只是 VPN！詳細連線說明：（網頁連結）
a_17
45 DB_jove_exiperinment 請問那些有正規的 實驗影片可以看 圖書館有實驗教學 的資料嗎
別擔心實驗不會做，讓《視覺化期刊-JoVE》
手把手教你做（網頁連結）還有，小編只教 你，線上註冊後不用VPN 在家也能用（網頁 連結）
a_9
51 DB_OECD 我想要了解全球經 濟發展
想要了解全球經濟發展，各國的社會經濟狀 況調查，你不可錯過的是OECD iLibrary（網 頁連結），操作筆記都給你囉！（網頁連結）
a_10
51 DB_OECD 圖書館有OECD 嗎 想要了解全球經濟發展，各國的社會經濟狀 況調查，你不可錯過的是OECD iLibrary（網 頁連結），操作筆記都給你囉！（網頁連結）
a_10
53 DB_Scientific_American 圖書館有科學人嗎 當然有！中文科學人（網頁連結）
第三階段預先設置提問關鍵字，此功能主要提供系統建置者預設提問關鍵字，使用者在 尚未輸入任何文字時，便可以看到預設關鍵字，可以點擊預設關鍵字超連結，系統會將預先 設置的提問關鍵字帶入對話視窗，並依據讀者問題進行回答，通常選用常見問題做為預先設 置提問關鍵字。本研究設定「我想找書」、「開放時間」、「自習室座位」三組預先設定提問關 鍵字，分別代表Numminen 與 Vakkari（2009）的快速參考與研究主題問題、政策與程序問題、
指引問題等四類型的參考問題，使用者實際操作視窗畫面如圖13 下方文字所示。
圖13 預先設置提問關鍵字
而當讀者點選「我想找書」系統會回傳操作說明，使用者可進一步於視窗內輸入「書
（空格）書名」進行檢索，聊天機器人會自動回傳檢索結果的書目資訊與館藏查詢超連 結，實際查詢情形如圖14 所示。使用者亦可以提交其他關鍵字進行問答，使用者可以輸入
「歷史」或「明清台灣史」進行虛擬參考諮詢，系統會回覆相關指引與網頁超連結，如圖15 所示。
圖14 預先設置提問關鍵字回覆
圖15 使用者輸入其他參考問題關鍵字
使用者與虛擬參考服務機器人對話最頻繁主題如表8 所示，受試者聯想到的對話主要與 我要找書（搜尋圖書）、開放時間（圖書館開放時間）、預設歡迎詞（聊天機器人自我介紹與 使用說明）、自習室座位（總館與各分館自習室座位使用情形）四項圖書館服務項目為主，
而其他六項則是詢問圖書館資源相關問題。
表8 諮詢頻率最高前十名的對答主題
對答組主題 頻率（次數） 回應速度（毫秒）
我要找書 191 43
開放時間 141 39
預設歡迎詞 82 34
自習室座位 44 32
天下雜誌 29 13
時代雜誌 23 10
科學人雜誌 21 7
英語檢定 20 16
圖書借閱規定 12 3
經濟學人雜誌 11 4
虛擬參考服務機器人使用評估
本研究邀請 32 位具有圖書資訊學背景之研究生與圖書館現職人員進行實測，主要希望 藉由具有專業背景受試者判斷聊天機器人對話內容的資訊品質、系統品質與互動性，更希望 透過相關從業人員過去所累積之讀者服務經驗，梳理出讀者常見或潛在的參考問題對聊天 機器人進行實測，因此從業人員的測驗結果涵蓋一般使用者讀者觀點，有助於判斷聊天機 器人之實際表現。受測者整體性別分布為 8 位男性、24 位女性，其中 20 位分別為研究生 或圖書館從業人員、12 位兼具上述兩種身分，平均使用圖書館時數為 9.28 小時。另外，有 使用過聊天機器人或相關建置經驗共有29 位。本研究共蒐集 32 份有效問卷，問卷前測七 項面向平均分數為4.49，分數範圍在 3.48 到 4.99，問卷後測七項面向平均分數為 4.90，分 數範圍在4.24 到 5.63，整體而言，前後測分數平均差距為 0.1 到 0.95，而施測結果平均分 數提高 0.41，表示使用者在利用聊天機器人進行虛擬參考諮詢服務之後整體印象提升，如 表9 所示。
本研究將問卷前後側進行成對樣本 t 檢定，統計結果如表 10 所示，資訊品質方面 t(31)=2.80 , p=0.009、互動性方面 t(31)=3.91 , p=0.000，可以看出使用者對於聊天機器人的資 訊品質與互動性給予高度肯定，顯示使用者對於本研究知識庫內容表達認同並且滿意聊天機 器人對答方式。而系統品質方面平均分數提高0.42 分，t(31)=1.99 , p=0.055 接近顯著，可說 明使用者對於聊天機器人系統品質有正向肯定。而知覺有用性t(31)=4.22 , p=0.000、知覺易 用性t(31)=3.03 , p=0.005 兩面向可以看出使用者對於聊天機器人的有用程度與易用程度皆給 予高度肯定，顯示使用者認為虛擬參考諮詢服務機器人方便上手且容易使用，並可節省使用 者查找資料步驟與時間，更快更便利地找到資料。然而在使用者態度面向前後測平均分數提 升0.10 分，而 t(31)=0.558 , p=0.588，使用者評分雖略有提升但未及顯著，使用者意圖面向分 數為顯著下降0.74 分（t(31)=-4.53 , p=0.000）。
表9 問卷前後測平均分數
測驗階段 前測分數 後測分數 前後測分數
問卷構面 平均數 標準偏差 平均數 標準偏差 平均差距
資訊品質 4.06 1.12 4.66 0.841 0.60
系統品質 4.91 1.11 5.33 0.841 0.42
互動性 3.48 1.368 4.34 1.186 0.86
知覺有用性 4.08 1.158 5.03 1.075 0.95
知覺易用性 4.94 1.355 5.63 1.089 0.69
使用者態度 4.99 1.069 5.09 0.877 0.10
使用者意圖 4.98 1.206 4.24 1.263 -0.74
表10 問卷前後測成對樣本 t 檢定
問卷構面 標準偏差 標準錯誤平均值 t df 顯著性（雙尾）
資訊品質 1.22 0.22 2.80 31.00 0.009***
系統品質 1.20 0.21 1.99 31.00 0.055***
互動性 1.23 0.22 3.91 31.00 0.000***
知覺有用性 1.28 0.23 4.22 31.00 0.000***
知覺易用性 1.29 0.23 3.03 31.00 0.005***
使用者態度 1.08 0.19 0.55 31.00 0.588***
使用者意圖 0.92 0.16 -4.53 31.00 0.000***
本研究為進一步解釋成對樣本t 檢定結果，想了解資訊品質、系統品質、互動性三項系 統性面向對於使用者的知覺有用性、知覺易用性、使用者意圖與使用者態度四項使用者面向 之影響，故將所蒐集問卷後測評分結果進行相關性檢定，考量統計樣本未呈常態分布，故以 Spearman 相關進行統計，檢定結果如圖 16 所示，可以看出聊天機器人的資訊品質、系統品 質、互動性對於使用者的知覺有用性與知覺易用性有顯著影響。而在使用者態度方面，資訊 品質、系統品質、互動性三項與使用者態度有顯著相關，其相關程度依高至低順序為互動性、
資訊品質、系統品質，代表使用者最在意的是聊天機器人的互動程度、資訊品質、系統品質。
另外在使用者意圖方面，僅有資訊品質、互動性兩面向評分與使用者意圖評分有顯著相關，
顯示互動性與資訊品質可視為使用者推薦聊天機器人之關鍵。
對照使用者回饋意見，在使用者態度方面雖評分提升 0.1 分，但統計結果未達顯著，其 中與評分相關性較高之面向依序為互動性、資訊品質與系統品質。歸納使用者回饋意見可 知，在互動性方面，使用者對於聊天機器人營造出的親切感表示喜歡，肯定聊天機器人回答 制式的事實型問題，但使用者對於聊天機器人可以提供非制式型對答以及資料查詢功能秉持 更深的期許。
圖16 聊天機器人系統性面向與使用者面向關聯性
蠻喜歡目前聊天機器人營造出來的氛圍，是令人感覺很親切的（受試者2）
聊天機器人提供的事實型資訊品質較好，書目檢索部分有精準度的問題，也許可 以只提供查詢連結供使用者自行查找（受試者11）
機器人提供的資訊有限，對於定式的回答，機器人提供的資訊比較準確。但是如果 是進行非明確的查詢，如找書、論文資源等，可能直接去相關資料庫更有效（受試者31）
在資訊品質方面，使用者認為聊天機器人知識庫預設關鍵字實用，以及認可聊天機器人 回答內容包含圖書資源網頁連結的回覆方式，確認聊天機器人所回覆參考諮詢答案具有一定 品質，並表示聊天機器人對於參考問題回應即時與回應資料數量足夠表示肯定，確認聊天機 器人技術具備一定程度的系統品質。
提供圖書館當日的開放時間等即時資訊很實用！（受試者32）
基本上都會有連至圖書館的連結，資訊品質是可以保證的，並且對於找書有提供 除了那本書以外相關的，個人蠻喜歡這個服務，一方面提供正確的書，一方面也額外 給予其他圖書資源，很棒!（受試者 15）
系統很順暢，基本上不會卡卡，12 筆訊息回覆很快。（受試者 18）
回應的速度很快可以節省時間。（受試者32）
而關於使用者意圖面向前後測分數顯著下降0.74 分，對照系統性面向與使用者面向相關 性分析，發現使用者對於聊天機器人的互動性與資訊品質的評分與使用者意圖有顯著相關，
亦即聊天機器人的互動性與資訊品質對於使用者向他人推薦之意願具有影響力。關於互動性 方面，對應使用者意見顯示使用者期望虛擬參考諮詢服務機器人支援參考諮詢問題與支援中
0.553**
0.481** 0.482**
0.357*
0.628**
0.569**
0.447**
0.227
0.461** 0.474**
0.638**
0.577**
知覺有用性 知覺易用性 使用者態度 使用者意圖
資訊品質 系統品質 互動性
文自然語言辨識能力，提升聊天機器人對答之能力。實際觀察使用者與聊天機器人對話，可 發現機器人會針對參考問題進行回答，而部分使用者提問內容則超出虛擬參考諮詢服務機器 人對答範圍，如圖17 所示。
目前看起來似乎仍是關鍵字與較為固定的if else 判斷，與自然對話仍有一段很遠 的距離。我覺得與其將它視為一個「聊天」機器人，不如將之視為「單一窗口」查詢 界面還比較合適一點。這樣比較能夠讓使用者的預期心理符合機器人提供的功能（受 試者17）
無法自行控制聊天的內容，似乎只能以關鍵字聊天，對於自然語言好像完全無法 回覆…（受試者8）
可接收的字詞有點少，比較像問答機器人，而非聊天機器人。回應速度很快，但 是給的建議搜尋字詞沒有變化，這樣讓其他功能被使用的機率較少。像是借書，會跑 出借閱權益，但卻不會出現在推薦搜尋的詞彙中，而且輸入還書也沒有效果。整體來說 速度的表現雖然不錯，然而變化性不足，連結的資訊也是比較初級的資訊（受試者1）
圖17 使用者與聊天機器人實際對話部分截圖
而關於資訊品質方面，對照使用者意見顯示使用者建議回傳圖書檢索資訊應進行視覺化 處理，參考諮詢回答超連結應該縮短以增加回答內容的可讀性，以及其他應可以在視窗內進 行提供進階查詢功能。
傳回的書目資料目前都是書名加上很長一段網址，可讀性較低，不知道有沒有可 能用更視覺化的方式呈現，不會有overwhemled 的感覺（受試者 2）
圖書館開放時間的部分，只有告訴我今天的開館時間，但我查詢時有可能想知道 其他日期的開放狀況，也許可以再提供更多資訊，或是連結等（受試者2）
綜合上述可知，使用者對於聊天機器人技術應用於虛擬參考諮詢服務表達肯定，不論是 在資訊品質、系統品質、互動性的系統性面向表達正面肯定，尤其是資訊品質與互動性兩方 面有顯著提升。再者，使用者認為虛擬參考諮詢服務機器人易用與有用，有助於使用者上 手、節省時間與取用程序、對於使用者參考問題有幫助。雖然使用者評價未表現在使用者態 度與使用者意圖兩方面，使用者態度評分有所提升但未達顯著，使用者認為虛擬參考諮詢機 器人可支援基本參考問題，有利於使用者找書、查詢開放時間以及自習室座位，但認為現有 虛擬參考諮詢服務機器人的反饋功能與進階查詢功能有待優化，如：回覆超連結縮短增加可 讀性、增加對話視窗查詢圖書進階功能或查詢其他日期開館時間、即時反饋使用者聊天機器 人查詢狀態。而使用者意圖明顯下降，使用者認為虛擬參考諮詢機器人可以執行問答工作，
期盼可與聊天機器人進行對答，並且認為聊天機器人中文自然語言處理技術仍有待突破，根 究使用者對於聊天機器人推薦意願較低之原因為，主要是因為對於聊天機器人技術有更深的 期盼。
結論
虛擬參考諮詢服務機器人在資訊品質、系統品質與互動性三項系統性面向受到肯定，且 在知覺易用性與知覺有用性兩方面使用者面向亦受到肯定，能受到具有圖書資訊學背景使用 者之認可，表示聊天機器人技術應用於虛擬參考諮詢服務可行性極高。然綜合使用者態度與 使用者意圖兩方面評分與討論後，現有聊天機器人在知識庫涵蓋範圍、查詢圖書資源功能，
以及與使用者對答功能仍有待加強。
由於目前聊天機器人在整理知識庫或設計對話內容尚需耗費大量人力進行，若想長期維 持虛擬參考諮詢聊天機器人服務，龐大人力會使得實務經營上可行性大幅降低，未來應可利 用現行已發展之中文自然語言處理技術建置客製化模擬內容產生器，當參考館員撰寫完一篇 新的參考諮詢文章，軟體程式技術可以自動剖析內容與產生可能的對話組合，交由館員篩選 與發布於聊天機器人平台。如想滿足讀者各類的諮詢需求可從擴充知識庫內容著手，例如新 增圖書館常見問題或依據學校課程網主動建立各系所課程的課程指定參考書，推薦學生使用 相關主題電子資源，並且搭配每學期重要歷程主動推播重要訊息，例如：開學季、考試周、
畢業季等時間。此外，本研究受試對象因立意抽樣受試者須具備圖資相關背景，未來可再進 一步將實測對象擴及一般使用者，了解一般使用者對於虛擬參考諮詢機器人之使用行為與期
待，加以匯集不同學科背景使用者之使用習慣與使用建議，以優化虛擬參考諮詢服務機器 人，使其更能滿足使用者所需。
參考文獻
Burger, A., Park, J.-r., & Li, G. (2010). Application of reference guidelines for assessing the quality of the internet public library’s virtual reference services. Internet Reference Services Quarterly, 15(4), 209-226.
doi:10.1080/10875301.2010.526479
Diamond, W., & Pease, B. (2001). Digital reference: a case study of question types in an academic library.
Reference Services Review, 29(3), 210-219. doi:10.1108/eum0000000005663
Horowitz, L. R., Flanagan, P. A., & Helman, D. L. (2005). The viability of live online reference: an assessment.
Portal: Libraries and the Academy, 5(2), 239-258.
Houlson, V., McCready, K., & Pfahl, C. S. (2007). A window into our patron’s needs. Internet Reference Services Quarterly, 11(4), 19-39. doi:10.1300/J136v11n04_02
Janes, J. (2002). Live reference: Too much, too fast? Library Journal, 127(17), 12-14.
Kwon, N. (2006). User satisfaction with referrals at a collaborative virtual reference service. Information Research, 11(2).
Luo, L. (2008). Chat reference evaluation: a framework of perspectives and measures. Reference Services Review, 36(1), 71-85. doi:10.1108/00907320810852041
Nguyen, Q. N., & Sidorova, A. (2018). Understanding user interactions with a chatbot: a self-determination theory approach. Paper presented at the Twenty-fourth Americas Conference on Information Systems, New Orleans.
Numminen, P., & Vakkari, P. (2009). Question types in public libraries' digital reference service in Finland:
Comparing 1999 and 2006. Journal of the American Society for Information Science and Technology, 60(6), 1249-1257. doi:10.1002/asi.21047
Pomerantz, J., Luo, L. and McClure, C.R. (2006), Peer review of chat reference transcripts: approaches and strategies, Library & Information Science Research, Vol. 28 No. 1, pp. 24-48.
Richardson, J. V. J. (2002). A checklist for model reference transactions: the LSSI transcript evaluation form.
unpublished manuscript.
Ruppel, M., & Fagan, J. C. (2002). Instant messaging reference: users’ evaluation of library chat. Reference Services Review, 30(3), 183-197.
Sears, J. (2001). Chat reference service: an analysis of one semester’s data. Issues in Science and Technology Librarianship, 32.
Smyth, J. (2003). Virtual referencez transcript analysis. Searcher, 11(3), 26-30.
Stoffel, B., & Tucker, T. (2003). E-mail and chat reference: assessing patron satisfaction. Reference Services Review, 32(2), 120-140.
Vincze, J. (2017). Virtual reference librarians (Chatbots). Library Hi Tech News, 34(4), 5-8. doi:10.1108/lhtn- 03-2017-0016
Xu, A., Liu, Z., Guo, Y., & Rama Akkiraju, V. S. (2017, May). A new chatbot for customer service on social media. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems conducted at
Denver, Colorado, USA.
今日訊息（2018）。今日訊息聊天機器人。取自 https://www.facebook.com/%E4%BB%8A%E6%97%A5%
E8%A8%8A%E6%81%AF-Day-to-Day-1649675225118022/
【Jinrih Deliver (2018). Jīnrì xùnxí liáotiān jīqìrén. Retrieved from https://www.facebook.com/%E4%BB%8 A%E6%97%A5%E8%A8%8A%E6%81%AF-Day-to-Day-1649675225118022/】
林柏岑（2017）。提升任務導向型聊天機器人使用體驗之研究（未出版之碩士論文）。國立臺灣科技 大學，台北。
【Lin, Po-Tsen(2010). A research on improving user experience of task-oriented chatbot (Unpublished master’s thesis). National Taiwan University of Science and Technology, Taipei, Taiwan.】
原萃茶飲（2018）。原萃茶飲聊天機器人。取自 https://www.facebook.com/RealLeafTaiwan/
【yuáncuì cháyǐn (2018). yuáncuì cháyǐn liáotiān jīqìrén. Retrieved from https://www.facebook.com/RealLeafTaiwan/】
徐慧雯（2016）。聊天機器人使用意願影響因素之研究（未出版之碩士論文）。國立臺灣科技大學，
台北。
【Syu, Huei-Wun (2016). A research on factors influencing the intention to use chatbots (Unpublished master’s thesis). National Taiwan University of Science and Technology, Taipei, Taiwan.】
國家圖書館（2012）。中華民國圖書館年鑑 101 年。台北市：國家圖書館。
【National Central Library (2012). Yearbook of librarianship in Taiwan 2012. Taipei: National Central Library.】
國家圖書館（2014）。中華民國圖書館年鑑 102 年。台北市：國家圖書館。
【National Central Library (2014). Yearbook of librarianship in Taiwan 2013. Taipei: National Central Library.】
國家圖書館（2015）。中華民國圖書館年鑑 103 年。台北市：國家圖書館。
【National Central Library (2015). Yearbook of librarianship in Taiwan 2014. Taipei: National Central Library.】
國家圖書館（2016）。中華民國圖書館年鑑 104 年。台北市：國家圖書館。
【National Central Library (2016). Yearbook of librarianship in Taiwan 2015. Taipei: National Central Library.】
國家圖書館（2017）。中華民國圖書館年鑑 105 年。台北市：國家圖書館。
【National Central Library (2017). Yearbook of librarianship in Taiwan 2016. Taipei: National Central Library.】
貳樓餐廳（2018）。貳樓餐廳聊天機器人。取自 https://www.facebook.com/search/top/?q=second%20floor
%20cafe%20%E8%B2%B3%E6%A8%93%E9%A4%90%E9%A3%B2
【Second Floor Cafe (2018). Second Floor Cafe chatbot. https://www.facebook.com/search/top/?q=second%
20floor%20cafe%20%E8%B2%B3%E6%A8%93%E9%A4%90%E9%A3%B2】
數位時代（2018）。用聊天機器人幫你叫車，TaxiGo 服務年底開進全台。取自 https://www.bnext.com.
tw/article/49467/taxi-go-qa
【TechNews (2018). yòng liáotiān jīqìrén bāng nǐ jiào chē, TaxiGofúwù niándǐ kāi jìn quán Tái. Retrieved from https://www.bnext.com.tw/article/49467/taxi-go-qa】
The Implementation and Evaluation of
Chat Robot Application on Virtual Reference Service of University Library
Fan Wei Min
Doctoral student, Dept. of Library and Information Science National Taiwan University, Taiwan (R.O.C.)
E-mail: D05126005@ntu.edu.tw
Keywords: Chatbot; Library Reference Service; User Experience; Virtual Consult Reference
【Abstract】
Many industries have implemented chatbot application for online custom service.
Considering the increasing reference consults and the declining manpower, the university library could take chatbot application as a solution. This study focus on the implemetation and evaluation of chatbot on virtual reference service of university libraries. We inducted the virtual reference literature for the dialouge pattern and question types and choose 78 articles of university library reference service blog to generate 86 intents(dialouge pattern) and 93 entities (134 synonyms) for virtual reference service chatbot. After the implementation, 32 users with the background of the library information science were invited for testing. As the result, the most interactive dialogue topic were “my search for books”, “opening hours”, “pre‐set greetings”,
“study room seats” and the other library resources. The statistics showed that the scores of information quality and interactivity were significant improvements, while the system quality score was almost significant. In terms of perceptual usefulness and perceived ease of use, two aspects were significantly improved. Users thought virtual reference service chatbot was easy to get starte. It could answer with good quality and could solve to users’ needs. Addiotnally, it could save the search time for the user or reduce the access steps. However, the avergage score of user’s attitude was improved but not significant, and the avergage score of user’s intention was significant lower. The score of Recommendation willingness was low. According to the user feedback, they believed the performance of chatbot. However, they did have more expectation in converating more influently to the chatbot and asking more questions beyoud the reference question template. Overall, the chatrobot application to virtual reference services is extremely
DOI: 10.6245/JLIS.202004_46(1).0001
feasible. University libraries can use chatbot application to provide virtual reference services and considerate to apply the technology of natural language process in order to solve the information need and raise the satisfaction from users.
【Long Abstract】
Introduction
In recent years, the demand of virtual reference service in libraries of universities has been increased in contrast to physical reference service in libraries. However, the human resource to support reference service has been decreased year by year and the problem has been an urgent issue for libraries to solve.
As chatbot service technology has developed, many industries start to use chatbot technology to cover the human resource gap such as the reservatio of taxi, the table reservation of restaurants or the promoting of tea drinks. The implement of chabot technology on virtual reference service may be a solution for providing some support for the shortage of human resource and also brings a lot of advantages. For readers, it is much easier to submitting questions to chatbot service through mobile device rather than browsing web pages by themselves, and this way can reduce readers’ anxiety or embarassment without face-to-face consultation. For librarians, the chatbots can provide 7/24 service hours, one-to-many instant service, the consistent answer template. The chatbot can answer the easy questions and leave the really personal or complex questions to librarians. Furthermore, chatbots can easily embedded in any platforms to guide readers to fimilar with library service and help librarian to analyze the service satisfication through transaction logs to re-evaluate the service (Vincze, 2017). The library can make the collection deveoplemt according to the log records. This study tried to build a chatbot service of virtual reference service and evaluate usability of the chatbot service. Hope this study experience could be a reference for the other librarians.
Method
The study has two phases. Built the chatbot service for virtual reference service in first phase and did the usability evaluation of chatbot service. In first phase, the researcher studied the literature review to integrate the reference questions type and design the dialouge pattern. The reference question type included five types: (1) ready reference; (2) subject-based research question; (3) policy and procedural question; (4) directional questions; (5) others or referrals (Numminen & Vakkari, 2009). The subject-based research questions need the customized reference service so this type refernece question was excluded from the chatbot service. The dialogue pattern included five steps: (1) greeting and acknowledgement; (2) two to four sources or answers depending on the type of question; (3) name or
