本章將評估圖書館個人化館藏推薦系統的執行效果，計算讀者對系統推薦書籍的滿 意度。第一節說明如何收集讀者回應。第二節介紹用以評估推薦滿意度的幾個方法。第 三節列出最後得到的結果數據並加以分析討論。
第一節 收集讀者對館藏推薦的回應
在館藏推薦的呈現畫面中提供了“書籍簡介”的連結讓讀者參考，並希望讀者依此回 應推薦滿意度。圖 20 中圈選起來的部份就是讀者回應滿意度的地方，讀者選擇完後可 以按下“送出滿意度”按鈕回報對館藏推薦的滿意度。在這裡的滿意度就是指讀者對這本 書的喜好程度，分成五個等級讓讀者選擇，由好到壞分別是“非常滿意”、“滿意”、“普通”、
“不滿意”和“非常不滿意”五種，實際上內部代表的分數為 0.9, 0.7, 0.5, 0.3, 0.1。讀者所送 出的資料將會被存到系統資料庫中以供之後的分析，作為系統改進的參考。
圖 20 讀者滿意度回應畫面
第二節 計算讀者對館藏推薦的滿意度
我們總共採用三種方法來計算讀者對館藏推薦的滿意度。前兩種是 Breese 和 Kadie 在[4]所提出的兩種測量推薦系統滿意度的公式，分別為平均誤差值 (Mean Absolute Error, MAE) 和排序分數度量值(Rank Score Measure, RSM)。第三種為計算讀者對所推薦 的館藏的平均滿意度 (Average Satisfaction)。
平均誤差值主要用來計算使用者對系統推薦物品的整體滿意度，公式如下：
比較低。va,j是讀者 a 對推薦館藏 j 的實際滿意度；d 為讀者滿意度的平均值；a 代表計 算公式中的半衰期。
Ra的意義在於如果讀者比較喜歡的館藏都在推薦清單排序比較前面的位置，而比較 不喜歡的館藏都集中在排序比較後面的位置，則 Ra 可以得到最大的值。相反地，萬一 讀者比較不喜歡的館藏都在推薦清單排序比較前面的位置，而比較喜歡的館藏卻都集中 在排序比較後面的位置，那 Ra所得到的值就會很低。所以 Ra的值可以看出讀者對推薦 清單排序的滿意度。通常排序分數度量值還需要將 Ra 除以Ramax正規化，使得到的值能
介於某個範圍內。Ramax代表當推薦排序完全依照讀者喜好排序時，亦即讀者喜歡的都在 排序的前面，不喜歡的都在後面，所能得到的最大排序滿意值。這樣得到的分數可以比 較明確地看出系統排序的結果到底有多接近讀者理想的排序。正規劃的排序分數度量值 R 計算公式如方程式 15。
∑ ∑
×
=
a a
a a
R R R
100 max
方程式 15 排序分數度量值正規化計算公式
平均滿意度的計算較為簡單，純粹統計讀者回應滿意度的平均值。先算出每個讀者 的滿意度平均值為其個人滿意度，再計算所有讀者個人滿意度的平均值，最後計算出來 的值即為我們需要的所有讀者對系統推薦館藏的平均滿意度。
第三節 結果分析
在交通大學浩然圖書館的個人化館藏推薦系統中，我們收集 415 位讀者對系統推薦 館藏的滿意度回應後，利用平均誤差值、排序分數度量值和平均滿意度這三種方法來判 斷讀者對這個個人化館藏推薦系統的滿意度，結果如表 28。
評估方式
Top N 平均誤差值 排序分數度量值 平均滿意度
Top 10 0.117571 0.827082 0.672096 Top 20 0.111500 0.764413 0.671700 Top 30 0.110378 0.734757 0.670155 Top 40 0.108454 0.706947 0.670730 Top 50 0.108790 0.685876 0.670002
表 28 系統滿意度調查結果
表 28 中的 Top N 代表取系統給讀者的前 N 名推薦的書籍滿意度，例如 Top 10 代表 取系統給讀者的推薦中，推薦排名在前 10 名的書籍滿意度來計算。
圖 21 為平均誤差值結果的折線圖，誤差值大約落在 0.1 和 0.12 之間。因為系統中 給予讀者選擇的滿意度，每個區間相差 0.2，所以誤差 0.1 代表系統的推薦分數和讀者選 擇的滿意度差距仍在一個區間誤差內，代表誤差仍在可接受的合理範圍內。
0.100 0.105 0.110 0.115 0.120 0.125
10 20 30 40 50
Top N
平均誤差值 (MAE)
圖 21 Top N 的平均誤差值
排序分數度量值的結果如圖 22 所示，在 Top 10 得到最佳值 0.83，之後排序分數度 量值隨推薦增多而降低，在 Top 50 得到最低值 0.69，變動的範圍約在 0.15 以內。
0.60 0.65 0.70 0.75 0.80 0.85 0.90
10 20 30 40 50
Top N
排序分數度量值 (RSM)
圖 22 Top N 的排序分數度量值
圖 23 中的結果顯示讀者平均滿意度大約都維持在 0.67 左右，介在滿意度普通 (0.5) 和滿意 (0.7) 之間。當推薦數多時有稍微降低的趨勢，可是變動並不劇烈，這代表我們 的推薦中不管排序前後，讀者喜好程度都差不多，這個現象同時反應出優缺點。優點是 推薦的館藏讀者普遍喜歡，而缺點是推薦排序較高的推薦並沒有得到比較高的滿意度。
0.66 0.67 0.67 0.68 0.68
10 20 30 40 50
Top N
平均滿意度 (Average Satisfaction )
圖 23 Top N 的讀者平均滿意度
從以上的平均誤差值、排序分數度量值和平均滿意度這三種評估的結果，可看出我 們所提出的圖書館個人化館藏推薦系統普遍符合讀者的興趣，達到預期的效果。