4. 實驗結果
4.3. 實驗二 項目為基礎的對使用者為基礎的效果
本實驗利用笑話資料集來觀察結果，觀察站在項目為基礎的和站在 使用者為基礎上的多樣性表現如何。在這資料集中共有 12,491 位使用者，
100 篇笑話。我們分別去看前 5、10、15、20 名的精確度結果，從結果可 以看到，在笑話資料集中，LDA 的 ItoI 和 UtoU 精確度表現沒 IB 和 UB 好，IB 在前 5 名表現較好，隨著推薦名次增加，UB 表現比 IB 還要高。
LDA 如電影資料集一樣，UtoU 比 ItoI 還要高，這資料集中，每個使用者 都至少評分過三分之一以上的笑話，使用者評分過的資料夠多，資訊較 充足。
表 20.笑話項目為基礎的精確度
Precision@5 Precision@10 Precision@15 Precision@20
34
D1 0.6128102 0.5599840 0.5281986 0.4902042 D2 0.6048839 0.5589031 0.5278303 0.4888911 D3 0.6179343 0.5649079 0.5307873 0.4914532 D4 0.6169736 0.5627462 0.5293888 0.4908046 D5 0.6121227 0.5619825 0.5280273 0.4899311
表 21.笑話使用者為基礎的精確度
Precision@5 Precision@10 Precision@15 Precision@20 D1 0.5906645 0.5670296 0.5373525 0.496093 D2 0.5887269 0.5669335 0.5374326 0.495776 D3 0.5969415 0.5698959 0.5392047 0.497454 D4 0.5831705 0.5643555 0.5372244 0.496813 D5 0.5982064 0.5719192 0.5401286 0.497978
表 22. 笑話 LDA(ItoI)推薦的精確度
Precision@5 Precision@10 Precision@15 Precision@20 D1 0.4594075 0.4679904 0.4689512 0.4514412 D2 0.4600961 0.4679664 0.4690686 0.4511289 D3 0.4602402 0.4693515 0.4695276 0.4512730 D4 0.4600641 0.4684788 0.4690419 0.4516133 D5 0.4587237 0.4669229 0.4678944 0.4505965
表 23. 笑話 LDA(UtoU)推薦的精確度
Precision@5 Precision@10 Precision@15 Precision@20 D1 0.5002562 0.5070296 0.5012757 0.4763731 D2 0.5102002 0.5187267 0.5100347 0.4832426 D3 0.5031705 0.5131946 0.5068001 0.4817774
D4 0.5086149 0.5169496 0.5089298 0.4823979 D5 0.5046841 0.5162623 0.5094937 0.4833774
圖 9. 笑話精確度曲線圖
在召回率的結果，跟精確度一致，UB 表現最好，UB 高於 IB，IB 高 於兩個 LDA 的方法，UtoU 的表現高於 ItoI。
表 24. 笑話項目為基礎的召回率
Recall@5 Recall@10 Recall@15 Recall@20 D1 0.2114911 0.3763796 0.5228572 0.6393376 D2 0.2074992 0.3747995 0.5213915 0.6359279 D3 0.2134066 0.3802723 0.5263114 0.6417474 D4 0.2123283 0.3777041 0.5232284 0.6391561 D5 0.2112705 0.3780657 0.5231506 0.6397358
表 25. 笑話使用者為基礎的召回率
Recall@5 Recall@10 Recall@15 Recall@20 D1 0.2091866 0.3898274 0.54064533 0.6542353
0.4 0.45 0.5 0.55 0.6 0.65
5 10 15 20
IB UB LDA(ItoI) LDA(UtoU)
36
D2 0.2077440 0.3897698 0.54087827 0.6534141 D3 0.2109866 0.3917426 0.54296163 0.6570626 D4 0.2055694 0.3876446 0.54071923 0.6556622 D5 0.2122289 0.3941255 0.54492716 0.6587338
表 26. 笑話 LDA(ItoI)推薦的召回率
Recall@5 Recall@10 Recall@15 Recall@20 D1 0.140952 0.2895880 0.4364985 0.56062334 D2 0.141504 0.2898224 0.4367012 0.56051444 D3 0.141583 0.2914199 0.4380210 0.56170779 D4 0.141265 0.2900938 0.4366409 0.56129657 D5 0.14102 0.289703 0.436552 0.5616280
表 27. 笑話 LDA(UtoU)推薦的召回率
Recall@5 Recall@10 Recall@15 Recall@20 D1 0.1655623 0.3350339 0.4930599 0.6197125 D2 0.1684698 0.3436916 0.5029300 0.6301096 D3 0.1647258 0.3381425 0.4981600 0.6276978 D4 0.1681239 0.3426322 0.5016536 0.6294036 D5 0.165877 0.341834 0.502552 0.631034
圖 10. 笑話召回率曲線圖
從精確度和召回率觀察，可預想到 F1 值，UB 高於 IB，IB 高於 UtoU，
UtoU 高於 ItoI。
表 28. 笑話項目為基礎的 F1
F@5 F@10 F@15 F@20
D1 0.314458 0.450181 0.525514 0.554926 D2 0.308999 0.448701 0.524591 0.552799 D3 0.31725 0.454556 0.52854 0.556634 D4 0.315931 0.452021 0.526291 0.555242 D5 0.314123 0.452033 0.525578 0.554901
表 29. 笑話使用者為基礎的 F1
F@5 F@10 F@15 F@20
D1 0.308955 0.46202 0.538994 0.564294 D2 0.307116 0.461948 0.53915 0.563783 D3 0.311777 0.464317 0.541077 0.566226 D4 0.303984 0.459599 0.538966 0.56529
38
D5 0.313305 0.466662 0.542517 0.567185 表 30. 笑話 LDA(ItoI)推薦的 F1
F@5 F@10 F@15 F@20
D1 0.215719 0.357783 0.452143 0.500143 D2 0.216441 0.357955 0.452307 0.499908 D3 0.216549 0.359578 0.453227 0.500471 D4 0.216158 0.358312 0.452262 0.500516 D5 0.215723 0.357558 0.45168 0.500023
表 31. 笑話 LDA(UtoU)推薦的 F1
F@5 F@10 F@15 F@20
D1 0.248787 0.403466 0.497134 0.53867 D2 0.253299 0.413447 0.506457 0.546989 D3 0.248198 0.407671 0.502443 0.545142 D4 0.252713 0.412116 0.505266 0.546182 D5 0.249688 0.41132 0.505999 0.547424
MAP 是採用前 20 名的推薦來計算，從 MAP 觀察還是可以看到
LDA(ItoI) 0.5320279 0.5330144 0.5307532 0.5324665 0.5314526 LDA(UtoU) 0.5657582 0.5745836 0.5680120 0.5725505 0.5696942
IB 0.6602898 0.6550814 0.6636971 0.6628546 0.6596477
UB 0.6403895 0.6382121 0.6448112 0.6357534 0.6448700
圖 12. 笑話 MAP 直條圖
40
常有上百個字，造成笑話資料集中，LDA 不易找出代表性的主題，讓 LDA 的精確度指標表現較差。
表 33.笑話 MAE
D1 D2 D3 D4 D5
LDA(ItoI) 3.7013937 3.6866539 3.6731705 3.6790537 3.6797041 LDA(UtoU) 3.5791988 3.6155919 3.6165012 3.6239372 3.6212145
IB 3.4253802 3.4306668 3.4122404 3.4107188 3.4166427
UB 3.4364722 3.4418345 3.4270232 3.4231444 3.4293635
圖 13. 笑話 MAE 直條圖
現高於 ItoI，但隨著推薦增加，ItoI 的表現快速增加。在笑話資料集中，
UtoU 表現得比 UB 好，我們可以從這結果看到，加入 LDA 的推薦，會 增加多樣性，而 IB 為基礎的在多樣性的表現會高於 UB 帶來的結果。因 此我們認為若要增加多樣性，應該要從 IB 的角度去推薦，才能帶來多樣 性的結果。
表 34.笑話總體多樣性
TOP 5 10 15 20
D1 LDA(ItoI) 59.073 86.492 95.771 98.527 D1 LDA(UtoU) 55.588 75.734 89.469 96.419 D1 ITEM 60.827 83.409 94.033 97.935 D1 USER 50.593 72.451 87.459 95.25 D2 LDA(ItoI) 58.881 86.123 95.84 98.556 D2 LDA(UtoU) 56.975 77.368 89.987 96.609 D2 ITEM 60.765 83.673 94.102 97.962 D2 USER 50.362 72.237 87.506 95.202 D3 LDA(ItoI) 58.982 86.3 95.996 98.547 D3 LDA(UtoU) 56.817 77.325 90.084 96.725 D3 ITEM 61.514 84.109 94.191 97.948 D3 USER 51.538 72.819 87.637 95.45 D4 LDA(ItoI) 58.872 86.263 95.85 98.617 D4 LDA(UtoU) 57.038 77.25 89.799 96.656 D4 ITEM 61.553 84.227 94.174 98.029 D4 USER 50.732 72.445 87.408 95.343
42
選擇課程的資訊較充足，表現比 UB 還好，而 UtoU 和 ItoI 可能因為又考 慮了課程主題，所以表現比 UB 和 IB 還要好。
表 35. 線上課程精確度
Precision@1 Precision@2 Precision@3 Precision@4 LDA(ItoI) 0.43331489 0.44576646 0.38258623 0.35168788 LDA(UtoU) 0.48422800 0.40758162 0.36081903 0.31668511 IB 0.09706665 0.12769842 0.21057214 0.31635319 UB 0.31217561 0.25290364 0.33763788 0.49341352
圖 15. 線上課程精確度曲線圖
從召回率的角度看三種推薦的表現，IB 雖然一開始表現不好，但隨 著推薦清單增加，而越來越好，但在前 1、2 名的推薦，都是 UB 比 ItoI 和 UtoU 好，而 UtoU 和 ItoI 比 IB 好。
表 36. 線上課程召回率
Recall@1 Recall @2 Recall @3 Recall @4
0 0.1 0.2 0.3 0.4 0.5 0.6
1 2 3 4
IB UB LDA(ItoI) LDA(UtoU)
44
LDA(ItoI) 0.14443830 0.27172108 0.36081903 0.42224681 LDA(UtoU) 0.16140933 0.29717764 0.38258623 0.46891717 IB 0.09672368 0.21582000 0.48694030 0.84691745 UB 0.23183169 0.39442595 0.58644279 0.66248694
圖 16.線上課程召回率曲線圖
LDA(ItoI) 0.216657 0.337634 0.371384 0.383751 LDA(UtoU) 0.242114 0.343732 0.371384 0.378052 IB 0.096895 0.160456 0.294005 0.460641
0
UB 0.266071 0.308195 0.428545 0.565585
圖 17. 線上課程 F1 值曲線圖
從 MAE 中，表現最好的是UtoU，然後是 IB，接著是 ItoI，表現最 差的是 UB，但這裡 IB 的表現就比 UB 還要來的好，預測誤差比較小，
從 MAP 中可以觀察到，ItoI 和UtoU 的表現差距不大，都是表現得很好，且 都表現得比 IB 和 UB 還好。
表 38. 線上課程 MAE、MAP MAE MAP LDA(ItoI) 0.72530021 0.61277132 LDA(UtoU) 0.52362584 0.61181824 IB 0.61294850 0.43326451 UB 0.76343425 0.43196980
從 F1 值、MAE 和 MAP 的表現，我們可以看出UtoU和 ItoI 的表現 大多位居中間，這代表我們的模型雖然不是最好，但也是有一定的推薦
0 0.1 0.2 0.3 0.4 0.5 0.6
1 2 3 4
IB UB LDA(ItoI) LDA(UtoU)
46
水準，然後我們從多樣性的角度來看。我們採用隨機抽 10 個使用者，看 這 10 個使用者的總體多樣性，重複 1000 次抽取，然後取前 1、2 名來看，
因為取 3 名，出來的數字會太接近全部課程數 13，因此不列作考慮。
表 39. 線上課程總體多樣性
1 2
LDA(ItoI) 9.661 11.317 LDA(UtoU) 6.856 8.184
IB 7.281 10.884 UB 4.655 7.392
我們可以看到這結果和前面電影資料集的結果一致，ItoI 在總體多樣 性的表現一樣比傳統的還要來的好，而傳統的 IB 會比 UB 還要好，但UtoU 表現比 UB 還好，這可以證明我們的 LDA 模型是可以提供多樣性的推 薦。
5. 結論
線上課程的發展，帶來更多更快速的知識交流，雖然已經有一些線 上課程的推薦，但在大多數的推薦中，都只在意課程相似於學習者過去 參與的課程，但這對學習者或課程來說，隱含著許多的缺點。我們為了 解決這些的缺點，讓推薦的結果更有多樣性來讓學習者更滿意、因選擇 多而學習的領域更多樣，許多研究也證實多樣性地推薦確實可以讓使用 者更滿意，且課程也不會有太多冷門而不被推薦的情況。雖然項目為基
礎的推薦目前精確度不高，但在多樣性的部分卻都高於使用者為基礎，
這表示，我們若是需要有多樣性的推薦，應該站在項目的角度，站在使 用者的角度只會讓大多數人選過的項目熱門。
5.1. 研究貢獻
本論文希望由主題模型的方法，找到課程相似的主題，再把相似的 主題做推薦，並產生多樣性的方法，這可讓推薦的項目不會過於侷限在 使用者興趣範圍內，但還是有相關性。透過三組實驗，將項目為基礎的 主題模型與使用者為基礎、項目為基礎的協同過濾和使用者為基礎的主 題模型相互比較，發現項目為基礎的主題模型能夠比傳統的推薦還要更 能產生多樣性，且更能比使用者為基礎的還要有更好的多樣性表現。也 發現推薦站在項目的角度，會比使用者的角度還更有多樣性。
5.2. 未來研究方向
目前的研究採用項目為基礎的主題模型來做推薦，一般評估推薦的 結果表現介於使用者為基礎和項目為基礎之間，但多樣性的角度來看，
我們的主題模型已經能產生多樣的推薦。過去一些論文提到提高多樣性，
必會犧牲精確度，如何在這兩者之間取得平衡，但我們發現，推薦是能 有多樣性又可能同時有精確度的，但前提是項目的內容要夠豐富能夠代 表項目。我們未來可將主題模式加以修改，讓系統能同時擁有這兩項指 標。
48
資料集能夠蒐集更多的內容來增加主題模型的精確度，還能看不同 訓練比例之下，多樣性的表現。課程資料集在本研究因太少課程，不太 容易看出多樣性的比較，因此未來可以增加更多的課程，並把課程內容 字幕加入作參考，讓多樣性的表現更明顯。
參考文獻
Adamopoulos, P., & Tuzhilin, A. (2011, October). On unexpectedness in recommender systems: Or how to expect the unexpected. In Workshop on Novelty and Diversity in Recommender Systems (DiveRS 2011), at the 5th ACM International Conference on Recommender Systems (RecSys' 11) (pp. 11-18). Chicago, Illinois, USA: ACM.
Adomavicius, G., & Kwon, Y. (2012). Improving aggregate recommendation diversity using ranking-based techniques. Knowledge and Data
Engineering, IEEE Transactions on, 24(5), 896-911.
Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. the Journal of machine Learning research, 3, 993-1022.
Bradley, K., & Smyth, B. (2001). Improving recommendation diversity. In Proceedings of the Twelfth Irish Conference on Artificial Intelligence and Cognitive Science, Maynooth, Ireland (pp. 85-94).
Candillier, L., Meyer, F., & Boullé, M. (2007). Comparing state-of-the-art collaborative filtering systems. In Machine Learning and Data Mining in Pattern Recognition (pp. 548-562). Springer Berlin Heidelberg.
Castells, P., Vargas, S., & Wang, J. (2011). Novelty and diversity metrics for
recommender systems: choice, discovery and relevance. Retrieved from
http://ir.ii.uam.es/rim3/publications/ddr11.pdf
Chang, T. M., & Hsiao, W. F. (2013). LDA-based Personalized Document Recommendation. In PACIS. Retrieved from
http://aisel.aisnet.org/cgi/viewcontent.cgi?article=1012&context=pacis20 13
Chen, E. (2011) Introduction to Latent Dirichlet Allocation. Retrieved from
http://blog.echen.me/2011/08/22/introduction-to-latent-dirichlet-allocatio n/Chen, L. Z. (2012). Personalized Document Recommendation by Latent Dirichlet Allocation. Retrieved from
http://etd.lib.nsysu.edu.tw/ETD-db/ETD-search/getfile?URN=etd-08131 12-201905&filename=etd-0813112-201905.pdf
de Máster, T. F. (2012). Novelty and Diversity Enhancement and Evaluation in Recommender Systems. Retrieved from
http://nlp.uned.es/ma2vicmr/docs/tfm-vargas-sandoval.pdf
Fleder, D., & Hosanagar, K. (2009). Blockbuster culture's next rise or fall:
The impact of recommender systems on sales diversity. Management science, 55(5), 697-712.
Ge, M., Delgado-Battenfeld, C., & Jannach, D. (2010, September). Beyond accuracy: evaluating recommender systems by coverage and serendipity.
In Proceedings of the fourth ACM conference on Recommender systems (pp. 257-260). ACM.
Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Riedl, J. T. (2004).
Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems (TOIS), 22(1), 5-53.
Iaquinta, L., De Gemmis, M., Lops, P., Semeraro, G., Filannino, M., &
50