訊檢索(Information Retrieval)。
伴隨著網路上的訊息爆炸式的增長,搜尋引擎動輒返回幾千幾萬個結果,
某些想要的資訊可能被淹沒其中而不知其存在,或是某些需求無法清楚的以關 鍵字表達時,資訊檢索便無法滿足所需,推薦系統(Recommender System)就 此應運而生,推薦系統會分析使用者的歷史行為,從海量的訊息中自動篩選能 滿足使用者興趣和需求的內容。如今,幾乎所有的網路服務都有推薦系統的蹤 影,像是Amazon 商品推薦、Facebook 好友推薦、Netflix 電影推薦、YouTube 影音推薦等,可見其應用之廣。
‧
(Content-based)、協同過濾(Collaborative Filtering)、混合(Hybrid)三大類。
基於內容的基本思想是,為使用者推薦與其過往興趣雷同的項目,是資訊
‧
絕對誤差(Mean Absolute Error, MAE)MAE =∑(𝑢,𝑖)∈𝑇|𝑟𝑢𝑖− 𝑟̂𝑢𝑖|
|𝑇| (1.1)
或均方根誤差(Root Mean Squared Error, RMSE)
RMSE = √∑(𝑢,𝑖)∈𝑇(𝑟𝑢𝑖− 𝑟̂𝑢𝑖)2
|𝑇| (1.2)
來衡量,其中 𝑇 表示測試集, 𝑟𝑢𝑖 、 𝑟̂𝑢𝑖 分別表示實際評分和預測評分。從式子 來看,概念就是誤差的總和,又RMSE 以平方為懲罰,對評測更為嚴苛。
針對Top-N 推薦,則以精確率(Precision)
Precision =∑𝑢∈𝑈|𝑅(𝑢) ∩ 𝑇(𝑢)|
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4
另一方面,為了解推薦系統是否有讓訊息展現在使用者前,覆蓋率
(Coverage)是另一個可透過離線實驗獲得的重要指標,最簡單的想法就是推 薦的項目集合占總項目集合多少比例,以式子表達為
Coverage =|⋃𝑢∈𝑈𝑅(𝑢)|
|𝐼| (1.5)
其中 𝑈 為所有使用者的集合, 𝑅(𝑢) 為推薦系統給予每個使用者的推薦列表,
𝐼 為所有項目的集合。但很多時候我們想更多了解的是推薦系統對長尾發掘 的能力,也就是那些比較冷門的項目是否有如流行項目般被同等次數的推薦出 去,可想而知(1.5)式過於粗糙,因此常會使用到資訊理論裡的熵(Entropy)
和經濟學裡的吉尼指数(Gini Index)來取代(1.5)式來探討覆蓋率。
準確度和覆蓋率是評估推薦系統是否有達成其任務的最基本也最重要的指 標,此外還有以多樣性評估推薦列表是否能夠涵蓋使用者不同領域的興趣、以 新穎性評估推薦列表是否有使用者感興趣卻不知其存在的項目等,從各種角度 評估推薦系統好壞的準則,在此就不多加贅述。
1.1.2 推薦系統面臨的問題
儘管推薦系統的技術越發成熟,但有許多問題仍被反覆討論及改善,稀疏 性(Sparsity)、冷啟動(Cold Start)、可擴充性(Scalability)是幾個常見的問 題,這些問題彼此環環相扣,是我們在研究前必須了解的課題。
前面提到推薦系統需要代表使用者偏好的行為數據來運作,在項目動輒數 以千萬計下,使用者不可能瀏覽過所有項目,更不可能對所有項目給予評分,
由使用者對項目所組成的整個偏好空間,實際上有值,也就是被瀏覽或評分過 的可能非常稀少,就是稀疏性問題。推薦的過程常建立在數據的關聯性上,尤 其是僅仰賴使用者偏好數據的協同過濾技術,可想而知稀疏性會如何的影響推 薦成效。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
5
一個剛進入系統的新使用者可能尚未對任何項目表態,同樣地一個剛進入 系統的項目可能也未被任何使用者瀏覽,在沒有數據的情形下系統連運作都無 法,就是冷啟動問題。相較於稀疏性探討的是整個系統,冷啟動聚焦在這些新 使用者或新項目的推薦成效。
由於科技的發展和網路的普及,無論是網路的使用者還是充斥在網路上各 式各樣的項目(商品、文章、音樂、影像)都持續在增長,也就是說不斷會有 新使用者和新項目進入系統,系統能否有效因應並即時更新模型,便產生可擴 充性問題。可擴充性影響的是系統運算效率,對於某些需給予即時推薦的服務 更極其重要。
1.2
研究目的前面提到各種演算法都有其優缺點,本研究聚焦在協同過濾技術下的矩陣 分解法(Matrix Factorization, MF)和隨機效應模型法(Random Effects Model)
的分析與比較,並以MoiveLens 提供的 100K 和 1M 兩種不同量級的電影評分資 料進行實證研究。
試圖以100 次不同的測試資料試驗,模擬各演算法在不同數據結構下,以 統計上的集中趨勢量評估整體預測準確度的表現、統計上的離散趨勢量評估整 體預測穩定度的表現、平均運算時間評估運算效率,且探討兩個不同量級的數 據集是如何影響結果。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
6