淺層學習模型 (Shallow Learning Layer)

多數廣告點擊率預測方法直接採用機器學習的方法，快速學習到資料特 徵與點選的規則性[1][11]。淺層學習模型多採用迴歸模型(Regression Model) 以及因子分解機(Factorization Machine)，其中以線性迴歸模型較直覺、具可 擴充性(Extendibility)、容易處理，且可較快速訓練大量資料，因此最為常見。

而因子分解機則可處理資料稀疏的問題，是近來預測點擊率較常採用的模型。

以下將依序介紹各種淺層學習模型預測點擊率的模型方法：包括迴歸模 型、因子分解機模型及遷移學習模型。

<1> 迴歸模型 (Regression Model)

許多預測點擊率的研究上都會使用迴歸模型[5][6]，將選好的特徵丟

入迴歸模型，預測出一個介於0 到 1 之間的值。使用迴歸模型能快速簡 單的得到一個預測機率值，再設定一個門檻值決定結果為0 或 1。

論文[5]中提到，搜尋式廣告認為使用者在進行搜尋行為時，隱藏著 對某些事情的動機，因此可透過使用者的輸入關鍵字推薦適合廣告。利 用線性迴歸函數中的高斯常態分佈累積函數(Gaussian Probit Regression model)生成模型，可自動學習特徵權重排序優先度，對搜尋式廣告進行 二元分類的點擊預測。論文[6]相較於論文[5]的不同點是該篇論文主要考 慮Facebook 上的廣告，並未考慮使用者輸入的查詢文字。當使用者造訪 Facebook 時，有大量的廣告回饋，可產生大量的點擊與否之行為特徵。

利用這樣的特性，該論文使用串聯分類器(Cascade Classifier)，結合決策 樹(Decision Tree)與邏輯迴歸函數(Logistic Regression)的模組進行預測，

其預測效果比單用迴歸函數來的好。

因此，本論文希望藉由上述論文所觀察到，對特徵學習權重[5]，利 用迴歸函數模型與其餘機器學習到的模型進行結合[6]，以期增進點擊預 測效果。

<2> 因子分解機 (Factorization Machine)

由於使用者對已曝光的廣告行為形成龐大的數據資料，其資料內容 中有點擊的資料非常稀疏，因子分解機之特徵擷取及矩陣分解可有效解 決資料稀疏問題。

論文[12]的點擊率預測方法根據使用者的行為定向做預測，但是使 用者的資訊會隨時間持續更新，若要快速達到點擊預測，目前多數的研

究都選擇使用迴歸模型預測點擊率。論文[12]則建立一個以因子分解機 為基礎的階層式因子分解機(Hierarchical Importance-Aware Factorization Machine, HIFM)模型，利用特徵權重的重要性與階層式學習，解決有時 間屬性的資料，以及使用者尚未有足夠初始資料的冷啟動問題，進而提 升點擊率的預測準確度。

本論文認為若能有效的將迴歸模型與因子分解機做結合，不僅能達 到快速預測點擊率，並能解決無初始資料帶來的冷啟動問題。

<3> 遷移學習 (Transfer Learning)

遷移學習的主要概念是希望透過已用大量資料學習好的模型參數，

套用到新的資料上做局部參數調整，這樣的好處是不須重新訓練新模型 中每個部分的參數，以下兩篇論文皆使用遷移學習來預測點擊率。

論文[3]認為展示型廣告在網路上可蒐集到使用者跟發佈商大量的 廣告資訊。要針對使用者給予廣告推薦，可透過常見的機器學習方法即 可達到目標。但是針對大量資料建立分類模型會造成計算成本的消耗，

因此該論文建立一種簡單而有效的遷移學習方法，利用較有價值的廣告，

意指廣告商願意投注在某則廣告上較多的資金，使用隨機梯度下降 (Stochastic Gradient Descent，SGD)與貝氏邏輯迴歸方法，將訓練出的模 型參數套用在初始價值較低的廣告預測模型上。該方法使用初始價值較 低的廣告資料，利用原模型的參數做調整，並使用正規化方法解決資料 稀疏造成權重參數訓練不均衡的現象。由該論文的實驗顯示，遷移學習 方法提升了初始價值較低的廣告點擊率，讓整體廣告價值提升，使廣告 商願意投注在廣告上較多的資金。

論文[18]則使用遷移學習方法，將數量較大的產品(稱為來源)所訓練 出的參數，用在數量較少的產品(稱為目標)

。

來源資料的特徵屬性分佈與目標資料的特徵屬性分佈懸殊，因此藉由遷 移學習方法，解決目標資料特徵屬性分佈不均，而造成模型訓練不夠完 善的問題。為了有效處理大量的廣告資料，該論文採用梯度下降(Gradient Information)跟 MapReduce 的機器學習方法來降低維度，以有效提升對於 目標產品點擊率的預測準確度。

由上述論文顯示，遷移學習的方法可解決資料稀疏問題。本論文認 為由於廣告的點擊率低，所以使用者點擊行為資料過於稀疏。若能利用 遷移學習的方法，將根據大數據學習好的模型參數，以引用到較少量的 分群資料調整其本身無法有效訓練的結果，進而可建構出適合分群資料 的模型，提升預測準確率。