分群資料模型之效果評估

本實驗評估分群資料模型的效果，以四種不同類神經網路架構，比較分 群資料模型與全體資料模型的預測效果，以及分群資料模型判別方法的比較，

並採用加權平均準確度以及加權平均損失度的評估方法。

<1> 分群資料模型判別方法效果評估

本實驗採用章節 3.3 中提及的兩種分群資料模型判別方法，比較雅卡爾 相似分數群集法與餘弦相似分數群集法的效果，並採用 FwFMs 改良版為模 型建立架構，將分群數量設定為20，後續實驗會評估分群數量對預測效果的 影響。

由表 15 所示，雅卡爾分數群集法與餘弦相似度群集法在準確度上的差

異只有 0.1%左右，但對測試資料判別適用之分群模型的計算時間相差了

4700 倍，餘弦相似度群集法只需 37 秒，而雅卡爾分數群集法則需接近 2 天 以上的時間。

結果顯示此二種群集方法與 FwFMs 改良版在全體資料模型的準確度 76.40%上皆提升 0.6%與 0.73%，證明分群資料模型建立方法可有效提升廣 告預測準確度。因此，接下來的分群實驗皆採用餘弦相似度群集法。

表 15 分群模型建立時間與方法效果評估

分群方法 分群計算時間 準確度

雅卡爾分數群集法 190,664s ≈ 52hr 77.09%

餘弦相似度群集法 37.7s 77.23%

全體資料模型 ### 76.40%

<2> 群組數量之預測效果評估

本實驗採用FwFMs 模型改良版建立架構，採用餘弦相似度群集法建立 群組模型，比較分群的數量是否影響預測準確度。由表16 所示，實驗將資 料分群分別設為5、10、15 及 20，實驗結果顯示，當分群數量為 10 時，可 得到最佳分群效果，準確度為77.58%，損失度也達到最低，因此後續實驗 將群組分群數量設為10。

表 16 分群數量效果評估

分群數量 訓練時間 準確度 損失度

5 1463s 76.44% 47%

10 1485s 77.58% 46.34%

15 1455s 77.22% 46.57%

20 1540s 77.23% 46.61%

<3> 各群組模型預測效果評估

本實驗將資料分為 10 群，各群組的訓練資料與測試資料數量如表 17，

表 18 顯示分群資料套用在四種類神經網路架構上所學習的預測模型之預測 效果，所有的分群資料模型準確度都明顯較全體資料模型高，且損失度也有 明顯的下降。

 Single Field 模型在分群資料模型時相較於其在全體資料模型提升 1.18%。

 Cross Field 模型在分群資料模型時相較於其在全體資料模型提升 3.31%。

 Cross Field+MI 模型在分群資料模型時相較於其在全體資料模型提 升2.53%。

 Modified-FwFMs w/o Mi 模型採用自動學習權重，不透過固定互信 息值的設定。實驗顯示Modified-FwFMs w/o Mi 及 Modified-FwFMs 在分群資料模型皆比採用全體資料模型有更高的準確度。而採用互 信值固定的 Modified-FwFMs 模型比沒有採用互信息值固定的 Modified-FwFMs w/o Mi 模型準確度高 0.23%。

 論文[13]提出的 FwFMs 在分群資料模型時相較於其在全體資料模 型模型提升1.99%。

 Modified-FwFMs 模型在分群資料模型時相較於其在全體資料模型 提升1.18%，並且同時於全體資料模型及分群資料模型都能達到最 高的準確度。

表 17 各群組訓練資料與測試資料數量

訓練資料 測試資料

群組1 72,247 22,986

群組2 9,106 2,660

群組3 7,650 2,821

群組4 29,886 10,297

群組5 7,911 2,677

群組6 567 174

群組7 11,707 3,899

群組8 15,229 5,443

群組9 14,235 4,818

群組10 6,462 2,849

表 18 分群資料模型與全體資料模型於不同模型架構之比較

模型 全體資料模型 分群資料模型

準確度 損失度 準確度 損失度 訓練

時間 單 屬 性 模 型

(Single Field)

73.85% 51.26% 75.03%↑ 49.2% ↓ 733s

跨 屬 性 模 型 (Cross Field)

73.60% 51.05% 76.91%↑ 46.36%↓ 1069s

為了更有詳細分析分群資料模型的預測效果，本實驗採用 FwFMs 改良

70.07 72.64 73.75 77.27

70.44 72.71 74.06 77.58

65

-0.38 0.07 0.06 -0.04 2.3

為了顯示對測試資料，所選取的群組模型是最適合的，本實驗採用

圖14 顯示，本實驗採用全體資料模型所訓練出的權重，遷移學習到分群 資料模型，由實驗顯示，遷移學習效果於加權平均準確度以及多數群組資料 模型上的結果介於全體資料模型與分群資料模型之間，本論文認為遷移學習 是透過資料量較多為基礎訓練，運用重新調整某些部分的權重，使得群組模 型的學習上會達到更平衡的結果，由於上述的實驗提到群組6 的訓練資料與 測試資料量較少，因此無法有效果的選擇分群資料模型，如圖14 中群組 6，

透過遷移學習的方法，能有效提升群組6 資料量過少的群組準確度，解決資 料稀疏的問題。

圖 14 遷移學習模型架構比較

<4> 合成模型(Ensemble Model)之效果評估與比較

本論文將全體資料模型與分群資料模型進行調和，將資料模型分別計算 出的訓練結果，依比重值組合，將兩個資料模型的預測結果綜合判斷最後預 測結果，圖15 顯示，合成模型對各分群的加權平均準確度為 77.40%，介於 全體資料模型與分群資料模型的準確度之間，各群組的表現也得到類似的效 果。實驗顯示合成模型於全體資料模型的加權平均準確度高，其中準確度較 為顯著上升的為群組三與群組八，而這兩個分群是整體準確度相較於其他群 組為最低的，此實驗結果有待未來進一步探討。

圖 15 合成模型之效果比較

綜合以上實驗結果顯示，本論文提出的類神經網路模型架構 Modified FwFMs 能有效提升準確度，並於分群數量為 10 時達到最佳的效果。而建立 分群資料模型判別所採用的餘弦相似分數群集法，不僅能快速對大量資料計 算相似分數，並能達到有效分群效果以及效判別分群資料適用模型。透過遷 移學習的方法，能有效解決分群後資料過少的問題。透過合成模型的方法，

能有效的選擇該筆群組適合於全體資料模型或是分群資料模型。

第六章 結論與未來研究方向

本論文針對廣告點擊預測方法，提出以屬性權重因子分解機網路架構為 基礎的預測模型。本論文比較四種類神經網路架構模型:單屬性模型、跨屬性 模型、屬性權重因子分解機模型以及FwFMs 模型改良版。其中 FwFMs 模型 改良版，運用跨欄位互信息值固定類神經網路中部分權重值。由實驗結果發 現，以 FwFMs 模型改良版建立全體預測模型及分群預測模型，皆能達最佳 的預測準確度。全體預測模型於FwFMs 改良版模型架構，準確度可達 76.40%。

在分群預測模型中，採用四種類神經網路模型架構皆可提升準確度，最高可 達76.58%。

此外，本論文並對大量資料的資料分群提出兩種方法，分別是雅卡爾相 似分數群集法，以及餘弦相似分數群集法，用來對測試資料選取適用的分群 預測模型。由實驗結果驗證，兩種方法於分群資料模型的預測效果達到預期 的目標，其中採用餘弦相似分數群集法可快速且正確選擇分群資料模型。最 後，本論文並嘗試透過遷移學習的方法，解決分群後訓練資料量過少的問題。

本研究未來可進一步結合使用者購物或瀏覽行為，進行個人化廣告點擊 預測，並以協同式過濾方式，推薦相同類型使用者群組適合的廣告。

參考文獻

[1] Barbieri, N., Silvestri, F., & Lalmas, M. (2016). Improving Post-Click User Engagement on Native Ads via Survival Analysis. in Proceedings of the 25th

International Conference on World Wide Web(WWW).

[2] Chen, J., Sun B., Lu H., & Hua, X. (2016). Deep CTR Prediction in Display Advertising. in Proceedings of the 2016 ACM on Multimedia Conference(MM).

[3] Dalessandro, B., Chen, D., Raeder, T., Perlich, C., Williams, H. M. & Provost, F.

(2014). Scalable Hands-Free Transfer Learning for Online Advertising. in Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD).

[4] Edizel, B., Mantrach, A., & Bai, X. (2017). Deep Character-Level Click-Through Rate Prediction for Sponsored Search. in Proceedings of the 40th International

ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR).

[5] Graepel, T., Candela, J., Borchert, T., & Herbrich, R. (2010). Web-scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine. in Proceedings of the 27th International Conference on Machine Learning(ICML).

[6] He, X., Pan, J., Jin, O., Xu, T., Liu, B., Xu, T., Shi, Y., Atallah, A., Herbrich, R.,

Bowers, S. & Candela, J. (2014). Practical Lessons from Predicting Clicks on Ads at Facebook. in Proceedings of the Eighth International Workshop on Data Mining

for Online Advertising(ADKDD).

[7] Huang, Z., Pan, Z., Lin, Q., Long, B., Ma, H. & Chen, E. (2017). An Ad CTR Prediction Method Based on Feature Learning of Deep and Shallow Layer. in

Proceedings of the 2017 ACM on Conference on Information and Knowledge Management(CIKM).

[8] Ji, W., Wang, X. & Zhang, D. (2016). A Probabilistic Muliti-Touch Attribution Model for Online Advertising. in Proceedings of the 25th ACM International on

Conference on Information and Knowledge Management(CIKM).

[9] Juan, Y., Lefortier, D. & Chapelle, O. (2017). Field-aware Factorization Machines in a Real-world Online Advertising System. In Proceedings of the 26th International

Conference on World Wide Web Companion(WWW).

[10] Lee, K., Orten, B., Dasdan, A. & Li, W. (2012). Estimating Conversion Rate in Display Advertising from Past Performance Data. in Proceedings of the 18th ACM

SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD).

[11] McMahan, H., Holt, G., Sculley, D., Young, M., Ebner, D., Grady, J., Nie, L., Phillips, T.,
 Davydov, E., Golovin, D., Chikkerur, S., Liu, D., Wattenberg, M.,

Hrafnkelsson, A., Boulos, T. & Kubica, J. (2013). Ad Click Prediction: A View from the Trenches. in Proceedings of the 19th ACM SIGKDD International Conference

on Knowledge Discovery and Data Mining(KDD).

[12] Oentaryo, R., Lim, E., Low, J., Lo, D. & Finegold, M. (2014). Predicting Response in Mobile Advertising with Hierarchical Importance-Aware Factorization Machine.

in Proceedings of the 7th ACM International Conference on Web Search and Data Mining(WSDM).


[13] Pan, J., Xu, J., Ruiz, A.L., Zhao, W., Pan, S., Sun, Y. & Lu, Q. (2018). Field-weighted Factorization machines for click-Through Rate Prediction in Display Advertising. in Proceedings of the 2018 World Wide Web Conference(WWW).

[14] Ren, K., Zhang, W., Rong, Y., Zhang, H., Yu, Y. & Wang, J. (2016). User Response Learning for Directly Optimizing Campaign Performance in Display Advertising.

in Proceedings of the 25th ACM International on Conference on Information and Knowledge Management(CIKM).

[15] Richardson, M., Dominowska, E. & Ragno, R. (2007). Predicting Clicks:

Estimating the Click-Through Rate for New Ads. in Proceedings of the 16th

International Conference on World Wide Web(WWW).

[16] Shirkhorshidi, A.S., Aghabozorg, S., Wah, T.Y. & Herawan, T. (2014). Big Data Clustering: A Review. in Proceedings of International Conference on

Computational Science and Its Applications(ICCSA).

[17] Shah, P., Yang, M., Alle, S., Ratnaparkhi, A., Shahshahani, B. & Chandra, R. (2017).

A Practical Exploration System for Search Advertising. in Proceedings of the 23rd

ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD).

[18] Su, Y., Jin, Z., Chen, Y., Sun, X., Yang, Y., Qiao, F., Xia, F. & Xu, W. (2016).

Improving Click-Through Rate Prediction Accuracy in Online Advertising by Transfer Learning. in Proceedings of the International Conference on Web

Intelligence(WI).

[19] Wang, R., Fu, B., Fu, G. & Wang, M. (2017). Deep & Cross Network for Ad Click Predictions. in Proceedings of the ADKDD’17(ADKDD).

[20] Yang, H., Zhu, Y. & He, J. (2017). Local Algorithm for User Action Prediction Towards Display Ads. in Proceedings of the23rd ACM SIGKDD International

Conference on Knowledge Discovery and Data Mining(KDD).

[21] Yan, J., Liu, N., Wang, G., Zhang, W., Jiang, Y. & Chen, Z. (2009). How Much can Behavioral Targeting Help Online Advertising?. in Proceedings of the 18th

International Conference on World Wide Web(WWW).

[22] Zhou, K., Redi, M., Haines, A. & Lalmas, M. (2016). Predicting Pre-Click Quality for Native Advertisements. in Proceedings of the 25th International Conference on

World Wide Web(WWW).

[23] Zhai, S., Chang, K., Zhang, R. & Zhang, Z. (2016). DeepInttent: Learning Attention for Online Advertising with Recurrent Neural Networks. in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD).