第四章 實驗結果與分析
第三節 實驗結果分析
一、 演算法之參數調整
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
63
析，將 K 值設定為 10，對資料集進行 10 次的交叉驗證後對每個新聞類別各自調 整出最好之參數值。並以得到之決策樹規則及各類別決策樹參數值作為推薦模組 之設定對測試資料集進行推薦。
一、演算法之參數調整
本研究回收問卷取得樣本資料後，便將樣本資料輸入至使用者行為資料 庫，並運用之進行機器學習(見 3.2 節)。在進行機器學習過程當中調整各個參數 使此推薦模型能夠得到最高的 f-measure 表現。
I. 決策樹節點停止分割之純度門檻 Min_node_purity
在決策樹模組建立各類別新聞之決策樹時，須設定停止決策樹節點繼 續進行分割之條件，其中一個條件為最小純度之設定，當該節點的純度大 於中止運算最小純度之標準時，該節點則不繼續進行分割，成為葉節點，
不同的停止條件會使決策樹產出不同的規則，從而影響推薦模組的推薦準 確程度。圖 13 及表 19 顯示最小純度設定之下，推薦模型之推薦準確度。
(其他可變參數之設定，Min_suggest_score = 60 ，α = 0.2)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
64
圖 13、決策樹停止分割純度門檻之變化影響圖
表 19、決策樹停止分割純度門檻之變化影響表
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
65
由圖 13 可知，當中止節點分割的純度門檻超過 0.5 時，推薦模型之 precision 會略為下降，但 recall 之數值會開始大幅的提升，f-measure 在 純度門檻為 0.55 時達到最高值，之後 f-measure 開始下降直到純度門檻為 0.75 為止，純度門檻值大於 0.75 之後 f-measure 又開始提升。為了調整每 個新聞類別的決策樹使之皆有良好之表現，我們針對每個新聞類別之決策樹 找出最好類別之節點分割的純度門檻值(圖 14、表 20)，使每個類別之新聞 能擁有最佳之 f-measure 值。
圖 14、決策樹停止分割純度門檻對不同各類別新聞之變化影響圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
66
表 20、決策樹停止分割純度門檻對不同各類別新聞之變化影響表
II. 最終推薦分數之權重分配係數 α (alpha)
權重分配係數α (alpha)是在執行階段的決策模組中，決定新聞是否被推 薦的決策分數。在決策模組中會計算出最終推薦分數 Final_score，其組成是 由兩個得分依照比例所結合而成，決策樹評分模組中計算出的決策樹得分 Desiciontree_point 和 個 人 喜 好 體 驗 評 分 模 組 中 計 算 出 的 喜 好 體 驗 分 數 Exp_score。其運算方式是將決策樹得分 Desiciontree_point 和喜好體驗分數 Exp_score 分別乘上 1-α 以及 α 之後相加而成。其中 α 介於 0 到 1 之間，用 以調整最終推薦分數之來源比例。
Final_score = α × Exp_score + (1 − α) × Desiciontree_score
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
67
圖 15 及表 21 分別顯示設定不同 α 值之下系統之推薦準確程度。(其他 可變參數，Min_suggest_score = 50 )
圖 15、權重分配係數 alpha 值之變化影響圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
68
表 21、權重分配係數 alpha 值之變化影響
透過圖 15 可以得知 α 值越大對於推薦結果之precision 有降低之趨勢，
對 recall、f-measure 則有提升之趨勢，當 α 值等於 0.5 時，本推薦模組可 以取得最高之 f-measure 值。此數據顯示當推薦分數的分數組成比例，若是 決策樹得分 Desiciontree_score 較高的話，本推薦模型推薦出的錯誤率會降 低，但相對會有些使用者喜歡的新聞較無法被推薦出來。推薦量也會相對降 低可推薦出較多使用者喜歡之新聞，但相對也會推薦較多錯誤的新聞。反之，
若使用者喜好體驗分數Exp_score 的比例較高的話，推薦模型可推薦出較多 使用者喜歡之新聞，但相對也會產生較多錯誤推薦的狀況。以下之圖表(圖 16、表 22)為各個類別決策樹於不同 α 值之表現情形。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
圖 16、權重分配係數 alpha 值對各類別新聞之變化影響圖
表 22、權重分配係數 alpha 值對各類別新聞之變化影響表
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
70
III. 推薦門檻 Min_suggest_score
前段提到最終推薦分數 Final_score 構成成分比例之調整，本推薦模組 在計算出最終推薦分數Final_score 之後，會比對推薦門檻 Min_suggest_score，
若最終推薦分數 Final_score 大於推薦分門檻 Min_suggest_score，則推薦該 則新聞，反之則反。在此，我們分析最小推薦分數Min_suggest_score 的數值 對推薦模型的推薦結果之影響。圖 17 及表 23 顯示不同的 Min_suggest_score 值對於推薦模型的f-measure 之影響。
圖 17、推薦門檻 Min_suggest_score 值之變化影響圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71
表 23、推薦門檻 Min_suggest_score 值之變化影響表
在最小推薦分數Min_suggest_score 小於 85 的狀況之下，數值越高時，
推薦模型會有越高的precision，但相對也會降低 recall 的值。實際運用此模 型進行推薦時可以評估需求來調整最小推薦分數Min_suggest_score，若是想 要盡可能的推薦新聞且推薦錯誤較不會影響使用者的情況之下，可以將最小 推薦分數 Min_suggest_score 設定較低的數值，反之，若是更重視推薦準確 度以及希望降低錯誤推薦率，則可以將其設為較高的數值。本實驗重視 precision 及 recall 之平衡，使推薦之結果具有一定的準確性同時亦可推薦出 大部分使用者會喜歡之內容，因此選擇有較佳 f-measure 表現之推薦門檻，
圖 18 及表 24 顯示各個決策樹於不同推薦門檻值之f-measure 表現。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
72
圖 18、推薦門檻 Min_suggest_score 值對各類別新聞之變化影響圖 表 24、推薦門檻 Min_suggest_score 值對各類別新聞之變化影響表
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
73
本研究希望推薦模型能同時兼具精確率以及召回率的數值，如此讓使用者能 夠同時取得大部分其有興趣之內容，亦可以不收到過多不喜歡的內容。為達此目 標，我們使用f-measure 作為調整參數值之標準。
另外，本研究在實驗中發現，各類別新聞彼此之間對於參數的配置並無一致 性，同樣的參數配置並不會對所有類別的推薦都有最佳之 f-measure 值。為了使 推薦模組能夠有最好的推薦結果，本實驗對所有類別之停止分割純度門檻、
Min_node_purity 最終推薦分數之權重分配係數 α、推薦門檻 Min_suggest_score，
分別取得最佳f-measure 值之組合。以此組合作為實驗階段之參數組合(參數 1、
2、3)。
Min_node_purity𝑖 , 1 ≤ 𝑖 ≤ 8 (1 α𝑗 , 1 ≤ 𝑗 ≤ 8 (2
Min_suggest_score𝑘 , 1 ≤ 𝑘 ≤ 8 (3
二、實驗結果分析
I. 使用者資料樣本數之影響
本研究欲測試在分析不同的使用者行為資料樣本數的情況下，推薦模型 所推薦出的結果。我們以程式隨機抽取各個使用者的資料集合成四個資料集，
每當完成一個資料集之後，被抽取到的資料完之後再放回有資料當中，即每 個資料集本身不會有重複的使用者資料，但資料集彼此之間可能會有重覆資 料 ， 因 可 重 複 使 用 。 四 個 資 料 集 之 的 使 用 者 行 為 資 料 數 目 分 別 為 50,100,200,300,432，建立完資料集之後，針對每個新聞類別本實驗皆設定 上一節所求得之最佳參數組合。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
74
圖 19、推薦模型對不同數量測試資料之推薦表現圖
表 25、推薦模型對不同數量測試資料之推薦表現
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
75
由圖 19 可得知，雖然本實驗建構之推薦模型在對於各數量之樣本進行推薦 時，推薦結果之f-measure 略有不同，但 f-measure 均可達到大約 0.8。代表本 實驗正確推薦比率以及召回率可以同時達到一個不錯比例，能同時對使用者進 行準確的推薦並推薦出大部分使用者會喜歡之新聞內容。此數據結果也顯示本 推薦模型有足夠的穩定度以及推薦的準確性。
II. 各決策樹之推薦表現
在進行實驗過程當中，本研究發現在推薦不同類別的新聞時，每種新文 類別有其各自最適合的分數配置比例，各類別彼此的參數配置不盡相同。舉 例來說，在藝術與文化(Art and Culture)類別當中，透過決策樹結果進行推薦可 以有較好的f-measure 值，然而在設計(Design)類別當中，單純透過新聞的體 驗進行推薦則會有較佳的 f-measure 值。由此可知，雖是同樣的推薦模型但 是對各個新聞類別之表現會略有不同。圖 20 及表 26 顯示本實驗針對不同的 新聞類別進行不同的參數配置，所得的各類別新聞推薦結果。
‧
CultureDesign Sports Health Entertainment Travel Family Food All
precision 0.55 0.58 0.8 0.84 0.51 0.82 0.73 0.82 0.71 recall 1 1 0.98 0.99 0.98 1 1 0.99 0.99 f-measure 0.7097 0.7342 0.8809 0.9089 0.6709 0.9011 0.8439 0.897 0.8269
在八種新聞類別的推薦中，本實驗模型在體育(Sports)、健康(Health)、旅遊 (Travel)、親子(Family)、以及美食(Food)類別的新聞推薦皆能得到超過 0.84 的 f-measure 值，藉此結果我們可了解到以使用者喜歡之體驗作為推薦的依據，能夠 有效的推薦合適的新聞給予使用者。
而在文化藝術(Art and Culture)、設計時尚(Design)、影視娛樂(Entertainment)類別 本推薦模組則相對表現得較不像上述五類之新聞卓越，本推薦模型推薦此三類新 聞的 f-measure 值分別為 0.7097、0.7315 以及 0.6577。本研究推測，在這三類
0
precision recall f-measure
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
77
的新聞當中，在影響使用者喜歡新聞與否之因素中，體驗占一定的因素，但除了 新聞的體驗，新聞主題層面的影響較其他類別之新聞更大。本研究希望往後之就 加入主題層面的推薦參數以強化此部分之推薦。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
78