第六章 實驗評估與討論
6.4 階層式推薦架構之效果分析
6.4.1 測試資料
頻率式邊權重值計算方法中𝒔𝒄𝒐𝒓𝒆(𝒅𝒌, 𝒒)為查詢字與物件的關聯程度，由於 我們無法實際從搜尋引擎取得此值，因此本論文方法使用卜瓦松分布隨機變數作 為𝒔𝒄𝒐𝒓𝒆(𝒅𝒌, 𝒒)，我們假設𝒔𝒄𝒐𝒓𝒆(𝒅𝒌, 𝒒)值的分布近似於卜瓦松分布，我們參考
56
Knuth3所提出的產生卜瓦松分布隨機變數之演算法，產生|T|個隨機變數來模擬 𝒔𝒄𝒐𝒓𝒆(𝒅𝒌, 𝒒)，作為我們計算頻率式邊權重值的資料。
6.4.2 實驗基準比較方法
由於本論文處理的資料規格以及目標在相關研究領域中，就我們最大的認知 上是找不到可以在相同立足點進行比較的研究方法，因此，選擇 LDA 演算法作 為我們接下來的實驗中比較的基準方法，以 LDA 稱之。LDA 的主要功能是將資 料分群，為了符合本論文產生階層式推薦架構的目的，我們設定 LDA 的分群數 為本系統所挑選出的主題查詢字詞數目 n，並擷取各分群結果中各群排序第一的 單字作為 LDA 的主題查詢字詞。選出 LDA 的主題查詢字詞之後，為了產生第 二階層的次主題查詢字詞，因此針對每一個主題查詢字詞，將其涵蓋的物件內容 作為我們一個新的資料集，並再次使用 LDA 演算法將此資料集分群，分群數量 則是依據 5.2 小節中提到的第二層推薦數量分配法 Sainte-Laguë method 來決定，
依照挑選主題查詢字詞的方式，一樣選擇各群中排序第一的單字作為推薦字詞的 內容，將此單字與其對應的主題查詢字詞組合在一起成為一個次主題查詢字詞，
根據這樣的做法便能夠幫 LDA 產生一個階層式推薦架構。另外，需要注意的是，
挑選各群排序第一的單字時，若為查詢字則忽略並考慮下一個排序的字。
我們採用的實驗資料如 6.1.1 小節所述，查詢測試資料則是如 6.3.1 小節描述，
來自 TREC 的 150 筆查詢。使用 6.2 小節中敘述的涵蓋率、重複率及選擇率等三 種方式對擴展查詢字詞進行效果評估。
3 http://en.wikipedia.org/wiki/Poisson_distribution#Generating_Poisson-distributed_random_variables
57
topCoverage with L2 topCoverage
Top50 Coverage
LDA M_PhRank
58 查詢字的推薦結果之 TopCoverage 分布，在高涵蓋率的數值線上 M_PhRank 的分 布比 LDA 多一些，整體分布來說 M_PhRank 的資料分布較集中偏上，LDA 則較
test query's ID
Top50 Coverage with hierarchy
LDA M_PhRank
59
60
6.4.4 實驗結果討論
從上述實驗評估分析中本論文所提出的方法，M_PhRank 明顯優於 LDA，
無論是在選擇率、重複率或是對查詢結果關聯度高的物件之涵蓋率都勝過 LDA，
其中次主題查詢字詞對於查詢結果關聯度高的物件涵蓋率雖然不及 LDA 但能夠 提供語意明確的次主題查詢字詞，這是因為我們使用語意式邊權重值計算任兩單 字的關係程度，並使用隨機漫步演算法評估單字在關係圖中的重要程度，相較於 LDA 只是單純對資料集進行分群，通常各群排序第一的單字都是概念廣泛的，
造成 LDA 最後組合出的次主題查詢字詞具有較高的涵蓋率，語意方面卻也不夠 明確的缺點。我們認為語意明確對於使用者而言是比涵蓋率重要的，因此次主題 查詢字詞的對於查詢結果關聯度高的物件涵蓋率低於 LDA，不足以代表整體的 推薦效果。