第五章 研究結果
5.4 實驗結果
5.4.4 測試檢驗結果
以下說明依照不同的分類(性別、圈選限制條件、訓練樣本與受測樣本之分 佈)依序解說,於各細項中首先呈現變異數分析所得的 P 值表格,且依照精 確程度與回應率分別解釋。
1. 不同性別影響本推薦系統之精確程度與回應率的程度
表 21「不同性別之推薦精確程度與使用者回應率差異」之變異數分析(P-value)16
精確程度 回應率
P 值
性別 < 0.0001*** < 0.0001***
女性 A
不分性別 B
A
男性 C B
綜合表 21、表 22、表 23 顯示以性別作為分類的依據時,平均而言 系統預測女性樣本嗜好的精確程度比預測男性樣本佳;且有顯著的差 異。
同時,女性樣本對於推薦系統的回應率也遠比男性樣本高;且有顯著 的差異。
精確程度(precision)
ANOVA 檢定之 P 值顯示,推薦系統預測的精確程度之平均值因 性別而有顯著差異。
即系統針對女性樣本所做的推薦與針對男性樣本所做的推薦相較 之下,女性樣本所得到的推薦明顯地更為精確(推薦系統針對女性
16 使用不同的 A、B、C 代表在 ANOVA 成對比較中,被視為是不同的群體。亦即,在精確程度 部分,男性樣本、女性樣本與全部樣本兩兩之間有顯著的差異;而在使用者回應率部分,女性樣 本與全部樣本被視為是同一群、沒有顯著差異,但男性樣本則被視為與女性樣本有顯著差異。在 精確程度部分的 A 與在使用者回應率的 A 並不同義、是分開檢視的。
樣本之精確程度平均值較高);反之男性樣本所得到的推薦較為不 精確。
因此,當性別未知時,系統之推薦效果其精確程度預計將介於男 性樣本與女性樣本之間;表 22 呈現「推薦系統依據不同性別分類 所得之精確程度平均值」。
表 22「不同性別之推薦精確程度」之平均值
性別 精確程度平均值
女性 0.454
不分性別 0.429
男性 0.387
回應率(recall)
ANOVA 檢定之 P 值同時也顯示,因性別不同、使用者對於推薦 系統之回應率也有顯著差異。
即女性樣本之使用者回應推薦的程度較高、受推薦系統影響較深 (女性樣本之使用者回應率平均值較高)。反之男性樣本對於推薦系 統之回應率則遠遠低於女性樣本;並因此使得全部樣本受推薦系 統影響的程度較偏向女性樣本的行為。
因此,當事前系統無從得知使用者性別時,事後可能會有「女性 樣本對於系統推薦回應率較男性樣本高」的情形發生;表 23 呈現
「推薦系統依據不同性別分類所得之使用者回應率平均值」。
表 23「不同性別之使用者回應率差異」之平均值
性別 回應率平均值
女性 0.571
不分性別 0.564
男性 0.532
2. 不同限制條件影響本推薦系統之精確程度與使用者回應率的程度
表 24「不同圈選限制條件之推薦精確程度與使用者回應率差異」之變異數分析(P-value)
性別 P 值
不分性別 男性 女性
精確程度 <0.0001*** <0.0001*** < 0.0001***
回應率 0.0912 0.3576 0.0009**
綜合表 24 至表 30 共七張表,顯示無論性別分類為何,不同圈選限制 條件會顯著地影響系統推薦的精確程度。
但只有女性樣本會明顯地因為圈選限制條件的不同而影響對系統的回 應率。
精確程度(precision)
各性別分類之間其相同之處在於:精確程度平均值隨著圈選限制 條件越嚴謹而遞減。本研究中,當容許圈選之上限為八時,其精 確程度的平均值最高;當容許圈選之上限為三時,其精確程度的 平均值最低。性別分類之間之相異處在於:各精確程度之平均值 依然可被大略分群,其分佈並不一致、且或有重疊。
造成精確程度隨圈選限制條件越嚴苛而遞減可能因為當圈選限制 條件嚴謹造成樣本數降低,進而減少可用之訓練樣本數目與測試 的樣本數目;另一方面則單就每一份受測樣本中可使用之資料數 量(來源興趣類別的嗜好個數)減少,使得推薦系統從單一受測樣本 中可推測的目標興趣類別嗜好因此減少。
以下就性別分類分別說明推薦系統受圈選限制條件影響的精確程 度:
全部樣本
不同的圈選限制條件使推薦系統預測的精確程度之平均值有顯著 差異,即全部樣本顯示隨著圈選限制條件越寬鬆,使得推薦系統
的推薦有越精確的趨勢;表 25 呈現「推薦系統在不分性別下,依 據不同圈選限制條件所得之精確程度平均值」。
表 25「全部樣本針對不同圈選限制條件之推薦精確程度」之平均值
圈選條件限制 精確程度平均值
1~8 0.455
1~7 0.449
1~6 0.442
1~5 0.432
1~4 0.410
1~3 0.387
男性樣本
不同的圈選限制條件使推薦系統預測的精確程度之平均值有顯著 差異,即男性樣本顯示隨著圈選限制條件越寬鬆,使得推薦系統 的推薦有越精確的趨勢;表 26 呈現「推薦系統針對男性樣本,依 據不同圈選限制條件所得之精確程度平均值」。
表 26「男性樣本針對不同圈選限制條件之推薦精確程度」之平均值
圈選條件限制 精確程度平均值
1~8 0.414
1~7 0.404
1~6 0.402
1~5 0.387
1~4 0.373
1~3 0.342
女性樣本
不同的圈選限制條件使推薦系統預測的精確程度之平均值有顯著 差異,即女性樣本顯示隨著圈選限制條件越寬鬆,使得推薦系統 的推薦有越精確的趨勢;表 27 呈現「推薦系統針對女性樣本,依 據不同圈選限制條件所得之精確程度平均值」。
表 27「女性樣本針對不同圈選限制條件之推薦精確程度」之平均值
圈選條件限制 精確程度平均值 1~8 0.481 1~7 0.476 1~6 0.470 1~5 0.460 1~4 0.435 1~3 0.404
回應率(recall)
整體而言,男性樣本受推薦系統影響的程度不因圈選限制條件而 有顯著改變;但女性樣本則在不同圈選限制條件下,受推薦系統 影響的程度有明顯差異。
與「針對不同圈選限制條件之精確程度」平均值的明顯不同之處 在於:「針對不同圈選限制條件之使用者回應率」平均值的分佈 則並不依由「上限為三之圈選限制條件」遞增(或減)至「上限為八 之圈選限制條件」的狀況。
以下就性別分別說明其使用者對推薦系統的回應率狀況。
全部樣本
全部樣本對於推薦系統的回應率之平均值不明顯地受圈選限制條 件、沒有顯著影響,且無明顯地依序遞減情形發生。即全部樣本 不論圈選限制條件寬鬆程度為何,使用者受推薦系統影響的程度
相仿;表 28 呈現「推薦系統在不分性別下,依據不同圈選限制條 件所得之使用者回應率平均值」。
表 28「全部樣本針對不同圈選限制條件之使用者回應率差異」之平均值
圈選條件限制 回應率平均值
1~7 0.5674
1~8 0.5671
1~5 0.5664
1~6 0.5659
1~4 0.563
1~3 0.553
男性樣本
男性樣本對於推薦系統的回應率之平均值不明顯地受圈選限制條 件、沒有顯著影響,且無明顯地依序遞減情形發生。即男性樣本 不論圈選限制條件寬鬆程度為何,使用者受推薦系統影響的程度 相仿;表 29 呈現「推薦系統針對男性樣本,依據不同圈選限制條 件所得之使用者回應率平均值」。
表 29「男性樣本針對不同圈選限制條件之使用者回應率差異」之平均值
圈選條件限制 回應率平均值
1~6 0.537
1~7 0.5349
1~8 0.5346
1~4 0.5345
1~5 0.533
1~3 0.520
女性樣本
比之男性樣本而言,女性樣本在不同的圈選限制條件下,對於推 薦系統的回應率有顯著差異;且大致上區分為兩群。當女性樣本 圈選限制條件為上限為三與四時,其受推薦系統影響的程度是相 仿的;而圈選限制條件上限為四到八時,其使用者回應率比前者 相形增加、且視為另一群。
表 30 呈現「推薦系統針對女性樣本,依據不同圈選限制條件所得 之使用者回應率平均值」。
表 30「女性樣本針對不同圈選限制條件之使用者回應率差異」之平均值
圈選條件限制 回應率平均值 1~6 0.570 1~8 0.578 1~5 0.577 1~7 0.576 1~4 0.573 1~3 0.546
3. 不同的訓練與受測樣本分佈影響推薦系統之精確程度與使用者回應率
回應率(recall)
雖然女性不論分群細緻程度,其使用者回應率平均值依然高於男 性,但唯男性使用者會因分佈方式之不同而明顯地受到推薦系統 不同程度的影響(回應率)。
表 33 回應率因訓練與受測樣本分佈細緻程度而不同之平均值
性別
分群 男性 不分性別 女性
5 0.5380 0.5657 0.5772 4 0.5370 0.5618 0.5729 3 0.5272 0.5555 0.5693 2 0.5166 0.5483 0.5573