3. 企業部落格之自動化分類與推薦方法
4.4. 實驗結果與評估
4.4.1. 分類
分類實驗先由部落格管理人員，根據企業需求定義，事先定義類別，再於各類中 挑選100筆文章作為實驗訓練資料，經部落格管理人員針對企業需求、部落格平台目前 資料分析後，共取得有效分類16類如下表所述。在隨機於各類別文件選取40篇作為測 試資料進行實驗。
表 4–1 部落格有效分類表
Type Category Type Category
Company-OU 經濟動態
Company-BU 面板產業動態
Company-IU-HR
外部環境相關
太陽能產業動態
Company-TU 商業企管
Company-IU-FIN 智權
Company-IU-IT Green
Company-IU-Q 休閒育樂
內部流程相關
Company-IU-ESH
企業管理面向
、其他
旅遊美食
46
Company-IU-LG 消費生活
- 健康醫療
實驗結果如下：
表 4–2 分類實驗結果
Type Category TrainData Exp Data Err Correct Company-OU 100 40 7 33 Company-IU-HR 100 40 8 32 Company-TU 100 40 7 33 Company-IU-IT 100 40 4 36 Company-IU-Q 100 40 5 35 內部流程相關
Company-IU-ESH 100 40 6 34
經濟動態 100 40 8 32
面板產業動態 100 40 4 36
外部環境相關
太陽能產業動態 100 40 2 38
商業企管 100 40 11 29
智權 100 40 2 38
Green 100 40 6 34
休閒育樂 100 40 6 34
旅遊美食 100 40 8 32
消費生活 100 40 7 33
企業管理面向
、其他
健康醫療 100 40 6 34
Total 16 1600 640 97 543
84.84%
640
Pr
ecision 543
4.4.2. 推薦
本研究以企業部落格之以2009/01月之部落格資料為推薦訓練資料，2009/02之部 落格資料作為測試資料。在社群分析過程中，部份目標使用者與其他使用者間的相似 度皆低於門檻值，沒有被分到任何知識社群中，故系統也不會產生推薦清單，此類使 用者系統將隨機推薦文件作為系統推薦清單。
表 4–3 推薦實驗資料
項目 訓練文件 實驗文件 筆數 964 876
項目 使用者
人數 30
本研究實驗過程中需要設定幾個參數，部分為實驗中動態參數，部分參數為參考 文獻最佳值、經過實際實驗測試取得下列最佳值，以進行後續研究分析：
1. 特徵檔之特徵詞個數：30。
2. β：複合使用者相似度中，使用者屬性相似度所佔之比例，為實驗中動態參數。
本實驗使用四組參數，β=0、β=0.2、β=0.3、β=0.4。
3. Clique分群使用者相似度門檻：0.4。
4. α：混合式過濾推薦法中，內容式推薦法所佔之比例，為實驗中動態參數。本實 驗使用十一組參數，α=0、0.1、0.2、0.3、0.4 … 0.8、0.9、1。
實驗結果如下：
48
本次實驗針對本文所提出之四種方法，搭配兩動態（α、β）參數，取30位使用 者進行系統推薦實驗分析。以此30位使用者於2009/01點閱2009/01發布之文件紀錄作 為訓練資料，此30位使用者於2009/02點閱2009/02發布之文件記錄作為測試評估依 據。將系統針對30位使用者推薦清單，排除推薦清單中有使用者未曾拜訪過之部落格 所屬文件、無權限文件，每位使用者取Top 20推薦清單進行Precision評估，獲得下列 結果：
（一）Precision – CMS：
CMS Precision
0.6867
0.6150 0.6483
0.6017
0.3 0.4 0.5 0.6 0.7
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
α (hybrid recommedation - α presents content based ratio)
Precision
CMS(β=0) CMS(β=0.2) CMS(β=0.3) CMS(β=0.4)
圖 4–1 Precision–CMS
圖4-1為使用CMS方法進行推薦的準確率整體分析，整體表現受使用者屬性相似 度參數（β）影響最大，當β=0.3時（即使用者屬性相似度為0.3、興趣相似度0.7情 況下），使用CMS整體表現最好，且配合α=0.3（即內容式推薦比例為0.3、協同式推 薦比例為0.7情況下）出現Precision最佳值0.6867。β=0.2時搭配不同α比例整體表
現線形和β=0.3相似，都是在α=0.3表現最好，但整體表現都較β=0.3差。另外實驗 發現，當β=0.4時，整體Precision隨著推薦方法中之協同比例提高（α遞減）卻持續 下降至約0.4。β=0為完全採用使用者興趣相似度做推薦分群依據，整體Precision表 現受協同比例提高（α遞減）稍微提高後即漸漸下降，線型較為平穩，Precision僅較 β=0.4好。
由上分析可得知，CMS整體Precision表現受使用者屬性相似度參數（β）影響較 大，當完全使用使用者興趣相似度分群，30人中會有8人沒有任何與其相似度高於門檻 值0.4之相似使用者，故沒有參與任何知識社群，推薦清單為隨機推薦，當β提高至0.3 時，未被分群人數降至3人，故降低隨機推薦人數而提高準確率。但當β提高至0.4時，
分群後之知識社群知識興趣相似度大為降低，反而導致群內知識興趣散亂不集中，整 體推薦Precision大幅下滑。內容式過濾推薦參數比例（α）表現受分群結果影響，整 體而言混合式過濾推薦方式較單一（內容式、協同式）過濾推薦Precision高，且須搭 配有加入使用者屬性相似度分群結果，提高協同推薦比例較能提升Precision。
（二）Precision – CIMS：
50
CIMS Precision
0.6017 0.6200
0.6317 0.6600
0.3 0.4 0.5 0.6 0.7
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
α (hybrid recommedation - α presents content based ratio)
Precision
CIMS(β=0) CIMS(β=0.2) CIMS(β=0.3) CIMS(β=0.4)
圖 4–2 Precision–CIMS
圖4-2為使用CIMS方法進行推薦的準確率整體分析，整體表現受使用者屬性相似 度參數（β）影響最大，當β=0.3時（即使用者屬性相似度為0.3、興趣相似度0.7情 況下），使用CIMS整體表現最好，且配合α=0.3（即內容式推薦比例為0.3、協同式推 薦比例為0.7情況下）則出現Precision最佳值0.66。β=0.2時搭配不同α比例整體表 現線形和β=0.3大致相似，當α=0.4表現最好為0.6317，整體而言表現都較β=0.3差。
當β提高至0.4時，整體Precision隨著推薦方法中之協同比例提高（α遞減）卻持續 下降至約0.4。β=0為完全採用使用者興趣相似度做推薦分群依據，整體Precision表 現受協同比例提高（α遞減）先提高後即漸漸下降，當α≧0.5時期表現與β=0.2相近，
整體Precision僅較β=0.4好。
由上分析可得知，CIMS整體Precision表現受使用者屬性相似度參數（β）影響 較大，主要為增加使用者屬性相似度比例來計算分群依據之相似度，可減少未被分群
使用者數，故降低隨機推薦人數而提高準確率。但過高之使用者屬性相似度參數（β）
比例（0.4），反而會使分群後之知識社群知識興趣相似度大為降低，導致群內知識興 趣散亂不集中，大幅降低整體推薦Precision。內容式過濾推薦參數比例（α）表現受 分群結果影響，整體而言混合式過濾推薦方式較單一（內容式、協同式）過濾推薦 Precision高。
（三）Precision – UWMS：
UWMS Precision
0.6017 0.6183
0.6567 0.6950
0.3 0.4 0.5 0.6 0.7
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
α (hybrid recommedation - α presents content based ratio)
Precision
UWMS(β=0) UWMS(β=0.2) UWMS(β=0.3) UWMS(β=0.4)
圖 4–3 Precision–UWMS
圖4-3為使用UWMS方法進行推薦的準確率整體分析，整體表現受使用者屬性相 似度參數（β）影響最大，當β=0.3時（即使用者屬性相似度為0.3、興趣相似度0.7 情況下），使用UWMS整體表現最好，且配合α=0.2（即內容式推薦比例為0.2、協同式 推薦比例為0.8情況下）出現Precision最佳值0.6950。β=0.2時搭配不同α比例整體 表現線形和β=0.3相似，α=0.3時表現最好，整體表現都較β=0.3差。當β提高至0.4
52
時，整體Precision隨著推薦方法中之協同比例提高（α遞減）卻持續下降至約0.4。
β=0為完全採用使用者興趣相似度做推薦分群依據，整體Precision表現受協同比例提 高（α遞減）稍微提高後即漸漸下降，線型較為平穩，Precision僅較β=0.4好。
由上分析可得知，UWMS整體Precision表現受使用者屬性相似度參數（β）影響 較大，透過調整使用者屬性相似度參數（β）比例可影響分群結果與群內使用者知識 興趣集合，可能降低未被分群隨機推薦使用者提高Precision，亦可能導致分群後之知 識社群知識興趣相似度大為降低而降低Precision。內容式過濾推薦參數比例（α）表 現受分群結果影響，整體而言混合式過濾推薦方式較單一（內容式、協同式）過濾推 薦Precision高，且須搭配有加入使用者屬性相似度分群結果，提高協同推薦比例較能 提升Precision。
（四）Precision –UWIMS：
UWIMS Precision
0.6250 0.6017
0.6433 0.6817
0.3 0.4 0.5 0.6 0.7
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
α (hybrid recommedation - α presents content based ratio)
Precision
UWIMS(β=0) UWIMS(β=0.2) UWIMS(β=0.3) CMSMS(β=0.4)
圖 4–4 Precision–UWIMS
圖4-3為使用UWIMS方法進行推薦的準確率整體分析，整體表現仍受使用者屬性 相似度參數（β）影響最大，當β=0.3時（即使用者屬性相似度為0.3、興趣相似度 0.7情況下），使用UWIMS整體表現最好，且配合α=0.2（即內容式推薦比例為0.2、協 同式推薦比例為0.8情況下）則出現Precision最佳0.6817。β=0.2時搭配不同α比例 整體表現線形和β=0.3相似，整體表現仍較β=0.3差。當β提高至0.4時，整體 Precision隨著推薦方法中之協同比例提高（α遞減）快速下降。β=0時在α≧0.6表 現與β=0.2相近，隨協同比例越提高（α遞減），Precision反而開始下降。β=0.4時，
整體Precision隨著推薦方法中之協同比例提高（α遞減）卻持續快速下降。
由上分析可得知，UWIMS整體Precision表現受使用者屬性相似度參數（β）影響 較大。內容式過濾推薦參數比例（α）表現受分群結果影響，整體而言混合式過濾推 薦方式較單一（內容式、協同式）過濾推薦Precision高。
（三）整體方法評估：
根據上述各實驗後，我們整理整體推薦方法評估如圖4-5、圖4-6可得下列分析：
1. 加入使用者屬性相似度計算使用者相似度進行分群，影響到整體多社群分析後的分 群的結果。可解決部分協同式推薦中使用者Cold Start 問題，提高推薦整體 Precision。但是並非每一知識領域都和使用者屬性有絕對相關性，故本研究發現，
在加入個人屬性檔相似度概念後，部分使用者出現系統所推薦清單Precision降低的 現象，群內的使用者不見得完全都是擁有相同知識興趣領域，部分是因為個人屬性 相關，故目標使用者運用群內相似鄰居進行「興趣分數」預測時會受到此類鄰近使
54
用者影響。故過高的使用者屬性相似度比例，會造成社群知識興趣不集中，降低推 薦整體Precision。
2. 混合式推薦可較單一內容式推薦或是單一協同式推薦提高Precision，透過協同推薦 機制，可發現目標使用者未察覺之興趣知識，擴大目標使用者知識興趣領域。
3. 多加入相似使用者於社群權重，可在進行推薦時，將與該社群知識興趣越相近之相 似使用者推薦影響力提高，由CMS與UWMS比較與CIMS與UWIMS比較可看出，
的確可提高整體推薦Precision。
4. 多考量相似使用者「興趣指數」，比較圖4-5中CMS與CIMS，CIMS於協同部分多考 量相似使用者對該文件的「興趣指數」，使得整體內容式推薦比例增加，CIMS整體 Precision較CMS低；UWMS與USIMS情況亦類似，相同β參數值分群結果下，多加 入考量相似使用者對該文件的「興趣指數」，會降低整體Precision。
圖 4–5 Precision - Total
最後，本實驗CMS、CIMS、UWMS、UWIMS四種方法都是在β=0.3分群情況下表現 最好，圖4.6整理了β=0.3時四種方法比較。四種方法在混合式推薦比例α為0.2、0.3 時都可有較好的Precision，故混合式推薦的確可以提高推薦Precision。四種推薦方 法Precision分別是UWMS＞CMS＞UWIMS＞CIMS，使用者權重最大分數法優於社群最大分 數法，多考量相似使用者之興趣指數會降低Precision。
圖 4–6 Precision – 4 methods comparison
Precision - 方法總評（β=0.3）
0.6867
0.6600 0.6950
0.6817
0.6017
0.6 0.7
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
α (hybrid recommedation - α presents content based ratio)
Precision
CMS CIMS
UWMS UWIMS