賣場文字評論內容自動面向摘要之研究

全文

(1)國立台灣師範大學資訊工程研究所碩士論文. 指導教授：. 柯佳伶. 博士. 賣場文字評論內容自動面向摘要之研究 Aspect Auto-Extraction Summary of Online Store Reviews. 研究生：蔡謹安中華民國. 107. 年. 撰 8 月.

(2) 摘要賣場文字評論內容自動面向摘要之研究蔡謹安線上商場中的評論通常包括對產品或賣家的敘述，但動輒好幾百條的評論，使用者不容易一一瀏覽這些評論內容。若能將上述的評論內容進行摘要總結，將會有助於使用者有效選擇產品。本論文對線上商場的評論建構一個判別評論屬於產品或商家描述的摘要系統，提出以三種類型特徵來建立分類模型。第一種是運用單詞 (unigram)頻率特徵，計算評論內所有字在各文字片段的 TF-IDF 值為特徵值。第二種是以主題模型分析，建立每個文字片段在不同主題數的程度值，作為每個文字片段的主題性特徵值。第三種則透過人為標註不同面向的文字片段內容，找出各面向中文字片段內卡方代表值高的字詞或利用 LDA 主題底下的字詞當作關鍵詞，再利用 Word2Vec 計算一個文字片段與各關鍵詞特徵的相似度值。分類後各類的文字片段以 LDA 分析結果做面向歸納，並將面向內的文字片段透過 Word2Vec 將語意相似的文字片段合併，進行摘要整理。實驗結果顯示關鍵字詞特徵在商家分類上有較好的分類效果，而主題性特徵結合關鍵字詞特徵在產品分類有較好的分類效果，能有效的區分出商家和產品的文字片段，而摘要結果則有助於使用者有效率瀏覽該商場的資訊。. 關鍵字:評論摘要、TF-IDF 特徵、主題特徵、關鍵字特徵 ii.

(3) ABSRACT Aspect Auto-Extraction and Summarization for Online Store Reviews by Jim-An Tsai Online Market reviews usually include descriptions about sellers or products, but it remains a lot of information that users can’t easily browse. If there has a system to summarize these reviews, it will help users choose products efficiently. In this thesis, we construct a system to summarize the snippets of market reviews about sellers or products. We use three types of features to build the classification model for distinguish seller reviews, product reviews, ans other reviews. The first one is the frequency of. unigrams. We. calculate TF-IDF values of every words in snippets as features. The second is the topic model features. The degrees of LDA topic models of each snippet form the. features. The. third one is the keyword features. Chi-square value test and LDA topic words are used to select the keywords.. Then, Word2Vec is used to calculate the similarity between a snippet. and each selected keyword to generate the feature values. After getting the snippets classified into seller reviews and product reviews, we use LDA analysis to cluster the snippets into topics of aspects. Finally, sematics-similar snippets in the same topic are combined according to their Word2Vec to generate the summarization. The result of. the. experiments shows that using keyword features achieves higher precision for classifing the seller reviews. To combine the topic model feature and keywords feature have better classification result for the product reviews. This system will help users browse the market review more efficiently.. Keywords:Review Summary、 TF-IDF feature、topic model feature、keywords feature. iii.

(4) 致謝能順利完成碩士學業與論文，首重要感謝我的指導教授‒柯佳伶老師。感謝老師細心與耐心地教導，讓我能夠完成此研究，並學習了許多面對事情的態度與思考解決問題的方法，真的非常感謝老師持續不懈的教誨，讓我受益良多。此外也感謝徐嘉連教授、吳宜鴻教授擔任我的口委，並且給予許多寶貴的意見，使我的研究能夠更加精進。感謝我的同學王涵和祺傑，在研究所的課業上不斷和我討論與指點，謝謝你們的幫忙。感謝實驗室內所有的夥伴怡慧、宸瑋、培豪、家儀、博文、士翰、修毅、雅雯、之瑄，在這段期間陪我一起討論與解決問題。尤其感謝博文在這最後一年與我一起奮鬥，總是給予我更多的幫助與討論，並且在口試前最後階段與我一起衝刺，讓我能夠確實的精進並完成論文。也感謝翊誠、明潔、盈翔在這段期間的幫忙與支持。感謝我的家人長久以來的支持與陪伴，因為有我家人的鼓勵，才能使我堅持到最後完成碩士學系，雖然路程上有許多坎坷，但你們始終全力的支持我完成碩士學業，縱使有千言萬語也無法表達我的感謝。另外也感謝我的朋友們，在我壓力大時陪我聊天與紓解壓力，謝謝你們。對於碩士這期間支持與陪伴我的人，在此獻上自己最大的感謝，因為有你們我才能順利走到這一步完成學業，謝謝大家。蔡謹安謹致於國立台灣師範大學資訊工程研究所 2018 年 8 月. iv.

(5) 目錄第一章緒論 .......................................................... 1 1.1. 研究動機 ........................................................ 1. 1.2. 研究目的 ........................................................ 2. 1.3. 研究範圍與限制 .................................................. 8. 1.4. 論文方法 ........................................................ 9. 1.5. 論文架構 ....................................................... 10. 第二章文獻探討 ..................................................... 11 第三章系統架構圖 ................................................... 14 一). 離線訓練 ..................................................... 14. 二). 在線預測和摘要 ............................................... 14. 第四章評論文字片段分類方法 ......................................... 16 4.1. 資料前處理 ................................................... 16. 4.1.1 資料來源擷取 ................................................... 16 4.1.2 資料來源前處理 ................................................. 16 4.2. 評論分類特徵 ................................................. 17. 4.2.1 單詞頻率特徵 ................................................... 17 4.2.2 主題模型特徵 ................................................... 18 4.2.3 關鍵詞特徵類型 ................................................. 20 4.3. 建立分類器 ................................................... 26. 4.3.1 定義評論類別 .................................................... 26 4.3.2 建立分類架構 .................................................... 27 4.3.3 建立分類器模型 .................................................. 28. 第五章評論面向摘要 ................................................. 29 5.1. 自動面向擷取 ................................................. 29. 5.1.1 產生主題面向字 .................................................. 29 5.1.2 擴展主題面向字 .................................................. 30. v.

(6) 5.2. 評論面向整理 ................................................. 31. 5.2.1 評論面向對應 .................................................... 31 5.2.2 評論摘要整合 .................................................... 32. 第六章實驗評估 ..................................................... 34 6.1. 實驗資料及特徵介紹 ........................................... 34. 6.2. 分類特徵效果評估 ............................................. 37. 6.3. 評論面向指定效果評估 ......................................... 50. 6.4. 評論摘要結果 ................................................. 55. 第七章結論與未來研究方向 ........................................... 58 7.1. 實驗資料及特徵介紹 ........................................... 58. 7.2. 未來研究方向 ................................................. 58. 參考文獻 ............................................................ 60 附錄一 .............................................................. 64. vi.

(7) 附圖目錄圖 1.1 產品賣場的買家評論.............................................................................. 4 圖 1.2 產品及商家的評論................................................................................... 6 圖 1.3 產品之產生面向的評論........................................................................... 7 圖 1.4 商家之產生面向的評論........................................................................... 7 圖 3.1 系統架構圖............................................................................................. 15 圖 4.1 LDA 輸入格式 ...................................................................................... 19 圖 4.2 兩階段分類架構..................................................................................... 27 圖 6.1 分類商家與非商家單一特徵分類模型 precision 結果(生髮水) ......... 37 圖 6.2 分類商家與非商家單一特徵分類模型 precision 結果(鞋子) ............. 38 圖 6.3 分類產品與”其他”單一特徵分類模型 precision 結果(生髮水) .......... 39 圖 6.4 分類產品與”其他”單一特徵分類模型 precision 結果(鞋子) .............. 40 圖 6.5 商家不同面向 Purity 值(生髮水) ......................................................... 53 圖 6.6 產品不同面向 Purity 值(生髮水) ......................................................... 53 圖 6.7 商家不同面向 Purity 值(鞋子) ............................................................. 54 圖 6.8 產品不同面向 Purity 值(鞋子) ............................................................. 54. vii.

(8) 附表目錄表 4.1 簡轉繁、斷句和斷詞結果................................................................... 17 表 4.2 TF-IDF 特徵範例 .................................................................................. 18 表 4.3 LDA 輸入格式範例 ............................................................................. 19 表 4.4 LDA 主題特徵範例 .............................................................................. 20 表 4.5 人為標註面向........................................................................................ 21 表 4.6 字詞出現分佈統計表........................................................................... 22 表 4.7 各字詞在面向句卡方代表值範例........................................................ 22 表 4.8 LDA 各主題底下字詞範例表 ............................................................. 24 表 4.9 評論分類定義和例子............................................................................ 26 表 4.10 不同商品商家與產品文字片段比較.................................................. 27 表 5.1 LDA 主題面向字範例表 ................................................................... 30 表 5.2 文字片段主題計數表........................................................................... 31 表 5.3 表 5.4 表 6.1 表 6.2 表 6.3 表 6.4. 文字片段對應面向範例....................................................................... 31 面向文字片段整合範例....................................................................... 33 人為標註面向個數表(生髮水) ............................................................ 35 人為標註面向個數表(鞋子) ................................................................ 35 特徵個數表格....................................................................................... 36 特徵結合組合在商家與非商家的分類 precision(生髮水) ................ 42. 表 6.5 特徵結合組合在商家與非商家的分類 precision(鞋子) .................... 42 表 6.6 特徵結合在產品及其他分類的 precision(生髮水) ............................ 43 表 6.7 特徵結合在產品及其他分類的 precision(鞋子) ................................ 43 表 6.8 七個面向分類 precision(生髮水) ........................................................ 45 表 6.9 七個面向分類 confusion matrix(生髮水)............................................ 46 表 6.10 七個面向分類 precision(鞋子) .......................................................... 47 表 6.11 七個面向分類 confusion matrix(鞋子).............................................. 48 表 6.12 採用 4 個面向之商家的歸類效果評估............................................. 51 表 6.13 採用 3 個面向之產品的歸類效果評估............................................. 51 表 6.14 採用 4 個面向之產品的歸類效果評估.............................................. 52 表 6.15 商家面向歸納文字片段(生髮水) ...................................................... 55 表 6.16 商家摘要(生髮水) .............................................................................. 57. viii.

(9) 第一章緒論 1.1 研究動機現在是多元資訊發展的時代，透過網際網路，人們可以很方便且隨時隨地的從網路商場購買物品。隨著時代的演進，許多物品販賣線上化雖然為人們帶來許多方便，但多樣化的商品卻也讓人們難以選擇商品，因此許多人希望根據過往買家的評論，來決定是否購買該商品。這些評論通常包括對產品或賣家的敘述，但動輒好幾百條的評論，使用者不容易一一瀏覽這些評論內容。此外，相關資訊分散在不同評論中，使用者無法在短時間內從評論中整理出該賣場商品整體的評價。此外，產品或商家評論中涵蓋許多不同面向的資訊，例如”落健生髮水”此項產品的評論中，過往不同買家可能對其效果、味道有個別的描述，使用者需耗費時間瀏覽他偏重的面向。若能為評論依面向產生摘要，就能讓使用者更有效取得資訊而減少瀏覽時間。因此，如何從這些為數眾多的評論中整理出簡要的內容，讓使用者可快速得到想要的資訊，以節省瀏覽時間，對電子商務是一個重要的需求。. 1.

(10) 1.2 研究目的如前一節所述，面對大量的評論結果，如何自動分類出每則評論中屬於產品、商家的敘述，並產生關於產品或商家評論的面向供使用者自行瀏覽，是一個值得研究的議題。本研究考慮以同一種產品在特定一個商家的評論作分析，一個商品的評論大多是針對該產品的效果跟商家的信譽來進行評價。舉例來說，如圖 1.1 所示，使用者以”落健生髮水”為查詢關鍵字，並選擇了”安安”此賣場，表示使用者想知道關於安安此賣場中落健生髮水的評論內容。本論文的研究目的是探討，如何自動區分出買家評論中關於產品與商家的敘述文字片段，並自動產生屬於產品評論或商家評論之文字片段的面向摘要技術，讓使用者可以更快掌握自己想要知道的資訊。如圖 1.1 所示，買家的評論非常雜亂，使用者難以快速掌握想要的資訊，所以在此先分類出產品跟商家的文字片段後，可得如圖 1.2 所示結果。另再由產品的文字片段找出”效果,味道”的兩個面向主題，並以括號代表相似文字片段次數，最後整理其文字片段如圖 1.3 所示。由商家的文字片段則可發現有″包裝″及″物流″兩個面向主題，並以括號代表相似文字片段次數，最後整理其文字片段如圖 1.4 所示。透過分類出產品與商家的文字片段，並對其文字片段再產生面向，提供使用者更快掌握自己想要的資訊，為本論文的主要研究目的。. 2.

(11) 產品: 生髮水. 商家: 安安賣場. 買家評論生薑洗髮水是可以改善脫髮的，我以前掉頭髮真的特別厲害，之後用了一瓶生薑洗髮水都不怎麼掉了，這次看到了琳家的洗髮水我很心動搭有活動我買了兩瓶，洗過之後感覺很不錯，挺容易沖洗的頭髮吹幹後摸著很舒服不會幹澀，而且我髮現這次地上都看不到頭髮了哈哈炒雞開心啊，以後就認准琳家的洗髮水了，改善油性髮質改善掉髮就選琳家生薑洗髮水！打開來了東東，比普通的洗髮液要稠，可以看到均勻的薑顆粒～很弄的生薑味道，效果還不知道，很期待，相信手工的東西，不會像那些個品牌貨一大堆的添加劑，簡單，天然～送了蘆薈洗髮水，很清香～. 今天晚上打開來用了，泡沫豐富，特意多揉了一會，還讓泡沫在頭髮上多待了兩分鐘才沖水，但是沒有像有的評價說的辣頭皮～不過沖了水之後頭髮澀澀的，還有小顆粒，必須用護髮素才行～洗了之後頭髮上還有淡淡的薑味～本人平時完全不吃薑的，聞到都討厭，但是這個味道還是可以接受的～會堅持使用，希望有效果～這是第二次購買了，包裝很嚴實，能清楚的看到里面的薑末顆粒，薑味很濃厚，. 3.

(12) 上一套用過後，效果非常好，洗後頭髮很蓬松，這次雙十二活動，毫不猶豫又買了兩套，在這里非常感謝老板送的洗髮水，還會回購的！寶貝已收到幾天了，特意洗兩次再來評價。在網上看了很多家，終於在小小琳家買了，洗髮水很好，洗的時候辣呼呼的，這是薑起的作用吧！挺好的，送的護髮素也很好，我主要是防脫髮的，希望達到想要的效果。還有琳的服務很好，耐心指導怎樣用才能達到最佳效果。洗髮水收到了，包裝精美，能看到洗髮水里面有很多細小的薑末顆粒，有淡淡的薑的清香。賣家贈送的蘆薈洗髮水氣味也很好，很滿意的一次購物。期待使用後的效果，效果好的話以後就都在你家買洗髮水了。洗頭水不錯，護髮素更好用，超滑啊，我三天不洗頭都滑著呢，而且我很多年換季有頭屑都少了，又不癢，冬天洗頭髮熱保暖?，真好，不過小心入眼，第二次購買！好評！雙 12 拍的，第二天就到了，物流很快！先不說效果如何，一看包裝就很專業！這樣子顧客看到就覺得是真的！打開後一股濃濃的薑味！先收藏下先用完這一瓶，如果覺得好，再買！日期很好！看到成分也很放心！無患子能祛痘… 圖 1.1 產品賣場的買家評論. 4.

(13) 產品: 生髮水. 商家: 安安賣場. 產品評論希望有效果～這是第二次購買了效果非常好止癢效果也特別好至於控油效果對我來說並沒有什麼特別效果非常好個人覺得是有效果的但是這個味道還是可以接受的～會堅持使用但是聞到薑的味道薑的味道挺濃的但有股很清香的味道味道好聞味道清香很有生薑的味道～配合護髮素一起用. 商家評論包裝很嚴實. 5.

(14) 包裝精美一看包裝就很專業包裝包裹的非常嚴實包裝完好老板包裝也很用心哦物流很快物流挺快的物流速度很快物流很給力圖 1.2 產品及商家的評論. (*)表出現次數. 產品面向字: 效果,味道. 效果面向評論摘要希望有效果～這是第二次購買了效果非常好(*2) 止癢效果也特別好至於控油效果對我來說並沒有什麼特別個人覺得是有效果的. 味道主題面向評論摘要. 6.

(15) 但是這個味道還是可以接受的～會堅持使用薑的味道挺濃的(*3) 但有股很清香的味道味道好聞圖 1.3 產品之產生面向的評論 (*)表出現次數. 商家面向字: 包裝,物流. 包裝主題面向評論摘要. 包裝很嚴實包裝精美一看包裝就很專業包裝包裹的非常嚴實包裝完好老板包裝也很用心哦. 物流主題面向評論摘要. 物流很快(*4) 圖 1.4 商家之產生面向的評論. 7.

(16) 1.3 研究範圍與限制由於買家的每則評論可能過長或過短，因此本研究將每則評論以標點符號(例如:’，’或’。’或’!’等)為基準切成文字片段，以文字片段為單位進行分析。並將研究目標放在如何分類出產品與商家的評論片段，並自動依面向組織。文字片段內錯別字的判斷並非在我們的處理範圍內，且探討的評論內容限定為中文。本論文研究範圍包括以下兩部分: 1) 如何自動分類出產品與商家的文字片段， 2) 如何從產品與商家句子中的文字找出評論面向，並依面向進行摘要整理。. 8.

(17) 1.4 論文方法本論文方法分為兩大部分:1) 如何分類出產品與商家的文字片段，2) 如何從產品與商家句子中的文字找出評論面向，並依面向進行摘要整理。關於區分評論中產品與商家的句子，本論文方法首先從賣場將評論擷取下來當作資料來源，接著將這些評論利用中研院的中文斷詞系統進行斷詞，並經過前處理步驟切割成文字片段。為了區分出每個文字片段類別的訓練資料，我們以人為標示出三種類別(商家、產品、其他)，並列出商家與產品的面向。接著針對商家與產品，以可區分不同面向的卡方測定(chi-squared test)值高的詞，挑選出來當作第一種關鍵字特徵。此外，將全部文字片段透過隱含狄利克雷分布(Latent Dirichlet allocation，簡稱 LDA)學習出主題特徵模型，也根據 LDA 分析結果，針對商家與產品再取出各主題出現機率較高的詞當作第二種關鍵字特徵。最後結合不同特徵以二階段建立分類器，提. 供產品和商家文字片段的自動分類預測。對產品或商家文字片段產生面向摘要方面，本論文方法先利用 LDA 找出文字片段中可代表面向的主題，將產生的主題下的詞當作面向詞，並取出面向詞中排序最高的詞當作主要面向代表詞。接下來，應用 Word2Vec 工具將 LDA 找出的面向詞擴展，解決面向詞過少的問題。之後將 LDA 的主題視為面向，並將文字片段分到相對應的面向中。而各面向中的多筆評論，會再利用 Word2Vec 工具將用字相似度高的評論合併在一起，最後呈現商家與產品各面向評論的摘要結果。. 9.

(18) 1.5 論文架構本論文以下章節內容如下:第二章說明文獻探討。第三章說明本論文研究方法與步驟。第四章說明評論片段之分類方法。第五章說明評論面向摘要方法。第六章以實驗評估本論文所提出之方法的執行效果。最後在第七章作總結並探討未來研究方向。. 10.

(19) 第二章文獻探討隨著時代的演進，網路上的資源與評論日漸增加，為了幫助使用者有效率瀏覽產品評論，有許多研究針對買家意見面向進行分析，從中找出重要的意見。與本論文相關的研究主要是屬於意見面向的擷取技術，以下將重點介紹。意見面向擷取主要目的在於希望找出產品評論內的面向，讓使用者快速了解產品之評論概要，省去大量瀏覽時間。根據[3]的描述，在評論中情感分析上可分成三個層級，分別是文件層級(Document-Level)、句子層級(Sentence-Level)和面向層級 (Aspect-Level)。文件層級與句子層級主要是判斷喜歡或是不喜歡的情感傾向，面向層級則是要找出文件或句子中對應情感詞(Sentiment)或是意見詞(Opinion)的敘述目標(Target)，又稱為特徵(Feature)。舉個例子說明，一則句子″客服回答親切″中過往做法都會直接抓取″親切″來表達該句子是則正面的句子，這件事就是屬於文件層級和句子層級的目標。不過在面向層級，則可能會是擷取出″客服″及″親切″兩個字詞，來表達出這則句子其實是在說明關於一個屬於該商家的″態度″這面向的事情。[3]定義了面向，而本篇論文就是希望在商場評論中擷取出屬於賣家和產品各面向的文字片段，並為這些文字片段作出摘要整理。底下會講述兩種方法來描述在三個層級中過往論文的做法: <1> 頻率和詞性標記方法. 11.

(20) 早期[18][14][4][12][13][6]在意見面向探勘上面都是以擷取出高頻率的名詞或名詞片語當作面向，或是以文字之間的關係性(詞性)去找出代表性的文字當作面向。底下會各自對頻率和關係性方法提出一個代表性論文: [13]提出使用 TF-IDF 的方式衡量不同字詞在文件層級或句子層級中的重要性，並找出重要的字詞，再由這些字詞去去作正反面意見評論總結。本論文參照了此論文所使用的 TF-IDF 方法建立本論文的基本比較方法，不過我們會在面向層級來擷取重要的面向詞。 [6]提出以詞性標記(Part-of-Speech tagging)的方式去對評論的文字產生詞性，並針對這些詞性利用關聯性規則探勘的方式去找出面向字，舉個例子來說明，假設評論為”great camera”，而此評論被標記為”great(ADJ) camera(NN)”，ADJ 為形容詞， NN 為名詞，則[6]的規則會將其標記為”great(ADJ) [aspect](NN)”，藉此得出 camera 為一個面向詞。但[6]的此種方式會找出許多評論內不相關的字詞當作面向詞，故本篇論文並無採用此種方式取面向詞，因為本篇論文著重在分類文字片段，如果過多不相關的面向詞干擾，會導致文字片段分類的不佳。 <2> 特徵模型方法特徵模型的方法主要可分為監督式學習[20][21][1][7][15][23]和主題模型技術 [5][8][17][11]，監督式學習通常會以隱馬爾可夫模型(Hidden Markov Model)和條件隨機域(Conditional Random Field)為主，而主題模型則會是以 Probabilistic latent semantic analysis (PLSA)和 Latent Dirichlet allocation(LDA)為主。. 12.

(21) [21]發表了一個架構於 HMM 模型的系統，稱之為 Opinion Miner，此篇論文主要目的在於辨識出評論中面向詞、情緒詞和情緒詞的正反面傾向。此篇論文也定義出何謂明顯和非明顯傾向的意見詞，並且結合了 POS tagging 技術和 HMM 方法來找出哪些字屬於面向詞和情緒詞，並且針對情緒詞的傾向也做出歸類。 [1]利用了 CRF 模型去找出產品評論的面向詞，此篇論文在將文字丟入 CRF 模型去做預測時，會先將文字分成屬性詞與非屬性詞，並為這些詞去做人工標註，其標註的內容會參考[21]的傾向定義。 [21][1]論文都有利用到人工標註，而為了使本論文訓練模型時更好，本篇論文也會採取相同的方式，但會利用到[2]的架構概念跟本篇論文資料的特性，讓屬於商家類別的句子只需要人工標註一次，之後只需要透過該模型去分辨商家句子，大幅減少人工標註的時間。 [9][22]都有利用到以上兩種方法來建立面向摘要系統。[9]是針對中文新聞的內容自動擷取出面向事實，主要目的是針對報導疾病相關的新聞文章進行面向擷取。因為報導中可能會陳述多種面向事實，所以[9]會將報導內的面向事實擷取出來，並透過語意三元詞組將這些面向事實句以結構化的方式整理出來。[22]是針對網頁搜尋結果進行重要面向摘要整理，其將大量的查詢回傳結果自動整理出重要的面向資訊，分成一般面向和面向事實。一般面向泛指對查詢的基本描述或說明，而面向事實則為查詢在指定主題上的重要事實內容。擷取出此兩種面向的句子後，分別對一般面向和指定面向進行摘要整理。. 13.

(22) 第三章系統架構圖. 本系統處理架構圖如圖 3.1 所示，評論分類方法分成離線訓練(Offline training) 以及在線預測和摘要(Online prediction & summarization)，各處理模組的說明如下。. 一) 離線訓練 1. 首先，賣場的評論經過前處理後根據標點符號切成數個文字片段，接著對文字片段作斷詞等處理。 2. 前處理步驟完成後，接著為文字片段產生特徵。這邊會分別擷取出單詞頻率特徵、關鍵字特徵模型和 LDA 主題模型特徵，用來建立兩階段分類模型。. 二) 在線預測和摘要 1.. 每則賣場評論經過前處理後根據標點符號切成數個文字片段，接著對文字片段作斷詞等處理。. 2.. 前處理步驟完成後，接著為文字片段產生特徵，利用兩階段分類模型去預測出文字片段屬於哪一類。. 3.. 針對分類出產品與商家文字片段擷取出主要面向關鍵字，並將產品及商家的文字片段指定到各面向上。. 4.. 分類出產品與商家文字片段，透過已經建立好的面向群將各評論文字片段，一一對應到相應的面向中，最後輸出各面向的評論摘要內容。. 14.

(23) 離線訓練. 線上評論摘要. 賣場評論. 賣場評論. 資料前處理. 資料前處理. 特徵擷取. 特徵擷取. 建立兩階段分類模型. 評論分類預測. 評論面向對應面向關鍵字擷取方法. 商家/產品各面向文字片段. 圖 3.1 系統架構圖. 15.

(24) 第四章評論文字片段分類方法 4.1. 資料前處理. 4.1.1 資料來源擷取本系統採用淘寶網評論作為資料來源，淘寶網的評論為消費者自行撰寫的內容。我們以 Python 語言撰寫淘寶網爬蟲程式，透過傳遞 URL(Uniform Resource Locator)給伺服器得到回傳結果，每筆回傳結果包含使用者 ID、使用者代號和評論內容等資料。接著取出每一筆評論文字內容作為資料來源，並以集合 R 代表爬蟲程式回傳評論結果的評論集合，若有 n 筆評論，每則評論以𝑐𝑖 表示 (i  1, 2,..., n) ，則 R = {c1, c2,...., cn}。 4.1.2 資料來源前處理經由淘寶網取得的每筆評論內容𝑐𝑖，是由一個或一個以上的文字片段所組成。接下來本研究以句子中的標點符號(逗點，或句點)進行斷句產生文字片段，接著採用中央研究院所研發的中文斷詞系統(http://ckipsvr.iis.sinica.edu.tw/)進行斷詞。由於本論文所取的資料是簡體中文，因此必須先以 Open Chinese Convert(https://github. com/BYVoid/OpenCC)作簡轉繁轉換。此工具支援詞彙級別的轉換、異體字轉換和地區習慣用詞轉換（中國大陸、臺灣、香港），改善了一般簡轉繁工具的缺點，有助於後續分析評論內容。. 16.

(25) 表 4.1 所示為一段評論經過 OpenCC 的轉換，並經過斷句和斷詞處理的結果。斷句部分以換行隔開，每一個斷詞都由以空白來做區隔。此外，斷句結果中有完整及不完整句子兩種情況，本論文中通稱為文字片段，而這些文字片段的集合為𝑆𝑖，則 𝑆𝑖 = ⋃𝑐𝑖∈𝑅 𝑆𝑖 。表 4.1 簡轉繁、斷句和斷詞結果原始. 味道好闻，而且有股清香的味道。物流也很快，卖家态度好。. 評論簡轉繁味道好聞，而且有股清香的味道。物流也很快，賣家態度好。評論味道好聞，斷句及而且有股清香的味道。斷詞結物流也很快，果賣家態度好。. 4.2. 評論分類特徵透過前面的處理，在建立第一階段和第二階段的分類模型前，本論文共採用三. 種特徵類型:1) 單詞(unigram)頻率特徵，2) 主題模型特徵，及 3) 關鍵詞特徵，以下將會一一詳述。 4.2.1 單詞頻率特徵單詞頻率特徵類型是採用 Term Frequency-Inverse Document Frequency(簡稱 TFIDF)的方式建立此類型特徵。TF 指的是當給定一個詞語在一個文件內，計算此詞語. 17.

(26) 在該文件出現的頻率。在本研究中，斷句後的一則文字片段𝑆𝑗 在此視為給定的文件，假設該詞語為𝑡𝑖，詞語𝑡𝑖 在文字片段𝑆𝑗 中出現次數為𝑛𝑖,𝑗，i 為詞語編號，j 為文字片段編號，k 表示文字片段內的任一個詞語編號，則詞語𝑡𝑖 在𝑆𝑗 的 TF 計算公式定義如下: 𝑇𝐹𝑖,𝑗 =. 𝑛𝑖,𝑗 ∑𝑘 𝑛𝑘,𝑗. (公式一). IDF 指的是詞語普遍重要性的度量，假設 S = {𝑠1 , 𝑠2 , 𝑠3…… , 𝑠𝑗 }，其 IDF 公式定義如下: 𝐼𝐷𝐹𝑖 = log. |𝑆| |{𝑗|𝑡𝑖 ∈ 𝑠𝑗 }|. (公式二). 透過公式一和公式二的結合，則完成了 TF-IDF 的公式，定義如下: TF-IDF = 𝑇𝐹𝑖,𝑗 × 𝐼𝐷𝐹𝑖. (公式三). 本研究利用公式三來建立 TF-IDF 的特徵，假設𝑠1 的句子所包含的詞語為:″物流超給力″，表 4.2 所示為其中單詞頻率特徵之 TF-IDF 特徵值，其他未在𝑠1 出現的詞頻率特徵皆為 0。表 4.2 TF-IDF 特徵範例例子特徵. 物流. 超. 給. 力. TF-IDF. 0.3. 0.2. 0.1. 0.1. 4.2.2 主題模型特徵本研究採用 Latent Dirichlet allocation(LDA)來建立主題模型特徵，以下將詳述如何置入 LDA 產生此種特徵。. 18.

(27) <1> 輸入型態透過 JGibbLDA 網站(http://jgibblda.sourceforge.net/)可得知，輸入型態的格式將以圖 4.1 所示，而本研究的範例則呈現在表 4.3。從圖 4.1 顯示，m 代表底下輸入文字片段數目，而𝑆𝑖 (i = 1,2,3....m)則分別代表第 i 個文字片段。𝑆𝑖 的輸入格式為 𝑤𝑜𝑟𝑑1 𝑤𝑜𝑟𝑑2 𝑤𝑜𝑟𝑑3 … 𝑤𝑜𝑟𝑑𝑘 (k 為文字片段長度)，如表 4.3 所示。. 圖 4.1 LDA 輸入格式. 表 4.3 LDA 輸入格式範例 m. 4. 𝑆1. 物流也很快. 𝑆2. 賣家態度好. 𝑆3. 味道好聞. 𝑆4. 而且有股清香的味道. <2> 產生主題特徵為了產生主題特徵，輸入資料進入 LDA 前，還需要設定一個所要產生的主題. 19.

(28) 數目 t。經過分析，LDA 會產生一個文件，此文件內部含有每個文字片段𝑆𝑗 中所屬主題𝑇𝑡 程度值，如公式四。以範例說明產生結果的形式，以表 4.3 的輸入資料，並設定 t = 5，會產生如表 4.4 所示之主題特徵值。 𝜃𝑖𝑡 = p(𝑡𝑜𝑝𝑖𝑐𝑇 | 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑖 ). (公式四). 表 4.4 LDA 主題特徵範例 𝑆𝑗. 𝑇1. 𝑇2. 𝑇3. 𝑇4. 𝑇5. 𝑆1. 0.34. 0.12. 0.06. 0.04. 0.21. 𝑆2. 0.28. 0.05. 0.15. 0.03. 0.01. 𝑆3. 0.13. 0.07. 0.19. 0.31. 0.02. 𝑆4. 0.17. 0.41. 0.21. 0.01. 0.19. 4.2.3 關鍵詞特徵類型本研究採用兩種方法進行挑選關鍵詞特徵:1) 卡方檢驗(Chi-square test) 關鍵詞挑選，2) LDA 主題關鍵詞挑選。利用上述兩方法挑選出關鍵字後，再用這些關鍵字對評論產生特徵值，以下將一一詳述這三部分。 1) 卡方檢驗關鍵詞挑選為了使用 Chi-square 檢驗法挑選關鍵詞，本研究會先對現有資料以人為進行面向(Aspect)標註，所需考慮之標註如表 4.5 所示:. 20.

(29) 表 4.5 人為標註面向人為標註面向商家. 贈送. 定義. 範例. 賣家是否有額外贈謝謝賣家送小送買家物品。禮物感謝店家送禮物. 物流. 賣家商品在包裝或包裝嚴實寄送相關的處理。. 態度. 物流也很快. 賣家對於買家的態商家服務蠻周度。到客服耐心. 產品. 價值. 買家對於賣家整體全五分好評的評分。值得信賴. 作用. 產品本身的用途。. 生薑洗髮水改善脫髮而且有股清香的味道. 品質. 買家用過產品後的止癢效果特別感受。味道好聞. 外觀. 產品本身的外表。. 外面看到生薑小殘渣洗髮水金黃色. 接下來，本研究會以 Chi-square[10]公式五來計算在所有文字片段集合 S 中每一個字詞𝜔𝑖 對特定面向𝐴𝑗 的卡方代表值。該值越大，表示該字詞在該面向跟非該面向之文字片段中的分佈有愈顯著的差異，即用來區分該面向句與非該面向句是有效的。 21.

(30) 以表 4.6 所示，字詞在面向 A 及非面相 A 分別有 2 個不同分佈的觀察值𝑂1、 𝑂2，每一個觀察值都會依面向 A 及非面相 A 的資料量計算出一個相對應的期望值，分別是𝐸1 、𝐸2 ，接著帶入[10]的公式五計算出每一個字詞所表示的卡方代表值(𝑋 2 ) 表 4.6 字詞出現分佈統計表 𝑂1. 𝑂2. 在面向 A 中出現該字詞的文字片段數. 在非面向 A 中出現該字詞的文字片段數. 𝑋 2 = ∑𝑖=1,2. (𝑂𝑖 −𝐸𝑖 )2. (公式五). 𝐸𝑖. 表 4.7 所呈現為如何計算𝐸1 、𝐸2 和各字詞卡方代表值加總的範例，( )內代表該字詞在此面向句的卡方代表值: 表 4.7 各字詞在面向句卡方代表值範例 Total 卡方代表值加總. 態度. 非態度. Aspect 的文字片段數. Aspect 的文字片段數. 客服. 30(11.13). 10(7.78). 40. 18.91(11.13+7.78). 洗髮水. 5(9.88). 40(6.92). 45. 16.8(9.88+6.92). Total. 35. 50. 85. 𝐸1 (客服) = 40 × (35/85) ∶= 16.46 𝐸2 (客服) = 40 × (50/85) ∶= 23.52. 22.

(31) (30 − 16.46)2 𝑋 [態度(′客服 ′)] = ∶= 11.13 16.46 2. (10 − 23.52)2 𝑋 [非態度(′客服 ′)] = ∶= 7.78 23.52 2. 最後，各字詞在該面向句與非該面向句依計算出來的卡方代表值進行加總後排序，取出前 k 名的字詞當作各面向關鍵詞的依據。 2) LDA 主題關鍵詞挑選本研究透過 4.4.2 中介紹的 JGibbLDA 分析結果，不只可對各文字片段產生各主題的程度值，還可得到各主題下相對應的字詞的出現機率(如公式六)，各主題 T 𝑇. 下的字詞會依據公式六的𝑃𝑙 𝑖 值由大而小排序，本研究將各主題底下排序前 k 名高的字詞當作關鍵字。表格 4.8 呈現一個當主題數 t = 5 時，主題底下顯示前 5 名字詞的範例結果。 𝑇 𝑃𝑙 𝑖 = p(𝑤𝑜𝑟𝑑𝑙 | 𝑡𝑜𝑝𝑖𝑐𝑇𝑖 ). 23. (公式六).

(32) 表 4.8 LDA 各主題底下字詞範例表 𝑇. LDA 主題. 字詞和𝑃𝑙 𝑖 值. Topic = 𝑇1. 好評 0.08 物流 0.06 禮品 0.03 速度 0.03 購物 0.03. Topic = 𝑇2. 收到 0.16 快遞 0.09 寶貝 0.06 東西 0.03 已經 0.03. Topic = 𝑇3. 包裝 0.14 賣家 0.05 非常 0.05 嚴實 0.04 發貨 0.04. Topic = 𝑇4. 頭髮 0.08 頭皮 0.06 感覺 0.04 洗完 0.04 泡沫 0.03. Topic = 𝑇5. 味道 0.06 姜味 0.05 感覺 0.03 生薑 0.03 濃濃 0.02. 24.

(33) 3) 文字片段關鍵字特徵值產生方法分別以 1)及 2)的方法挑選出出關鍵字後，要以這些關鍵字對評論產生特徵值。本研究會運用 Python 的 Word2Vec(https://github.com/zake7749/word2vec-tutorial)將所有評論當作語料庫，以 Word2Vec 學習出各單詞的詞嵌入向量，之後利用此語意向量表示來讓每個文字片段𝑆𝑖 對每個關鍵字𝑘𝑤𝑗 產生以下三種關鍵字特徵值: 3-1) 文字片段關鍵字相似度最大值假設對關鍵字𝑘𝑤𝑗，而文字片段𝑆𝑖 ={𝑤1 , … , 𝑤𝑛 }，則𝑤1 到𝑤𝑛 會先一一對𝑘𝑤𝑗 以其 Word2Vec 模型產生的語意向量𝑉𝑤𝑙 及𝑉𝑘𝑤𝑗 計算餘弦相似度sim (𝑉𝑤𝑙 , 𝑉𝑘𝑤𝑗 )就會得到一個特徵值𝑓𝑘𝑤1_𝑚𝑎𝑥，從中取最大值，其餘𝑘𝑤2 , … , 𝑘𝑤𝑛 則依此類推，產生出𝑓𝑘𝑤1_𝑚𝑎𝑥 的關鍵字特徵(j = 2,...n)，公式如下: 𝑆𝑖 . 𝑓𝑘𝑤1_𝑚𝑎𝑥 = max{𝜔𝑙 ∈ 𝑆𝑖 | sim (𝑉𝑤𝑙 , 𝑉𝑘𝑤𝑗 )}. (公式七). 3-2) 文字片段關鍵字相似度最小值假設對關鍵字𝑘𝑤𝑗，而文字片段𝑆𝑖 ={𝑤1 , … , 𝑤𝑛 }，則𝑤1 到𝑤𝑛 會先一一對𝑘𝑤𝑗 以其 Word2Vec 模型產生的語意向量𝑉𝑤𝑙 及𝑉𝑘𝑤𝑗 計算餘弦相似度sim (𝑉𝑤𝑙 , 𝑉𝑘𝑤𝑗 )就會得到一個特徵值𝑓𝑘𝑤1_𝑚𝑎𝑥，從中取最小值，其餘𝑘𝑤2 , … , 𝑘𝑤𝑛 則依此類推，產生出𝑓𝑘𝑤1_𝑚𝑎𝑥 的關鍵字特徵(j = 2,...n) ，公式如下: 𝑆𝑖 . 𝑓𝑘𝑤1_𝑚𝑎𝑥 = min{𝜔𝑙 ∈ 𝑆𝑖 | sim (𝑉𝑤𝑙 , 𝑉𝑘𝑤𝑗 )}. (公式八). 3-3) 文字片段關鍵字相似度平均值假設對關鍵字𝑘𝑤𝑗，而文字片段𝑆𝑖 ={𝑤1 , … , 𝑤𝑛 }，則𝑤1 到𝑤𝑛 會先一一對𝑘𝑤𝑗 以其. 25.

(34) Word2Vec 模型產生的語意向量𝑉𝑤𝑙 及𝑉𝑘𝑤𝑗 計算餘弦相似度sim (𝑉𝑤𝑙 , 𝑉𝑘𝑤𝑗 )就會得到一個特徵值𝑓𝑘𝑤1_𝑚𝑎𝑥，從中取平均值，其餘𝑘𝑤2 , … , 𝑘𝑤𝑛 則依此類推，產生出𝑓𝑘𝑤1_𝑚𝑎𝑥 的關鍵字特徵(j = 2,...n) ，公式如下: 𝑆𝑖 . 𝑓𝑘𝑤1_𝑚𝑎𝑥 =. 4.3. 1 ∑ sim (𝑉𝑤𝑙 , 𝑉𝑘𝑤𝑗 ) 𝑆𝑖 𝜔𝑙 ∈𝑆𝑖. (公式九). 建立分類器. 4.3.1 定義評論類別文字片段可區分成描述賣家的片段和描述產品的片段，如表 4.1 的範例評論中共有四句文字片段，每句文字片段前兩句屬於產品的內容，後兩句則屬於商家的評論。本研究對斷句後的文字片段先進行人工標註，將各文字片段標註成商家或產品評論。表 4.9 顯示了商家和產品評論的定義，提供給人工標註做為參考。並顯示表 4.1 中四句文字片段分別歸類到商家和產品評論的結果。表 4.9 評論分類定義和例子類別. 定義. 範例. 商家. 專注在消費者給予販賣者物流也很快，的評價，類似販賣者態度、賣家態度好。物流、額外贈送...等行為。. 產品. 專注在消費者給予販賣商味道好聞，品的評價，類似產品的品而且有股清香的味道。質、效果、外觀...等性質。. 26.

(35) 4.3.2 建立分類架構本研究透過[2]的論述，如圖 4.2 所示，第一階段會先區分文字片段中屬於商家和不屬於商家的評論，第二階段則從不屬於商家的評論中再區分出屬於產品和其他的評論。消費者的評論內容，針對不同類型產品，對商家的評論內容基本上不會有太大的差別，而針對不同的產品，評論內容就會比較不一樣。以表 4.10 所示範例，分別是針對生髮水和鞋子商場的評論，可以看到兩邊的消費者在商家評論關於物流的部分都給予相似的說法，而在產品評論的部分，不同類型產品外觀的形容語句則存在相當的差異。屬於商家的句子 Data. 屬於產品的句子不屬於商家句子其他圖 4.2 兩階段分類架構表 4.10 不同商品商家與產品文字片段比較商品生髮水. 鞋子. 商家文字片段. 產品文字片段. 物流快. 洗髮水裡面含有好多生薑顆粒. 物流超給力. 鞋子質量款式好看. 27.

(36) 因此採用兩階段分類架構的好處是在建立完第一階段的商家評論分類模型後，之後當運用於不同類型的評論，不必再去做人工標註重新訓練分類模型，可以直接套用訓練好的模型去區分該評論是否為商家評論。而只需要標註是否為產品評論或其他即可，可減少人為標註及重新訓練分類器的成本。 4.3.3 建立分類器模型本研究將採用 Random Forest 分類方法建立分類模型，比起其餘分類器(Naïve Bayes、SVM...等)，Random Forest 能夠將特徵作特徵區分效果之分析，透過此種分析可以挑選出更有效的特徵，以提高評論正確分類的效果，故本研究採用 Random Forest 來建立分類模型。. 28.

(37) 第五章評論面向摘要. 5.1. 自動面向擷取透過第四章的方法分類出屬於商家和產品的文字片段後，接著，要對這些文字. 片段自動擷取出面向。[16]主張隱含的主題可代表一種面向，且可由非監督式主題模型方法學習出來。因此 LDA 所學習出的主題關鍵字可代表某些面向。不過只用 LDA 去產生面向代表字，由於自然語言用詞的多樣性，這些面向字詞數目是不夠的。因此本論文會採用字詞的 Word2Vec 向量表示法來擴展 LDA 學習出相關面向字，在後續對評論文字片段進行面向判斷。 5.1.1 產生主題面向字根據 4.2.3 所述，利用 LDA 可分析出隱藏主題及主題中的關鍵字詞出現機率值，本研究設定一個主題數，以及一個機率門檻值 θ，只有出現機率值大於 θ 值的字詞才會被當成某主題底下的代表面向字，所成的集合以𝐴𝜔 表示。以表 4.8 所示範例，當 θ 設為 0.03 時各主題取出的面向字如表 5.1 所示。. 29.

(38) 表 5.1. LDA 主題面向字範例表. LDA 主題. 主題面向字和 θ 值. Topic = 𝑇0. 好評 0.08 物流 0.06. Topic = 𝑇1. 收到 0.16 快遞 0.09 寶貝 0.06. Topic = 𝑇2. 包裝 0.14 賣家 0.05 非常 0.05 嚴實 0.04 發貨 0.04. Topic = 𝑇3. 頭髮 0.08 頭皮 0.06 感覺 0.04 洗完 0.04. Topic = 𝑇4. 味道 0.06 姜味 0.05. 5.1.2 擴展主題面向字產生主題面向字後，接著會再擴展找出更多主題面向字。我們利用 Word2Vec，以所有評論當作語料庫，學習出各單詞的詞嵌入向量。對語料庫中找出跟𝐴𝜔 中任一個主題面向字相似度大於門檻值𝜃𝑆 的字詞，取出來加入𝐴𝜔 當作主題面向字的擴展字。. 30.

(39) 評論面向整理. 5.2. 5.2.1 評論面向對應產生各主題面向字和其對應的擴展字後，接下來要將分類出來的商家和產品評論文字片段歸到所屬面向。本論文方法會依據一個文字片段中，包含各主題面向中的面向字個數來做判斷。指定到出現某個主題面向的面向字數最多的第一個主題面向。如表 5.2 範例所示，各主題𝑇0 ~𝑇𝑖 會對應到面向𝐶0 ~𝐶𝑖 以計數的方式來統計文字片段中包含不同主題面向字的數目，若文字片段中皆未出現𝐴𝑤 中的面向字，無法指定到面向𝐶0 ~𝐶𝑖 ，就會歸類到”其他”面向，表 5.3 呈現了表 5.2 範例的文字片段所指定之面向。表 5.2 文字片段主題計數表文字片段. 𝑇0. 𝑇1. 𝑇2. 𝑇3. 𝑇4. 物流也很快. 1. 0. 0. 0. 0. 味道好聞. 0. 0. 0. 0. 1. 表 5.3 文字片段對應面向範例文字片段. 指定對應面向. 物流也很快. 𝐶0. 味道好聞. 𝐶4. 31.

(40) 5.2.2 評論摘要整合由於許多評論文字片段會有類似的內容，本研究會一一比對各面向中的文字片段，讓內容相似的文字片段只顯示一筆。對兩個文字片段𝑆𝑖 及𝑆𝑗 內每個字詞在 Word2Vec 模型學習的語意向量，做平均計算，得到𝑎𝑣𝑔_𝑣𝑖 ；文字片段𝑆𝑗 的字詞也做一樣的處理產生平均向量𝑎𝑣𝑔_𝑣𝑗 。透過餘弦相似度(cosine similarity)計算𝑆𝑖 和𝑆𝑗 的相似度，相似度若大於 σ 值則合併兩者，由|𝑆𝑖 |和|𝑆𝑗 |長度較長的文字片段代表，並將記錄該文字片段已合併多少個文字片段，如(*2)。本論文會利用底下的步驟來完成面向內所有文字片段比對整合: 1. 所有文字片段都會記錄一個 ID(1,2,3, …. ,l)和 Value = 1，l 為面向內所有文字片段數量。 2. ID 小的文字片段開始對面向內所有文字片段做比對。 3. 首先，判斷兩者文字片段 ID 是否一樣，若一樣則跳過此文字片段，不一樣則進行步驟 4。 4. 判斷此兩個文字片段相似度是否大於 σ 值，若大於則進行步驟 5，若小於則跳過此文字片段。 5. 判斷此兩個文字片段的長短，較長文字片段的 Value 值會直接加上較短文字片段的 Value 值，而較短文字片段的 Value 值會清空為 0。假設 σ 值設定為 0.9，表 5.4 會顯示以上步驟的範例。. 32.

(41) 表 5.4 面向文字片段整合範例 ID. 文字片段. 內容. Value. 1. 𝑆𝑖. 物流快. 1. 2. 𝑆𝑗. 物流也很快. 1. 1. ID(𝑆𝑖 ) ≠ ID(𝑆𝑗 )。 2. sim(𝑆𝑖 , 𝑆𝑗 ) = 0.93 > σ。 3. length(𝑆𝑖 ) < length(𝑆𝑗 )。 4. Value(𝑆𝑖 ) = Value(𝑆𝑖 ) + Value(𝑆𝑗 ) = 2，Value(𝑆𝑗 )設定為 0。 5. 產生”物流也很快(*2)”的字串出來。. 33.

(42) 第六章實驗評估. 6.1. 實驗資料及特徵介紹本論文從淘寶網(https://world.taobao.com/)抓取 343 條生髮水商場評論，經過前. 處理步驟，去掉只包含單一詞的文字片段，共產生 886 筆生髮水商場文字片段。其中以人為標註屬於不同面向的文字片段數量如表 6.1 所示。為了要測試不同類型產品的分類效果，另從淘寶網抓取 812 條鞋子商場評論，經過前處理步驟，共產生 2420 筆鞋子商場文字片段，如表 6.2 所示。建立 Word2Vec 模型所使用的資料來源為包含上述資料及其他淘寶網各商場的評論，共有 14133 筆評論。. 34.

(43) 表 6.1 人為標註面向個數表(生髮水). 商家. 產品. 其他. 人為標註面向. 文字片段個數. 贈送. 56. 態度. 20. 物流. 66. 價值. 26. 作用. 20. 品質. 144. 外觀. 50. 其他. 323. 表 6.2 人為標註面向個數表(鞋子). 商家. 產品. 其他. 人為標註面向. 文字片段個數. 贈送. 233. 態度. 360. 物流. 209. 價值. 213. 作用. 312. 品質. 474. 外觀. 131. 其他. 488. 35.

(44) 本論文採用的不同特徵如表 6.3 所示，各說明如下，特徵詳細擷取方法請參照第四章 4.2 小節: (一)單詞頻率特徵: 1. TF-IDF 特徵(代號:TF-IDF):針對評論內所有單詞取特徵，生髮水評論有 962 個不同的特徵，鞋子評論有 600 個不同的特徵。 (二)主題模型特徵: 1. LDA topic model 特徵(代號:LDA topic):topic 數各取 10 到 15 的合併結果，共有 75 個不同特徵。 (三)關鍵詞特徵: 1. Chi-square k Keywords 特徵(代號:Chik):在 7 個人為標註面向中各取 k 個關鍵字，透過各取最大值、最小值和平均合併，共有 21* k 個不同特徵。 2. LDA k Keywords 特徵(代號:LDAk):topic 取 7 個，在 7 個 topics 中各取 k 個關鍵字，透過各取最大值、最小值和平均合併，共有 21* k 個不同特徵。表 6.3 特徵個數表格特徵代號. 特徵個數. 單詞頻率特徵. TF-IDF. 962(生髮水)，600(鞋子). 主題模型特徵. LDA TOPIC. 75. 關鍵詞特徵. CHIk. 21* k. LDAk. 21* k. 36.

(45) 6.2. 分類特徵效果評估本小節的實驗將分別評估兩階段分類模型的效能，由於評論摘要的目的是取出. 有用的評論，所以較重視分類結果的 Precision 上。在評估分類效果時，會採用 10folds cross validation 來評估。. [實驗一] 分類商家與非商家之單一特徵分類效果評估第一階段是先分類出商家與非商家的評論文字片段，實驗一的目的在於找出單一特徵中表現最好的特徵。本實驗設定關鍵詞特徵的 k 為 10 和 15 來做比較，實驗結果如圖 6.1 及圖 6.2 所示。. TFIDF. LDATOPIC. CHI10. LDA10. CHI15. LDA15. 圖 6.1 分類商家與非商家單一特徵分類模型 precision 結果(生髮水). 37. 0.95. 0.936. 0.949. 0.963. 0.951. 0.956. Precision of 非商家. 0.948. 0.949. 0.918. 0.897. 0.948. 0.949. Precision of 商家.

(46) TFIDF. LDATOPIC. LDA10. CHI15. 0.973. 0.942. 0.975. 0.941. 0.939. CHI10. 0.972. Precision of 非商家. 0.975. 0.939. 0.923. 0.944. 0.974. 0.947. Precision of 商家. LDA15. 圖 6.2 分類商家與非商家單一特徵分類模型 precision 結果(鞋子). 由實驗一採用單一類特徵的分類效果，可以發現 CHI15 此單一特徵在生髮水評論分類出商家文字片段的 precision 為最高，而在鞋子評論中雖然是 TFIDF 為最高，不過 CHI15 在非商家 precision 比 TFIDF 還高外，在鞋子評論的商家 precision 中也達到 0.941，與 TFIDF 的 0.947 相差不超過 0.04，可顯示以 chi-square 關鍵字特徵能有效分類出商家的文字片段。若以 TFIDF 特徵當作比較基準，生髮水評論 LDA10、 CHI15 的 precision 都比 TFIDF 特徵高，這顯示挑選評論關鍵字為特徵的方法包括 LDA10 及 CHI15 是有效的。雖然 LDATOPIC 的效果沒有比 TFIDF 好，不過從特徵數量比較來看，LDATOPIC 特徵數量只需要用 75 個，而 TFIDF 卻有 962 個(生髮水)和 600 個(鞋子)，LDATOPIC 特徵 precision 還能在生髮水評論達到 0.9 左右，在鞋子評論也達到 0.944 與 TFIDF 38.

(47) 的 precision 相差不超過 0.04。透過實驗一的結果，CHI15 關鍵詞特徵在生髮水評論及鞋子評論的效果最好，但如果以特徵數量為主要考量可以選擇 LDATOPIC 主題特徵，其在生髮水及鞋子評論 precision 上也都有達到 0.9 左右。. [實驗二] 分類產品與”其他”之單一特徵效果評估第二階段是分類產品與”其他”評論，實驗二的目的同實驗一，實驗結果如圖 6.3 及圖 6.4。. Precision of 產品. 0.754. 0.785. 0.769. 0.801 0.752. 0.71. 0.741. 0.776. 0.792. 0.761. 0.786. 0.844. Precision of Other. TFIDF. LDATOPIC. CHI10. LDA10. CHI15. LDA15. 圖 6.3 分類產品與”其他”單一特徵分類模型 precision 結果(生髮水). 39.

(48) 0.983. 0.98. 0.98. 0.98. Precision of Other. LDATOPIC. LDA10. CHI15. 0.935. CHI10. 0.938. 0.933. TFIDF. 0.933. 0.925. 0.951. 0.965. 0.98. Precision of 產品. LDA15. 圖 6.4 分類產品與”其他”單一特徵分類模型 precision 結果(鞋子). 在生髮水產品評論的 precision 上，CHI10 和 CHI15 特徵都比 TFIDF 來得好。而 LDATOPIC、LDA10 和 LDA15 特徵的 precision 值雖然比 TFIDF 略低，但相差不超過 0.04，因此仍可顯示關鍵字特徵和主題模型特徵在辨識出產品的文字片段上的正確率效果是不錯的。而在“其他”類別的 precision 上，TFIDF 可達到 0.844，CHI15 達到了 0.769，比起 LDATOPIC、CHI10、LDA10 及 LDA15 來得高。在鞋子產品評論的 precision 上，CHI10、LDA10 和 CHI15 的 precision 都與 TFIDF 相當，而 LDATOPIC 只略低 0.015，顯示關鍵字特徵和主題性特徵在產品的文字片段上正確率效果是不錯的。觀察這些特徵在”其他”類別的 precision，雖然沒有比 TFIDF 來得好，不過相差不超過 0.04，表示在”其他”類別上都還是顯示出一定的效 40.

(49) 果。觀察資料的結果，本論文認為原因是在於“其他”類別評論所涵蓋的內容較廣，例如有消費者會寫到自己日常故事的描述，或者整段都不清楚表達的意思為何。這些內容不容易取出代表的主題性和關鍵字出來，因此在區分產品和“其他”類別時，無法讓 LDATOPIC 和關鍵字特徵比 TFIDF 表現來得好。相對來說鞋子評論屬於“其他“的評論數量沒有像生髮水評論與其餘的面向評論差距較大，所以涵蓋的範圍沒有那麼廣，讓 LDATOPIC 和關鍵字特徵可以清楚辨識出產品和其他類別。透過實驗二的討論，在產品與”其他”類別的單一特徵模型 precision 效果上，顯示 CHI15 單一特徵在生髮水評論中是最好的，而鞋子評論中則是 LDA15 最好。. 41.

(50) [實驗三]兩階段特徵組合效果評估透過實驗一和實驗二，我們可找出兩階段個別最好的單一特徵。實驗三將以這單一特徵結合其他特徵，觀察是否可達到更好的分類效果。表 6.4 及表 6.5 呈現了特徵組合在商家與非商家的分類 precision，表 6.6 及表 6.7 則呈現特徵組合在產品及” 其他”分類的 precision。 1. 商家與非商家特徵組合表 6.4 特徵結合組合在商家與非商家的分類 precision(生髮水) 特徵. Precision of 商家. Precision of 非商家. CHI15. 0.963. 0.949. CHI15+LDA15. 0.957. 0.952. CHI15+TFIDF. 0.962. 0.943. CHI15+LDATOPIC. 0.923. 0.936. 表 6.5 特徵結合組合在商家與非商家的分類 precision(鞋子) 特徵. Precision of 商家. Precision of 非商家. CHI15. 0.941. 0.975. CHI15+LDA15. 0.940. 0.972. CHI15+TFIDF. 0.940. 0.975. CHI15+LDATOPIC. 0.943. 0.971. 在鞋子評論中顯示了增加 LDATOPIC 特徵可提升 precision 0.002，但在生髮水評論中，增加其餘特徵，反倒在分類效果上會有些微降低。而在非商家的 precision 42.

(51) 上，CHI15+LDA15 在生髮水評論表現最佳，不過 CHI15 的 precision 在生髮水評論已達到 0.949，跟 CHI15+LDA15 的 precision 只略低 0.003。CHI15 在鞋子評論上，非商家評論的 precsion 是最高的，表示 CHI15 在辨識非商家評論片段的效果也很好。根據以上討論，CHI15 在生髮水和鞋子評論分類效果，比起合併其餘單一特徵來看表現上還是最好，顯示在區分商家與非商家類別的文字片段，消費者給予商家的評價內容大多很相似，所以關鍵字特徵最能呈現出效果。 2. 產品與其他特徵組合表 6.6 特徵結合在產品及其他分類的 precision(生髮水) 特徵. Precision of 產品. Precision of Other. CHI15. 0.801. 0.769. CHI15+LDA15. 0.796. 0.763. CHI15+TFIDF. 0.796. 0.763. CHI15+LDATOPIC. 0.811. 0.764. 表 6.7 特徵結合在產品及其他分類的 precision(鞋子) 特徵. Precision of 產品. Precision of Other. LDA15. 0.983. 0.935. LDA15+CHI15. 0.981. 0.935. LDA15+TFIDF. 0.982. 0.935. LDA15+LDATOPIC. 0.983. 0.931. 43.

(52) 根據實驗三特徵結合產品及 ” 其他 ” 分類 precision 的結果，顯示 CHI15+LDATOPIC 在生髮水評論中對產品的 precision 效果最好，而且在”其他”的 precision 上也達到 0.764，與 CHI15 的 0.769 只相差 0.005，表示效果也不差。而在鞋子評論中則是 LDA15 在產品和”其他”上 precision 效果都是最好。所以在生髮水評論中透過 CHI15+LDATOPIC 建立特徵是最佳的，而在鞋子評論中則選擇 LDA15 來建立為最佳。 [實驗四]人為標註面向效果評估為了要檢視人為面向效果，本論文以 6.1 節的七個人為標註面向作為分類文字片段的依據，分類器依舊選用 Random Forest 來評估，因為人為標註面向目的就是要利用此面向產生卡方代表值高的關鍵字特徵，故特徵部分只採用 CHI15 此單一特徵來分類這七個面向，表 6.8、表 6.9、表 6.10 及表 6.11 顯示了生髮水和鞋子七個面向的分類 precision 及 Confusion matrix。. 44.

(53) 表 6.8 七個面向分類 precision(生髮水) 特徵. 人為標註面向. Precision. CHI15. 贈送. 0.929. 態度. 0.529. 物流. 0.889. 價值. 0.700. 作用. 0.676. 品質. 0.681. 外觀. 0.757. 其他. 0.652. 45.

(54) 表 6.9 七個面向分類 confusion matrix(生髮水) 商家. 產品. 贈送. 態度. 物流. 價值. 作用. 品質. 外觀. 其他. 贈送. 52. 1. 0. 0. 0. 2. 0. 1. 態度. 0. 9. 1. 2. 0. 1. 0. 7. 物流. 0. 1. 48. 0. 0. 3. 0. 14. 價值. 0. 2. 1. 7. 2. 2. 0. 12. 作用. 1. 0. 0. 0. 119. 13. 6. 62. 品質. 1. 1. 0. 0. 22. 81. 1. 38. 外觀. 0. 2. 0. 0. 4. 5. 28. 11. 其他. 2. 1. 4. 1. 29. 12. 2. 272. 預測. 結果. 正確. 答案. 46.

(55) 表 6.10 七個面向分類 precision(鞋子) 特徵. 人為標註面向. Precision. CHI15. 贈送. 0.880. 態度. 0.986. 物流. 0.898. 價值. 0.918. 作用. 0.893. 品質. 0.907. 外觀. 0.838. 其他. 0.899. 47.

(56) 表 6.11 七個面向分類 confusion matrix(鞋子) 商家. 產品. 贈送. 態度. 物流. 價值. 作用. 品質. 外觀. 其他. 贈送. 227. 0. 0. 0. 0. 0. 0. 6. 態度. 3. 357. 0. 0. 0. 0. 0. 0. 物流. 0. 2. 185. 1. 5. 10. 0. 6. 價值. 1. 0. 0. 202. 2. 5. 0. 3. 作用. 2. 2. 2. 2. 284. 9. 4. 7. 品質. 1. 1. 11. 8. 8. 419. 11. 15. 外觀. 0. 0. 1. 1. 13. 11. 93. 12. 24. 0. 7. 6. 6. 8. 3. 434. 預測. 結果. 正確. 答案. 根據實驗四的結果，發現在生髮水的結果中，屬於商家面向的贈送與物流面向都有達到 0.9 左右的 precision，表示分類的效果有達到一定程度，而在態度與價值的 precision 則降到了 0.529 和 0.7。從生髮水的 confusion matrix 可以發現多數錯誤的地方是”其他”面向被判定成這兩個類別，會造成此一現象是因為生髮水在態度與價值的文字片段數量過少，導致分類學習效果較差，因此 precision 無法拉高。. 48.

(57) 觀察鞋子的 precision，商家四個面向的 precision 都有達到 0.9 左右，從鞋子的 confusion matrix 來看，商家四個面向的錯誤也大多數都有分類到其他此面向。而此一結果顯示了商家面向雖然會受到其他面向的影響，但影響不會太大，以 CHI15 此關鍵字特徵來區分時，能夠有效區分出商家的四個人為標註面向。接著觀察產品作用、品質及外觀此三面向，從生髮水的產品面向 precision 中可觀察到，作用、品質及外觀的 precision 都只有在 0.7 左右，從生髮水的 confusion matrix 發現產品三個面向的混雜錯誤比起商家面向較多，且分類錯誤的地方多數會集中在產品三個面向和”其他”面向中。而在鞋子的產品面向 precision 雖然都有達到 0.9 左右，但從 confusion matrix 來觀察，還是能發現比起商家面向的 confusion matrix 混雜許多錯誤，且分類錯誤的地方同生髮水的三個面向。此一結果顯示了產品的三個面向比起商家四個面向較容易受到其他面向影響外，產品的三個人為標註面向以 CHI15 關鍵詞特徵無法有效地顯示出效果。從資料內容觀察，產品三個面向的文字片段內容，的確無法同商家四個面向有較明確的關鍵詞。以生髮水例子來說明，在生髮水的”作用”此面向內有”姜味濃厚”，而在”品質”此面向則有”姜味好聞”，這兩文字片段都是說明消費者聞到姜味，但一個是只表達出姜味是濃厚的，沒有提到自身的感受，從這兩句子取關鍵詞，”姜味” 是共同的描述，此兩者的面向就不易區分出來。生髮水”物流”的面向內有”包裝精美”，而”贈送”此面向則有”送贈品”，用字上有明顯的區別，辨識錯誤的情況就降低許多。此顯示消費者在描述產品本身時，不同面向可能會使用到同一字詞，所以在. 49.

(58) 區分產品面向時，無法像商家面向如此明確，這也呼應關鍵字特徵用於分類商家比用於分類產品評論的效果更好的原因。. 6.3. 評論面向指定效果評估此部分將評估透過 5.1 小節的方法，將文字片段指定到面向的效果。本論文對. 於商家和產品評論文字片段，已先有人為標註的答案。根據人為標註答案將評論文字片段分組，評估每一組中各文字片段被系統所指定的面向，計算各組的 Purity 值，來當作面向指定效果的評估標準。舉個例子來說明本論文的作法，以洗髮水評論為例，假設設定商家的面向數目為 4，產品的面向數目為 3，另外皆有一群為其他面向。商家的文字片段有 138 句，產品的文字片段有 402 句，實驗結果如表 6.12 及表 6.13 所示。. 50.

(59) 表 6.12 採用 4 個面向之商家的歸類效果評估商家面向. 文字片段個數. 商家 Purity 值. 各面向文字片段數. 𝐴1. 48. 𝐴2. 57. 𝐴3. 18. 𝐴4. 15. 其他. 0. 贈送:4 句態度: 13 句物流: 21 句價值: 10 句贈送:50 句態度: 1 句物流: 2 句價值: 1 句品質: 1 句其他: 2 句物流: 17 句其他: 1 句贈送:1 句態度: 1 句物流: 10 句價值: 2 句品質: 1 句無. (21 + 50 + 17 + 10) / 138 = 98/138 = 0.710. 表 6.13 採用 3 個面向之產品的歸類效果評估產品面向. 文字片段個數. 𝐴1. 277. 𝐴2. 91. 𝐴3. 34. default. 0. 各面向文字片段數作用: 96 句品質: 98 句外觀: 37 句其他: 46 句作用: 60 句品質: 12 句其他: 19 句作用: 5 句品質: 9 句外觀: 5 句其他: 15 句無 51. 產品 Purity 值 (98 + 60 + 15) / 402 = 173/402 = 0.430.

(60) 綜合表 6.12 和表 6.13 的結果，發現到商家文字片段指定面向的結果，每個面向較能顯示一致面向的內容。而在產品文字片段分群中，A1 所包含的文字片段面向會偏向作用和品質的面向，觀察資料發現，作用和品質評論內所使用的描述有許多是共通的，類似”味道濃”和”味道好聞”，兩者都會用到味道這個字，不過因為在形容上有所不同，在標註時就會將這兩句分別對應到不同面向，所以導致了此種結果。為了改善這一點，本論文增加了產品面向數目，改善了一些效果，實驗結果如表 6.14。表 6.14 採用 4 個面向之產品的歸類效果評估產品面向. 文字片段個數. 𝐴1. 198. 𝐴2. 116. 𝐴3. 61. 𝐴3. 27. default. 0. 各面向文字片段數作用: 88 句品質: 28 句外觀: 36 句其他: 46 句作用: 24 句品質: 70 句外觀: 1 句其他: 21 句作用: 46 句品質: 9 句外觀: 3 句其他: 3 句作用: 3 句品質: 12 句外觀: 2 句其他: 10 句無. 52. 產品 Purity 值 (88 + 70 + 46 + 12) / 402 = 216/402 = 0.537.

(61) 透過以上的例子可以了解本論文的做法，底下顯示生髮水及鞋子商家和產品評論在不同面向中 Purity 值的比較，如圖 6.5、圖 6.6、圖 6.7 及圖 6.8 所示。. Purity of seller 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 3. 4. 5. 6. 7. Purity of seller 圖 6.5 商家不同面向 Purity 值(生髮水). Purity of product 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 3. 4. 5. 6. Purity of product 圖 6.6 產品不同面向 Purity 值(生髮水). 53. 7.

(62) Purity of seller 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 3. 4. 5. 6. 7. Purity of seller 圖 6.7 商家不同面向 Purity 值(鞋子). Purity of product 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 3. 4. 5. 6. 7. Purity of product 圖 6.8 產品不同面向 Purity 值(鞋子) 生髮水評論在商家中面向取 4 時 Purity 值最高，在產品中面向取 6 時 Purity 值最高。鞋子評論在商家中面向取 4 時 Purity 值最高，在產品中面向取 4 時 Purity 值最高。由以上結果可以觀察到歸納上並非單純的增加或減少面向就能達到最好的 Purity 值，不過可以觀察到無論是生髮水或鞋子評論，面向取 4 時 Purity 值都會是最好的，這一點顯示消費者即使在談論不同產品的賣家，內容面向比較固定。在談論不同產品時，內容面向就比較多樣。. 54.

(63) 6.4. 評論摘要結果此部分呈現將 6.3 節中生髮水及鞋子評論 Purity 值最高的文字片段和其摘要內. 容，此邊先以生髮水的商家摘要 Aspect1 為例，如表 6.15、表 6.16 所示，其餘詳細內容請參照附錄一。表 6.15 商家面向歸納文字片段(生髮水) Aspects. Summary 賣家送蘆薈液除了物流其他滿意這裡非常感謝老闆送洗髮水贈送洗髮水好用送好多東西商家服務蠻周到謝謝店家不錯謝謝客服謝謝客服. Aspect 1. 賣家感覺態度老闆老闆店家客服賣家感謝包裝. 絕對賣家也好爽快敬業負責態度非常店家嚴實. 誠信經營用心經營小店. 也好熱情. 包裝精美一看包裝專業包裝包裹非常嚴實老闆包裝用心哦包裝包裹非常嚴實包裝仔細寶貝包裝非常嚴實包裝精美不錯 55.

(64) 包裝包裝包裝包裝包裝東西快遞物流收到物流. 給好評仔細細緻包裹非常嚴實精美收到迅速給力立馬挺快. 昨天收到寶貝兒收到全五分好評 5 分哦給五分好評心目中服務電商必須五星好評五星好評全 5 分好評五分好評這樣賣家應該得到褒讚心發貨. 56.

(65) 表 6.16 商家摘要(生髮水) Aspects. Summary 賣家送蘆薈液除了物流其他滿意. Aspect 1. (*1) 這裡贈送商家謝謝. 非常感謝老闆送洗髮水(*5) 洗髮水好用(*2) 服務蠻周到(*1) 店家不錯(*3). 感覺賣家用心經營小店(*3) 心目中服務電商(*3) 賣家非常熱情(*1) 包裝包裹非常嚴實(*11) 一看包裝專業(*1) 老闆包裝用心哦(*1) 包裝給好評(*1) 寶貝兒收到(*4) 快遞迅速(*1) 物流給力(*2) 物流挺快(*1) 必須五星好評(*6) 5 分哦(*1). 由以上結果顯示，確實可將許多文字片段摘要出來，比起要閱覽好幾千條文字片段內容，本論文所摘要出來的文字片段可減少了許多。以生髮水商家 Aspect1 為例，文字片段”這裡非常感謝老闆送洗髮水(*5)”除了本身自己外，是由”老闆爽快”、”老闆敬業”、”店家負責”、”感謝店家”所合併而成，雖然”老闆敬業”及”店家負責”這兩段呈現的意思跟摘要後的文字片段意思不盡相同，但當有位消費者感謝商家老闆時，其實也間接代表這位老闆是敬業且負責的。. 57.

(66) 第七章結論與未來研究方向. 7.1. 實驗資料及特徵介紹本研究提出一個對網路商場評論自動產生面向摘要的方法，可幫助人們有效率. 的掌握每個商場中關於購買者對商家的描述，還有購買者對產品的意見。本論文提出以單詞頻率特徵、主題模型特徵和關鍵字特徵分類出商家與產品文字片段。在架構方面，提出以兩階段來建構分類模型，在建立完商家分類模型後，之後可以減少商家人工標註的成本。在文字片段分群上，本論文利用 LDA 來輔助分群，並考慮到面向詞不足的部分，提出了以 Word2Vec 來擴展面向字，藉此達到更好的分群效果。透過一連串的實驗比較，證實了主題模型特徵和關鍵字特徵在商家和產品文字片段分上的價值。. 7.2. 未來研究方向本論文提出的商家與產品自動面向摘要方法，目前擷取的資料數量還不夠龐. 大，未來可考慮抓取更多的資料建立更好的模型，讓模型可以應用在更多商場的評論上。本論文建立的兩階段架構雖可減少商家片段人為標註，但在產品評論上還是需要人為標註，耗費的時間還是太多，未來可考慮利用半監督式學習的方式，利用只需要人為標註一部分當作參考，進而讓機器去學習如何自動標註其餘的文字片段，. 58.

(67) 進而大幅減少人為標註的成本與時間。本論文建立的面向對應方法可以將商家和產品文字片段摘要，卻缺少了分群的概念，未來可考慮加入讓文字片段透過分群的方法來完成摘要處理。. 59.

(68) 參考文獻 [1] A.K. Samha, Y. Li, J. ZhangAspect-based opinion mining from product reviews using conditional random fields.Data Mining and Analytics: Proceedings of the 13th Australasian Data Mining Conference [Conferences in Research and Practice in Information Technology, Volume 168], Australian Computer Society (2015), pp. 119-128. [2] Antonie, M.-L., Zaiane, O.R., Holte, R.C.: Learning to Use a Learned Model: A TwoStage Approach to Classification. In: Proceedings of the Sixth International Conference on Data Mining, pp. 33–42 (2006). [3] Bing Liu. Sentiment Analysis and Opinion Mining. Synthesis Lectures on Human Language Technologies. Morgan & Claypool Publishers, 2012.. [4] Bing Liu, Minqing Hu, and Junsheng Cheng. Opinion observer: analyzing and comparing opinions on the web. In Proceedings of the 14th international conference on World Wide Web, WWW ’05, pages 342–351, New York, NY, USA, 2005. ACM.. [5] Bing Liu. Sentiment Analysis and Opinion Mining. Synthesis Lectures on Human Language Technologies. Morgan & Claypool Publishers, 2012.. [6] Bing Liu, Minqing Hu, and Junsheng Cheng. Opinion observer: analyzing and comparing opinions on the web. In Proceedings of the 14th international conference on World Wide Web, WWW ’05, pages 342–351, New York, NY, USA, 2005. ACM.. 60.

(69) [7] Christina Sauper, Aria Haghighi, and Regina Barzilay. Content models with attitude. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies - Volume 1, HLT ’11, pages 350–358, Stroudsburg, PA, USA, 2011. Association for Computational Linguistics.. [8] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022, March 2003.. [9] HSU, CHEN-WEI. Fact Extraction for Epidemic Disease from Chinese News Articles. NTNU Thesis.. [10] Howell, D.C. Chi-square test: Analysis of contingency tables. In International Encyclopedia of Statistical Science; Springer: Berlin, Germany, 2011; pp. 250– 252.. [11] Ivan Titov and Ryan McDonald. Modeling online reviews with multi-grain topic models. In Proceedings of the 17th international conference on World Wide Web, WWW ’08, pages 111–120, New York, NY, USA, 2008. ACM.. [12] Li Zhuang, Feng Jing, and Xiao-Yan Zhu. Movie review mining and summarization. In Proceedings of the 15th ACM international conference on Information and knowledge management, CIKM ’06, pages 43–50, New York, NY, USA, 2006. ACM.. [13] Lun-Wei Ku, Yu-Ting Liang, and Hsin-Hsi Chen. Opinion extraction, summarization and tracking in news and blog corpora. In Proceedings of the AAAI Spring Symposium: Computational Approaches to Analyzing Weblogs, pages 100–107, 2006. 61.

(70) [14] Minqing Hu and Bing Liu. Mining and summarizing customer reviews. In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, KDD ’04, pages 168–177, New York, NY, USA, 2004. ACM.. [15] Niklas Jakob and Iryna Gurevych. Using anaphora resolution to improve opinion target identification in movie reviews. In Proceedings of the ACL 2010 Conference Short Papers, ACLShort ’10, pages 263–268, Stroudsburg, PA, USA, 2010. Association for Computational Linguistics.. [16] Pierre F. Baldi , Cristina V. Lopes , Erik J. Linstead , Sushil K. Bajracharya, A theory of aspects as latent topics, Proceedings of the 23rd ACM SIGPLAN conference on Object-oriented programming systems languages and applications, October 19-23, 2008, Nashville, TN, USA. [17] Qiaozhu Mei, Xu Ling, Matthew Wondra, Hang Su, and ChengXiang Zhai. Topic sentiment mixture: modeling facets and opinions in weblogs. In Proceedings of the 16th international conference on World Wide Web, WWW ’07, pages 171–180, New York, NY, USA, 2007. ACM. [18] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. Multi-facet rating of product reviews. In Proceedings of the 31th European Conference on IR Research on Advances in Information Retrieval, ECIR ’09, pages 461–472, Berlin, Heidelberg, 2009. Springer-Verlag.. [19] Samuel Brody and Noemie Elhadad. An unsupervised aspect-sentiment model for 62.