第三章 研究方法
3.5 意見評分
3.5.2 評論評分
3.5.1 節產生出每個意見詞的意見分數，我們參考 Zhang et al. [2009]考慮修 飾意見詞的副詞及否定詞的影響。我們在處理副詞部分，對意見詞極性有加強作 用的副詞作處理，如表 26 所示，定義這些副詞詞彙為副詞集合。從 3.3.3 節詞性 序列 ADV+V 收集而來，這些副詞對意見詞的極性有加強的作用，所以對意見詞 的分數也有所影響。我們設參數為α來對意見詞分數修改。在否定詞部分，否定 詞出現在意見詞前面，這個否定詞有反轉這意見詞的意見極性效果，我們設參數 為β。如果沒有副詞、否定詞，則參數預設值為 1。否定詞列表如表 27，定義這 些詞彙為否定詞集合。
30
表 26:修飾意見詞副詞
很 非常 最 太 好 還
滿 真是 都 有夠 夠 真的
真 那麼 挺 更 這麼 比較
蠻 絕對 極力 越 實在 極為
更加 如此 多麼 一直 頗 多
十分 相當
表 27:否定詞列表
不覺得 不要 不可能 不 不是 勿
缺乏 缺 了無 很少 不會 難
否認 比不上 全無 難以 絕無 無
缺乏 不至於 少 毫無 毫不 萬萬不
請勿 從不 不再 決不 不用 怎會
沒有 哪有 原本 本來 以為 別
沒 無 不會 過於 哪裡
利用公式 7 修改意見詞分數，原本 Word_score 範圍是[1,5]轉換成[-1,+1]，之 後乘上α、β參數修改意見詞分數，產生 Modified_score 來達到加強或反轉意見極 性的作用。
ModiHied_scorew = α× β× Word_scorew (7)
α = J 1.5, 如果意見詞w前面兩個詞中有包含副詞集合的詞彙 1, 如果意見詞w前面兩個詞中沒有包含副詞集合的詞彙 N
β = J −0.4, 如果意見詞w前面三個詞中有包含否定詞集合的詞彙 1, 如果意見詞w前面三個詞中沒有包含否定詞集合的詞彙
N
我們考慮意見詞所位處的小句及轉折語。意見詞所處的小句位置，在整個評 論意見詞位於在開頭或結尾的句子中，通常會比中間句子有重要性，更能表達整 個評論的意見方向，所以我們對位在開頭或結尾的意見詞給予較大的權重，評論 中開頭、結尾的句子定義為評論前面兩小句及後面兩小句，權重值設為λ，如果 句子位置不是位在開頭或結尾，則權重λ預設值為 1。
在轉折語方面，我們收集開頭含有這些轉折語的句子，例如:含有假設語氣 的詞彙等，如表 28 所示，定義為轉折語集合。[林宇中，2003]論文中，提出含 有這類轉折語的句子通常不是整個評論所要主要表達的語意，而 Narayanan et al.
[2009]也探討著轉折語對意見的影響。例子:“雖然這部電影演員都不是巨星，但 整部電影很棒!”。實際上訴的評論主要表達的語意是“電影很棒”，而不是“演員 都不是巨星”這句話。在意見詞小句中如果含有這類轉折語，則給予這意見詞較
31
小的權重，權重值設為γ，如果句子中沒有這些轉折語，則權重γ預測值為 1。
表 28:轉折語列表
縱使 原本 假設 否則 要不 要不然
儘管 不然 縱 雖然 雖 縱然
如果 假設 想說 以為 本來
我們計算整個評論的分數如公式 8，假設一個評論內有 n 個意見詞，每個意 見詞分數都已考慮過副詞、否定詞修改產生 Modified_score，我們考慮這些意見 詞所處的句子位置是開頭或結尾及是否含有轉折語，將這些分數乘上權重值，再 除以全部意見詞產生的權重值，算出意見詞平均的分數，最後再配合網路評論的 評分範圍，把分數範圍[-1,+1]轉換成[1,5]，當作整個評論的自動評分。
Document_scoredS =∑V T#UHU_ #@
@WX ×λ@×γ@
∑V@WXλ@×γ@ (8)
λ = J 1.5, 如果意見詞w所在的位置是評論開頭或結尾 1, 如果意見詞w所在的位置是評論中間 N
γ = J 0.3, 如果意見詞w所在的小句有含轉折語集合的詞彙 1, 如果意見詞w所在的小句沒有含轉折語集合的詞彙 N
我們收集一到五顆星評論當作實驗語料，把五、四顆星的評論當作正向評論，
總共有 1928 篇，三顆星的評論當作中立評論，共有 953 篇，一、二顆星的評論 當作負向評論，共有 1912 篇。利用公式 7 產生出整個評論的評分，把評論的評 分四捨五入後自動對應到這三種評論。
我們首先對副詞、否定詞參數來處理，我們設定副詞參數是 1.1 到 2.0，代 表這意見詞分數最低是原本分數的 1.1 倍，最高為 2 倍，而否定詞部分我們把範 圍定為-1 到-0.1，分數乘以-1 的話代表意見詞分數完全正負向顛倒。我們利用分 三種評論的實驗，調整副詞、否定詞的參數，藉由比對分類效果挑選最佳的參數，
副詞參數 α 為 1.5，否定詞參數 β 為-0.4，如果乘上參數超過最大範圍，例如:數 值超過 1 則以最大範圍的數值 1 為限。
我們產生出副詞、否定詞的參數後，再對句子的位置、是否含有轉折語的權 重給一定範圍，句子在開頭或結尾的權重λ範圍為 1.1 到 2，代表這意見詞最多 比其它意見詞多一倍權重，在句子含有轉折語的權重γ範圍為 0.1 到 0.9 之間，
代表這意見詞至少有其它意見詞 0.1 倍的權重。我們利用評分實驗結果算出權重 的最佳解，最佳權重 λ 為 1.5，γ 為 0.3。
32
計算範例:
評論例子:雖然這部電影的卡司“不是很強”，但整部電影“很棒”!
假設意見詞“強”分數為 0.25，“棒”分數為 0.5
意見詞“不是很強”的修改分數= -0.4×1.5×0.25=-0.15 意見詞“很棒”的修改分數=1.5×0.5=1
整個評論評分 Document_score(dS)
=[(-0.15×1.5×0.3)+(1×1.5×1)]/[(1.5×0.3)+(1.5×1)]=0.73
我們在參數 α 為 1.5、β 為-0.4，權重 λ 為 1.5 、γ 為 0.3 的情況下，實驗出 表 29 的評論評分結果，下面無句型處理是完全沒有考慮這些情況帶預設值 1 進 行評分，我們可以看得出在考慮副詞、否定詞的影響及句子的位置、轉折語之後，
對自動評分不管哪一種類的評論都有增加評分的準確度，相對原本方式的自動評 分有助益的效果。
表 29:評論評分實驗 網頁
標記
系統正 確標記
系統 標記
Recall Precision F-score 有句型
處理
正向評論 1928 1330 1778 68.99 74.80 71.78
中立評論 953 389 1376 40.81 28.27 33.40 負向評論 1912 1162 1639 60.77 70.9 65.45 無句型
處理
正向評論 1928 1295 1822 67.17 71.08 69.07 中向評論 953 412 1586 43.23 25.98 32.45 負向評論 1912 994 1385 51.99 71.77 60.3 我們做一個分類五級分評論的實驗，把我們系統自動產生的評論評分，四捨 五入對應到五級分中，比較與使用者自己所打的分數是否有吻合，實驗結果如表 30，我們可以發現在要單獨分類五、四分及一、二分是有一點難度的，因為五、
四分比較屬於正向評論，使用者在評論正向評論時，會打四分或五分比較取決自 己主觀因素，所以我們可以看出在正向極端五分及負向極端一分的分類效果比較 好，越靠近中間模糊地帶分類效果越差，在表 31 的中間斜線部分代表正確分類 到五級分的評論數量。我們可以觀察系統產生的分數，發現在表格右上角有很多 錯誤分類級分的評分，說明這些系統評分大多都是比使用者所給分數還要高。
33
表 30:評論五級分評分實驗 評論網路
評價
系統正確 標記
系統標記 Recall Precision F-score
5 分 52 138 0.52 0.38 0.47 4 分 27 132 0.27 0.20 0.23 3 分 27 100 0.27 0.27 0.27 2 分 30 97 0.3 0.31 0.31 1 分 20 33 0.2 0.6 0.3
表 31:評論五級分評分實驗比較 系統評論評價
1 分 2 分 3 分 4 分 5 分 網路評
論評價
1 分 20 47 16 11 6 2 分 7 30 34 21 8 3 分 3 16 27 35 19 4 分 1 3 16 27 53 5 分 2 1 7 38 52 最後我們單純看系統評分跟實際上評論者所給的分數差距，如表 32 所示，
發現九成評分差距是在兩分以內，說明我們系統自動評分大部分還是靠近使用者 所給的分數。
表 32:評論五級分差距統計 系統評分
與評論者 評分差距
差距小於等於 1 差距小於等於 2 差距小於等於 3 差距小於等於 4
正確率 332(67%) 456(91%) 488(98%) 400(100%) 我們觀察這一些錯誤評分的評論，發現評論者發表的評論與給予的評分往往 不一定具有相關性。有些評論內容幾乎都是好評，評論者卻給予不高的分數，這 都與評論者主觀因素相關。有一些評論者比較嚴苛，評論中大部分都是好評但，
還是給予不高的分數，如下面評論例子。而有一些評論者則比較寬鬆，評論中雖 然有批評，但還是給予最高分的評價，這都是使我們分類級分效果變差的因素。
評論五級分評分例子:
很感動的一部電影,尤其是從周杰倫跑出畢業堂外開始到最後他回到1979年時..
我在家裡哭到我爸都一直笑!! 桂綸鎂演的真的很好!!我從那天看,到現在我還是
34
無法釋懷..我想我可能中毒太深了吧?總覺得這幾天看完之後心中有一股鬱悶感, 然後又想到小雨寫完立可白趴在桌上死去的畫面,我就想哭..
使用者評分:2 系統評分:4.8
35