第二章 領域知識與相關研究
2.4 情感分析（Sentiment Analysis）
2.4.1 維度模式情緒表示法
SVM 分類工具，使用的 library 是 LIBSVM[11]。
2.4 情感分析（Sentiment Analysis）
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
27
針對情緒的描述，本研究應用了一種稱為維度模式[15]的方法在研究中，是 一種當受試者面對刺激時該如何表達他接受刺激之後的狀態的一種表示法。根據 維度模式中，水平軸 Valence 為受試者接受刺激的感覺，程度由舒適到不舒適。
而垂直軸是 Arousal, 表示接受刺激後情緒起伏的強度。 圖 2-8 說明了Valence and
Arousal 所組成的情緒向度，透過此模型，我們可以對分類出來的影像做應用，
將風格帶給人的感覺對應到情感分析模型上。
圖 2-8 Valence and Arousal 示意圖
2.5 小結
由於 HSV 色彩空間中每一個成分彼此之間是獨立的，在做色彩分析時較 能夠將顏色切分的乾淨，而 RGB 空間最主要的缺點就是每一個成份之間有很 高的關聯性。而且 HSV 是一套經常用於電腦美術的色彩空間系統，在視覺上 比 RGB 模型更具有視覺直觀性。因此本論文選擇的採用 HSV 色彩空間。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
28
因為本研究中使用了色彩空間做為分析，所以在機器學習的技術上選擇 了傳統的 SVM 方法來做分析。因為 CNN 所學習到的特徵，較多為影像結構，
並不適用分析色彩。
最後，本研究並搭配上情感分析的模型進行個案研究，希望可以無需借 助文本內容，單純藉由分析影像中的色彩來進行情緒向度的驗證。
‧
Facebook、Twitter、Tumblr 及 Flickr 等社群網路服務或者是 Instagram 的伺服器定義風格 樣本搜集 對樣本進行投票 Machine Learning
資料訓練及預測 分析結果
‧
資料上傳。Instagram 的特色即是 App 本身就具有多款濾鏡提供使用者套用，目 前 Instagram 有 23 種濾鏡，皆具有不同的感覺比如說黑白、復古、增亮、柔和等。‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
31
圖 3-11 溫暖熱情之影像示意圖
日系清新(Fresh)- 影像風格為日系清新，飽和度偏低，色調較為淡雅，畫面 稍微帶有霧面感覺。在攝影的風格定義中，也有一派攝影風格名為日系清新。
如圖 3-4：
圖 3-12 日系清新之影像示意圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
32
懷舊復古 (Reminiscence)- 影像色調多為泛黃、咖啡色調，給人懷舊復古的 感覺。在攝影的風格中，也有將濾鏡特別調成泛黃的色調的風格，讓畫面呈 現復古感的影像。如圖 3-5：
圖 3-13 懷舊復古之影像示意圖
繽紛色彩 (Colorful)- 顏色繽紛、多樣，影像帶給人活潑豐富的感覺。如圖 3-6：
圖 3-14 繽紛色彩之影像示意圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
33
灰暗憂鬱 (Blue)- 影像色調偏深色系，深藍、深灰、深咖啡色，使人有憂鬱 灰暗的感覺。如圖 3-7：
圖 3-15 灰暗憂鬱之影像示意圖
清晰明亮 (Light)- 影像亮度高，多為天空藍、亮綠色、白色等給人戶外明 亮的感覺。如圖 3-8：
圖 3-16 清晰明亮之影像示意圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
34
剛硬沈重 (Heavy)- 多為黑白色系、深色系的影像，影像給人的感覺是沈重、
剛硬的。如圖 3-9：
圖 3-17 剛硬沈重之影像示意圖
浪漫柔和 (Romantic)- 色彩多為粉色、紫色，畫面柔和舒服，給人浪漫的感 覺。如圖 3-10：
圖 3-18 浪漫柔和之影像示意圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
35
鮮明強烈 (Strong)- 顏色對比高，彩度高，黑與紅，或是顏色彩度飽和使得 影像給人有鮮明濃烈感。如圖 3-11：
圖 3-19 鮮明強烈之影像示意圖
寧靜平和 (Peace)- 影像主要為灰白色系、彩度低，顏色不強烈，給人寧靜 舒服的感覺。如圖 3-12：
圖 3-20 寧靜平和之影像示意圖
‧
來做風格的區分之外，也使用了 Instagram 中的標籤功能(#hashtag)來尋找影像。由於 hashtag 的標籤通常是英文，所以我使用的搜尋關鍵字是用英文來做搜尋。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
37
本實驗使用 Python Django framework 來製作投票網頁，在首頁的地方我們 提供了前測的教學，告訴受試者我們對於十種影像風格的定義還有範例，如圖 3-13：
圖 3-21 投票網站之影像風格教學
閱讀完投票前的影像風格教學後，我們便可以開始讓受試者進行影像感覺的 投票。每投完一張影像，網站便會隨機出現下一張影像讓受試者投票，如圖 3-14 所示：
圖 3-22 影像投票示意圖
‧
‧
‧
飽和度（Saturation），又稱彩度或顏色純度，當一種顏色與相同亮度的灰階 色（即白、灰、黑色）之間差距越大，該色的飽和度越高，顏色就越鮮豔；
‧
註：H=0-180, S=0-255, V=0-255
• boundaries= [([0,0,0], [10,100,100])]
• S:飽和度低 V:明度低
• boundaries= [([0,0,100], [10,100,255])]
• S:飽和度低 V:明度高
• boundaries= [([0,100,0], [10,255,100])]
• S:飽和度高 V:明度低
• boundaries= [([0,100,100], [10,255,255])]
• S:飽和度高 V:明度高
H 為 0～180 度, 我們將 H 每 20 度切下一刀，可以分為 9 個區塊，S (0～255)和 V(0～255) 再又各自切一半，排列組合會有 9*4 =36 個區塊的顏色，針對黑、白、
灰三區塊再多細分 9 大區塊，加起來總共有 45 個區塊。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
42
以下用圖 3-16 作為本實驗切割顏色示意圖：
圖 3-24 HSV 顏色切割示意圖
將 HSV 使用上述方法切割為 45 個區塊後，我們便可以將這些顏色區塊在影 像中所佔的比例計算出來，分析影像中各顏色區塊所佔的比例。
以紅色為例，我們可以透過程式計算出紅色在影像中所佔據的比例，如圖 3-17 所示：
圖 3-25 紅色在影像中所佔據比例之示意圖
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
45
在 2.4.1 中提到維度模式情緒表示法，實驗的應用我們搭配 3.1.1.2 章節中 所定義的十種風格類型，分別將風格搭配到的情緒感受，標示於下圖 3-19：
圖 3-27 Valence and Arousal 搭配風格示意圖
從 2007 年開始，iPhone 攝影獎（iPhone Photography Awards，IPPAWARDS）。
藉由人手一機的簡單概念，透過 Apple 使用者手上的 iPhone 鏡頭，拍下你所 發現的世界。每年都會自超過 130 個國家或地區 iPhone 攝影師所拍攝的數千 張照片中挑選最頂尖的作品，而每年的攝影獎年度得主也都是由 IPPA 創辦人 Kenan Aktulun 決選出。由於 2016 年 7 月，IPPA 宣布了 2016 年年度攝影獎的得 獎名單，本研究所探討的主題是針對 Instagram 的濾鏡所產生的效果，因此我們 搜尋了得獎名單，找出了 3 位得獎攝影師。他們的作品都有放在 Instagram 這個 平台上，因此我們便可透過分析這些攝影師的影像，來驗證情感的對應是否有符 合我們預期。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
46
3.5 小結
本研究最初的目的，是希望透過機器學習的方法，藉由我們給予的影像特徵 值來進行訓練跟學習，進而分析出我們期待的應有結果。由於現在科技的進步，
人手一台手機，Instagram 也是大多數用戶會使用發表心情、感受的平台。而現 代人在生活中也相當依賴 Instagram 上發佈照片者所傳遞的訊息、感受，所以期 待能夠透過此研究的實驗結果來得知，是否能夠透過機器來判斷，不論是觀看者 對影像的感受，或是拍攝影像者所想傳遞的感受，進而在未來有更多有意義的應 用。
‧
‧
Training error rate: 19.2%
可以得到以下預測結果：
圖 4-1 隨機從樣本影像中取出做預測之結果 1
Top1 Accuracy= 68%(102/150) Top2 Accuracy= 90%(135/150) Top3 Accuracy= 97.3%(146/150)
再將訓練資料與測試資料打亂取其中 150 張出來做一次測試預測
圖 4-2 隨機從樣本影像中取出做預測之結果 2
Top1 Accuracy= 67.33%(101/150) Top2 Accuracy= 88.6%(133/150) Top3 Accuracy= 96%(144/150)
Training error rate 為 19.2%，在 Accuracy 上可以達到 67.33%~68%。接著我 們另外取新的 150 張影像繼續做測試的結果與分析。
圖 4-3 為另外搜集 150 張影像之預測結果：
圖 4-3 新搜集 150 張影像之預測結果
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
49
最後為影像測試結果，以下分別為 Top1/Top2/Top3 的預測結果：
Top1 Accuracy = 65.3% (98/150) Top2 Accuracy= 87.3% (131/150) Top3 Accuracy= 96% (144/150)
表 4-1 為新的測試影像內容：
表 4-1 測試資料之影像
熱情溫暖
日系清新
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
50
懷舊復古
繽紛色彩
灰暗憂鬱
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
51
清晰明亮
剛硬沉重
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
52
浪漫柔和
鮮明強烈
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
53
4.2.1 預測錯誤的影像分析
根據 4.2 章節所做的實驗，我們可以得到穩定的預期結果。在此章節我們將 分析 Top3 結果預測錯誤之影像。
寧靜平和
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
55
表 4-3 測試資料中預測錯誤之影像
定義風格 2.1 繽紛色彩 2.2 鮮明強烈
影像
預測結果 日系清新、寧靜平和、復古懷舊 灰暗憂鬱、清晰明亮、繽紛色彩
以 2.1 張影像來看，SVM 把它歸類在清新、寧靜的原因，多半是背景白色、
灰色系列的色塊佔據整張影像大部分的關係。懷舊則是因為整張影像並沒有太高 的亮度，右上方和左下方都各自還有一小塊咖啡色、大地色系的顏色。繽紛色彩 的色塊雖然從我們人類的肉眼可以清楚看到，但或許對於機器來說，圖像內的色 彩並沒有達到理想中認為該分類在繽紛色彩的分類中。
再來看的是第 2.2 張影像，影像中以鮮豔的藍色為最主要色塊，由於 SVM 分析中憂鬱沈重的分類藍色、深藍色為一大指標，因此認為是憂鬱的分類。而被 分類在明亮和繽紛的原因是因為此影像明度偏高，此影像給人的確也帶有繽紛的 感覺，並不只是色彩鮮明濃烈的感覺。
第三組測試資料之預測錯誤影像如表 4-4：
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
57
驗證。分析其影像風格是否符合本研究之十大分類，進而對於影像給人的感覺，
攝影者所標籤的字眼情緒、還有追蹤者的回應進行分析。然而，本實驗應用中攝 影師的文字是為了驗證分類結果，而非做自動圖文內容相似度分析。
1. 攝影師 trynidada
Instagram：https://www.instagram.com/trynidada/ 圖 4-4 為其部分作品：
圖 4-4 攝影師 trynidada 之作品
此位攝影師拍攝的影像多為灰暗憂鬱、沈重的風格，色調多為暗色系，鮮少 有清晰明亮、熱情溫暖、浪漫柔和等之影像。本研究取以下表 4-5 中 12 張影像 作為測試資料做預測：
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
58
表 4-5 攝影師 trynidada 之測試影像
剛硬沈重
灰暗憂鬱
寧靜平和
預測準確率的結果為 91.666% (11/12)，下表 4-6 為錯誤之影像分析：
表 4-6 攝影師 trynidada 的預測錯誤之影像
定義風格 剛硬沈重
‧
回顧此影像之攝影師對於此影像所發表的文字是“…for someone…”，的確也是 一段較為負面、傷心的文字。 由 SVM 分類還有維度模式，進行二維的分析後 所得到的結果是能夠滿足我們對於此影像的分類還有假設情緒的。‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
60
圖 4-5 影像與情感分析之驗證
圖 4-6 影像與情感分析之驗證
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
61
圖 4-6 經過 SVM 分類還有維度模式的分析，我們可以得到此影像為灰暗憂 鬱的風格，座落在 Low Arousal 以及 Negative Emotion 的區塊中，並得到 Sad, Upset 等的情緒字眼。對應到影像，攝影師在發表此影像時所搭配的文字為“blue skies of water, poor out of devastation, crashing tears of wood” 除了畫面灰濛濛的，
文字中寫上憂鬱的藍色，破壞，崩潰的眼淚等情緒的敘述，皆是屬於較為負面情 緒的文字。
2. 攝影師 carolyn_mara
2. 攝影師 carolyn_mara