第四章 實驗結果與評估
4.3 影像色彩分析搭配情感分析之應用
4.3.1 Instagram 攝影師之影像分析
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
57
驗證。分析其影像風格是否符合本研究之十大分類，進而對於影像給人的感覺，
攝影者所標籤的字眼情緒、還有追蹤者的回應進行分析。然而，本實驗應用中攝 影師的文字是為了驗證分類結果，而非做自動圖文內容相似度分析。
1. 攝影師 trynidada
Instagram：https://www.instagram.com/trynidada/ 圖 4-4 為其部分作品：
圖 4-4 攝影師 trynidada 之作品
此位攝影師拍攝的影像多為灰暗憂鬱、沈重的風格，色調多為暗色系，鮮少 有清晰明亮、熱情溫暖、浪漫柔和等之影像。本研究取以下表 4-5 中 12 張影像 作為測試資料做預測：
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
58
表 4-5 攝影師 trynidada 之測試影像
剛硬沈重
灰暗憂鬱
寧靜平和
預測準確率的結果為 91.666% (11/12)，下表 4-6 為錯誤之影像分析：
表 4-6 攝影師 trynidada 的預測錯誤之影像
定義風格 剛硬沈重
‧
回顧此影像之攝影師對於此影像所發表的文字是“…for someone…”，的確也是 一段較為負面、傷心的文字。 由 SVM 分類還有維度模式，進行二維的分析後 所得到的結果是能夠滿足我們對於此影像的分類還有假設情緒的。‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
60
圖 4-5 影像與情感分析之驗證
圖 4-6 影像與情感分析之驗證
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
61
圖 4-6 經過 SVM 分類還有維度模式的分析，我們可以得到此影像為灰暗憂 鬱的風格，座落在 Low Arousal 以及 Negative Emotion 的區塊中，並得到 Sad, Upset 等的情緒字眼。對應到影像，攝影師在發表此影像時所搭配的文字為“blue skies of water, poor out of devastation, crashing tears of wood” 除了畫面灰濛濛的，
文字中寫上憂鬱的藍色，破壞，崩潰的眼淚等情緒的敘述，皆是屬於較為負面情 緒的文字。
2. 攝影師 carolyn_mara
Instagram：https://www.instagram.com/carolyn_mara/ ，圖 4-7 為其部分作品：
圖 4-7 攝影師 Carolyn_Mara 之作品
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
62
此位攝影師拍攝的影像多為清晰明亮、寧靜平和，或是色調多為柔和的浪漫 風格。不太有沈重、憂鬱等風格之影像。本研究取以下表 4-7，12 張影像作為測 試資料做預測：
表 4-7 攝影師 Carolyn_Mara 之測試影像
寧靜平和
清晰明亮
繽紛色彩
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
64
以下使用圖 4-8, 4-9, 4-10 三張不同風格影像作情緒分析的驗證：
圖 4-8 影像與情感分析之驗證
圖 4-8 由於畫面中組成的顏色數量多，明度高，本研究 SVM 預測將其歸類 在繽紛色彩中。搭配維度模式的分析後，此影像座落在 High Arousal 以及 Positive Emotion 的區塊中，因此我們可以得到以下幾種情緒的字眼：Love, Positive。對 應到此攝影師，搭配此影像的文字也是充滿愛還有正面的句子。“being loved”,
“surrounding ourselves with love and colorful”等之字眼皆有出現在攝影師的發文 中。再仔細看底下追蹤者的回應，多數人給予的回應也皆具正面、愛的情緒還有 表情符號。因此我們可以視為此影像所帶給人的感覺及情緒驗證是成立的。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
65
圖 4-9 影像與情感分析之驗證
本研究 SVM 分類將圖 4-9 分在寧靜平和的風格中。搭配的維度模式所得到 的字眼為：peace, calm。此影像畫面整體色調為白色，整體給人非常舒服、慵懶 的感覺。對應到攝影師的文字 感 quiet time for mama” 是一段讓人有休息、放鬆 感覺的文字。同時攝影師也回應著 “It’s my happy place”， 在 Valence 和 Arousal 的二維分析中，此影像的位置落在 Positive emotion 還有 Low arousal 的區塊中，
而 happy 的情緒是屬於 positive emotion，象徵正面、開心的情緒。因此這張影像 不僅給人舒服、寧靜感，同時也能給人愉悅的感覺。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
66
圖 4-10 影像與情感分析之驗證
圖 4-10 畫面明亮、清晰，SVM 將其分類在清晰明亮中。維度模式分類後其 座落在 High Arousal 以及 Positive Emotion 的區塊中，給人是正面、快樂、積極 的感覺。可以得到以下情緒：happy, love。對應到攝影師的文字，可以看到相同 的情緒“love summertime activities”，而追蹤者也回應著“This is so great! Have fun!”等賦予正面能量的文字。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
67
3. 攝影師 neivy
Instagram：https://www.instagram.com/neivy/ ，圖 4-11 為其部分作品：
圖 4-11 攝影師 neivy 之作品
此攝影師所拍攝的影像多為柔和浪漫、清晰明亮的風格，影像具有粉色、紫 色的色調，給人浪漫柔和，溫暖的感覺。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
68
本研究以下表 4-9 中 12 張影像作為測試資料做預測：
表 4-9 攝影師 neivy 之測試資料
浪漫柔和
清晰明亮
寧靜平和
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
預測準確率的結果為 91.666% (11/12)，下表 4-10 為錯誤之影像分析：
表 4-10 攝影師 neivy 的預測錯誤之影像
定義風格 浪漫柔和
影像
預測結果 寧靜平和、日系清新、清晰明亮
此影像我們透過投票，多數人認為是浪漫柔和的影像，因為畫面整體感覺給 人舒服浪漫的粉藍色還有粉紅色夕陽。然而對於 SVM 分類來說，整體畫面色調 一致，飽和度不高，因此將其分類在寧靜平和、還有日系清新的分類中。由於畫 面中亮度高，也帶有明亮的感覺，然而影像中的粉紅色、粉紫色所佔的比例似乎 並無法將其分類在浪漫柔和的區塊中。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
70
以下使用圖 4-12、4-13 兩張不同風格影像作情緒分析的驗證：
圖 4-12 影像與情感分析之驗證
圖 4-12 的分類為浪漫柔和風格，搭配維度模式所做的情感分析位置落在 Positive Emotion 還有 Low Arousal 的區塊中，我們可以得到 peace, serene, relaxed 等情緒的字。 搭配攝影師的文字，的確也看到“peace storm”, “welcoming” 等較 正面但情緒並不是太過激昂的字詞。追蹤者也有在影像底下留言說 “so peaceful!”
等相同情緒的回應。因此這樣的驗證是符合我們所期待的影像情感分析。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71
圖 4-13 影像與情感分析之驗證
圖 4-13 分類被定義在寧靜平和的風格中，而 SVM 也將其分在此風格分類。
搭配著維度模式的情感分析，此影像座落在 Low Arousal 以及 Positive Emotion 的區塊中，得到的字為 calm, relaxed, serene. 此攝影師發表的文字多半是以詩集 的型態，比較難第一直覺上看出詩的情緒。但我們仍可以透過一些單字來找到是 否符合維度模式所做的情感分析，例如 “Let’s cherish”, “along our way…” 等字 眼是屬於情緒起伏較低平的詞彙，並沒有給人很激動或是非常激昂的感覺。
4.4 小結
本章節從研究最初期的搜集資料、樣本，介紹本實驗所需的樣本數為 1000 張影像，十種風格各有 100 張的樣本。而每張影像的風格定義除了透過 Instagram 上發布人的標籤，也透過本實驗所製作的投票網站對影像進行具共識的投票。使 每張樣本皆有多數人相同感覺的風格，進而使用它成為樣本。過程中不僅需要多 次的調整，也需要清楚的明白十種風格間的差異，否則儘管樣本數已達到實驗所 預期的數字，做出來的預測結果也無法達到如此穩定的結果。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
72
現代人非常依賴 Instagram 等知名的社交平台來抒發情緒，藉此傳遞在生活 中所遇到的問題、困境或是喜悅的心情跟感受。透過實驗中的搭配維度模式情感 分析，本實驗從知名的攝影師著手，一方面是因為攝影師具有較一致的拍攝風格，
對於本實驗去驗證風格有極大的幫助，另一方面是知名攝影師的追蹤者眾多，除 了透過攝影師發文的文字，我們也能夠透過追蹤者對於此張影像所做的回應進行 分析，來驗證是否多數人對於該影像也有相同的感受。
‧
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
76
關。進而可以對社會或是廣大的社群，針對有潛在心理疾病的人給予更多的瞭解 和幫助。
‧
[1] 世界衛生組織統計之憂鬱症人數http://www.who.int/mediacentre/factsheets/fs369/en/
[2] Gonzalez, Rafael C., and E. Richard. "Woods, digital image processing." ed: Prentice Hall Press, ISBN 0-201-18075-8 (2002).
[3] Wikipedia contributors, "HSL and HSV," Wikipedia, The Free Encyclopedia,
https://en.wikipedia.org/w/index.php?title=HSL_and_HSV&oldid=756001150 (accessed
December 21, 2016).
[4] 色彩心理學：
http://td026544.pixnet.net/blog/post/32030867-%E8%89%B2%E5%BD%A9%E5%BF
%83%E7%90%86%E5%AD%B8
[5] 彭姝樺 色彩暗號：關於那些人的顏色學，心理事。尖端出版股份有限公司，2011。
[6] Reece, Andrew G., and Christopher M. Danforth. "Instagram photos reveal predictive markers of depression." arXiv preprint arXiv:1608.03282 (2016).
[7] Lee, Honglak, et al. "Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations." Proceedings of the 26th annual international conference on machine learning. ACM, 2009.
[8] Shin, Laura (June 26, 2012). "Google brain simulator teaches itself to recognize cats". SmartPlanet. Retrieved February 11, 2014.
[9] Cortes, C.; Vapnik, V. "Support-vector networks". Machine Learning. 1995, 20 (3):
273–297.
[10] Hsu, Chih-Wei, Chih-Chung Chang, and Chih-Jen Lin. "A practical guide to support vector classification." (2003): 1-16.
[11] LIBSVM https://www.csie.ntu.edu.tw/~cjlin/libsvm/
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
78
[12] Pang, Bo, and Lillian Lee. "Opinion mining and sentiment analysis." Foundations and trends in information retrieval 2.1-2 (2008): 1-135.
[13] 彭聲揚 透過圖片標籤觀察情緒字詞與事物概念之關聯，政治大學碩士論文，2011 年 7 月
[14] 陳育修 藉由孿生網路進行不受濾鏡影響之社群網路圖片分類，台灣大學碩士碩文，
2015 年 7 月
[15] Barrett, Lisa Feldman. "Valence is a basic building block of emotional life." Journal of Research in Personality 40.1 (2006): 35-55.