第三章 資料分析與模型建立
3.5 小結
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
46
3.5 小結
本研究最初的目的，是希望透過機器學習的方法，藉由我們給予的影像特徵 值來進行訓練跟學習，進而分析出我們期待的應有結果。由於現在科技的進步，
人手一台手機，Instagram 也是大多數用戶會使用發表心情、感受的平台。而現 代人在生活中也相當依賴 Instagram 上發佈照片者所傳遞的訊息、感受，所以期 待能夠透過此研究的實驗結果來得知，是否能夠透過機器來判斷，不論是觀看者 對影像的感受，或是拍攝影像者所想傳遞的感受，進而在未來有更多有意義的應 用。
‧
‧
Training error rate: 19.2%
可以得到以下預測結果：
圖 4-1 隨機從樣本影像中取出做預測之結果 1
Top1 Accuracy= 68%(102/150) Top2 Accuracy= 90%(135/150) Top3 Accuracy= 97.3%(146/150)
再將訓練資料與測試資料打亂取其中 150 張出來做一次測試預測
圖 4-2 隨機從樣本影像中取出做預測之結果 2
Top1 Accuracy= 67.33%(101/150) Top2 Accuracy= 88.6%(133/150) Top3 Accuracy= 96%(144/150)
Training error rate 為 19.2%，在 Accuracy 上可以達到 67.33%~68%。接著我 們另外取新的 150 張影像繼續做測試的結果與分析。
圖 4-3 為另外搜集 150 張影像之預測結果：
圖 4-3 新搜集 150 張影像之預測結果
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
49
最後為影像測試結果，以下分別為 Top1/Top2/Top3 的預測結果：
Top1 Accuracy = 65.3% (98/150) Top2 Accuracy= 87.3% (131/150) Top3 Accuracy= 96% (144/150)
表 4-1 為新的測試影像內容：
表 4-1 測試資料之影像
熱情溫暖
日系清新
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
50
懷舊復古
繽紛色彩
灰暗憂鬱
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
51
清晰明亮
剛硬沉重
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
52
浪漫柔和
鮮明強烈
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
53
4.2.1 預測錯誤的影像分析
根據 4.2 章節所做的實驗，我們可以得到穩定的預期結果。在此章節我們將 分析 Top3 結果預測錯誤之影像。
寧靜平和
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
55
表 4-3 測試資料中預測錯誤之影像
定義風格 2.1 繽紛色彩 2.2 鮮明強烈
影像
預測結果 日系清新、寧靜平和、復古懷舊 灰暗憂鬱、清晰明亮、繽紛色彩
以 2.1 張影像來看，SVM 把它歸類在清新、寧靜的原因，多半是背景白色、
灰色系列的色塊佔據整張影像大部分的關係。懷舊則是因為整張影像並沒有太高 的亮度，右上方和左下方都各自還有一小塊咖啡色、大地色系的顏色。繽紛色彩 的色塊雖然從我們人類的肉眼可以清楚看到，但或許對於機器來說，圖像內的色 彩並沒有達到理想中認為該分類在繽紛色彩的分類中。
再來看的是第 2.2 張影像，影像中以鮮豔的藍色為最主要色塊，由於 SVM 分析中憂鬱沈重的分類藍色、深藍色為一大指標，因此認為是憂鬱的分類。而被 分類在明亮和繽紛的原因是因為此影像明度偏高，此影像給人的確也帶有繽紛的 感覺，並不只是色彩鮮明濃烈的感覺。
第三組測試資料之預測錯誤影像如表 4-4：
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
57
驗證。分析其影像風格是否符合本研究之十大分類，進而對於影像給人的感覺，
攝影者所標籤的字眼情緒、還有追蹤者的回應進行分析。然而，本實驗應用中攝 影師的文字是為了驗證分類結果，而非做自動圖文內容相似度分析。
1. 攝影師 trynidada
Instagram：https://www.instagram.com/trynidada/ 圖 4-4 為其部分作品：
圖 4-4 攝影師 trynidada 之作品
此位攝影師拍攝的影像多為灰暗憂鬱、沈重的風格，色調多為暗色系，鮮少 有清晰明亮、熱情溫暖、浪漫柔和等之影像。本研究取以下表 4-5 中 12 張影像 作為測試資料做預測：
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
58
表 4-5 攝影師 trynidada 之測試影像
剛硬沈重
灰暗憂鬱
寧靜平和
預測準確率的結果為 91.666% (11/12)，下表 4-6 為錯誤之影像分析：
表 4-6 攝影師 trynidada 的預測錯誤之影像
定義風格 剛硬沈重
‧
回顧此影像之攝影師對於此影像所發表的文字是“…for someone…”，的確也是 一段較為負面、傷心的文字。 由 SVM 分類還有維度模式，進行二維的分析後 所得到的結果是能夠滿足我們對於此影像的分類還有假設情緒的。‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
60
圖 4-5 影像與情感分析之驗證
圖 4-6 影像與情感分析之驗證
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
61
圖 4-6 經過 SVM 分類還有維度模式的分析，我們可以得到此影像為灰暗憂 鬱的風格，座落在 Low Arousal 以及 Negative Emotion 的區塊中，並得到 Sad, Upset 等的情緒字眼。對應到影像，攝影師在發表此影像時所搭配的文字為“blue skies of water, poor out of devastation, crashing tears of wood” 除了畫面灰濛濛的，
文字中寫上憂鬱的藍色，破壞，崩潰的眼淚等情緒的敘述，皆是屬於較為負面情 緒的文字。
2. 攝影師 carolyn_mara
Instagram：https://www.instagram.com/carolyn_mara/ ，圖 4-7 為其部分作品：
圖 4-7 攝影師 Carolyn_Mara 之作品
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
62
此位攝影師拍攝的影像多為清晰明亮、寧靜平和，或是色調多為柔和的浪漫 風格。不太有沈重、憂鬱等風格之影像。本研究取以下表 4-7，12 張影像作為測 試資料做預測：
表 4-7 攝影師 Carolyn_Mara 之測試影像
寧靜平和
清晰明亮
繽紛色彩
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
64
以下使用圖 4-8, 4-9, 4-10 三張不同風格影像作情緒分析的驗證：
圖 4-8 影像與情感分析之驗證
圖 4-8 由於畫面中組成的顏色數量多，明度高，本研究 SVM 預測將其歸類 在繽紛色彩中。搭配維度模式的分析後，此影像座落在 High Arousal 以及 Positive Emotion 的區塊中，因此我們可以得到以下幾種情緒的字眼：Love, Positive。對 應到此攝影師，搭配此影像的文字也是充滿愛還有正面的句子。“being loved”,
“surrounding ourselves with love and colorful”等之字眼皆有出現在攝影師的發文 中。再仔細看底下追蹤者的回應，多數人給予的回應也皆具正面、愛的情緒還有 表情符號。因此我們可以視為此影像所帶給人的感覺及情緒驗證是成立的。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
65
圖 4-9 影像與情感分析之驗證
本研究 SVM 分類將圖 4-9 分在寧靜平和的風格中。搭配的維度模式所得到 的字眼為：peace, calm。此影像畫面整體色調為白色，整體給人非常舒服、慵懶 的感覺。對應到攝影師的文字 感 quiet time for mama” 是一段讓人有休息、放鬆 感覺的文字。同時攝影師也回應著 “It’s my happy place”， 在 Valence 和 Arousal 的二維分析中，此影像的位置落在 Positive emotion 還有 Low arousal 的區塊中，
而 happy 的情緒是屬於 positive emotion，象徵正面、開心的情緒。因此這張影像 不僅給人舒服、寧靜感，同時也能給人愉悅的感覺。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
66
圖 4-10 影像與情感分析之驗證
圖 4-10 畫面明亮、清晰，SVM 將其分類在清晰明亮中。維度模式分類後其 座落在 High Arousal 以及 Positive Emotion 的區塊中，給人是正面、快樂、積極 的感覺。可以得到以下情緒：happy, love。對應到攝影師的文字，可以看到相同 的情緒“love summertime activities”，而追蹤者也回應著“This is so great! Have fun!”等賦予正面能量的文字。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
67
3. 攝影師 neivy
Instagram：https://www.instagram.com/neivy/ ，圖 4-11 為其部分作品：
圖 4-11 攝影師 neivy 之作品
此攝影師所拍攝的影像多為柔和浪漫、清晰明亮的風格，影像具有粉色、紫 色的色調，給人浪漫柔和，溫暖的感覺。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
68
本研究以下表 4-9 中 12 張影像作為測試資料做預測：
表 4-9 攝影師 neivy 之測試資料
浪漫柔和
清晰明亮
寧靜平和
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
預測準確率的結果為 91.666% (11/12)，下表 4-10 為錯誤之影像分析：
表 4-10 攝影師 neivy 的預測錯誤之影像
定義風格 浪漫柔和
影像
預測結果 寧靜平和、日系清新、清晰明亮
此影像我們透過投票，多數人認為是浪漫柔和的影像，因為畫面整體感覺給 人舒服浪漫的粉藍色還有粉紅色夕陽。然而對於 SVM 分類來說，整體畫面色調 一致，飽和度不高，因此將其分類在寧靜平和、還有日系清新的分類中。由於畫 面中亮度高，也帶有明亮的感覺，然而影像中的粉紅色、粉紫色所佔的比例似乎 並無法將其分類在浪漫柔和的區塊中。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
70
以下使用圖 4-12、4-13 兩張不同風格影像作情緒分析的驗證：
圖 4-12 影像與情感分析之驗證
圖 4-12 的分類為浪漫柔和風格，搭配維度模式所做的情感分析位置落在 Positive Emotion 還有 Low Arousal 的區塊中，我們可以得到 peace, serene, relaxed 等情緒的字。 搭配攝影師的文字，的確也看到“peace storm”, “welcoming” 等較 正面但情緒並不是太過激昂的字詞。追蹤者也有在影像底下留言說 “so peaceful!”
等相同情緒的回應。因此這樣的驗證是符合我們所期待的影像情感分析。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71
圖 4-13 影像與情感分析之驗證
圖 4-13 分類被定義在寧靜平和的風格中，而 SVM 也將其分在此風格分類。
搭配著維度模式的情感分析，此影像座落在 Low Arousal 以及 Positive Emotion 的區塊中，得到的字為 calm, relaxed, serene. 此攝影師發表的文字多半是以詩集 的型態，比較難第一直覺上看出詩的情緒。但我們仍可以透過一些單字來找到是 否符合維度模式所做的情感分析，例如 “Let’s cherish”, “along our way…” 等字 眼是屬於情緒起伏較低平的詞彙，並沒有給人很激動或是非常激昂的感覺。
4.4 小結
本章節從研究最初期的搜集資料、樣本，介紹本實驗所需的樣本數為 1000 張影像，十種風格各有 100 張的樣本。而每張影像的風格定義除了透過 Instagram 上發布人的標籤，也透過本實驗所製作的投票網站對影像進行具共識的投票。使 每張樣本皆有多數人相同感覺的風格，進而使用它成為樣本。過程中不僅需要多 次的調整，也需要清楚的明白十種風格間的差異，否則儘管樣本數已達到實驗所 預期的數字，做出來的預測結果也無法達到如此穩定的結果。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
72
現代人非常依賴 Instagram 等知名的社交平台來抒發情緒，藉此傳遞在生活 中所遇到的問題、困境或是喜悅的心情跟感受。透過實驗中的搭配維度模式情感 分析，本實驗從知名的攝影師著手，一方面是因為攝影師具有較一致的拍攝風格，
對於本實驗去驗證風格有極大的幫助，另一方面是知名攝影師的追蹤者眾多，除 了透過攝影師發文的文字，我們也能夠透過追蹤者對於此張影像所做的回應進行 分析，來驗證是否多數人對於該影像也有相同的感受。
‧
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
76
關。進而可以對社會或是廣大的社群，針對有潛在心理疾病的人給予更多的瞭解 和幫助。
‧
[1] 世界衛生組織統計之憂鬱症人數http://www.who.int/mediacentre/factsheets/fs369/en/
[2] Gonzalez, Rafael C., and E. Richard. "Woods, digital image processing." ed: Prentice
[2] Gonzalez, Rafael C., and E. Richard. "Woods, digital image processing." ed: Prentice