臉書相片分類及使用者樣貌分析 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學 ‧. 臉書相片分類及使用者樣貌分析. n. al. er. io. sit. y. Nat. Identifying User Profile Using Facebook Photos.. Ch. e. i. i n U. v. gch 研究n生：張婷雅指導教授：廖文宏. 中華民國一百零五年一月 January 2016.

(2) 臉書相片分類及使用者樣貌分析 Identifying User Profile Using Facebook Photos.. 研究生：張婷雅. Student：Ting-Ya Chang. 指導教授：廖文宏. Advisor：Wen-Hung Liao. 資訊科學系碩士論文. 學 ‧. ‧ 國. 立. 治政國立政治大學大. n. er. io. sit. y. Nat. A Thesis submitted to Department of Computer Science National Chengchi University al v i n Ch in partial fulfillment of the Requirements engchi U for the degree of Master in Computer Science. 中華民國一百零五年一月 January 2016.

(3) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(4) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(5) 臉書相片分類及使用者樣貌分析. 摘要. 除了文字訊息，張貼相片也是臉書使用者常用的功能，這些上傳的照片種類繁多，可能是自拍照、風景照、或食物照等等，本論文的研究以影像分. 政治大. 析為出發點，探討相片內容跟發佈者間之關係，希望藉由相片獲得的資訊，. 立. ‧ 國. 學. 輔助分析使用者樣貌。. 本研究共收集 32 位受測者上傳至臉書的相片，利用電腦視覺技術分析圖像. ‧. 內容，如人臉偵測、環境識別、找出影像上視覺顯著的區域等，藉由這些. sit. y. Nat. io. er. 工具所提供的資訊，將照片加註標籤，以及進行自動分類，並以此兩個層. n. a 次的資訊做為特徵向量，利用階層式演算法進行使用者分群，再根據實驗 iv l C hengchi Un 結果去分析每一群的行為特性。. 透過此研究，可對使用者進行初步分類、瞭解不同的使用者樣貌，並嘗試回應相關問題，如使用者所張貼之相片種類統計、不同性別使用者的上傳行為、依據上傳圖像內容，進行使用者樣貌分類等，深化我們對於臉書相片上傳行為的理解。關鍵字：臉書、人臉偵測、環境識別、影像標籤、使用者樣貌分析。.

(6) Identifying User Profile Using Facebook Photos. Abstract. Apart from text messages, photo posting is a popular function of Facebook. The uploaded photos are of various nature, including selfie, outdoor scenes, and food.. 政治大. In this thesis, we employ state-of-the-art computer vision techniques to analyze. 立. ‧. ‧ 國. photos posted.. 學. image content and establish the relationship between user profile and the type of. We collected photos from 32 Facebook users. We then applied techniques such. sit. y. Nat. as face detection, scene understanding and saliency map identification to gather. er. io. n. a l image tagging and classification. information for automatic Grouping of users iv n U i classes. Characteristics of each e n g corhphoto can be achieved either by tag statistics. Ch. group can be further investigated based on the results of hierarchical clustering. We wish to identify profiles of different users and respond to questions such as the type of photos most frequently posted, gender differentiation in photo posting behavior and user classification according to image content, which will promote our understanding of photo uploading activities on Facebook. Keywords：Facebook, face detection, scene understanding, image tag, user behavior analysis..

(7) 致謝兩年半的研究所時光，在此劃下句點，非常感謝廖文宏老師，在這期間給予我很多專業上的建議以及指導，不論是學術上的教導或是待人處事的風範，總是讓我受益良多，另外，也感謝口試委員戴立凱老師以及吳筱玫老師，在口試時的提點與指教，並提供我許多寶貴的意見。感謝 VIP 實驗室的大家，有你們一路以來的陪伴、幫忙、聊天、鼓勵、. 政治大唱歌、出遊，讓我在研究的路途上一直充滿歡笑而不孤單。首先，謝謝明立. ‧ 國. 學. 慶學長與 Maty 學姊，在論文或是日常生活上給予我很多建議與幫忙。感謝. ‧. 育如，是你陪伴我經歷最徬徨無助的時期，在我茫然不知所措的時候指引. sit. y. Nat. 我方向，還有說衝就衝的好夥伴家禎，妳對事情認真的態度，是我學習的. er. io. 好榜樣。感謝貞佑、言翰、浩翔、凱文、亞憲，帶我體驗很多新鮮事，有. n. a. v. l C 你們的日子充滿溫馨跟歡樂。感謝學弟妹們，你們很貼心很可愛，讓我很 ni. hengchi U. 享受在實驗室的時光。感謝小遊、湘棻、柔郡，總是為計畫貢獻付出。感謝其他未能提起的好朋友們，謝謝你們陪伴與關懷。最後要謝謝我最愛的家人們，有你們溫暖的支持與鼓勵，我才能完成我的學業，我愛你們。最最後，我要謝謝瀚陽，你的督促與規劃，讓我可以趕上進度、在預期內畢業，有你陪伴真好。再次感謝一路上提供幫助的老師以及親友們，這份完成的喜悅我將與你們一同分享！.

(8) 目錄第一章緒論 .............................................................................................................................. 1 1.1 1.2 1.3 1.4. 研究背景與目的 ............................................................................................................... 1 流程架構與方法 ............................................................................................................... 3 論文貢獻 ........................................................................................................................... 4 論文架構 ........................................................................................................................... 4. 第二章相關研究與技術背景 .................................................................................................. 6 2.1 文獻探討 ............................................................................................................................ 6 2.2 研究工具及技術背景介紹 ............................................................................................... 9. 政治大. 2.2.1 Facebook 相片蒐集 .................................................................................................................................. 9. 立. 2.2.2 Face++ .................................................................................................................................................... 10. ‧ 國. 學. 2.2.3 Rekognition............................................................................................................................................. 11 2.2.4 Saliency map ........................................................................................................................................... 12 2.2.5 階層式分群演算法 ............................................................................................................................... 12. ‧. 第三章研究方法 .................................................................................................................... 16. y. Nat. 3.1 定義相片的類別 ............................................................................................................. 16. sit. 3.1.1 人物照 ................................................................................................................................................... 16. al. er. io. 3.1.2 景物照 ................................................................................................................................................... 17. n. 3.1.3 主題照 ................................................................................................................................................... 18. Ch. i n U. v. 3.1.4 非寫實照 ............................................................................................................................................... 19. engchi. 3.1.5 食物照 .................................................................................................................................................... 20 3.1.6 動物照 ................................................................................................................................................... 21 3.1.7 文字照 ................................................................................................................................................... 22 3.1.8 其他 ....................................................................................................................................................... 23. 3.2 圖像分類方法研究 ......................................................................................................... 24 3.2.1 人物照 ................................................................................................................................................... 24 3.2.2 景物照 ................................................................................................................................................... 27 3.2.3 主題照 ................................................................................................................................................... 29 3.2.4 非寫實照 ............................................................................................................................................... 30 3.2.5 食物照 ................................................................................................................................................... 32 3.2.6 動物照 ................................................................................................................................................... 33 3.2.7 文字照 ................................................................................................................................................... 33. 3.3 標籤探討 ......................................................................................................................... 35.

(9) 3.3.1 過濾 ....................................................................................................................................................... 35 3.3.2 考慮權重 ............................................................................................................................................... 36 3.3.3 合併意義相似的標籤項目.................................................................................................................... 39. 第四章實驗結果與討論 ........................................................................................................ 41 4.1 使用者所張貼之相片，以哪種種類的相片最多? ....................................................... 43 4.2 男性、女性所張貼的相片內容，是否有所差異? ....................................................... 52 4.3 如何依據資料內容，進行使用者樣貌分析? ................................................................ 55 4.3.1 相片種類樣貌分析 ............................................................................................................................... 55 4.3.2 人物照樣貌分析 ................................................................................................................................... 58 4.3.3 標籤樣貌分析 ....................................................................................................................................... 60. 4.4 用標籤將使用者分群是否會和用照片分類結果將使用者分群的結果一致? ............ 62. 政治大第五章結論與未來研究方向立................................................................................................ 70 4.5 對於現有的資料，有何其他相關的應用? .................................................................... 64. ‧ 國. .................................................................................................................................. 74. ‧. io. sit. y. Nat. n. al. er. 附錄. 學. 參考文獻 .................................................................................................................................. 72. Ch. engchi. i n U. v.

(10) 圖目錄圖 1.1、臉書相片功能簡介 ..................................................................................................... 2 圖 1.2、研究流程架構圖 ......................................................................................................... 3 圖 2.1、Google 的圖像描述系統的運作架構 ........................................................................ 7 圖 2.2、Ensky's Album Downloader for Facebook 擴充元件............................................... 10 圖 2.3、使用 Face++之 Face Detect API .............................................................................. 10 圖 2.4、使用 Rekognition 之 Concept Recognition API ....................................................... 11 圖 2.5、從影像取出 Saliency Map........................................................................................ 12 圖 2.6、樹狀結構圖 ............................................................................................................... 13 圖 2.7、四種階層式分群方法群聚間相似度計算方式示意圖 ........................................... 14 圖 3.1、人物照範例圖 ........................................................................................................... 17 圖 3.2、景物照分類架構 ....................................................................................................... 17 圖 3.3、景物照範例圖 ........................................................................................................... 18 圖 3.4、主題照範例圖 ........................................................................................................... 19 圖 3.5、非寫實照範例圖 ....................................................................................................... 19 圖 3.6、創意照範例圖 ........................................................................................................... 20 圖 3.7、拼貼照範例圖 ........................................................................................................... 20. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. 圖 3.8、食物照範例圖 ........................................................................................................... 21 圖 3.9、動物照範例圖 ........................................................................................................... 21 圖 3.10、動物照範例圖 ......................................................................................................... 22 圖 3.11、文字照範例圖 ......................................................................................................... 22 圖 3.12、文字照範例圖 ......................................................................................................... 23 圖 3.13、其他類別的判斷方式 ............................................................................................. 24 圖 3.14、 OpenCV 人臉偵測的實作 ................................................................................... 25 圖 3.15、使用 Face++網站線上人臉偵測的畫面截圖 ........................................................ 25 圖 3.16、人臉偵測實作 ......................................................................................................... 26 圖 3.17、使用標籤輔助判斷為人物照的範例 ..................................................................... 27. Ch. engchi. i n U. v. 圖 3.18、使用標籤輔助判斷為室內照的範例 ..................................................................... 28 圖 3.19、使用標籤輔助判斷為風景照的範例 ..................................................................... 28 圖 3.20、使用標籤輔助判斷為建築物照的範例 ................................................................. 28 圖 3.21、取出圖像的 Saliency Map...................................................................................... 29 圖 3.22、主題照判斷方法 ..................................................................................................... 29 圖 3.23、影像原圖及其 Saliency Map.................................................................................. 30 圖 3.24、非寫實照與寫實照的比較 ..................................................................................... 31 圖 3.25、使用標籤輔助判斷為非寫實照的範例 ................................................................. 32 圖 3.26、使用標籤輔助判斷為食物照的範例 ..................................................................... 32.

(11) 圖 3.27、使用標籤輔助判斷為動物照的範例 ..................................................................... 33 圖 3.28、使用標籤輔助判斷為文字照的範例 ..................................................................... 34 圖 3.29、類別標籤的流程-人物照 ....................................................................................... 34 圖 3.30、類別標籤的流程-景物照 ....................................................................................... 35 圖 3.31、一張相片可能會有多個類別標籤以及標籤 ......................................................... 35 圖 3.32、過濾結果會依照過濾方式而有所不同 ................................................................. 36 圖 3.33、將標籤考慮權重 ..................................................................................................... 37 圖 3.34、過濾的方式說明 ..................................................................................................... 38 圖 3.35、過濾前無權重、過濾前加權重、過濾後無權重、過濾後加權重分別的結果 . 38 圖 3.36、對於女性來說，有些標籤性質很接近的範例 ..................................................... 39 圖 3.37、對於文字類型來說，有些標籤性質很接近的範例 ............................................. 39 圖 3.38、相互同意度及信度計算公式 ................................................................................. 40 圖 4.1、受測者相片張數直條圖 ........................................................................................... 42 圖 4.2、全部受測者的相片分類比例圓餅圖 ....................................................................... 47 圖 4.3、人物照子類別區域圖 ............................................................................................... 50 圖 4.4、“人物照”子類別比例折線圖 ................................................................................... 50 圖 4.5、分類搭配的對應方式 ............................................................................................... 51 圖 4.6、男性、女性分類結果比較折線圖 ........................................................................... 53. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. 圖 4.7、男性、女性人物照子類別結果比較折線圖 ........................................................... 54 圖 4.8、男性、女性分別探討相片內性別數量 ................................................................... 54 圖 4.9、每張相片的分類結果加總，可以當成該使用者的特徵之一 ............................... 56 圖 4.10、依相片種類將使用者分為三群的分群結果 ......................................................... 57 圖 4.11、依相片類別分群狀況 ............................................................................................. 58 圖 4.12、依人物照子類別分群狀況 ..................................................................................... 59 圖 4.13、將標籤當作使用者特徵說明 ................................................................................. 60 圖 4.14、標籤分群狀況 ......................................................................................................... 62 圖 4.15、以標籤結果為特徵將使用者分群的階層圖 ......................................................... 63 圖 4.16、以相片分類結果為特徵將使用者分群的階層圖 ................................................. 64. Ch. engchi. i n U. v. 圖 4.17、本論文的實作結果 ................................................................................................. 65 圖 4.18、臉書的相片管理介面 ............................................................................................. 66 圖 4.19、Instagram 的介面（a）網頁版（b）手機版 ........................................................ 67 圖 4.20、在 Instagram 中，搜尋“dog”標籤的 ................................................................... 67 圖 4.21、標籤說明 ................................................................................................................. 68 圖 4.22、相片分類瀏覽系統的範例 ..................................................................................... 69.

(12) 表目錄表格 2.1、文獻探討與本論文的比較 ..................................................................................... 9 表格 2.2、階層分群演算法 ................................................................................................... 14 表格 3.1、信度檢測結果 ....................................................................................................... 40 表格 4.1、受測者資料列表 ................................................................................................... 41 表格 4.2、男性受測者與女性受測者相片張數比較表 ....................................................... 42 表格 4.3、相片種類範例圖片 ............................................................................................... 43 表格 4.4、受測者相片分類資料表 ....................................................................................... 46 表格 4.5、受測者“人物照”子類別資訊 ............................................................................... 48 表格 4.6、相片分類搭配統計結果 ....................................................................................... 51 表格 4.7、依相片種類將使用者分為三群 ........................................................................... 56 表格 4.8、依人物照將使用者分為三群 ............................................................................... 58 表格 4.9、依標籤將使用者分為三群 ................................................................................... 61. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(13) 第一章緒論. 1.1 研究背景與目的這是一個資訊發達的世代，有越來越多的社群網站興起，例如：Facebook、YouTube、. 政治大心情、記錄個人或與朋友的生活，若以使用頻率來看，目前臉書(Facebook)列為各家之立 Twitter、Google+等，這些社群平台除了提供聯繫和交流的途徑外，也可以抒發個人的. ‧ 國. 學. 首，為現代人最主要的社群網路服務(SNS)，故本論文主要的研究媒介為臉書。. ‧. 臉書具有多樣化的互動機制，例如發佈貼文、傳送訊息給目標用戶、上傳及分享相片、打卡等等，其中在相片的功能裡，除了可以上傳無限張相片、在相片內標記朋友、. y. Nat. io. sit. 看按讚數量、留言數量、分享數量、也可以附地理資訊(如圖 1.1)，這些優勢加上與其他. n. al. er. 用戶互動得到的回饋感，讓很多使用者會把日常生活的照片傳到臉書上做分享，可能是. Ch. i n U. v. 跟朋友的合照、風景照、食物照、聚會照、寵物照等等，於是臉書上會有很多類型的照. engchi. 片，如果能對這些資源做有效的分析與管理，那麼就可以獲得更多可利用的資訊，進而從其中觀察及推估出使用者的行為特性。另外，在臉書使用者的研究中，以往多是以其活動行為去觀察其行為模式，像是貼文內容、轉貼分享連結、打卡紀錄等，鮮少是完全以相片的角度去分析探討，綜合上述，本研究的目的是藉由圖像內容的分析，探討使用者的行為模式。. 1.

(14) 上傳相片的附加文字附地理資訊. 標註出現在相片內的朋友. 相片資訊. 立. 看按讚數量. 政治大. ‧. ‧ 國. 學. 觀看相片留言. 圖 1.1、臉書相片功能簡介. sit. y. Nat. al. er. io. 本研究提出之方法為，首先定義八種圖片類別，包含人物照、景物照、主題照、. v. n. 非寫實照、食物照、動物照、文字照以及其他，以上為經觀察後發現出現較頻繁之類別，. Ch. engchi. i n U. 並以此當作最上層的分類基礎，之後利用電腦視覺相關工具，將相片們加註標籤，並進行自動分類，再根據此兩個層次的資訊(一是標籤資訊、另一個是相片分類結果)，進行質性分析及使用者行為模式探討，最後透過以下五個研究問題，來對實驗結果有更深入的瞭解。 (1) 使用者所張貼之相片，以哪種種類的相片最多? (2) 男性、女性所張貼的相片內容，是否有所差異? (3) 如何依據資料內容，進行使用者樣貌分析? (4) 用標籤將使用者分群是否會和用照片分類結果將使用者分群的結果一致? (5) 對於現有的資料，有何其他相關的應用? 2.

(15) 1.2 流程架構與方法本論文研究流程架構圖如圖 1.2，首先會先徵求使用者授權同意，再去取得他們上傳至臉書上的相片，接下來利用電腦視覺技術去分析圖像內容，例如：使用 Face++做人臉偵測，得到影像內人臉相關資訊、使用 Rekognition 做場景辨識，得到影像內環境識別的標籤(tag)、使用 Saliency Map 找出影像上視覺顯著的區域等等，之後藉由這些工具所提供的資訊，將照片們做自動分類、加註標籤的動作，並以此兩個層次的資訊做為特徵向量，使用階層式分群演算法進行使用者分群，並且根據實驗結果去分析每一群使用. 徵求使用者. ‧. 取得使用者臉書相片. al. er. io. sit. y. Nat. 以電腦視覺為背景的工具. Rekognition API. n. 相片處理. 學. ‧ 國. 治政者特性，來探討使用者的樣貌。大立. Ch. engchi. 取得相片標籤. i n U. v. 相片分類階層式分群演算法. 階層式分群演算法. 使用者分群. 研究結果分析與探討. 圖 1.2、研究流程架構圖. 3.

(16) 1.3 論文貢獻本論文的主要貢獻為：一、我們提出以相片內容，進行臉書使用者樣貌分析：以往的研究鮮少完全以相片內容來分析使用者特性，多是以其活動行為，像是打卡、線上購物、貼文按讚、分享連結等方向去做探討，故造就此研究異於過去作法的獨特性。二、我們提出八種相片分類以及判斷的方式：使用現有的工具為基礎，將圖片分. 治政為人物照、景物照、食物照、動物照、主題照、文字照、非寫實照、其他等八大立種類別，並結合質化與量化方式分析圖像內容，輔以圖表呈現整體的趨勢。 ‧ 國. 學. 三、依據相片內容分析結果，對臉書使用者做初步的樣態分類：以本研究所蒐集. ‧. 到的資料集為基準，將相片分類結果及標籤作為使用者特徵向量，並以此兩層. y. sit. n. al. er. io. 類。. Nat. 次資訊進行使用者分群，觀察每一群的特性，對臉書使用者做初步的樣態分. Ch. i n U. v. 四、對於使用者而言，本研究提供使用者發掘其展現在臉書上的行為模式；對於. engchi. 研究者而言，透過圖像分析、分類、分群的方式，提供一個不同角度的探討。. 1.4 論文架構本論文分成五個章節，架構如下所述。第一章為緒論，主要對研究的動機、目的進行解說，以及整體研究的概略性說明。在第二章相關研究與技術背景部分，我們將會提出參考的影像處理相關文獻以及探討近年來社群網站的發展及影響，另外也會介紹臉書相片蒐集的方法以及一些研究上會使用到的工具、API 相關技術。第三章則是會介紹 4.

(17) 本論文相片分類的定義為何，以及如何自動去將相片歸類的方法。第四章將詳細的描述研究過程，包括資料蒐集、定義使用者特徵、運用特徵分析不同使用者的行為模式等研究結果探討。在最後第五章的部分，本論文會提出結論，並且探討未來可能繼續研究發展的方向。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 5. i n U. v.

(18) 第二章相關研究與技術背景. 在本章節中，我們將從兩個面向進行相關研究與技術背景之探討，其一是電腦視覺與其應用之文獻探討，以及社群網站的演進與使用者的影響；另一方面為我們所應用. 政治大. 在臉書相片及使用者研究上之工具、方法、演算法探討。. 立. ‧ 國. 學. 2.1 文獻探討. 電腦視覺，也稱機器視覺，是一門教機器如何看的科學，因為影像對於機器來說. ‧. 只是一堆數據，機器並不了解這些數據背後所代表的意義，因此需要將圖像信息先轉成. sit. y. Nat. 數字圖像，再讓機器模擬人的判別準則，去理解、識別它，以達到讓機器代替人眼、去. n. al. er. io. 模擬人對事物的思考，也就是讓資料經過一個為其設定的程序，再去做圖像的分析、處. v. 理或識別。電腦視覺初步的應用為影像處理，常見的影像處理有影像強化、影像復原、. Ch. engchi. i n U. 影像分割、影像壓縮、影像平滑化等等，而電腦視覺可以再進一步對內容去做分析，包括影像的校正、人物辨識、物件偵測、事件偵測、環境偵測等，從此可知電腦視覺的應用性很廣泛。其中，從影像中偵測人臉的研究已經發展了數十年之久，此技術的衍生應用也相繼而來，最早大約是從數位相機開始興起，相機裡的人臉偵測功能與微笑拍照功能，讓焦距可以對準人臉，避免在拍照的時候，發生失焦的情形。而關於人臉偵測的演算法， Paul Viola 等人[1]提出了幾種演算法，來訓練人臉、偵測人臉，以達到快速找到人臉的效果，像 OpenCV 裡面所提供的人臉偵測相關範例，也有使用他們所提出的論文方法去實作。除了人物辨識外，物件偵測也是電腦視覺裡一塊很重要的領域，從早期單一類別 6.

(19) 物件偵測與辨識，逐漸演進到多類別物件偵測與辨識、場景分類、甚至環境識別等，舉 ImageNet 為例[2]，它是一個龐大的影像資料庫，從 2010 年開始每年會舉辦一次大型視覺辨識競賽，競賽內容主要以兩個任務為主，一是物件偵測，另一個是圖像分類；物件偵測要求在影像中，準確偵測出 200 類物體並框出其具體位置的邊界框；而圖像分類則是給予 1000 個類別，須將相片做準確分類以及框出該類別的邊界框[3]。從每年的比賽結果可以觀察到，在偵測部分，精確度由 2013 年的 0.23 提升到 2015 年的 0.62；而在分類錯誤率的部分，則由 2010 年的 0.28 降到 2015 年的 0.036，可以發現整體準確率的大. 政治大. 幅提升，以及電腦視覺技術的進步。. 立. 另外，Google 科學家們在 2014 年發表了一篇文章[4]，內容是介紹他們打造的圖像. ‧ 國. 學. 描述系統，所採用的方法是結合電腦視覺系統與自然語言處理系統，經由機器學習訓練它的影像辨識和描述能力，將一張影像轉換為一段英文描述句(如圖 2.1)，並且也有以人. ‧. 工評分的方式，將圖像描述的品質分成描述無誤、輕微錯誤、還算與圖片有相關、與圖. Nat. n. al. er. io. sit. y. 片無關等四種表現，此研究在電腦視覺的領域，開創了新的議題與方向。. Ch. engchi. i n U. v. 圖 2.1、Google 的圖像描述系統的運作架構. 7.

(20) 透過這些資訊，可以知道電腦視覺所處理的功能越來越多樣化，且在偵測、辨識上越來越精準，故本論文會利用現有的技術取代過去的人工診斷，以自動化方式做大量資料的分析與應用。另外，隨著網路科技的進步，有越來越多的社交平台興起，所提供的功能或服務也朝向多元化發展，例如從以前以聊天對話為主的即時通、MSN，到無名相簿與網誌，以及影音網站 YouTube，再到現在幾乎所有熱門功能或活動都包含在裡面的社群網站如臉書、Twitter 等等，可以發現大眾的生活與網路世界越來越密不可分，且在網路上可以. 政治大. 交流的內容或方式越來越豐富，故這些平台已成為許多人快速分享及接收各種資訊的管. 立. 道。. ‧ 國. 學. 其中在相片這部分，隨著相機、手機日漸普及，相片的呈現逐漸由傳統底片轉變. ‧. 為好修改以及收藏的數位相片，加上網路技術日益發達，讓每個人可以在網路上張貼影. sit. y. Nat. 像與他人交流，而網路相簿的興起，更是擴大大眾在網路上公開相片的風氣。舉無名相. io. er. 簿為例，此平台是當時許多使用者存放影像的儲存空間之一，並可以依照不同的內容去建立相簿，可能是生活紀錄，或是寵物、美食、旅遊的分享。此外，除了可以看每本相. al. n. v i n Ch 簿的點閱率，使用者也可以為整本相簿設定密碼鎖來限制可瀏覽人員，但即使做加密的 engchi U. 動作，仍然會顯示相簿名字只是無法觀看，整體來說，無名相簿功能單純，較限於影像瀏覽；而臉書，除了可以抒發個人心情，也可以上傳各式各樣的相片，並為相片加上附註以及彈性設定觀看者的權限，像是只限本人、朋友、朋友的朋友、公開、或特定對象等等，都有提供不同的設定，並且還可以隱藏整本相簿，不用擔心其他使用者看到，整體在隱私部分較來得完善；除此之外還可以對整本相簿或是裡面任一相片做按讚、留言的動作，讓臉書使用者之間具有更高的互動性，這些功能都是創新的技術，並讓臉書漸漸成為許多人分享相片的平台。. 8.

(21) 對於社群網站臉書之研究，通常是研究使用者行為、數據資料分析、使用所造成的影響等等，甚少探討到相片的部分，但在以相片分享為主的 Instagram 社群網站， Hu 等學者透過相片內容的特徵，將相片分成八類(Friends / Food / Gadgets / Captioned Photos / Pets / Activities / Self-portraits / Fashion)，再以使用者張貼相片的類型，將使用者分成五群，並觀察不同群間的使用者特性，呈現出不同的使用者樣貌，像是喜愛自拍型、喜歡將相片嵌上文字型、綜合平均型等等[5]，本論文參考此作法作為實作理論基礎，並依照臉書上出現比較頻繁的類別(人物/景物/主題/非寫實/食物/動物/文字)，來做為上層分類. 政治大量的相片，便很費時、費工且容易出錯，且若交給不同的人來分類，結果可能會不同，立的依據，然而，有別於此論文，他們在相片分類的部分，是以人工方式分類，若是有大. 也就是結果不穩定；而我們則是以電腦視覺自動處理來替代人工歸類，如此一來便可做. ‧ 國. 學. 大量相片的分析與探討，在速度上也會快上許多，且相片分類標準一致，穩定性較高(如. io. HU, Yuheng, et al, 2014 [5] 人工分類. n. al. 數量速度穩定性. C 1000 h e張相片 hi 慢n g c 標準不一致. sit. 表格 2.1、文獻探討與本論文的比較. er. Nat 相片分類方式. y. ‧. 表格 2.1)。. i n U. v. 本論文自動化 12218 張相片快標準一致. 2.2 研究工具及技術背景介紹 2.2.1 Facebook 相片蒐集在徵求到使用者後，我們會蒐集使用者所上傳之相片，但臉書並沒有提供相簿下載的功能，如果要下載相片會相當麻煩。在此，本論文使用 Google Chrome 瀏覽器的擴充功能，額外安裝一個擴充元件：Ensky's Album Downloader for Facebook(如圖 2.2)來取 9.

(22) 得臉書相片，此元件透過網頁讀取，可以批次將整本相簿的照片下載到本地端，並且保有相片原大小尺寸[6]。. 圖 2.2、Ensky's Album Downloader for Facebook 擴充元件. 2.2.2 Face++. 政治大. 立. ‧ 國. 學. Face++是一個提供人臉識別服務的平臺[7]，它具有人臉偵測、人臉分析及人臉辨識的功能，使用的程序是先選擇目標功能，再上傳一張圖像到指定的網址，讓它去分析、. ‧. 取得圖像的資訊，之後將分析結果以 json 的格式做回傳，像是對於人臉偵測，Face++. sit. y. Nat. 中的 Face Detect API，不但可以偵測出人臉的大小、位置，還可以查看年齡、性別、是. n. al. er. io. 否戴眼鏡、種族、微笑程度等資訊(如圖 2.3)。在人臉偵測方面，本論文採用的資訊是圖像裡面人臉的個數、以及分別的性別為何。. Ch. engchi. i n U. v. Face 1. age : 19 ± 6 gender : Female confidence : 99.8001 glass : None confidence : 99.9453 race : Asian confidence : 96.5544 smiling value : 76.6734. Face 2. age : 12 ± 5 gender : Female confidence : 99.9964 glass : None confidence : 99.9541 race : Asian confidence : 99.9642 smiling value : 62.0449. 人臉屬性. 圖 2.3、使用 Face++之 Face Detect API 10.

(23) 2.2.3 Rekognition Rekognition 是一個提供臉部/場景/物體辨識服務的平臺[8]，它具備先進的演算技術，擁有強大、快速、可擴充的性能；在場景辨識的功能中，它可以認出圖像裡面的內容物品，或是圖像內人物的行為動作等等(如圖 2.4)，使用的程序與 Face++類似，也是先選擇目標功能，再上傳一張圖像到指定的網址，讓它去分析、取得圖像的資訊，之後將分析結果以 json 的格式做回傳，其結果包括從圖像裡提取出的標籤(tag)，以及該標籤的信心分數(score)。Rekognition 預設一張相片會產生 5 個標籤，但這樣資訊似乎略顯不足，. 政治大. 因此本論文將標籤量提升一倍，也就是一張相片會產生 10 個標籤，此外，Rekognition. 立. 還提供多種平台、語言版本的 API，像是 PHP、iOS、Android、C++、Ruby 等等，在開. ‧ 國. 學. 發上會比較方便且彈性。在場景辨識方面，本論文採用的資訊是從圖像提取出的標籤、及該標籤的信心分數。. ‧ y. Nat. n. Ch. Concept Recognition. engchi. i n U. score：0.7069 score：0.283 score：0.283 score：0.283 score：0.2738 score：0.2703 score：0.2589 score：0.2589 score：0.2589 score：0.2568. sit. er. io. al. tag：bowl tag：food tag：meal tag：breakfast tag：face tag：portrait tag：smile tag：laughing tag：dimples tag：eating. v. 圖 2.4、使用 Rekognition 之 Concept Recognition API. 11.

(24) 2.2.4 Saliency map 影像視覺特徵圖(Saliency Map)是一個與原圖相對應的圖，用來表示影像中視覺顯著的地方[9]，作法是藉由影像特徵如顏色，方向，亮度變化和運動等等，找出視覺顯著的區域[10][11]，簡而言之，Saliency Map 上灰階值較高的地方，對應回原圖會是在視覺上比較顯著的部分(如圖 2.5)。. 立. 政治大. ‧. ‧ 國. 學 y. n. al 2.2.5 階層式分群演算法. er. io. sit. Nat. 圖 2.5、從影像取出 Saliency Map. Ch. engchi. i n U. v. 在本論文中，會根據使用者的特徵將使用者分群，在工具的部分，本論文是使用一套免費軟體「R」[12]，搭配 RStudio 這套整合開發環境(IDE)，而演算法的部分，則是採用階層分群演算法(Hierarchical Clustering)，來計算使用者特徵間的距離並以此為分群的依據。階層式分群演算法將所要處理之資料集合的資料點，透過資料聚合或分裂兩種方式，將彼此相似度高的較小群集合併成較大的群集，或者將較大的群集進行分裂成小群集，我們所採用的是聚合式分群演算法，最後利用樹狀結構圖(dendrogram)來表示群集間彼此關係(如圖 2.6)。利用所產生之樹狀結構，可以彈性地依據使用者不同的需求，對 12.

(25) 資料集合產生不同的群集數量，例如：要求輸出為三個群集時，只要將門檻值設定介於 t4 與 t5 之間，即分成(A,B,C)、(D,E)、(F,G)三群。. t6t. 6. t5t5. 立. ‧. ‧ 國. 學. t4t4 t3t3 t2t2 t1t1. 政治大. 會員1 會員2 會員3 會員4 會員5 會員6 會員7 A B C D E F G. n. al. y er. io. sit. Nat. 圖 2.6、樹狀結構圖. v. 階層分群演算法的作法是，先將每一筆資料視為一個群集，然後找二個最接近的. Ch. engchi. i n U. 群集組成一個群組,把這群組視為一個新的群集，重複以上步驟直到所有群集都在同一個群集內。另外，在定義群集𝐶𝑖 、𝐶𝑗 之間的距離，有各種不同的方式(如圖 2.7)，每一種方式所得到的結果也都不盡相同。. 13.

(26) 治政圖片來源：http://jeb.cerps.org.tw/files/JEB2013-002.pdf 大立. 圖 2.7、四種階層式分群方法群聚間相似度計算方式示意圖. ‧ 國. 學. 比較常見的定義為：單一連結聚合演算法(single-linkage agglomerative algorithm)、. ‧. 完整連結聚合演算法(complete-linkage agglomerative algorithm)、平均連結聚合演算法 (average-linkage agglomerative algorithm)、沃德法(Ward's method)[13]，整理如表格 2.2。. 完整連結聚合演算法 (complete-link). 平均連結聚合演算法 (average-link). 沃德法 (Ward's method). n. (single-link). al. er. io 單一連結聚合演算法. sit. y. Nat 演算法名稱. 表格 2.2、階層分群演算法. 群聚間的距離定義. Ch. engchi. 不同群聚中最接近兩點間的距離。不同群聚中最遠兩點間的距離。. 不同群聚間各點與各點間距離總和的平均。. 在將兩群合併後，各點到合併後的群中心的距離平方和。 14. i n U. v. 數學表示法. 𝑑(𝐶𝑖 , 𝐶𝑗 ) = 𝑑(𝐶𝑖 , 𝐶𝑗 ) =. 𝑑(𝐶𝑖 , 𝐶𝑗 ) =. min. 𝑎∈𝐶𝑖 ,𝑏∈𝐶𝑗. 𝑑(𝑎, 𝑏). max 𝑑(𝑎, 𝑏). 𝑎∈𝐶𝑖 ,𝑏∈𝐶𝑗. ∑ 𝑎∈𝐶𝑖 ,𝑏∈𝐶𝑗. 𝑑(𝑎, 𝑏) ， |𝐶𝑖 ||𝐶𝑗 |. where |𝐶𝑖 | and |𝐶𝑗 | are the sizes for 𝐶𝑖 and 𝐶𝑗 , respectively. 𝑑(𝐶𝑖 , 𝐶𝑗 ) =. ∑. ‖𝑎 − 𝜇‖ ，. 𝑎∈𝐶𝑖 ,𝑏∈𝐶𝑗. where μ is the mean vector of 𝐶𝑖 ∪ 𝐶𝑗 ..

(27) 不同方式所得到的結果也都不盡相同，例如單一連結聚合演算法會在群聚的過程中，突顯比較特別的群集，產生大者恆大的效果；而完整連結聚合演算法、平均連結聚合演算法則比較偏向齊頭並進的效果等等，此四種方法中以完整連結較符合本論文之研究，因此我們選用此聚合演算法作為群間距離之計算公式。在本論文中，我們將參考 Hu 等學者的做法，根據使用者的相片內容探討其行為模式分析，並以此作為實作理論基礎。其中，使用者的相片會透過電腦視覺的技術，將其標籤及分類，之後利用階層分群演算法將使用者分群，由於是以電腦視覺的方式來替代. 政治大. 人工歸類，所以很適合做大量相片的分析與探討。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 15. i n U. v.

(28) 第三章研究方法. 本研究會先徵求使用者並取得其上傳至臉書上的相片，再做相片處理，包括取得每張相片的標籤以及進行相片分類，之後根據此兩層次之資訊，進行使用者分群，並將. 政治大. 分群結果做質性的分析與探討；換句話說，就是以相片標籤及分類結果這兩個層次做為. 立. 本研究的基礎架構，探討如何透過相片內容，展現使用者的行為樣貌。首先，參考 Hu. ‧ 國. 學. 等學者提出的研究架構[5]，先定義相片的類別，本論文將照片的種類分成八個類別，包括人物照、景物照、主題照、非寫實照、食物照、動物照、文字照以及其他，以下針對. ‧. 幾種目前所提出的類別逐一做簡單的定義與說明。. sit. y. Nat. io. al. n. 3.1.1 人物照. er. 3.1 定義相片的類別. Ch. engchi. i n U. v. 人物照(如圖 3.1)，判斷的依據為相片中是否有出現人物，如果有出現人物，又可依人數多寡及性別分成：個人照、異性照、小團體照、大合照，個人照為相片中只出現一人，異性照為相片中有兩人，且性別為一男一女，小團體為相片中出現二到十人，大合照為出現的人數大於十人。. 16.

(29) （a）. 立. （b）. 政治大. ‧. ‧ 國. 學. Nat. n. al. er. io. sit. y. （d）（c）圖 3.1、人物照（a）個人照（b）異性照（c）小團體照（d）大合照 3.1.2 景物照. Ch. engchi. i n U. v. 景物照可以先分出相片為室內照或是戶外照，若是戶外照，又可分為風景照與建築物照(如圖 3.2)。. 室內純風景 Images. 戶外建築物. 圖 3.2、景物照分類架構 17.

(30) 室內的亮度通常較戶外暗，或是有光線不平均的問題，而且內容物品也會比較多；而戶外如果是純風景，像是山、海、天空等，通常會有一大片顏色相近的區域；若是建築物，則是會具有比較規則的線條、或是許多呈現矩形的窗戶等等(如圖 3.3)。. 立. 政治大（b）. ‧. ‧ 國. 學. （a）. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. （c）（d）圖 3.3、景物照（c）風景照-湖（d）建築物照 3.1.3 主題照照片中會有某些特別的區塊當作相片的主題(如圖 3.4)，例如出國玩時，可能會拍個機票或護照；如果看到垂涎欲滴的美食，或是某個新奇古怪的物品，會給它拍張特寫照等等，比較普遍的主題照像是人物、票卷、禮物、寵物、食物等等。. 18.

(31) （a）（b）（c）圖 3.4、主題照（a）票卷照（b）食物照（c）特寫照 3.1.4 非寫實照. 立. 政治大. 非寫實照的定義為，不是藉由相機或手機鏡頭得到的圖，而是由電腦或手機產生. ‧ 國. 學. 的圖，例如動漫人物的圖，或是遊戲的截圖、海報、對話紀錄等等(如圖 3.5)。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. （a）（b）（c）圖 3.5、非寫實照（a）動漫人物照（b）遊戲截圖（c）對話紀錄截圖. 此外，利用一些修圖軟體將相片做後製(如圖 3.6、3.7)，也被歸類於非寫實照，修圖軟體的來源可能是電腦或是手機 APP。目前可以修圖的軟體越來越多樣化，常用的功能為增加小貼圖，或是加入文字、去背(如圖 3.6)。除此之外，有時候想要分享的相片不只一張，或是不想一次上傳很多張沒有修飾過的相片時，就會使用一些手機照片拼貼. 19.

(32) APP，例如：美圖秀秀、LINE camera、拼立得，把好幾張照片，組成一張圖(如圖 3.7)，版面、相框、小貼圖、可以拼湊的照片數量，會依照不同的拼貼軟體有不同的風格。. 立. 政治大圖 3.6、創意照. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. i n U. v. e圖n3.7、拼貼照 gchi. 3.1.5 食物照台灣有許多膾炙人口的美食小吃，加上現在越來越多人喜歡在享用美食前，為食物拍張紀念照，所以常常會看到有人發佈美食的照片。食物照判斷的依據為相片中是否有出現食物(如圖 3.8)，比較普遍的食物照像是蛋糕、飲料、火鍋燒肉、海鮮、冰品、小吃等等。. 20.

(33) 圖 3.8、食物照 3.1.6 動物照. 政治大. 在臉書上也經常會看到關於動物的相片(如圖 3.9、3.10)，尤其是家裡有養寵物的人，. 立. 通常喜歡分享寵物們的日常生活，可能是有趣的動作或是賣萌照；而其他沒有養寵物的. ‧ 國. 學. 人，可能在碰到一些動物時，也會捕捉牠們正在活動的畫面放到臉書上做分享，較常出現的動物為狗類、貓類、鳥類、兔類等等。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. （a）（b）圖 3.9、動物照（a）小狗照（b）貓咪照. 21.

(34) （a）（b）圖 3.10、動物照（a）鸚鵡照（b）松鼠照 3.1.7 文字照. 立. 政治大. 學. ‧ 國. 文字照為照片上是否有出現文字，其中文字的來源可能是一段句子、文章、或是背景、票卷上的文字等等(如圖 3.11)，另外也有可能是畫面截圖裡的文字，或是將圖片. ‧. 另外編輯，添加上的文字等等(如圖 3.12)。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 3.11、文字照. 22. v.

(35) 圖 3.12、文字照 3.1.8 其他. 政治大若相片都不屬於以上任何類別時（人物照/景物照/主題照/非寫實照/食物照/動物照/ 立 ‧. ‧ 國. 學. 文字照），則歸於此類別。. sit. y. Nat. 以上的類別都為二分法，對相片們做完分類後，每個類別會建立不同的類別標籤，. io. al. er. 對應到相片身上(如圖 3.13)，因此一張相片可能會同時具有多個類別，讓相片除了影像. n. 本身，還有其他更豐富的資訊，如果之後要做進一步的分析，就可以採用自動化的分析. Ch. engchi. 方法，如此一來可以分析更大量的資料。. 23. i n U. v.

(36) 是否為人物照. 是否. 人物照. 是否為景物照. 是否. 景物照. 是否為主題照. 是否. 主題照. Image s. 是否為食物照. 立. 是否為文字照. 是否. 食物照. 政治大動物照是否文字照. 是否. 學. ‧ 國. 是否為動物照. 非寫實照. 是否. 是否為非寫實照. 其他. ‧. er. io. sit. y. Nat. 圖 3.13、每個類別會建立不同的類別標籤，如果都不屬於以上分類（人物照/景物照/主題照/非寫實圖/食物照/動物照/文字照），則歸為其他. 3.2 圖像分類方法研究a. n. iv l C n hengchi U 若要將相片做分類，需要先對相片做些理解和處理，在此本論文的方法為，依照. 各個類別逐一去做分析與探討。. 3.2.1 人物照可以利用人臉偵測來判斷相片裡是否有人(如圖 3.14)，目前已經有不少人臉偵測或辨識的相關研究，而且其效果與品質都很穩定。在人臉偵測方面，本論文所使用的是 Face++所提供的 Face Detect API[7]，方法為上傳影像到 Face++做分析，再將結果利用 json 的格式回傳，此 API 所提供的資訊有：在影像中人臉的位置、大小，眼睛、鼻子、. 24.

(37) 嘴巴的位置，以及年齡、微笑程度、有沒有戴眼鏡、姿勢、以及性別等等(如圖 3.15)，在本論文裡所取用的資訊為圖像裡面人臉的個數、以及分別的性別為何。. 政治大. 圖 3.14、 OpenCV 人臉偵測的實作. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.15、使用 Face++網站線上人臉偵測的畫面截圖，左邊為回傳的結果圖，藍色框為男性，粉紅色框為女性，如果將游標移到框框上，會顯示該人臉的相關資訊；右邊為以 json 格式回傳的影像相關資訊. 25.

(38) 人物照又依人數多寡以及性別分成：個人照、異性照、小團體照、大合照，從 Face++ 所提供的資訊中可以發現(如圖 3.16)，影像中的人臉大小或有沒有戴眼鏡等，對於人臉偵測、性別判斷結果沒有太大的影響，雖然還是會有誤差出現，但大部分都有不錯的效果。. 立. 政治大. ‧ 國. 學. （a）. （b）. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. （c）. （d）圖 3.16、人臉偵測的實作（a）個人照（b）異性照（c）小團體照（d）大合照 26.

(39) 除此之外，有些人會用身體的一部份，例如手、腳(如圖 3.17)，代表本人出現在相片中，或是有時候會出現人臉偵測效果不佳的狀況，這時候可以使用 Rekognition 所提供的 Concept Recognition API[8]，其中有個 Scene Understanding 的功能，它可以感知圖像裡的環境，可能是認出圖像裡面的內容物品，或是圖像內人物的行為動作等等來產生標籤(tag)，可以藉由這些標籤，來輔助判斷是否為人物照。判斷是否為人物照的標籤項目，則於附錄展示。. 立. 政治大. ‧. ‧ 國. 學 y. Nat. n. al. er. io 3.2.2 景物照. sit. 圖 3.17、利用標籤，來輔助判斷是否為人物照. Ch. engchi. i n U. v. 如圖 3.2 所示，可以先區分出相片為室內或是戶外照，若是戶外照，又可分為風景照與建築物照[14]。這部分也是使用 Rekognition 所提供的標籤來輔助判斷，從一些已知為室內照的圖像裡，可以發現室內照通常具有#room、#conference_room、#restaurant 等標籤(如圖 3.18)，另外也可以從會出現在室內的物品當作判斷，像是#bed、#furniture、 #bookcase 等等；而風景照像是山、海、天空會具有#outdoors、#sky、#ocean、#forest 等標籤(如圖 3.19)；建築物照則具有#building、#architecture、#tower、#temple 等標籤(如圖 3.20)，或許可以由此反推回來，若有這些標籤即為景物照，甚至可以分成更細的室內照、風景照、建築物照。. 27.

(40) 判斷是否為景物照的標籤項目，則於附錄展示。. 圖 3.18、室內照通常具有#room、#restaurant、# furniture 等標籤. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 3.19、風景照通常具有#outdoors、#sky、#ocean、#forest 等標籤. Ch. engchi. i n U. v. 圖 3.20、建築物照通常具有#building、#architecture、#tower、#temple 等標籤. 28.

(41) 3.2.3 主題照若要判斷相片是否有明確的主題，可以從圖中取出 Saliency Map[10]，因為 Saliency Map 的目的就是找出在視覺上比較顯著的區域當作主體 (如圖 3.21)。取完之後，經過本論文所提出的判斷方式，來區分該張圖片是否為主題照。. 立. 政治大. ‧ 國. 學. ‧. （a）（b）圖 3.21、取出圖像的 Saliency Map（a）影像原圖（b）為左圖的 Saliency Map. sit. y. Nat. 首先，由於灰階值較低的部分影響較小，所以本論文採用的方式為取出灰階值大. er. io. 於 64（灰階值範圍的四分之一）的部分(如圖 3.22)，此門檻值為本研究經實驗數據統計. al. v i n Ch 0.381924，所以取 0.38 當作門檻值。換句話說，就是先算出灰階值大於 64 的部分，若 engchi U n. 後得到的最佳值，之後以黃金比例為底，將影像長寬都取 0.618 倍，面積為0.618 x 0.618 =. 其面積超過整張影像面積的 38%，就算是主題照。. 0. 64. 128. 192. 255. 圖 3.22、Saliency Map 的直方圖，判斷方法為灰階值大於 64 的部分，須佔整張影像的 38%以上 29.

(42) 如圖 3.21 (b)，灰階值大於 64 的部分，佔整張相片的 63.91%，所以圖 3.21 為主題照；而像圖 3.23 (b)，灰階值大於 64 的部分，佔整張相片的 14.54%，所以圖 3.23 不是主題照。. 立. 政治大. ‧ 國. ‧. 3.2.4 非寫實照. 學. （b）（a）圖 3.23、（a）影像原圖（b）為左圖的 Saliency Map. sit. y. Nat. io. er. 由於不是從現實生活中得到的相片，而是由電腦或手機得到的，所以容易有單一顏色的區域，因此可以做些判定來判斷是否為非寫實照，例如把一張圖片的色彩結構 R. al. n. v i n Ch （Red）值、G（Green）值、B（Blue）值做統計計算，並以直方圖表示，可以觀察到， engchi U. 由於非寫實照很容易使用單一顏色當代表，因此會有某些值特別突出，而寫實照的色彩. 分布則是較圓滑(如圖 3.24)。. 30.

(43) （a）. 立. ‧. ‧ 國. 學. （b）. 政治大. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.24、非寫實照與寫實照的比較（a）非寫實照容易有單一顏色的區域，所以會有某些值特別突出（b）寫實照在 RGB 的直方圖裡，分布較圓滑，沒有單一突出的現象. 另外也可以從 Rekognition 所提供的標籤來輔助判斷，從一些已知為非寫實照的圖像裡，可以發現非寫實照通常具有#collage、#snapshot、#webpage、#sticker 等標籤(如圖 3.25)，或許可以由此反推回來，若有這些標籤即為非寫實照，甚至可以分成更細的拼貼照、截圖照。判斷是否為景物照的標籤項目，則於附錄展示。 31.

(44) 圖 3.25、非寫實照通常具有#collage、#snapshot、#webpage、#sticker 等標籤 3.2.5 食物照. 政治大有些關於食物辨識的研究，它的假設是已經知道相片內有食物，再去做食物的辨立. ‧ 國. 學. 識[15]，而本論文的作法則是使用 Rekognition 所提供的標籤來判斷是否為食物照。從一些已知為食物照的圖像裡，可以發現食物照通常具有#food、#meal、#cake、#drink 等標. ‧. 籤 (如圖 3.26)，另外，容器、餐具的標籤也可以當協助判斷，或許可以由此反推回來，. n. al. Ch. engchi. er. io. 判斷是否為景物照的標籤項目，則於附錄展示。. sit. y. Nat. 若有這些標籤即為食物照。. i n U. v. 圖 3.26、食物照通常具有#food、#meal、#cake、#drink 等標籤. 32.

(45) 3.2.6 動物照在物件偵測辨識部分，動物偵測(animal detection) 也是一個重要的課題，尤其是最普遍的貓跟狗[16]，從一些已知為動物照的圖像裡，藉由 Rekognition 所提供的 scene understanding 功能，可以發現動物照通常具有#animal、#mammal、#dog、#cat 等標籤 (如圖 3.27)，或許可以由此反推回來，若有這些 tag 即為動物照，甚至可以分成更細項的犬類、貓類、鳥類等等。. 政治大. 判斷是否為景物照的標籤項目，則於附錄展示。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.27、動物照通常具有#animal、#mammal、#dog、#cat 等 tag 3.2.7 文字照從一些已知為文字照的圖像裡，藉由 Rekognition 所提供的 scene understanding 功能，可以發現文字照通常具有#text、#word、#logo、#signature 等標籤 (如圖 3.28)，或許可以由此反推回來，若有這些標籤即為文字照。 33.

(46) 判斷是否為景物照的標籤項目，則於附錄展示。. 政治大. 圖 3.28、文字照通常具有#text、#word、#logo、#signature 等標籤. 立. ‧ 國. 學. 對相片們做完分類後，每個類別會建立不同的主要類別標籤(如圖 3.13)，有些類別甚至會有更細項的次要類別標籤(如圖 3.29、圖 3.30)，對應到相片身上，所以一張相片. ‧. 會包含一個或一個以上的類別標籤(如圖 3.31)，以及由 Rekognition 所提供的標籤(tag)，. n. al. er. io. sit. y. Nat. 有了這些資訊後，就可以進一步去分析每位使用者相片分類的狀況。. Ch. engchi. i n U. 人的數量是. 1人. 獨照. 1男1女. 異性照. 2~10 人. 小團體. > 10 人. 大合照. 人物照. 是否為人物照 Image. v. 不是. 圖 3.29、類別標籤的流程-人物照. 34.

(47) 景物照. 是. 室內. 室內. 風景照. 風景照. 建築物. 建築物. 是否為景物照 Image. 不是圖 3.30、類別標籤的流程-景物照. 立. 政治人物照大. 拼貼. 學. 非寫實照. ‧ 國. 小團體. ‧. 食物照. Nat. sit. n. al. er. io. 3.3 標籤探討. y. 圖 3.31、一張相片可能會有多個類別標籤以及標籤(tag). Ch. engchi. i n U. v. 關於 Rekognition 所提供的標籤(tag)部分，原本每張照片預設會產生 5 個標籤，但這樣資訊似乎略顯不足，因此本論文將標籤量提升一倍，也就是一張相片會產生 10 個標籤，除此之外，可以將這些標籤做些前處理再去分析，像是過濾、加權重、合併意義相似的標籤(tag)項目等等，以下針對目前所提出的三種前處理方式逐一做簡單的說明。. 3.3.1 過濾過濾的方式有很多種，這邊舉兩種作法作為考量，第一種為假設每張圖片會有 10 個標籤，則前 7 個保留，後面 3 個若低於設定的門檻值就濾掉，第二種為計算每張照片 35.

(48) 所屬標籤的加總平均值當作門檻值，高於門檻值的標籤保留，而低於門檻值的則濾掉，例如：如圖 3.32，若採用第一種方法且門檻值設值 0.3，則圖 3.32 (a)後面三項因為高於門檻值，所以會保留，但(b)後面 3 項則會被濾掉；若採用第二種方法，圖 3.32(b)的標籤信心分數加總平均值為 0.25，則低於此門檻值的後面四項會被濾掉。. 立. 政治大. （a）（b）圖 3.32、過濾結果會依照過濾方式而有所不同. ‧. ‧ 國. 學. 3.3.2 考慮權重. sit. y. Nat. 在分析結果時，標籤是個重要的指標，但有些標籤信心分數很低、影響力較小，. io. er. 這時可能會造成結果上的誤差，因此除了原本的數量統計，另外還有考慮權重的統計，計算方式為，原本是一個標籤若出現一次，該標籤累加值就加 1，但考慮權重後，則改. al. n. v i n 為加上它信心分數的值。如圖 C 3.33 的“face”標籤，它在兩張圖中都有出現，但可以發現 hengchi U. 它的信心分數其實偏低，若採用原本的比重(如圖 3.33(c))，它對整體的影響會比實際還. 要多，但如果是考慮權重的方式(如圖 3.33(d))，該標籤的影響力會比較符合實際上的考量。. 36.

(49) 標籤項目考慮權重標籤項目出現次數. （a）. food. 1.63. food. 2. curry. 1.22. curry. 2. butter. 0.96. butter. 2. stew. 0.95. face. 2. dish. 0.95. stew. 1. face. 0.27. dish. 1. fruit. 0.27. dough. 0.26. （b）. （c）（d）治政大圖 3.33、將標籤考慮權重（a）圖像 1 的標籤（b）圖像 2 的標籤（c）標籤出現次數表立格（d）將標籤考慮權重後的表格. ‧ 國. 學 ‧. 以使用者 A 為例，假設其臉書總共有 1000 張相片，每張相片會產生 10 個標籤，所以總共會有 1000 x 10 = 10000 個，去掉項目名稱相同的標籤之後，剩 880 個標籤，過. y. Nat. er. io. sit. 濾的方式是採用：前 7 個保留，後面 3 個若低於 0.05 就濾掉(如圖 3.34)：. n. a l每張照片的標籤 𝑡𝑖 , i = 1 to i10. v n Ch 標籤對應的信心分數 e n g c h𝑠i𝑖 , iU= 1 to 10. if (𝑠𝑖 < 0.05) 𝑎𝑏𝑎𝑛𝑑𝑜𝑛 𝑡𝑖 , i ∈ 8,9,10.. 那是否過濾跟是否加權重，會產生 4 種結果，分別為：過濾前無權重、過濾前加權重、過濾後無權重、過濾後加權重(如圖 3.35)。. 37.

(50) x x x. o o o. 圖 3.34、過濾的方式為前 7 個保留，後面 3 個若低於 0.05 就濾掉，左圖後面三項都有高於 0.05，所以都保留，但右圖後面三項都低於 0.05，所以都會濾掉. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.35、過濾前無權重、過濾前加權重、過濾後無權重、過濾後加權重分別的結果. 從結果來看，過濾前的前 50 項標籤與過濾後前 50 項標籤，經過比較後有 48 項一樣；而加權重前跟加權重後的前 50 項標籤，則有 40 項一樣，可以發現權重的影響比過濾大。. 38.

(51) 3.3.3 合併意義相似的標籤(tag)項目從標籤的結果來看，可以發現有些標籤的性質很接近，像是#woman、#female、#girl、 #lady 等(如圖 3.36)，或是#text、#font、#label、#word、#document 等(如圖 3.37)，因此可以將這些意思相似的標籤做合併再去分析。. 立. 政治大. ‧ 國. 學 ‧. 圖 3.36、對於女性來說，有些標籤的性質很接近，像是#woman、#female、#girl 等. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.37、對於文字類型來說，有些標籤的性質很接近，像是#text、#font、#document、 #letter、#word 等. 針對標籤處理的部分(包括標籤分類以及標籤合併)，除研究員自行處理以外，另找二位研究生協同分類、合併。所有的標籤數量為 2119 個，經討論後，決定以總標籤的前 552 個項目(標籤出現次數大於等於 35 次)為母體，將標籤做先分類再合併的動作，分類的類別有：人物照、景物照、非寫實照、食物照、動物照、文字照、植物照、物品照、以及其它，結果於附錄展示。 39.

(52) 在正式分類前，會先進行相互同意度檢測，並根據王石番提出信度公式加以測量 [17]，相互同意度及信度計算公式如圖 3.38。. 相互同意度 =. 信度 =. 2 x 甲乙雙方完全同意之數目甲方應同意數目+乙方應同意數目. N x 平均相互同意度. ，其中 N 為共同評定者人數 1+(N−1) x 平均相互同意度. 治政大圖 3.38、相互同意度及信度計算公式立 ‧ 國. 學. 本研究共三位編碼員，在此以甲、乙、丙代稱，信度檢測結果如表 3.1，所以相互. ‧. 同意度為 P甲乙 = (2 ∗ 329)/(552 + 552) = 0.60、P甲丙 = (2 ∗ 300)/(552 + 552) =. Nat. sit. y. 0.54、P乙丙 = (2 ∗ 258)/(552 + 552) = 0.47，而平均相互同意度為P = (0.6 + 0.54 +. n. al. er. io. 0.47)/3 = 0.54，所以本研究信度為3 x 0.54/{1 + [3 − 1]x0.54} = 0.78，因為不符合 0.90. i n U. v. 信心水準以上，所以分類結果由三位編碼員共同討論後決定。. Ch. engchi. 表格 3.1、信度檢測結果編碼者甲同意數. 編碼者乙同意數. 編碼者丙同意數. 編碼者甲. x. x. x. 編碼者乙. 329. x. x. 編碼者丙. 300. 258. x. 40.

(53) 第四章實驗結果與討論. 本論文的研究對象為，使用臉書且會上傳相片之使用者，在取得他們的同意後，再將相片拿去做分析與觀察，並不隨意公開任何受測者的相片隱私，只會將此資料用於. 政治大. 研究用途。受測者經由招募共 32 名，包括 16 位男性、16 位女性，且大多為大學生，資. 立. 學. ‧ 國. 料如表格 4.1。. 表格 4.1、受測者資料列表(以相片總共張數由少到多為編碼的依據). ‧. 4. 女. 女. 114. 18. 女. 275. 男. 116. 19. 男. 276. 女. 121. 20. iv 男. 311. 男. 338. 6. 男. 7. 男. 8. n. 5. a 女 l. y. 17. io. 3. 111. sit. 2. 女. Nat. 1. er. 受測者編號性別相片總共張數受測者編號性別相片總共張數. 21 n C h132 e n g c h i 22U 133. 女. 252. 313. 136. 23. 女. 408. 女. 137. 24. 女. 410. 9. 男. 161. 25. 男. 462. 10. 男. 176. 26. 男. 487. 11. 男. 179. 27. 女. 500. 12. 女. 186. 28. 男. 667. 13. 男. 193. 29. 女. 1136. 14. 男. 214. 30. 女. 1236. 15. 女. 222. 31. 女. 1240. 16. 男. 225. 32. 男. 1351. 41.

(54) 圖 4.1 為以表格 4.1 當作輸入資料所繪製的直條圖，32 名受測者總共相片數量為 12218 張，其中男性受測者有 5427 張，女性有 6791 張，資料如表格 4.2。. 受測者相片張數直條圖 1500 相 1000 片張 500 數. 治政 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19大 20 21 22 23 24 25 26 27 28 29 30 31 32 受測者編號立學. ‧ 國. 0. 圖 4.1、受測者相片張數直條圖. ‧. 表格 4.2、男性受測者與女性受測者相片張數比較表. io. 女性. 5427. 339.19. 6791. 424.44. y. sit. 男性. 標準差 391.62. er. Nat. 總共張數平均張數. 300.059. n. al 男性＋女性 12218 381.81 i v 351.45 n Ch U engchi. 由表格 4.2 可以發現，我們所收集到的資料集，女性所張貼的數量比男性多了 1000 多張，以及男性相片張數分散程度較大。在進行完取得相片、將相片分類、取得相片標籤後，本章節將對各階段蒐集到的資料進行統計，以及利用圖表工具的呈現，從大量資料中看出其分布趨勢，並以該資料集為依據，進行五個研究問題的分析，問題如下： 1. 使用者所張貼之相片，以哪種種類的相片最多? 2. 男性、女性所張貼的相片內容，是否有所差異? 3. 如何依據資料內容，進行使用者樣貌分析? 42.

(55) 4. 用標籤將使用者分群是否會和用照片分類結果將使用者分群的結果一致? 5. 對於現有的資料，有何其他相關的應用? 希望透過這五個研究問題，對資料的統計結果有更深入的膫解。. 4.1 使用者所張貼之相片，以哪種種類的相片最多? 首先由第一個問題開始，相片種類的定義範圍為“人物照”、“景物照”、“食物照”、 “動物照”、“主題照”、“文字照”、“非寫實照”以及“其他”，相片種類與範例圖片如表格 4.3。. 立. ‧ 國. 學. 相片種類. 政治大. 表格 4.3、相片種類範例圖片. 範例圖片. ‧. n. al. er. io. sit. y. Nat 人物照. Ch. engchi. 景物照. 43. i n U. v.

(56) 食物照. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. 動物照. Ch. engchi. 主題照. 44. i n U. v.

(57) 文字照. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. 非寫實照. Ch. engchi. 其他. 45. i n U. v.

(58) 將使用者相片分類後的結果統計如表格 4.4，由於一張相片被分到的類別可以不只一種，所以將相片類別個數加總，可能會大於受測者所張貼的張數。. 食物照. 動物照. 主題照. 文字照. 非寫實照. 其他. 1. 女. 67. 37. 36. 1. 72. 47. 45. 0. 2. 女. 83. 37. 10. 5. 52. 29. 24. 0. 3. 男. 97. 61. 12. 1. 56. 17. 9. 0. 4. 女. 55. 80. 11. 5. 28. y. 24. 21. 0. 5. 女. 109. 45. 17. 5. 45. 23. 30. 0. 6. 男. 121. 90. 8. 4. 13. 17. 10. 0. 7. 男. 38. 12. 25. 14. 13. 1. 8. 女. 98. 20. 20. 2. 9. 男. 143. 66. 116. 12. 6. 0. 10. 男. 141. 130. 13. 3. 97. 9. 8. 0. 11. 男. 136. 45. 28. 8. 118. 30. 15. 0. 12. 女. 182. 104. 23. 3. 94. 8. 4. 0. 13. 男. 101. 151. 28. 5. 103. 14. 13. 0. 14. 男. 128. 120. 51. 51. 91. 18. 8. 0. 15. 女. 107. 148. 30. 11. 146. 34. 19. 0. 16. 男. 132. 156. 32. 8. 139. 26. 18. 0. 17. 女. 235. 77. 26. 4. 170. 7. 14. 0. 18. 女. 248. 116. 60. 13. 41. 26. 25. 0. 19. 男. 182. 167. 9. 145. 125. 5. 0. 0. 20. 女. 189. 107. 37. 8. 176. 67. 59. 3. io. n. 31. Ch. 25 i e15 h n c g 24 4. 46. er. Nat. a 95 l. ‧. ‧ 國. 景物照. 學. 受測員性別人物照編號. sit. 政治大表格 4.4、受測者相片分類資料表立. i46v n U 81.

(59) 21. 男. 145. 185. 69. 31. 166. 81. 34. 0. 22. 男. 332. 125. 20. 4. 159. 12. 8. 0. 23. 女. 175. 354. 38. 71. 282. 27. 10. 0. 24. 女. 164. 210. 62. 24. 217. 127. 56. 0. 25. 男. 287. 328. 49. 16. 254. 44. 16. 0. 26. 男. 329. 295. 103. 21. 266. 38. 15. 0. 27. 女. 258. 288. 41. 23. 271. 111. 57. 4. 28. 男. 498. 415. 112. 36. 354. 79. 54. 1. 29. 女. 995. 353. 117. 52. 721. 102. 111. 1. 30. 女. 972. 653. 219. 50. 729. 90. 65. 0. 31. 女. 1043. 716. 242. 30. 698. 46. 16. 0. 32. 男. 668. 721. 458. 174. 0. 立. 政247 治50 大640. ‧ 國. 學. 圖 4.2 即為以表格 4.4 當作輸入資料做正規化之後所繪製的圓餅圖，從圖中可以發現，“人物照”的比例最高，約佔全部的三成，其次為“主題照”、“景物照”，再來是“食物. ‧. 照”、“文字照” 、“非寫實照” 、以及“動物照”，而“其他”的比例則相對最低。. n. al. er. io. sit. y. Nat. 相片分類比例圓餅圖 2.78%. Ch. 3.66%. 0.04%. engchi. i n U. v. 人物照. 6.22%. 主題照 6.74%. 31.65%. 景物照食物照文字照非寫實照. 24.35%. 動物照其他 24.57%. 圖 4.2、全部受測者的相片分類比例圓餅圖 47.

(60) 就資料結果發現，“人物照”類別的數量最多，故本論文還有另外對該類別做進一步的子類別探討，“人物照”子類別定義範圍為“個人照”、“異性照”、“小團體照”、“大合照”。藉由 Face++所提供的 Face Detect API，除了可以得到影像裡面人臉的個數、另外還有性別的資訊，如此就可以去判斷該張影像屬於哪個子類別，得到這些資訊後，可以先分析每位受測者在這些子類別的分布狀況，資料整理如表格 4.5，左欄為受測者 1 到受測者 32 的列表，上列為“人物照”各子類別名稱，其中個人照又可以分為以男性為主的個人照，或以女性為主的個人照，中間數值為受測者各類照片張數的資料，紅色底為. 政治大. 受測者在該類照片張數最多，藍色底為該類照片張數最少。. 學. ‧ 國. 立. 大合照. 5. 23. 0. y. 個人照. 男性個人照. 女性個人照. 111. 39. 14. 25. ‧. 性別. 1. 女. 2. 女. 114. 30. 11. 19. 2. 18. 1. 3. 男. 116. 31. 21. 10. 8. 19. 1. 4. 女. 121. 13. 5. 8. 3. 10. 0. 5. 女. 132. 33. 2. 31. 3. 32. 9. 6. 男. 133. 6. 54. 6. 7. 男. 136. 1. 3. 1. 8. 女. 137. 35. 7. 28. 8. 22. 1. 9. 男. 161. 35. 20. 15. 20. 67. 1. 10. 男. 176. 25. 24. 1. 7. 53. 1. 11. 男. 179. 60. 45. 15. 14. 28. 0. 12. 女. 186. 29. 17. 12. 30. 104. 7. 13. 男. 193. 31. 21. 10. 4. 16. 0. 14. 男. 214. 42. 11. 31. 11. 11. 1. 15. 女. 222. 42. 2. 40. 2. 17. 0. 16. 男. 225. 34. 26. 8. 11. 35. 3. 17. 女. 252. 174. 1. 173. 2. 27. 4. 18. 女. 275. 53. 7. 46. 28. 147. 0. 19. 男. 276. 48. 28. 20. 3. 27. 0. n. al. C20h 11. 20 0 e n g10c h i U1. 48. 異性照. er. 受測員編號. io. 照片總共張數. Nat. 小團體照. sit. 表格 4.5、受測者“人物照”子類別資訊. v ni.

(61) 20. 女. 311. 50. 4. 46. 14. 48. 5. 21. 男. 313. 31. 25. 6. 6. 47. 0. 22. 男. 338. 153. 99. 54. 7. 56. 16. 23. 女. 408. 52. 21. 31. 21. 15. 0. 24. 女. 410. 31. 17. 14. 10. 30. 4. 25. 男. 462. 100. 63. 37. 16. 58. 0. 26. 男. 487. 126. 100. 26. 25. 143. 4. 27. 女. 500. 46. 19. 27. 12. 74. 6. 28. 男. 667. 144. 100. 44. 30. 56. 4. 29. 女. 1136. 304. 63. 241. 115. 389. 19. 30. 女. 1236. 261. 86. 175. 113. 379. 5. 31. 女. 1240. 306. 134. 428. 5. 32. 男. 1351. 25. 129. 5. 立. 政 105治 201 大 196 161 35. ‧ 國. 學. 圖 4.3 為以表格 4.5 當作輸入資料所繪製的區域圖，從圖中可以發現，大多受測者. ‧. 的“個人照”或“小團體照”比例較高，再來是“異性照”，而“大團體照”則相對比例偏低，. sit. y. Nat. 這符合大眾直觀的預期，因為要拍“大團體照”可能會碰到一些問題，例如：通常是有特. io. er. 別的行程或活動，才有可能很多人聚在一起，然後因為人很多，所以拍照時會比平常花費更多的時間去協調、準備、就定位等等，而位置可能又是另一個問題，像要找到適合. al. n. v i n Ch 的背景、長官長輩要坐椅子、個子比較嬌小的要站前面等等，整體來說比自拍或與朋友 engchi U. 拍照還要困難許多，故大團體照應會是比例相對低的子類別。. 49.