第二章 相關研究探討
本章節將相關研究分成三個部分來探討：一是本論文用於電影海報分類之卷 積神經網路的介紹；二是引領出本論文作電影海報概念分析方法的相關文獻以及 幫助本論文實作分析之工具介紹；三為電影分類之相關工作。
2.1 卷積神經網路
本論文使用 Caffe[2]來實作卷積神經網路（Convolutional Neural Networks，簡 稱 CNN），Caffe 是由 Berkeley Vision and Learning Center（BVLC）建立的一個清 晰且高效的深度學習框架，它是個純粹的 C++/CUDA 架構，能夠支持命令行、
Python 和 MATLAB 接口，可以在 CPU 和 GPU 之間直接無縫切換，並且有提供 幾個已訓練好的參數模型可以使用。圖 2.1 和圖 2.2 分別為卷積神經網路之架構 圖以及 Caffe 卷積神經網路的架構圖。
圖 2.1 卷積神經網路架構圖3
3 http://code.flickr.net/2014/10/20/introducing-flickr-park-or-bird/
圖 2.2 Caffe 卷積神經網路架構圖[7]
2.2 分析方法
在[3][4][5]論文中，提到了使用深層網路對臉部相關分類後，發現在最後的隱 藏層中，某些神經元會與臉部的特徵表示特別有關係。作者們將神經網路的神經 元作視覺化，把同個神經元有值的圖片取出，依照圖片在神經元值的以低、中、
高分別組合成群組，將圖片作平均圖後呈現出來，判斷出此神經元可能代表哪種 臉部特徵，如圖 2.3 所示，黃色的字體代表此神經元一至二最有代表性的特徵屬 性。藉此可發現在訓練完的網路，其最後隱藏層的神經元可能分別會有代表著可 以分辨輸入之圖片的屬性存在，因此本論文使用相同的概念，取出訓練完後的最 後隱藏層(Fc7)視為電影海報視覺元素，作為分析電影海報概念的依據。
圖 2.3 將神經元視覺化[3]
7
Word2Vec[11]為一個藉由類神經網路的模型訓練語言模型的工具，其透過學 習後能夠將每個詞都映射到一個特定的多維向量，而此向量具有語意以及語法的 意義，可以用來表示詞對詞之間的關係，並且在投影後的向量空間中會含有些較 特殊的性質，例如相同屬性的詞可能在空間中會靠得較近等等。Word2Vec 的模型 有兩種，分別為 CBOW（Continuous Bag-Of-Words）和 Skip-gram，兩者的差別 在於 CBOW 的模型輸入為上下文的詞向量，輸出為預測出的詞向量，如圖 2.4 所 示，即是利用字詞的上下文來預測字。而 Skip-gram 的模型輸入則是某個詞向量，
輸出為上下文的詞向量，如圖 2.4 所示，即是利用字詞來預測出此字詞的上下文。
本論文將使用 Word2Vec 對電影關鍵字進行訓練來產生模型，並選擇語意分析效 果較好的 Skip-gram 模型，由輸出的向量可以得到關鍵字與關鍵字之間的關係。
圖 2.4 CBOW 與 Skip-gram 模型示意圖[11]
在[16]論文中，提出人的情感會因不同的文化和語言不同，因此作者對多種 語言分別建立一個語言相依的方法來自動對一張圖片產生一組形容詞與名詞的 字組(Adjective Noun Pairs , ANP)。在執行偵測 ANP 的部分，作者使用卷積神經 網 路 並 利 用 他 們 蒐 集 的 Large-scale Multilingual Visual Sentiment concept
Ontology(MVSO)資料集作微調後，效果比[14][15]好很多。另外，作者透過群眾 外包統計出 ANP 與情緒關鍵字的關聯性，再根據此關聯性計算出每個 ANP 的情 緒分數。本論文將使用其英文語言的模型對電影海報產生 ANP 和對應的情緒分 數，進而將電影海報的情緒分數視為電影海報概念，對特徵向量進行分析。
2.3 電影分類相關工作
[6]論文提出，人類可以快速利用視覺上的細節從電影海報中理解出電影的類 型，因此作者們假設可以利用一些如顏色、邊緣偵測的低階特徵就能自動辨認出 電影海報的類型。作者們共蒐集了 1500 張電影海報，使用 1000 張作為訓練，500 張作為測試來作多標籤的電影類型分類。 此論文共使用 6 個電影類型，分別為
Drama, Action, Animated, Comedy, War, Horror，並且將原本的多標籤電影類型依照 他們的規則改成至多只有兩個他們所使用的電影類型，如表 2.1 所示。與本論文 不同之處為我們蒐集更多的資料，使用深度學習的方式來作多標籤分類，並且保 留住原先蒐集到的各個電影類別共 23 類，再利用得出的特徵向量來分析這些特 徵是否與電影海報概念有關。
9
表 2.1 更改電影類別標籤的規則[6]