• 沒有找到結果。

相關研究探討

色彩特徵以及比較不同類型用色的異同。

而針對精采片段的偵測中,許多的文獻都是針對單一類型的影片作探討。

Boril[3] 的研究中,針對了棒球類型的影片作其精彩片段的偵測。

圖 2.1 : 棒球類型影片之精采片段偵測流程圖 (出自參考文獻[3])

整體流程將對於影片中最為重要的兩樣東西分別做探討。在影像方面,[3]的文 獻中,先將影片切成影像,再針對於 Shot boundary 去做偵測;另外一個就是對 於棒球轉播中的重播畫面去做偵測。而在聲音方面,此篇論文也對聲音資料做了 分割,將聲音資料分為語音及背景音樂用來作興奮度的分析,在棒球轉播中,語 音資訊扮演了十分重要的角色,因此分割出來做探討是有其必要的。

Lin [4] 針對戲劇類的影片進行情感精彩片段分析,如圖 2.2 所示,作者認 為在戲劇類的影片中存在著豐富的情感特徵,人們在觀賞這類類型的影片時所關 心與感受到的是角色之間的互動及情感表達,因此透過這篇研究的系統可以擷取 出具有豐富情感的場景,並且自動編排產生預告片。在這篇研究中,作者擷取了

音樂情感(Music emotion)及視覺特徵(Visual feature)做為特徵。其中音樂情感特 徵中,作者利用 A. Mehrabian [5] 定義的三個屬性來表示包括:興奮(Arousal)利 用 1 及 0 分別表示興奮(Exciting)或鎮靜(Calming),價(Valence)表示正負 (Positive/Negative)以及支配(Dominance)利用 1 及 0 分別表示場景控制(A sense of control)或自由行動(freedom to act)。而在視覺特徵中作者選用了臉部表情 (Human face)、拍攝時間(Shot duration) 及運動量(Motion Magnitude)。

圖 2.2 戲劇情感精彩度偵測流程圖 (出自參考文獻[4])

在臉部表情的部分,作者偵測每個幀(Frame)所出現的人臉個數,出現越多人臉 的幀得到越多觀眾的注意。而在拍攝時間特徵中,作者認為較短的拍攝時間較能 喚起觀眾的興奮感(Arousal)而導演會利用較長的拍攝時間來表達浪漫及慢步調 以吸引觀眾的注意。而在這篇研究中,希望找到情感較豐富的精采片段,因此針 對拍攝時間特徵,較長的拍攝時間有較高的分數。最後一個特徵是運動量,運動

向量為一個向量,包含了方向以及運動量,作者認為運動量可以用來表達情感的 精采度,與拍攝時間的想法相似,場景擁有較低的運動量,表達了故事劇情呈現 較低步調的呈現手法,往往也能表達較多的情感。因此低運動量有較高的分數。

透過回歸分析的方法分辨基於情感的精彩片段,從這個研究中發現取得有區辨性 的特徵,可以幫助我們找到所需要的精采度片段。

Hanjalic [6] 這篇論文則針對了影片內容的呈現方式做出了分析。這篇論文 是第一個對於影片中情緒程度做出描述,所提出的方法為 Valence-Arousal (VA) 模型。其中模型中所提到的 Valence 為情緒中屬於正面或負面的程度,Arousal 為情緒的強度。從影片當中抽取低階特徵,其特徵分別為運動強度、鏡頭變化率、

聲音短時能量與基音特徵。透過上述的特徵,可以得到影片的 V-A 曲線。雖然 上述的方法在檢測電影情感內容時都能獲得較好的結果,但主要仍是針對特定電 影類型。

Wang [7] 這篇論文中,使用基於內容的聲音以及影像特徵去對電影的場景 進行基本情緒的分類。整體架構如圖 2.3 所示。提出的方式也是先將影片分成影 像以及聲音來做處理。在聲音方面,先將聲音分為音樂、對話以及環境信號來做 處理,構成音樂部份的特徵。而在影像部分,則是使用主光、運動量等基於視頻 的資訊。最後結合成一個場景特徵向量,用以作場景中情緒分類的工作。

圖 2.3 場景情緒分類系統流程圖 (出自參考文獻[7])

Smeaton [8] 中,則是想要從整部動作片電影中去自動挑出預告片。提出的 方法為結合視覺以及聲音特徵,視覺特徵為:鏡頭長度、運動量、相機移動的程 度。聽覺特徵則是要去分出音樂、沉寂、演講、環境音樂或者是其他類型的聲音 在整個音軌中所占有的比例。而聽覺特徵中的分出動作則是對每一個類型皆訓練 一個分類器,使用的 SVM 機器學習方式。最後結合上述的特徵之後,再使用 SVM 的機器學習方式,去挑選出該鏡頭是否在預告片當中。

從上述的幾個相關研究中,我們發現了不同類型的電影具備了其獨特的呈現 方式。而在精彩度偵測的方面,許多的研究都是針對單一類型的影片去做分析,

對於特定類型的電影給予其精彩片段的定義,進而一步的設計出最適用於該類型 的特徵表示法。在特徵表示法的部分都會將其分為影像資訊及聲音資訊分別的去

做分析探討。

總結來說,特徵的抽取可以決定一個精彩片段偵測成果的好壞。從上述探討 的文獻中,發現許多的特徵可以用來表示多媒體內容。我們的題目,不同於上述 的文獻之處就是本論文是將對於不同類型的電影去做精彩片段的偵測。所面臨的 挑戰就是如何發現適用於不同類型電影中的有力特徵。

相關文件