四、 實驗結果
4.3 不同條件下的實驗比較
4.3.2 臉部與身體資訊結合參數比較
接下來就是將上一階段得到的人臉相似值與身體相似值整合。如在 3.3.4 提到的方 法，透過公式(11)和(12)來計算整合的數值。根據公式(11)，計算此權重值必頇要設定兩 個參數，分別是 和 。分別代表身體資訊的權重比例與身體權重參數下降的 速度。在我的實驗中設定 從 0.1 到 0.9 間隔 0.1 做測詴，而 從 0.1 到 10 之間 做測詴。由於實驗結果數據過於繁雜，在此僅列出最佳參數選取理由的數據曲線。表 4-4 的測詴資料為測詴資料一。
表 4-5 : 測詴資料一，合併身體與臉部資訊時的權重變數設定。
折線圖分別代表 CVC(上方)與 ARI(下方)在參數改變時的變化。
圖 4-3 : 測詴資料一，縱座標為 CVC(上圖)與 ARI(下圖)在各種參數環境下的折 線圖。 在此處為 0.4 而橫坐標為 的數值。
雖然透過圖 4-3 可以輕易地找到最佳的設定值，但 與 必頇事先設定好，
因此針對不同類型的影片所要設定的最佳參數就不同。如同前幾章提及的，若影片中演 員的衣物穿著多次變換，則身體資訊的權重設低才可以得到較佳結果，反之若是人臉之 間太過於相似，則身體權重設高則能得到較好的結果。在經過一些測詴影片的實驗後，
此兩參數並沒有絕對優異的值，非常容易因影片的內容而有大幅度的跳動。因此根據我 們的三種測詴資料，也僅能大概猜測某範圍的數值，而是否有更好的技術來解決此問題，
也是個未來研究的方向。
表 4-6 : 測詴資料二，合併身體與臉部資訊時的權重變數設定。
圖 4-4 : 測詴資料二，縱座標為 CVC 與 ARI 在各種參數環境下的折線圖。 在 此處為 0.5 而橫坐標為 的數值。
0 0.5 1
1.6 1.7 1.8 1.9 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7
K=30 K=20 K=10
0 0.2 0.4 0.6
1.6 1.7 1.8 1.9 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7
K=30
K=20
K=10
K=8
表 4-7 : 測詴資料三，合併身體與臉部資訊時的權重變數設定。
圖 4-5 : 測詴資料三，縱座標為 CVC 與 ARI 在各種參數環境下的折線圖。 在
第五章 結論與未來展望
本論文不僅是提出了完整的影像人臉註記的流程，也加上了姿勢資訊來校正角度 差異過大的臉。整個完整的流程包含了人臉偵測，以膚色偵測來過濾非人臉的區塊，追 蹤影片中連續出現的同一張人臉，然後經過前置處理的光線平衡與高低通濾波將影像正 規化，接著才進行 2DPCA 投影，其中加上了利用 Gabor Wavelet Transform 擷取紋理的 方式來辨別姿勢的相似關係，最後還使用改良的分群計算方式做階層式分群法。每一階
一開始就得到好的結果，並不一定代表此想法是錯的，或許轉個方向即可突破現狀。
另外，在同一類型的研究中都有著通病，權重的數據必頇事先設定，且沒有固定的 值是最佳解。在最後第四章中提及的問題，就是我們必頇依據影片的特性來設定參數，
這與我們自動化分群的目的大大相牴觸，但身體的額外資訊非常有使用的價值，不應該 完全不使用，因此，如何解決此問題也很值得未來深加探討與研究。
參考文獻
[1]. C. Czirjek, N. O'Connor, S. Marlow, and N. Murphy, “Face Detection and Clustering for Video Indexing Applications,” Proc. Advanced Concepts for Intelligent Vision Systems, pp.2-5, 2003
[2]. O. Arandjelović and A. Zisserman, “Automatic Face Recognition for Film character Retrieval in Feature Length Films,” Proc. IEEE Conference on Computer Vision Pattern Recognition, vol. 1, pp. 860-867, 2005.
[3]. Y. Gao, T. Wang, J. Li, Y. Du, W. Hu, Y. Zhang, and H. Ai, “Cast Indexing for Videos by NCuts and Page Ranking,” Proc. of the ACM International Conference on Image and Video Retrieval, pp. 441-447, 2007.
[4]. J. Barreto, P. Menezes, and J. Dias, “Human-robot Interaction Based on Haar-like Features and Eigenfaces,” in International Conference on Robotics and Automation, New Orleans, pp. 1888-1893, 2004.
[5]. M. Turk and A. Pentland, “Eigenfaces for Recognition,” Journal of Cognitive Neuroscience, vol. 3, no. 1, pp. 71-86, 1991.
[6]. S. Satoh, “Comparative Evaluation of Face Sequence Matching for Content-Based Video Access,” Proc. IEEE Conference on Automatic Face and Gesture Recognition, pp.
163-168, 2000.
[7]. S. Foucher and L. Gagnon, “Automatic Detection and Clustering of Actor Faces based on Spectral Clustering Techniques,” Proc. Computer and Robot Vision (CRV),
pp.113-122, 2007.
[8]. T.L. Berg, A.C. Berg, J. Edwards, M. Maire, R. White, Y.W. Teh, E.G. Learned-Miller, and D.A. Forsyth, "Names and Faces in the News", Proc. CVPR , vol. 2, pp.848-854, 2004.
[9]. S. Foucher and L. Gagnon, “Automatic Detection and Clustering of Actor Faces based on Spectral Clustering Techniques, ” Proc. Computer and Robot Vision (CRV), pp.113-122, 2007.
[10]. J. Yang, D. Zhang, A.F. Frangi, and J. Yang, “Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition,” presented at IEEE Trans.
Pattern Anal. Mach. Intell., pp.131-137, 2004.
[11]. T. Ahonen, A. Hadid, and M. Pietikainen, “Face Recognition with Local Binary
Patterns, ” Proc. European Conference on Computer Vision, vol. 3021, pp. 469–481, 2004.
[12]. S. Satoh, Y. Nakamura, and T. Kanade, “Name-It: Naming and Detecting Faces in News Videos,” IEEE Multimedia, 6, pp. 22-35, 1999.
[13]. A. W. Fitzgibbon and A. Zisserman, “On Affine Invariant Clustering and Automatic Cast Listing in Movies,” European Conference on Computer Vision (ECCV), vol. 3, pp.
304 – 320, Springer-Verlag, 2002.
[14]. M. Everingham and A. Zisserman, “Automated Person Identification in Video,” Proc.
CIVR, pp.289-298, 2004.
[15]. M. Everingham and A. Zisserman, “Automated Visual Identification of Characters in Situation Comedies, ” Proc. ICPR, vol. 4, pp.983-986, 2004.
[16]. O. Arandjelović and A. Zisserman, “Automatic Face Recognition for Film character Retrieval in Feature Length Films,” Proc. IEEE Conference on Computer Vision Pattern Recognition, pp. 581-588, 2005.
[17]. J. Sivic, M. Everingham, and A. Zisserman, “Person Spotting: Video Shot Retrieval for Face Sets, ” Proc. CIVR, pp.226-236, 2005.
[18]. Y. Gao, T. Wang, J. Li, Y. Du, W. Hu, Y. Zhang, and H. Ai, “Cast indexing for videos by NCuts and page ranking, ” Proc. CIVR, pp.441-447, 2007.
[19]. P. Huang, Y. Wang, and M. Shao, “A New Method for Multi-view Face Clustering in Video Sequence,” Proc. IEEE International Conference on Data Mining Workshops (ICDMW), pp.869-873, 2008.
[20]. J. Tao and Y. P. Tan, “Efficient Clustering of Face Sequences with Application to Character-based Movie Browsing,” Proc. IEEE International Conference on Image Processing, pp. 1708-1711, 2008.
[21]. S. Gong, S. McKenna, and J. J. Collins, “An Investigation into Face Pose Distributions, ” In FG., pp. 265, 1996.
[22]. T. Ji and Y. P. Tan, “Face Clustering in Videos Using Constraint Propagation,”
Proceedings of the IEEE International Symposium on Circuits and Systems, pp.3246-3249, 2008.
[23]. Z. Liu and Y. Wang, “Major Cast Detection in Video using Both Audio and Visual Information,” In ICASSP-2001, pp. 1413-1416, 2001.
[24]. G. Iyengar, H.J. Nock, and C. Neti, “Semantic Indexing of Multimedia Content Using Audio, Text and Visual Cues, ” Proc. Multimedia Information Systems, pp.134-134, 2002.
[25]. Z. Liu and Y. Wang, “Major Cast Detection in Video Using Both Speaker and Face Information,” IEEE. Trans. Multimedia, vol. 9, no.1, pp. 89-101, Jan. 2007.
[26]. M. Everingham, J. Sivic, and A. Zisserman, “Taking the bite out of automated naming of characters in TV video,” presented at Image Vision Comput., pp.545-559, 2009.
[27]. http://dvdvideosoft.com/download/FreeVideoToJPGConverter.exe [28]. http://opencv.willowgarage.com/wiki/Welcome
[29]. 洪詵祐, “使用臉部訊息輔助自動化膚色偵測,” 交通大學多媒體工程研究所碩士論 文, 2009
[30]. S. Satoh, “Towards Actor/Actress Identification in Drama Videos,” Proc. ACM Multimedia,pp. 75-78, 1999.
[31]. D. Zhong, H. Zhang, and S. Chang, “Clustering Methods for Video Browsing and Annotation,” Proc. Storage and Retrieval for Image and Video Databases (SPIE), pp.239-246, 1996.
[32]. 蘇偉志, “以人臉為依據建立視訊影片中人物出現時間之索引,” 交通大學多媒體工 程研究所碩士論 文, 2010
[33]. S. Theodoridis and K. Koutroumbas, Pattern Recognition (4th Edition), Academic Press, 2008
[34]. L. Hubert and P. Arabic, “Comparing Partitions,” Journal of Classification, vol. 2, no. 1, pp.193-218, 1985