本篇論文中，我們提出了完整的視訊內人物分群流程，並針對人臉影像的前處理、
Eigenfaces 的使用、人物間關係的求算、人物的分群、以及人物擴張等各階段之方法進 行討論。另一方面，我們探討各種資訊之使用所帶來的影響，由實驗發現，針對臉部辨 識度較差的影片，碰撞資訊以及可變權重式身體資訊的使用可大幅提升人物分群的準確 度，以測資 3 為例，完全採用臉部資訊進行人物分群，其準確度僅有 0.2（ARI 值）左 右，若加上身體資訊的輔助後，準確率可提升至 0.45 左右。兩對照圖如下頁圖 5-1 與圖 5-2。
在第 4.3 至 4.5 節的實驗中，我們探討了投影基底訓練集、投影維度等 Eigenfaces 相關議題，以及人臉影像的前處理方法。當基底訓練集內的臉部影像含有足夠變異度時，
僅頇足夠數量的投影維度即可達到準確描述的目的，過大的維度並無法帶來更準確的結 果；相反的，若訓練集合內資訊之變異度過小時，則再大的投影維度都是不具描述力的。
此外，在人臉影像進行投影前，使用光影平衡及高斯低通將所有影像調整至相同狀態，
為較佳的臉部影像前處理方式。
關於分群策略的選擇上，由數據結果我們說所有串列一併進行分群與兩階段分群方 法並沒有明顯的優劣之分，在不同影片中，兩策略的結果不盡相同。在分群法與分類法 的討論中，階層式分群演算法配合 Average-link 合併方法為最佳的分群法，加上碰撞資 訊的運用，可獲得到更好的分群結果；另一方面，動態的 Modified K-NN 為最佳分類方 式。最後我們也進行 Prototype 的實驗，由結果得知，Prototype 概念的運用並無法提升 演員串列間的描述力。
在資訊的使用選擇上，當處理臉部差異較不明顯的串列分群時（如測資 3、測資 4）， 透過身體資訊的輔助，將可大大提升分群的準確度，其中也證明“依時間差距決定身體 資訊權重”較“固定權重比例”更能有效利用身體資訊，提升整體分群準確度。反之，在 處理臉部差異很明顯之串列時（如測資 5），僅使用臉部資訊即可獲得很棒的分群結果，
身體資訊的使用將對分群產生反效果。
論文中使用的階層式分群演算法在進行串列合併時，當錯誤合併發生即無法再被分 開，造成分群準確度的低落，未來我們希望尋找更好的分群方法，提升分群作業的準確 性。除了分群方法的改進外，希望透過更好的臉部辨識技術來進行臉部影像的描述，例 如2-D PCA、FLD、LDA、SVD等；以及，餘弦距離（cosine distance）等不同的距離求 算方式，都是可進行的嘗試。
圖 5-1：測資 3 僅使用臉部資訊進行分群之結果圖
[實驗採取：所有串列一併進行分群、Average-link with Collision]
（ARI=0.197、CVC=0.507）
圖 5-2：測資 3 使用臉部資訊及身體資訊進行分群之結果圖（h0.2、 3000） [實驗採取：所有串列一併進行分群、Average-link with Collision]
（ARI=0.467、CVC=0.655）
參考文獻
[1] D. Zhong, H. J. Zhang, and S. F. Chang, "Clustering Methods for Video Browsing and Annotation," Proc. Storage and Retrieval for Image and Video Databases IV, vol. 2670, pp. 239-246, 1996
[2] Y. P. Tan and H. Lu, "Video Scene Clustering by Graph Partitioning," Electronics Letters, vol. 39, no. 11, pp. 841- 842, 2003
[3] W. Y. Ma and H. J. Zhang, "An Indexing and Browsing System for Home Video," Proc.
European Conference on Signal Processing, pp. 131–134, 2000
[4] K. A. Peker, A. Divakaran, and T. Lanning, "Browsing News and Talk Video on a Consumer Electronics Platform Using Face Detection," Proc. SPIE Multimedia Systems and Applications VIII, vol. 6015, 2005
[5] E. Hjelmas and B. K. Low, "Face Detection: A Survey," Computer Vision and Image Understanding, vol. 83, pp. 236–274, 2001
[6] C. Czirjek, N. O'Connor, S. Marlow, and N. Murphy, "Face Detection and Clustering for Video Indexing Applications," Proc. Advanced Concepts for Intelligent Vision Systems, 2003
[7] Z. Jin, Z. Lou, J. Yang, and Q. Sun, "Face Detection Using Template Matching and Skin-color Information," Neurocomputing, vol. 70, pp. 794-800, 2007
[8] R. L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, "Face Detection in Color Images," IEEE Trans on Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp. 696-707, 2002 [9] M. Turk and A. Pentland, “Eigenfaces for Recognition,” Journal of Cognitive
Neuroscience, vol. 3, no. 1, pp. 71-86, 1991
[10] B. Kepenekci, "Face Recognition Using Gabor Wavelet Transform," PhD thesis, The Middle East Technical University, 2001
[11] T. Ahonen, A. Hadid, and M. Pietikainen, "Face Recognition with Local Binary
Patterns," Proc. European Conference on Computer Vision, vol. 3021, pp. 469–481, 2004 [12] W. Y. Zhao, R. Chellappa, P. J. Phillips, and A. Rosenfeld, "Face Recognition: A
Literature Survey," ACM Computing Surveys (CSUR), vol. 35, no. 4, pp. 399-458, 2003 [13] J. Tao and Y. P. Tan, "Efficient Clustering of Face Sequences with Application to
Character-based Movie Browsing," Proc. IEEE International Conference on Image
Processing, pp. 1708-1711, 2008
[14] P. Huang, Y. Wang, and M. Shao, "A New Method for Multi-view Face Clustering in Video Sequence," Proc. IEEE International Conference on Data Mining Workshops, pp.
869-873, 2008
[15] D. Ramanan, S. Baker, and S. Kakade, "Leveraging Archival Video For Building Face Datasets," Proc. IEEE International Conference on Computer Vision, pp. 1-8, 2007 [16] E. El-Khoury, C. Senac, and P. Joly, "Face-and-Clothing Based People Clustering in
Video Content," Proc. International Multimedia Conference on Multimedia Information Retrieval, pp. 295-304, 2010
[17] K. Yamamoto, O. Yamaguchi, and H. Aoki, "Fast Face Clustering Based on Shot Similarity for Browsing Video," Progress in Informatics, pp. 53-62, 2010
[18] 洪詩祐, “使用臉部訊息輔助自動化膚色偵測,” 交通大學多媒體工程研究所碩士論 文, 2009
[19] S. Theodoridis and K. Koutroumbas, Pattern Recognition (4th Edition), Academic Press, 2008
[20] J. Goldberger and T. Tassa, "A Hierarchical Clustering Algorithm Based on the
Hungarian Method," Pattern Recognition Letters, vol. 29, no. 11, pp. 1632-1638, 2008 [21] G. Karypis and V. Kumar, "METIS: A Software Package for Partitioning Unstructured
Graphs, Partitioning Meshes, and Computing Fill-Reducing Orderings of Sparse Matrices Version 4.0," University of Minn. Dept. of Comp. Sci., Minneapolis, 1997 [22] L. Hubert and P. Arabic, "Comparing Partitions," Journal of Classification, vol. 2, no. 1,
pp.193-218, 1985