以電腦視覺為基礎之人臉辨識安全控管系統(I)

Download (0)

全文

(1)

行政院國家科學委員會專題研究計畫 成果報告

以電腦視覺為基礎之人臉辨識安全控管系統(I)

計畫類別: 個別型計畫 計畫編號: NSC91-2213-E-009-094- 執行期間: 91 年 08 月 01 日至 93 年 07 月 31 日 執行單位: 國立交通大學資訊工程學系 計畫主持人: 李錫堅 報告類型: 精簡報告 報告附件: 出席國際會議研究心得報告及發表論文 處理方式: 本計畫可公開查詢

中 華 民 國 93 年 10 月 13 日

(2)

行政院國家科學委員會專題研究計畫成果報告

以電腦視覺為基礎之人臉辨識安全控管系統

A Computer Vision-Based Security System for Human Face Recognition

計畫編號:

執行期限:91 年 8 月 1 日至 92 年 7 月 31 日

主持人:李錫堅 國立交通大學資訊工程研究所

一、中文摘要 本計畫本年度的工作目標在於偵測出 錄影資料中的危險狀況,由於通常危險狀 況都是由人產生的,因此我們必須先偵測出 影像中的人。在一個複雜背景的影像中, 很多物體看起來都很像人,但是在自然環 境中,人不可能永遠不動,所以我們可以 利用移動物體的偵測將偵測人的問題簡 化,在本研究中,我們利用背景消去法來 偵測移動物體,然而光源問題會嚴重影響 偵測結果,在本計畫中,我們嚐試一種補 光的技術來消除光源在移動物體偵測中的 影響。 完成移動物體偵測後,我們應該由這 些移動物體中將人偵測出來,由於人是非 剛體的物體,因此形狀資訊通常無法使 用,所以我們採用顏色的資訊,例用膚色 來找出人,我們會將所有有膚色的顏色點 分類成多個膚色區域,根據分析這些膚色 區域的位置,我們可以知道人的大概外型 及位置。 在通常的情況,假如某人的頭部有覆 蓋物,這個人就很有可能危害安全,所以 我們分析人的頭部部分,假如頭部不是一 個正常人類的頭部,這個人就被當作危險 的人,更進一步,我們還可以分析這個人 頭部的覆蓋物以符合不同安全等級的需 求。 在第一個實驗結果,我們偵測 476 個 影像中的移動物體,正確率高達 95.1%。第 二個實驗我們測試 403 個人的影像,其中 136 人頭部無覆蓋物,267 人頭部有覆蓋 物,偵測覆蓋物的正確率高達 97%,覆蓋物 分類正確率高達 90%。 關鍵詞:移動偵測、人類偵測、物件切割、 異常偵測 Abstract

In this year, our purpose is detecting warning events in a video. Since most warning events are caused by human, so we should detect human form the video. In a complex background environment, many objects are looked like a human. In natural environment, human dose not still always, so we try to detect moving objects to simplify the human detection. A moving object detection model based on background subtraction is used to detect moving objects. However, light source are critically affect the performance of moving object detection. In this research, a light compensation technique is proposed to reduce the affect caused by different light source in a moving object detection system. After moving objects are detected, we should detect humans from these objects. Since humans are non-rigid objects, the shapes of humans cannot be used to separate them from other objects. So, we try to detect the skin colors in an image to find the humans. The pixels with skin colors can grouped into several skin regions. By

(3)

analyzing the positions of these skin regions, the possible position and shape of a human can be detected.

In most cases, if the head of a person is covered with some object, the person may endanger the security. So we analysis the head part of the human, if the head part is not a normal human face, the person is regarded as a warning person. Furthermore, we can analysis the attributes of the cover objects to detect the types of the cover objects for different security request.

In the first experiment result, we detect moving objects in 476 frames, and the accuracy is about 95.1%. In the second experiment result, we detect covers of 403 humans, where have 136 persons without covers and 267 persons with covers. The accuracy of cover detection is about 97.0%, and the accuracy of cover type classification is about 90%.

Keywords: motion detection, human

detection, object segmentation, warning event detection. 二、緣由與目的 近幾年來,由於人們生活品質的提 升,對居家生活的安全越來越重視,為了 增加居家生活的安全,安全監控系統是不 可或缺的,以往的安全監控系統,大多仰 賴人來監視,但是人畢竟不是機器,無法 24 小時工作,往往在人的一些疏忽下,行 成安全的漏洞,而且近年來人的工資越來 越貴,使的以人力為主的安全監控系統無 法成為一般家庭的基本配備,因此我們希 望利用一些電腦的技術來輔助人工的不 足,及減低安全監控系統的成本,以增加 居家生活的安全。 由於一般常見的異常狀況都是跟移動 及人有關,因此我們希望先將移動物體偵 測出來,再從這些移動物體中偵測出人 來,並更進一步的偵測出異常的人,最後 就是將這些異常的人作分類,以提供安全 監控所需之資訊。 在移動物體偵測方面,常見的做法是 背 景 刪 去 法 (background subtraction) [1-5],此方法會先建立一個背景的模組, 將不符合背景的物體分離出來,這些物體 就視為前景物體,但是這邊會遇到光線變 化的問題及光源方向的問題,這些問題會 造成系統誤將非背景的物體偵測出來,容 易擾亂偵測結果。目前常見的補光方式是 利 用 亮 度 統 計 量 的 等 化 (Histogram Equalization) [23,24],但是將亮度統計 量等化,只能讓靜態影像的光線分布較為 均勻,對動態錄影,容易因前景物體的顏 色而改變統計量,如此一來,背景顏色會 更加容易變動,因此我們會利用一種結合 背景刪去法的補光技術,以符合快速及正 確的偵測出移動物體之需求。 在異常之人的偵測方面,通常最困難 的就是關於異常的定義,就算是一個很有 經驗的安全管理人員,可能也無法將異常 定義的很清楚,因此我們先將較為明確的 異常偵測出來,這些較為明確的異常我們 定義為頭部有覆蓋物之人,為了偵測頭部 覆蓋物我們必須先偵測出人的頭部,關於 人的頭部偵測,已經有許多研究提出各種 根據人臉特徵來偵測人的頭部[6-22],但 是由於我們偵測的頭部會有覆蓋物,因此 臉部特徵可能不夠完整,這個研究會利用 頸部較為細的特性,將人頭正確的偵測出 來,當我們將人頭正確偵測出來後,我們 會更進一步分析此人頭區域膚色的比例, 這個比例會用來當做頭部是否有覆蓋物之 判斷標準。當我們就將頭部有覆蓋物之人 偵測出來後,這些人就視為是異常之人, 我們會更進一步利用覆蓋物的位置及大小 的特性將這些覆蓋物作分類,以提供不同 場所不同的安全需求之用。 三、結果與討論 在我們的實驗中,我們以 512MB 主記

(4)

憶體的 Pentium 4 個人電腦當測試平台,作 業系統是 Microsoft Windows XP,使用的程 式語言和模組是 Microsoft Visual C++ 6.0 的 MFC (Microsoft Foundation Class),我們 測試的影像是以數位相機的連拍功能拍攝 的 1024x768 的連續影像。 在移動物體方面,我們測試的影像是以 居家環境中,不同時間中不同人進入來偵 測,總共有 476 張影像,其中有 403 個影 像有人,分別從三個不同的場景中取相而 來的,我們為這些環境建立了六個不同的 背景,由於測試的時間包含白天及晚上, 因此光線分布不一致,但是經過我們的補 光修正的背景刪除法偵測移動物體後,可 以正確的偵測出 453 張影像中移動的物 體,僅有 23 張失敗,正確率高達 95.1%。 另外對於頭部覆蓋物的偵測,我們測試 的影像包含 136 個頭部無覆蓋物的人,及 267 個頭部有覆蓋物體的,頭部無覆蓋物的 人有 132 個被正確的歸類,因此正確率高 達 97%,而頭部有覆蓋物的僅有 10 個沒有 被正確偵測出來,因此正確率高達 96.2%, 對於這些正確偵測出頭部有覆蓋物的人 中,我們又將其分類成 23 個低頭之人,84 個戴口罩,77 個戴安全帽,73 個戴墨鏡, 利用程式分類出來的結果如表一所列,整 體正確率高達 90%左右。 表一. 頭部覆蓋物分類 低頭 口罩 安全帽 墨鏡 低頭 (23) 23 0 0 0 口罩 (84) 0 75 (89.3%) 8 1 安全帽 (77) 1 8 68 (88.3%) 0 墨鏡 (73) 0 5 0 68 (93.1%) 這 些 結 果 的 高 正 確 率 讓 我 們 可 以 相 信,其實異常偵測不一定非得將物體的完 整移動路徑偵測出來,只要利用單張影像 中人的一些相關資訊,一樣可以達到不錯 的效果。 四、計劃結果自評 在本年度的計劃中,我們順利地完成預 期之異常偵測系統。此外我們尚有關於人 臉偵測的相關研究,均可以用以建立一個 完整的全自動安全監控系統。在本次研究 中,所有的程式都是在 Windows 2000 及 Windows XP 下開發,因此擁有容易使用的 介面。同時,因為我們乃是使用 MFC 開 發,透過其 object oriented 的方式,我們所 完成的程式能夠很容易地為後續的計劃、 研究使用。 我們在此計劃的研究中,發表了兩篇碩 士論文[27, 28]。相信我們的研究成果,對 於所有在此領域的研究會有相當的幫助。 五、參考文獻

[1]. R. Jain, “Extraction of Motion information from peripheral Process,” IEEE Trans. Pattern Anal. Mach. Intel., vol. PAMI-3, no. 5, 1981.

[2]. Liang Wang, Weiming Hu, Tieniu Tan, “Recent developments in human motion analysis,” Pattern Recognition, vol. 36, pp.585 – 601, 2003.

[3]. Y.H. Yang, M.D. Levine, “The background primal sketch: an approach for tracking moving objects Mach,” Vision Appl, vol. 5, pp.17–34, 1992.

[4]. C. StauOer, W. Grimson, “Adaptive background mixture models for real-time tracking,” Proceedings of the IEEE CS Conference on Computer Vision and Pattern Recognition, Vol. 2, 1999, pp. 246–252.

[5]. R.T. Collins, et al., “A system for video surveillance and monitoring: VSAM Anal report,” CMU-RI-TR-00-12, Technical Report, Carnegie Mellon University, 2000. [6]. M. H. Yang, D. J. Kriegman, and N.

Ahuja, “Detecting Faces in Images: A Survey,” IEEE Transactions, Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-55, 2002.

[7]. M. Turk and A. Pentland, “Eigenfaces for recognition,” Journal of cognitive neuroscience, vol. 3, no. 1, pp. 71- 86,

(5)

1991.

[8]. H. A. Rowley, S. Baluja, and T. Kanade, ”Neural network-based face detection,” IEEE Transactions, Pattern Analysis and Machine Intelligence, vol. 20, no. 1, 1998.

[9]. F. Samaria and S. Young, “HMM-based arechitecture for face identification”, Image and Computer Vision, vol. 12, no. 8, pp. 537-583, 1994.

[10]. R. Bruneli and T. Poggio, “Face recognition: Features versus templates,” IEEE Transactions, Pattern Analysis and Machine Intelligence, vol. 15, no. 10, pp. 1042-1052, 1993.

[11]. G. Yang and T. S. Huang, “Human face detection in complex background,” Pattern Recognition, vol. 27, no. 1, pp. 53-63, 1994.

[12]. S. A. Sirohey, “Human Face Segmentation and Identification,” Technical Report CS-TR-3176, Univ. of Maryland, 1993.

[13]. H. P. Graf, T. Chen, E. Petajan, and E. Cosatto, “Locating Faces and Facial Parts,” in Proc. First Int’l Conf. on Workshop Automatic Face and Gesture Recognition, 1995, pp. 41-46.

[14]. T. K. Leung, M.C. Burl, and P. Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching,” in Proc. Fifth IEEE Int’l Conf. Computer Vision, 1995, pp. 637-644.

[15]. K. C. Yow and R. Cipolla, “A Probabilistic Framework for Perceptual Grouping of Features for Human Face Detection,” in Proc. Second Int’l Conf. Automatic Face and Gesture Recognition, 1996, pp. 16-21.

[16]. K. C. Yow and R. Cipolla, “Feature-Based Human Face Detection,” Image and Vision Computing, vol. 15, no. 9, pp. 713-735, 1997.

[17]. R. L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, “Face Detection in Color Images,” IEEE Transactions, Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp. 696-706, 2002.

[18]. J. Cai and A. Goshtasby, “Detecting Human Faces in Color Images,” Image and

Vision Computing, vol. 18, no. 1, pp. 63-75, 1999.

[19]. C. H. Lee, J. S. KIM, and K. H. PARK, “Automatic Human Face Location in Complex Background and Color Information,” Pattern Recognition, vol. 29, no. 11, pp. 1877-1889, 1996.

[20]. O. Bernier, and et al., “MULTRAK: A System For Automatic Multiperson Localization and Tracking in Real-Time,” in Proc. IEEE Int’l Conf. on Image Processing, New York, 2002, pp. 130-136. [21]. C. Garcia, and G. Tziritas, “Face

detection using quantized skin colour regions merging and wavelet packet analysis,” IEEE Transactions, Multimeida 3, 1999, pp. 264–276.

[22]. I. S. Hsieh, K. C. Fan, and C. Lin, “A statistic approach to the detection of human faces in color nature scene,” Pattern Recognition, vol. 35, no. 7, pp. 1583-1596, 2002.

[23]. Milan Sonka and Vaclav Hlavac, Image Processing, Analysis, and Machine Vision, 1999

[24]. Rafael C. Gonzalez and Riahard E. Woods, Digital Image Processing, 1992. [25]. H. C. Lin, “Detection of Faces with

Covers in a Vision-Based Security System,” Master Thesis, Department of Computer Science and Information Engineering, National Chiao Tung University, Taiwan, R.O.C., 2003.

[26]. J. L. Lin, “Face Detection Based on Mouth Colors and Orientation,” Master Thesis, Department of Computer Science and Information Engineering, National Chiao Tung University, Taiwan, R.O.C., 2003.

數據

Updating...

參考文獻