以電腦視覺為基礎之智慧型監控辨識系統(II)

行政院國家科學委員會專題研究計畫 成果報告

以電腦視覺為基礎之智慧型監控辨識系統(II)

計畫類別： 個別型計畫 計畫編號： NSC92-2622-E-002-025-CC3 執行期間： 92 年 06 月 01 日至 93 年 05 月 31 日 執行單位： 國立臺灣大學資訊工程學系暨研究所 計畫主持人： 傅立成 計畫參與人員： 黃世勳 林宏沛 王俊哲 報告類型： 精簡報告 處理方式： 本計畫為提升產業技術及人才培育研究計畫，不提供公開查詢

中 華 民 國 93 年 8 月 28 日

國科會補助提升產業技術及人才培育研究計畫成果精簡報告

學門領域：控制工程

計畫名稱：以電腦視覺為基礎之智慧型監控系統

計畫編號：

NSC

92-2622-E-002-025-CC3

執行期間：

92 年 06 月 01 日至 93 年 05 月 31 日

執行單位：國立台灣大學資訊工程系暨研究所

主 持 人：傅立成教授

參與學生：

姓 名

年 級

(大學部、碩士 班、博士班)

已發表論文或已申請之專利

(含大學部專題研究論文、碩博士論文)

工作內容

林宏沛 博士生 人形辨識程式的轉換 陳立民 碩士生 硬體系統的規劃與設計 王俊哲 碩士生 硬體系統測試 鄭興宏 碩士生 辨識環境資料的收集 蔡明育 碩士生 辨識系統的測試

合作企業簡介

合作企業名稱：數通科技股份有限公司

計畫聯絡人：魏金蓮 小姐

資本額：三千七百六十九萬

產品簡介：指紋辨識系統

網址：http://www.aetex.com 電話：2738-9896

研究摘要(500 字以內)：

人才培育成果說明：

技術研發成果說明：

技術特點說明：

可利用之產業及可開發之產品：

推廣及運用的價值：如增加產值、增加附加價值或營利、增加投資/設廠、增

加就業人數………等。

※ 備註：精簡報告係可供國科會立即公開之資料，並以四至六頁為原則，如

有圖片或照片請以附加檔案上傳，若涉及智財權

、技術移轉案

及專

利申請之資料，請勿揭露。

附件二

摘要

隨著數位影像設備技術的進步，影像監控系統近年來已被廣泛應用在不同的環境與場 合，不論是在商店、百貨公司、停車場、甚至於社區中的巷道都會有監視系統作為輔助， 提供所有的現場狀況，以彌補管理者的視覺死角，並記錄所有監測到的影像資料，以提供 往後的查詢與驗證之用。然而，現今的監控系統主要是整合額外的周邊感測設備，或分析 影像中移動的資訊，來提高系統自動監控的能力，以減低監控者的負擔，並減少儲存影像 所需的硬體空間，但這樣系統，並不能達到完全自動監控的功能。在一般監控系統的應用 中，我們監控的目標通常包含特定的物體，例如：人或車輛。因此，我們若能有效的分析 與辨識出影像中的所欲監控的物體，當發現所欲監控的物體進入監控影像範圍內，系統便 可以自動啟動錄影功能，並透過網際網路通知保全人員與監控者，以期達到完全自動監控 的目的。 在智慧型影像監控系統中，電腦影像技術可分為兩各部分，前景物體的偵測（Foreground Detection）與人形辨識（Human Recognition）。在前景物體偵測方面，我們利用背景模型建

構與切割（Background Modeling and Background Subtraction）的技術，主要的目的在於透 過影像處理的技巧將移動物體自複雜的背景中（Background）切割出來。在人形辨識方面， 主要採取模板比對（Template Matching）之辨識方式，利用 Hausdroff Distance 來進行人形 的辨識與比對，以減少影像雜訊（Noise）與物體重疊（Occlusion）的影響。另一方面，為 降低樣版比對的次數，以期達到即時辨識的執行效率，我們採用階層式（Hierarchical）的 結構來建構人形資料庫。

為使智慧型監控系統達到高辨識率、不受環境影響、即時辨識以及攜帶方便且易於安 裝的要求，我們開發一套可供智慧型監控系統獨立運作的平台。所研發之影像處理平台 (Image Processing Platform，IPP)硬體系統核心，主要在提供即時運算能力之嵌入式軟硬體平 台，並具有高運算效能與低成本等特性。其目的在於整合各項週邊裝置以達到智慧型監控 系統的目的。整個嵌入系統的執行硬體架構（如圖一所示），大致上可分為 Dedicated CPU、 SRAM、Security Chips、Flash ROM、與 Power Manager，其中包含了作業系統設計、軟體 轉換、與硬體設計測試三種技術。

技術研發成果說明

智慧型影像監控系統，在電腦視覺技術方面大致上可分為前景偵測（Foreground Detection）與人形辨識（Human Recognition）兩大部分。

前景影像點偵測

前景偵測（Foreground Detection）主要的目的在將所要分析的影像自背景中切割出 來，使人形辨識的過程能夠不受背景與雜訊（Noise）影響。我們將每一個背景影像點p 的模型，我們用M(p)=(m(p),ρ(p))來表示，其中m(p)=(m_R.m_G,m_b)是此點RGB的平 均值，ρ(p)=(ρ_R,ρ_G,ρ_B)為RGB顏色的變異量。 當相機擷取到新的影像時，我們利用Mahalanobis Distance 計算出其 c(p)與背景模型 的相差距離，如果相差值超過所預設的門檻值，此點即被辨識成前景點。Mahalanobis Distance (r)的公式如下所列： )) ( ) ( ( )) ( ) ( ( 1 2 p m p c p m p c r = − T ∑− − ，其中 ∑ 表示三種顏色RGB的Covariance Matrix。

人行辨識

由於人的外形會因為人的髮型與穿著而有所不同，且人的動作與姿態的不同更直接改 變在影像中的人形成像，在此計畫中我們利用 Modified Hausdorff Distance以及架構化樣板 比對的方式，來達到有效便是人形的功能。

人形樣版資料庫

首先，我們定義人形樣版資料庫建構問題，假設存在一組人形樣版 } ,..., , , {P1 P2 P3 PN P= ，N 為已知，且存在一組類別C ={C1,C2,C3,...,CM}，其中M 為未知。 ) , (Pa Pb d 表示同屬於一個類別的兩個人形樣版Pa,Pb的距離，d(Pa,Ci)代表一個人形樣版Pa 距離一個樣版類別C_i的距離。整個分類的目的在將P分類成M 各類別，使得

∑

( , ) ∈P p i C p d 為 最小。

人形資料庫的建構基本上包含了 Modified Hausdorff Distance 與 Genetic k- means 演

算法的應用，我們將詳細介紹整個人形資料庫建構的流程。整個建構的過程分為兩個階段，

將人形資料庫建構成 4 層的資料庫。

所有蒐集而得的人形影像，如圖一（a）所示，經過邊緣化偵測的結果可得圖一（b），

Transform的影像，做為人形資料庫中的資料，換言之人形資料庫中所儲存的為原始人形圖 像之 DT影像。為達到更精確的比對效果，所有人形在影像中的高度h與寬度 w，亦會被計 算出來，且所有的人形會被移動至影像的中間位置。 （a）原始圖像 （b）邊緣化影像 （c）DT 影像 圖一：DT 圖形建構過程 在建構階層化的人形資料庫時，所依循的準則為，所有子代的人形樣版與其母代人形

樣版需最相似，在所定義的Modified Hausdorff Distance量測下。在第一階段中，我們將人

形根據其取像時角度的不同來分類，包含前觀（front），後視（back），左側圖（left），

右側圖（right），左前圖（front-left），右前圖（front-right），左後圖（back-left），右

後圖（back-right）等八種，這些人形所構成的階層稱為 Layer-1，接著我們將所有人形經

過 Modified Hausdorff Distance 的計算，將其歸類至最靠近的人形圖，第一階段所建構出

來的人形資料庫如圖二（a）所示

。

. . . .

Layer 1 （a）第一階段建構圖 （b）第二階段建構圖 圖二：4 層人形資料庫示意圖 第二階段我們將被歸類至不同角度的所有人形，利用 Genetic k-means 演算法將所有 的人形分為八個部分，意即將k設定為8。對於每一部分中所有的人形，計算出其重心圖形

（Centroid Image），將最接近此重心圖形之人形圖形做為 Layer-2的 root（如圖二（b）

所示）。

人形辨識

人形辨識的主要目的在分別所偵測的前景影像是否為人形，利用與所建構之階層式人 形資料庫進行比對，我們可以正確的偵測出人形的存在。人形辨識可分為下列三個步驟：

改變人形樣版的大小，比例為 s ，使資料庫中所紀錄之原始影像參數值變為

ps ls hs x w x , , 。

計算人形樣版與偵測到的影像的 Modified Hausdorff Distance，如果其距離小於 s i× ε 。 則選擇一個其與偵測影像最近的人形樣版，進行下一層人形資料的比對，若所偵 測之影像在資料庫第三層（Layer-3），可以找到一個人形樣版符合 Modified Hausdorff Distance 的條件，則所偵測到的影像被歸類為人形，反之則否。

嵌入式硬體平台設計

為使智慧型監控裝置能夠易於安裝於不同的場所，以執行監控的功能。我們自行開發 嵌入系統（Embedded System），將軟體監控辨識部分嵌入到一個獨立可運作的裝置，達

到方便攜帶（Potable）與安裝（Installation）的功能，使整套監控系統具有高辨識率（High

Recognition Rate）、不易受環境影響（Environment Variance）、及時辨識（Real-Time

Recognition）與可攜性且易於安裝（Potable and Easy Installation）。

系統架構

所研發之影像處理平台(Image Processing Platform，IPP)硬體系統核心，主要在提供即 時運算能力之嵌入式軟硬體平台，並具有高運算效能與低成本等特性。其目的在於整合各 項週邊裝置以達到智慧型監控系統的目的，其中圖三為IPP整體架構圖。 本系統以ARM7 TDMI微處理器作為嵌入式硬體平台之運算核心，其主要的功能在於 處理所有的感測資料，並達成人形的辨識以及警示訊號產生的分析與判斷。在人形辨識中， 影像處理運算通常具有大量重複計算之特性，為了提升嵌入式硬體平台上的運算效能，我 們將這些重複性與規律性較高的影像處理運算加以硬體化。硬體化的主要方式為以Verilog

（Verilog Hardware Description Language）硬體描述語言轉換軟體演算法於FPGA硬體架構

上，接著進一步製作成影像信號處理晶片（Image Signal Processing Chip，ISPC）。在影像感 測裝置方面，以互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）

為主的Image Sensor具有低成本、體積小與容易和數位系統結合的特性，而本系統採用影

像傳輸格式（Common Intermediate Format，CIF）作為影像來源格式。

硬體電路設計

如前面所述，IPP平台包含以ARM7 TDMI為核心之主要處理器、具影像信號處理功

與其他周邊裝置（如圖四所示）。首先，我們將嵌入式系統平台分成軟體、韌體與硬體這三 層次，其中人形偵測演算法程式、流程控制程式以及嵌入式即時作業系統中的即時核心程 式、開機程式…等是屬於軟體的層次；而嵌入式即時作業系統中有關硬體的控制與管理程

式，以及裝置驅動程式則屬於韌體的層次；最後，實體的電子元件與各項裝置，如ARM7

處理器、FPGA協同處理器、Flash ROM、SDRAM、CMOS Sensor與LCD Module…等則 屬於硬體的層次。

此嵌入式系統影像處理平台設計，不但可達成人形偵測演算法之即時運算需求，且為

具專用FPGA之高運算效能與低成本架構之嵌入式硬體平台，更可以透過ISPC（FPGA）

之高速運算特性來提升演算法執行效率。 SDRAM Flash ROM Push Button、 LED、Buzzer CRTOS、 Drivers、 Flow Control MALDS ARM7 TDMI Processor Image Signal Processing Chip CMOS Image Sensor Module LCD Module 圖三：智慧型監控辨識系統硬體架構圖 ARM7TDMI Core Memory Controller UA R T GP IO TAP Controller I2 C Co nt ro ll er SDRAM (16MB) Flash ROM (2MB) Peripherals (LED、Buzzer、 Keypad...) RS232 Driving I/F ISPC SMB I/F SMB：System Memory BUS

Programming I/F D TC 0 CMOS Image Sensor Module D TC 1 LCD Module

DTC0：Data Transfer Channal 0 DTC1：Data Transfer Channal 1

JTAG I/F Reset Circuit Power Module (5V、3.3V、2.5V) SMB S3C44B0X XC2S200(FPGA) To All Devices

IPP：Image Processing Paltform

(Slave Serial Mode) ISPC：Image Signal Processing Chip

技術特點說明

此次計畫，整合了前景偵測以及人形辨識的技術，使監控系統能夠成功的偵測出影像 中人的存在，大幅降低了管理者的負擔，並使環境監控更行精準。在前景偵測方面，我們 利用統計的方式來建構背景的模型，經過Mahalanobis 與 Structure Distance可以有效並準

確的偵測出前景的物體， 最後過濾陰影的影響以獲得正確的前景影像。 在人形辨識方面，我們建構了一個階層式資料庫，使人形的辨識更有效率，另一方面， 結合 Genetic 演算法，使資料庫的建構更迅速的達成收斂。在辨識方面，採用 Modified Hausdorff Distance 做為人形樣版比對的依據，除了可以達到正確的辨識外，更可減少影像 雜訊對辨識的影響，使系統達到高辨識率。 另一方面，我們依據實際影像處理需求，製作出一套嵌入式系統，並將在第一年中之 人形影像處理技術植入嵌入式系統，使整套智慧型監控系統可達到獨立運算且辨識人型之 功能，同時具備易於安裝與攜帶的特性。 綜言之，此系統整合了諸多的技術，使監控系統在現今影像技術的基礎上，能夠自動 監控人形的存在。另一方面，在整合了嵌入式系統，整套系統可以達到及時監控且具有易 於安裝與攜帶的特性。