行政院國家科學委員會專題研究計畫 成果報告
以電腦視覺為基礎之智慧型監控辨識系統
計畫類別: 個別型計畫 計畫編號: NSC91-2622-E-002-024-CC3 執行期間: 91 年 06 月 01 日至 92 年 05 月 31 日 執行單位: 國立臺灣大學資訊工程學系暨研究所 計畫主持人: 傅立成 報告類型: 完整報告 處理方式: 本計畫為提升產業技術及人才培育研究計畫,不提供公開查詢中
華
民
國 92 年 9 月 8 日
國科會補助提升產業技術及人才培育研究計畫成果精
簡報告
學門領域:控制工程
計畫名稱:以電腦視覺為基礎之智慧型監控系統
計畫編號:
NSC
91-2622-E-002-024-CC3
執行期間:
91 年
06 月
01 日至
92 年 05 月 31 日
執行單位:國立台灣大學資訊工程系暨研究所
主 持 人:傅立成教授
參與學生:
姓 名
年 級
(大學部、碩士 班、博士班)已發表論文或已申請之專
利
(含大學部專題研究論文、碩博士 論文)工作內容
林宏沛
博士生
系統整合與開發
王俊哲
碩士班
人形資料庫蒐集
蔡明育
碩士班
前景偵測系統開發
合作企業簡介
合作企業名稱:數通科技股份有限公司
計畫聯絡人:魏金蓮 小姐
資本額:三千七百六十九萬
產品簡介:指紋辨識系統
網址:http://www.aetex.com 電話:2738-9896
研究摘要(500 字以內):
人才培育成果說明:
技術研發成果說明:
技術特點說明:
可利用之產業及可開發之產品:
附件二推廣及運用的價值:如增加產值、增加附加價值或營利、增加投資/
設廠、增加就業人數………等。
※ 備註:精簡報告係可供國科會立即公開之資料,並以四至六頁為
原則,如有圖片或照片請以附加檔案上傳,若涉及智財權
、
技術移轉案
及專利申請之資料,請勿揭露。
摘要
隨著數位影像設備技術的進步,影像監控系統近年來已被廣泛應用在不同的 環境與場合,然而,現今的監控系統主要是整合額外的周邊感測設備,或分析影 像中移動的資訊,來提高系統自動監控的能力,以減低監控者的負擔,並減少儲 存影像所需的硬體空間,但這樣系統,並不能達到完全自動監控的功能。在一般 監控系統的應用中,我們監控的目標通常包含特定的物體,例如:人或車輛。因 此,我們若能有效的分析與辨識出影像中的所欲監控的物體,當發現所欲監控的 物體進入監控影像範圍內,系統便可以自動啟動錄影功能,並透過網際網路通知 保全人員與監控者,以期達到完全自動監控的目的。 智慧型影像監控系統,大致上可分為影像分割(Segmentation)與人形辨識 ( Human Recognition ) 兩 大 部 分 。 在 影 像 分 割 方 面 , 我 們 採 用 背 景 模 型 (Background Modeling)與背景相減(Background Subtraction)的技術來擷取出 異於背景的物體。利用 Mahalanobis Distance,我們可以正確將影像點(Pixel) 歸類成背景或物體,再將影像點轉換至 Chromatic Color Space,由陰影所造成錯 誤歸類的影像點會被成功的去除。在人形辨識方面,以模板比對(Template Matching)為基礎的辨識方式為辨 識的核心,我們利用 Hausdroff Distance 來進行人形的辨識與比對,為了減少影 像雜訊(Noise)與物體重疊(Occlusion)的影響,不同於傳統的 Hausdorff distance, 我們採用 M-estimation Hausdorff distance 來進行比對。另一方面為減少與樣版資 料庫比對的次數,以達到即時辨識,我們採用階層式(Hierarchical)的結構來建 構人形資料庫。
為使智慧型監控系統達到方便攜帶且易於安裝的要求,透過與業界在嵌入系 統上的技術合作,開發一套可供智慧型監控系統獨立運作的平台。而整個嵌入系 統的執行硬體架構包含執行主機與硬體機構。而執行主機,大致上可分為 Dedicated CPU、SRAM、Security Chips、Flash ROM、與 Power Manager,其中 包含了作業系統設計、軟體轉換、與硬體設計測試三種技術。
技術研發成果說明
智慧型影像監控系統,大致上可分為影像分割(Segmentation)與人形辨識 (Human Recognition)兩大部分。前景影像點偵測
影像分割(Segmentation)主要的目的在將所要分析的影像自背景中切割 出來,使人形辨識的過程能夠不受背景與雜訊(Noise)影響。我們將每一個 背景影像點 p 的模型,我們用M(p)=(m(p),ρ(p))來表示,其中 ) , . ( ) (p mRmG mb m = 是此點 RGB 的平均值,ρ(p)=(ρR,ρG,ρB)為 RGB 顏色的 變異量。 當相機擷取到新的影像時,我們利用 Mahalanobis Distance 計算出其 c(p) 與背景模型的相差距離,如果相差值超過所預設的門檻值,此點即被辨識成前 景點。Mahalanobis Distance (r)的公式如下所列: )) ( ) ( ( )) ( ) ( ( 1 2 p m p c p m p c r = − T ∑− − ,其中 ∑表示三種顏色 RGB 的 Covariance Matrix。Str uctur e Distance
除了利用 Mahalanobis Distance 作為前景物體的擷取依據外,為了減少錯誤 辨識的結果,我們利用每一個影像點與周圍鄰近影像的關係,稱為 Structure Distance,做近一步的過濾與篩選。對於每一個影像點p ,我們分別計算出其與周為八個鄰近點的 Euclidean Distance,稱為 Structure Vector sv={d1,d2,...d8}。 在偵測前景物體的過程中,我們分別計算背景模型影像點 Structure Vector, } ,..., , { 1m 2m 3m m d d d sv = 與未知影像點 Structure Vector,svs ={d1s,d2s,...d3s}的 Structure Distance,
∑
= − = 8 1 2 1 1 | | i s m d d sd前景影像點辨識流程
在探討過 Mahalanobis Distance 與 Structure Distance 之後,我們接著描述如 何應用 Mahalanobis 與 Structure Distance,將每個影像點歸類分別歸類為背景、 前景、或雜訊的詳細流程。
n 對 於 每 一 個 新 擷 取 到 的 影 像 點 , 我 們 計 算 出 其 與 背 景 影 像 的 Mahalanobis Distance。
n 如果 Mahalanobis Distance 小於預設的門檻值α ,我們將這個影像點歸 類為背景點(Background)。
n 如果 Mahalanobis Distance 介於α 與 β 之間,我們計算此點的 Structure Distance。若此點的 Structure Distance 小於某個預設門檻值γ ,將其歸 類為雜訊(Noise) n 否則將其歸類為前景點
人行辨識
由於人的外形會因為人的髮型與穿著而有所不同,且人的動作與姿態的不同 更直接改變在影像中的人形成像,在此計畫中我們利用 Modified Hausdorff Distance 以及架構化樣板比對的方式,來達到有效便是人形的功能。人形樣版資料庫
首先,我們定義人形樣版資料庫建構問題,假設存在一組人形樣版 } ,..., , , {P1 P2 P3 PN P = ,N 為已知,且存在一組類別C={C1,C2,C3,...,CM},其中 M 為未知。 d(Pa,Pb)表示同屬於一個類別的兩個人形樣版P ,a Pb的距離,d(Pa,Ci) 代表一個人形樣版P 距離一個樣版類別a C 的距離。整個分類的目的在將 P 分類i 成 M 各類別,使得∑
( , ) ∈P p i C p d 為最小。人形資料庫的建構基本上包含了 Modified Hausdorff Distance 與 Genetic k-means 演算法的應用,我們將詳細介紹整個人形資料庫建構的流程。整個建構的 過程分為兩個階段,將人形資料庫建構成 4 層的資料庫。
所有蒐集而得的人形影像,如圖一(a)所示,經過邊緣化偵測的結果可得 圖一(b),計算此邊緣化影像之Hausdorff Distance Transform,我們可以得到其 邊緣化影像之 Distance Transform的影像,做為人形資料庫中的資料,換言之人 形資料庫中所儲存的為原始人形圖像之 DT影像。為達到更精確的比對效果,所
有人形在影像中的高度 h 與寬度 w,亦會被計算出來,且所有的人形會被移動至 影像的中間位置。 (a)原始圖像 (b)邊緣化影像 (c)DT 影像
圖一:DT 圖形建構過程
在建構階層化的人形資料庫時,所依循的準則為,所有子代的人形樣版與其 母代人形樣版需最相似,在所定義的Modified Hausdorff Distance量測下。在第一 階段中,我們將人形根據其取像時角度的不同來分類,包含前觀(front),後視 (back),左側圖(left),右側圖(right),左前圖(front-left),右前圖(front-right), 左後圖(back-left),右後圖(back-right)等八種,這些人形所構成的階層稱為Layer -1,接著我們將所有人形經過 Modified Hausdorff Distance 的計算,將其
歸類至最靠近的人形圖,第一階段所建構出來的人形資料庫如圖二(a)所示。
. . . .
Layer 1(a)第一階段建構圖
圖二:4 層人形資料庫示意圖
第二階段我們將被歸類至不同角度的所有人形,利用 Genetic k-means 演算 法將所有的人形分為八個部分,意即將 k 設定為8。對於每一部分中所有的人形, 計算出其重心圖形(Centroid Image),將最接近此重心圖形之人形圖形做為 Layer -2的 root(如圖二(b)所示)。人形辨識
人形辨識的主要目的在分別所偵測的前景影像是否為人形,利用與所建構之 階層式人形資料庫進行比對,我們可以正確的偵測出人形的存在。人形辨識可分 為下列三個步驟: n 改變人形樣版的大小,比例為 s ,使資料庫中所紀錄之原始影像參數值 變為xhs,xls,wps。n 計算人形樣版與偵測到的影像的 Modified Hausdorff Distance,如果其 距離小於εi×s。
n 則選擇一個其與偵測影像最近的人形樣版,進行下一層人形資料的比 對,若所偵測之影像在資料庫第三層(Layer-3),可以找到一個人形 樣版符合 Modified Hausdorff Distance 的條件,則所偵測到的影像被歸 類為人形,反之則否。
Pedestrian Images Image Preprocessing Edge Detection Layer = 1 MHD <=thr eshlod Reject No Layer == 3 Yes Yes Accept Layer ++
圖三:人形辨識流程圖
技術特點說明
此次計畫,整合了前景偵測以及人形辨識的技術,使監控系統能夠成功的偵 測出影像中人的存在,大幅降低了管理者的負擔,並使環境監控更行精準。在前 景偵測方面,我們利用統計的方式來建構背景的模型,經過 Mahalanobis 與 Structure Distance 可以有效並準確的偵測出前景的物體, 最後過濾陰影的影響 以獲得正確的前景影像。 在人形辨識方面,我們建構了一個階層式資料庫,使人形的辨識更有效率, 另一方面,結合 Genetic 演算法,使資料庫的建構更迅速的達成收斂。在辨識 方面,採用 Modified Hausdorff Distance 做為人形樣版比對的依據,除了可以達 到正確的辨識外,更可減少影像雜訊對辨識的影響,使系統達到高辨識率。綜言之,此系統整合了諸多的技術,使監控系統在現今影像技術的基礎上, 能夠自動監控人形的存在。另一方面,在整合了嵌入式系統,整套系統可以達到