行政院國家科學委員會專題研究計畫 成果報告
內建智慧型自動追蹤攝影機之數位視訊監控系統
計畫類別： 個別型計畫 計畫編號： NSC91-2622-E-002-025-CC3 執行期間： 91 年 06 月 01 日至 92 年 05 月 31 日 執行單位： 國立臺灣大學電子工程學研究所 計畫主持人： 陳良基 計畫參與人員： 黃毓文、謝秉諭 報告類型： 完整報告 處理方式： 本計畫為提升產業技術及人才培育研究計畫，不提供公開查詢中 華 民 國 92 年 6 月 26 日
行政院國家科學委員會專題研究計畫成果報告
計畫編號：NSC 91-2622-E-002-CC3
執行期限：91 年 6 月 1 日至 92 年 5 月 31 日
主持人：陳良基 台灣大學電子所
計畫參與人員：黃毓文、謝秉諭 台灣大學電子所
一、中文摘要 視訊監控系統使人們對於感興趣的環 境有延伸的知曉與理解能力，然而，操作 員在長時間下很難專心觀看許多畫面，疏 忽難以避免。因此，本計畫在多媒體處理 器平台下發展了一套完整的智慧型數位視 訊監控系統，它包括：一、可即時自動偵 測與追蹤物體的攝影機，自動把會移動的 物體維持在畫面中央；二、高效率即時數 位視訊壓縮，減少儲存所需的空間或傳輸 所需的頻寬；三、自動視訊物件切割與區 域性加強視訊編碼，可使入侵者在有限頻 寬下保持較清析；四、網路傳輸與瀏覽器 視訊解碼插座（Video Decoder Plug-In on Web Browser），把資料以網路傳送，接收 端用瀏覽器視訊解碼插座即可觀看畫面。 關鍵詞：自動追蹤、視訊物件切割、數位 監視系統、智慧型視訊信號處理、視訊編 碼系統 AbstractVideo surveillance systems assist humans by providing an extended perception and reasoning capability about situations of interest in the monitored environments. However, human operators cannot concentrate on many monitors for a long time, and carelessness can hardly be avoided. Therefore, our project developed an
integrated intelligent digital video surveillance system on a media processor platform. It provides the functionalities stated as follows. First, we developed a smart camera that can automatically detect and track a moving object. The moving object will be maintained in the middle of the image. Second, we implemented an efficient real-time digital video compression module. The space needed for storage or the bandwidth needed for transmission is reduced. Third, we supported automatic video object segmentation and region-of-interest video coding. The portion of the intruder can be remained clearer under limited bandwidth. Fourth, we also realized the network transmission and the video decoder plug-in on the web browser. The compressed data are transmitted through the network, and the users can see the decoded video by installing the plug-in on the web browser at the receiver end.
Keywords: automatic tracking, video object segmentation, digital video surveillance systems, intelligent video signal processing, and video coding systems 二、緣由與目的 在多媒體傳輸中，視訊佔了最大的比 重。由於視訊資料非常龐大(例如，一個全 彩 CIF 格式每秒 30 張的資料，每秒就需要 9,123,840 bytes 的資料量)，在實際的傳輸 上或儲存上，都有許多困難。因此，國際 標準組織（ISO）下的 MPEG 團體制訂了
MPEG-1 [1]、MPEG-2 [2]以及 MPEG-4 [3] 標準。MPEG-1 是最先被制訂的，現在已 經成功地應用在 VCD 的產業上，成為 VCD 的標準。MPEG-2 主要要提供比 MPEG-1 要來得好的視訊品質，主要的應用在於 DVD 和 HDTV 上，現有的 DVD 也已經成 功的應用了 MPEG-2 的技術。另外，國際 電信聯盟（ITU）在即時視訊的應用上，如 視訊會議、影像電話等應用，也制訂許多 標準，如 H.261 [4]、H.263 [5]、H.263+、 H.263++等。H.261 主要應用在 ISDN 上， 由於 ISDN 的頻寬是 64 Kbps 的倍數，又被 稱為 P×64。H.263 主要希望能用在 GSTN 上，由於其頻寬小於 64Kbps，因此需要較 高的壓縮率，H.263、H.263+、H.263++的 主要考量即在此。H.26L [6]為 ITU 正在制 定中的視訊壓縮標準，於 2002 年正式更名 為 H.264。此外，ITU 與 ISO MPEG 於 2002 年更合作而結合成 JVT 團體（Joint Video Team ）， 或 稱 為 AVC （ Advanced Video Coding），他們的目標就是：不論在任何 bit rate 之下影像品質皆比 H.263++高 3dB（同 品質 下 bit rate 為原來 的 50% ）、提供 Network Friendly 之介面、以及更好的 Error Resilience。其主要的應用非常廣，可能是 極低位元速率的視訊壓縮，也可能是需要 高品質畫面的電影工業。H.264 擺脫以往束 縛，不再和 H.261 與 H.263 相容，其運算 複雜度也比以往高上數倍到數十倍。 1960-1980 年的監視系統可稱為第一 代監視系統，最大的特點為類比視訊與類 比傳輸，每台攝影機有一條專屬的同軸電 纜線接至顯示器，影像以類比訊號儲存在 錄影帶中，其缺點有：需要的頻寬大、類 比訊號在傳輸時易受雜訊干擾，影像品質 隨時間下降、隨機存取與搜尋比對困難、 即時警報只能以人工發出。1980-2000 年的 監視系統稱為第二代監視系統，最大的特 點即為數位視訊壓縮與數位訊號傳輸，數 位壓縮使得頻寬得以大幅減少、儲存能力 大幅增加、影像品質大幅提升，數位傳輸 有較佳的抗雜訊能力。2000 年以後的監視 系統稱為第三代監視系統，在美國 911 事 件後受到極高的重視[7]-[16]，其最大的特 點即為智慧型視訊信號處理，包含了自動 視訊物件切割，人臉辨識，自動偵測與追 蹤物體，自動輔助警報，視訊解譯，遠端 無線存取，以及資料庫搜尋比對等等。 Video Encoding
Tracking & Video Object Segmentation Coded Bitstream Object Mask Motion Vector Input Frame Software Decoder as a Plug-In of Browser Network / Storage Pan-Tilt-Zoom Camera 圖一、系統方塊圖 如圖一所示，我們的目的就是想綜合 上述兩段所言，發展一套完整的智慧型數 位監視系統。我們想用一台 Pan-Tilt-Zoom 攝影機去自動追蹤一個會移動的物體，1 把移動物體控制在畫面的中央，同時把物 件大略地切割出來，提供給視訊編碼模組 一個遮罩，可做 Region-Of-Interest 視訊編 碼，或者其它智慧型處理；至於編碼後的 資料流，可以用網路傳送出去，在接收端 只要安裝 Video Decoder Plug-In，即可用 Web Browser 觀看畫面。
圖二、嵌入式系統之電路板
系統是採用 Philips TriMedia 多媒體處 理器平台完成，TriMedia 為 VLIW 與 SIMD 架構，非常適合用在 multimedia coding，同 時，我們設計的 tracking 演算法必須要簡單 有效，才能滿足 real-time 要求。最後完成 嵌入式系統（Embedded System）的電路板
如圖二所示，紅色部分是儲存程式碼的 Flash；白色是 TriMedia ；黃色是 32MB SDRAM；藍色是 L1 Boot Rom；綠色是 ethernet 網路接頭，它是利用 RealTek 的 ethernet controller 作 PHY Layer 的網路控 制；紫色是 RS232 的控制 IC，它可將控制 camera 的 command 從 parallel 轉成 serial 由 com port 傳送出去。 三、結果與討論 1. 自動追蹤演算法 依我們以往在視訊物件切割的經驗中 發 現 [17] ， 傳 統 的 改 變 偵 測 （ Change Detection）是以連續兩張畫面比對，會有 「新露出的背景被當作前景」（Uncovered Background Problem）與「暫時靜止的物體 被當作背景」（Still Object Problem）之問 題；我們發現若改成以背景畫面與目前畫 面來做比對（Background Difference），這 兩個問題即可輕易地解決，如圖三和圖四 所示，至於搜集背景資訊的步驟即稱為「背 景註冊」。我們在做自動追蹤時，亦會採用 背景資訊所帶來的好處。 (a) (b) (c) (d) (e) 圖三、背景註冊可以有效解決 uncovered background problem；(a) Frank #29；(b)
Frank #30；(c)背景；(d) 以#29 和#30 做改
變偵測的切割結果，新露出的背景被當成 前景；(e) 以#30 和背景做比對的切割結果。
(a) (b) (c)
(d) (e)
圖四、背景註冊解決 still object problem； (a) Shaoyi #401；(b) Shaoyi #402；(c)背景； (d) 以#401 和#402 做改變偵測的切割結 果，靜止物體被當成背景；(e) 以#402 和 背景做比對的物件切割結果。 自動追蹤時，我們最主要的精神仍是 採用改變偵測，因為它簡單又有效。然而， Pan-Tilt-Zoom 攝影機並非靜止的，所以我 們以虛擬格子點（Virtual Grid Points）來完 成這件事，也就是說，攝影機在這些格子 點上連續取兩張畫面來做改變偵測，然後 再決定應該把攝影機轉到哪個格子點上， 繼續把移動物體維持在畫面中央。若我們 要監控的環境，其背景事先確定為靜態（如 下班後的辦公室、室內樓梯間、金庫走道 等等），我們可以事先在這些格子點上儲存 下背景畫面，然後就可以用 Background Difference 取代 Change Detection，即可避 免 Uncovered Background Problem 與 Still Object Problem。圖五與圖六分別為攝影機 位置之虛擬格子點與其背景資訊示意圖。 圖五、攝影機監控範圍全貌與虛擬格子點 圖六、虛擬格子點上所對應的背景畫面 自 動追蹤演 算法的流程圖如圖七所 示，各區塊之詳細內容如後所述。
A G C B a c k g r o u n d B u f fe r s B a c k g r o u n d D iff e r e n c e B lo c k -B a s e d S c o r e C a l c u l a ti o n S k in -C o l o r D e te c tio n B in a r y O p e n - C l o s i n g O n - G r i d C u rr e n t F r a m e C u rr e n t G r i d P o i n t I n d e x M o ti o n V e c t o r to N e x t G ri d P o i n t C o r r e s p o n d i n g B a c k g r o u n d F r a m e d i f fY d if f C bd i ff C r S C M B D M T h r e s h o ld s th Y th C b th C r M Y M C b M C r O R 圖七、物體追蹤演算法之流程圖 1.1 區塊信號處理 我們把畫面分成互不重疊的區塊，每 個區塊都會被打一個分數，攝影機最感興 趣的區塊即為分數最高的區塊，然後攝影 機會得到一個位移向量，再依此向量把攝 影機移到某格子點上，這個格子點會使目 前畫面中攝影機最感興趣的區塊成為之後 畫面的中央，本段以上敘述如圖八所示。 之所以要用區塊為單位而不用像素為單 位，是因為追蹤演算法並不需要像素級的 精確度，而且以區塊為單位可對雜訊有較 好的免疫力，運算量又比以像素為單位小。 (a) (b) (c) 圖八、區塊信號處理示意圖；(a) 最高分數 區塊；(b) 區塊分數；(c) 將其移至中央。 1.2 改變偵測 在格子點上的目前畫面將透過自動增 益控制（automatic gain control，AGC）單 元作補償，之後再計算其與格子點上的背 景畫面之絕對差值，計算時是把 YCbCr 分 開來計算，而得到 diffY、diffCb、和 diffCr。 將 diffY、diffCb、diffCr 分別經過 3 個門檻 值 thY、thCb、thCr 後，我們可得到 3 個二 元遮罩 MY、MCb、MCr，舉例來說，如果 diffY 大於 thY，則 MY 為 1，否則 MY 將為 0。然後，MY、MCb、MCr 會經過 OR 運 算 ， 再 經 過 二 元型 態 開 關 運算 （ Binary Morphological Open-Closing）[18]以消除部 份雜訊。再這些步驟皆完成後，我們可以 得 到 一 個 背 景 差 值 遮 罩 （ Background Difference Mask，BDM），背景差值遮罩也 是二元的。若監控的環境背景並非靜止 的，則改採用連續兩張畫面來比對，最後 得 到 改 變 偵 測 遮 罩 （ Change Detection Mask，CDM）來取代 BDM。 1.3 膚色偵測 對監視系統而言，人臉往往是最受重 視的部份，因此包含人臉的區塊，其分數 應該要高一些。有研究者[19]發現人臉顏色 幾乎與 Y 無關，但被 Cb 和 Cr 局限在一個 二維的小範圍中。其膚色偵測的結果如圖 九所示，此部份將產生二元的膚色遮罩 （Skin-Color Mask，SCM），如果像素為膚 色，則 SCM 為 255，反之，SCM 將為 0。 雖然有部份的背景亦被偵測為膚色，但它 們並不會影響追蹤結果，我們將在下一段 解釋這個原因。 (a) (b) 圖九、膚色偵測；(a) 原圖；(b) 結果。 1.4 區塊分數計算 設 W、H、BW、和 BH 分別為影像長、 影像寬、區塊長、以及區塊寬。一個區塊 block (i, j)的分數可用下列方程式來計算： Z y x H y W x Z j i BH H j BW W i y x diffCr y x diffCb y x diffY y x diff y x BDM y x SCM y x diff y x PixelScore n BH j m BW i PixelScore j i BlockScore BH n BW m , , 0 , 0 , , / 0 , / 0 ) , ( ) , ( ) , ( ) , ( ) , ( )] , ( ) , ( ) 1 [( ) , ( ) , ( ) , ( 1 0 1 0 其中 BlockScore 代表了區塊中 PixelScore 之累加結果，如果 BDM 為 1，PixelScore 則為時域資訊 diff 與空間資訊 SCM 之加權 和（weighted sum）。如果 weighting factor β 越高，代表膚色之權重越大，攝影機越對 膚色之物體感興趣。相反地，如果 BDM 為
0，PixelScore 則為 0。如此一來，在背景區 域 被 偵 測 為 膚 色 的 地 方 並 不 能 對 BlockScore 有任何貢獻，因為 BDM 在背景 區域將是 0，所以在背景區域被偵測為膚色 的像素不會影響追蹤結果。 1.5 實驗結果與討論 Hall Monitor 是在不穩定的光源下以 固定式攝影機拍的，我們把第一張畫面（無 會動的物體）當背景畫面來測試。實驗結 果如圖十所示，我們把標有“1”、“2”、“3” 的區塊代表分數最高、次高、以及第三高 的區塊，除了第 21 張畫面的區塊 3 外，其 它分數前三高的區塊均落在移動者身上。 (a) (b) (c) (d) 圖十、Hall Monitor 之追蹤結果；(a) #21； (b) #33；(c) #42；(d) #74。 圖十一為我們將 SONY EVI D30/D31 Pan-Tilt-Zoom 攝影機放在實驗室中測試的 實際結果，其顯示了目前畫面所偵測到前 三高分之區塊，分別以 “1”、“2”、“3”代表， 亦顯示了背景差異遮罩 BDM 與膚色遮罩 SCM。我們可看到雖然有很多背景區域有 類似膚色之顏色，但它們無法影響該區塊 之分數，因為在這些區域其 BDM 為不起作 用 的 。 屬 於“active-BDM-and-active-SCM” 之區域才傾向高分數，因此，攝影機多半 可以準確地追蹤到人臉。 1 2 3 (a) (b) (c) 1 3 2 (d) (e) (f) 圖十一、實際情況下之追蹤結果；(a)(d) 目 前畫面；(b)(e) BDM；(c)(f) SCM。 2. 多媒體處理器平台之實現 我們已在多媒體處理器平台上實現自 動追蹤演算法，系統完成圖如圖十二所 示。DSP Code 在最佳化後，格子點所執行 的自動追蹤可在 1/30 秒內完成，Run-Time Profiles 與追蹤能力請見表一與表二。 (a) (b) (c)
(d) (e) (f) 圖十二、系統完成圖；(a) 所完成的系統， 不需要 PC 即可獨立運作；(b) 詳細接線情 況，也可把 Video Out 接至電視機，就不需 要轉接盒，亦可把壓縮好的畫面以網路傳 出，在接收端以 Web Browser 觀看；(c) 使 用者看到的追蹤結果；(d) 當物體距離攝影 機 1-2 公尺的實際情況；(e)(f) Debug 畫面， 此時為物體距離攝影機 5-10 公尺的實際情 況，左上角為每秒 30 張的原始畫面，右上 角 Region-Of-Interest，左下角顯示出攝影 機在上個格子點時最感興趣的區塊，右下 角是未經 Post-Processing 之 Object Mask。
表一、Run-Time Profiles 項目 時脈 時間 百分比 Find BDM or CDM 240570 1.68 ms 29.5 % Find SCM 182458 1.27 ms 22.3 % Compute Scores 349015 2.44 ms 42.7 % Vector Mapping 2639 0.02 ms 0.3 % Others 41712 0.92 ms 5.1 % Total 816396 5.71 ms 100.0 % 表二、追蹤能力 與攝影機距離 物體大小 物體速度 1~2 公尺 4000 cm2 0.9m/s 3~5 公尺 7000 cm2 2.5m/s 5~10 公尺 12000 cm2 4.7m/s 10~20 公尺 25000 cm2 9.4m/s 四、成果自評 1. 研究內容與原計劃相符程度 研究內容與計劃提案完全符合。 2. 達成預期目標情況 圖一中的每一個區塊均已完成。唯一 未整合至系統中的是 Region-Of-Interest 編 碼，這其實只要在做 Rate Control 時，將 Object Mask 內之 Weighting 調高即可，但 是當攝影機不在虛擬格子點上與背景為動 態時，Object Mask 之品質不是很好，因此 我們不打算把 Region-Of-Interest 編碼加 入，但是我們仍有在 PC 版本的 Software 以 Matching Pursuits 的編碼方式完成之。 3. 研究成果的學術或應用價值 自動追蹤與物件切割在國內學術界屬 於十分新穎的研究，國內針對智慧型視訊 信號處理的研究不如國外來的蓬勃發展， 希望我們能帶動國內對此方面的研究。 物件切割其實幾乎是任何智慧型視訊 信號處理的最前端；例如人臉辨識，必須 要先把人臉切割出來；資料庫的高階主觀 （Semantic）搜尋比對，亦必須先把主觀的 物件切割出來；在 MPEG-4 標準中，若要 支援以物件為基礎的編碼，以實現 Client 端能與 Server 端達成 Interactivity，物件切 割更是整個系統的最前端。但由於物件切 割演算法仍不夠穩健，所以尚未有很成功 的即時性應用。此部份研究在國際上仍有 許多學者投入心力，希望能改良現況。
自動追蹤的部份，由於我們的演算法 簡單有效，很適合被整合至監視系統中， 做為監控人員的輔助工具，增加拍攝到入 侵者或入侵物體的機會。此外，亦可用在 玩具工業上，例如將此演算法應用在玩具 狗上，玩具狗偵測到小朋有向其拍手（有 改變），則自動跑向小朋友。 4. 是否適合在學術期刊發表或申請專利 在自動追蹤演算法的部份，我們提出 了虛擬格子點的作法，讓原本要兩台以上 的攝影機才能完成的自動追蹤功能，僅要 一台攝影機即可完成。此部份的研究我們 已在國際會議中[20]發表，並且即將投稿至
IEEE Trans. on Consumer Electronics。至於
物件切割演算法的部份，在靜止攝影機下 或當攝影機在格子點上時，我們採用背景 註冊的方式來改善傳統的改變偵測，此部 份的研究已在國際期刊[17]與許多國際會 議中發表，中美專利也正在申請中。 五、參考文獻
[1] Information Technology - Coding of Moving
Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s - Part 2: Video, ISO/IEC 11172-2, 1993.
[2] Information Technology - Generic Coding
of Moving Pictures and Associated Audio Information: Video, ISO/IEC 13818-2 and ITU-T Recommendation H.262, 1996.
[3] Information Technology - Coding of Audio-Visual Objects - Part 2: Visual, ISO/IEC 14496-2, 1999.
[4] Video Codec for Audiovisual Services at p ×
64 Kbit/s, ITU-T Recommend. H.261, Mar.
1993.
[5] Video Coding for Low Bit Rate Communication, ITU-T Recommend. H.263,
Feb. 1998.
[6] H.26L Test Model Long Term Number 8
draft0, Jun. 2001.
[7] C. Regazzoni, V. Ramesh, and G.L. Foresti, “Scanning the issue/technology,” in
Proceedings of the IEEE, vol. 89, no. 10, pp.
1355-1367, Oct. 2001.
[8] E. Durucan and T. Ebrahimi, “Change detection and background extraction by linear algebra,” in Proceedings of the IEEE, vol. 89, no. 10, pp. 1368-1381, Oct. 2001. [9] T.E. Boult, R.J. Micheals, X. Gao and M.
Eckmann, “Into the woods, visual surveillance of noncooperative and camouflaged targets in complex outdoor settings,” in Proceedings of the IEEE, vol. 89, no. 10, pp. 1382-1402, Oct. 2001. [10] F. Bartolini, A. Tefas, M. Barni and I. Pitas,
“Image authentication techniques for surveillance applications,” in Proceedings
of the IEEE, vol. 89, no. 10, pp. 1403-1418,
Oct. 2001.
[11] L. Marcenaro, F. Oberti, G.L. Foresti and C.S. Regazzoni, “Distributed architectures and logical-task decomposition in multimedia surveillance systems,” in
Proceedings of the IEEE, vol. 89, no. 10, pp.
1419-1440, Oct. 2001.
[12] S. Dockstader and A.M. Tekalp, “Multiple camera tracking of interacting and occluded human motion,” in Proceedings of the IEEE, vol. 89, no. 10, pp. 1441-1455, Oct. 2001. [13] R.T. Collins, A.J. Lipton, H. Fujiyoshi, and
T. Kanade, “Algorithms for cooperative multisensor surveillance,” in Proceedings of
the IEEE, vol. 89, no. 10, pp. 1456-1477,
Oct. 2001.
[14] I. Pavlidis, V. Morellas, and P. Tsiamyrtzis, “Urban surveillance systems: from the laboratory to the commercial world,” in
Proceedings of the IEEE, vol. 89, no. 10, pp.
1478-1497, Oct. 2001.
[15] M. Greiffenhagen, D. Comaniciu, H. Niemann, and V. Ramesh, “Design, analysis, and engineering of video monitoring systems: an approach and a case study,” in
Proceedings of the IEEE, vol. 89, no. 10, pp.
1498-1517, Oct. 2001.
[16] R. Kumar, H. Sawhney, S. Samarasekera, S. Hsu, H. Tao, Y. Guo, K. Hanna, A. Pope, R. Wildes, D. Hirvonen, M. Hansen, and P. Burt, “Aerial video surveillance and exploitation,” in Proceedings of the IEEE, vol. 89, no. 10, pp. 1518-1539, Oct. 2001. [17] S.Y. Chien, S.Y. Ma, and L.G. Chen,
“Efficient moving object segmentation algorithm using background registration technique,” IEEE Trans. on Circuits and Systems for Video Technology, vol. 12, no. 7, pp. 577-586, Jul. 2002.
[18] R.M. Haralick and L.G. Shapiro, Computer and Robot Vision, vol. 1, 1992.
[19] D. Chai and K.N. Ngan, “Face segmentation using skin-color map in videophone applications,” IEEE Trans. on Circuits and Systems for Video Technology, vol. 9, no. 4, pp. 551-564, Jun. 1999. [20] Y.W. Huang, B.Y. Hsieh, S.Y. Chien, and
for automatic tracking of a single object using a pan-tilt-zoom camera,” in Proc. of
2002 IEEE International Conference on
Multimedia and Expo (ICME 2002), Aug.
2002.
