智慧型即時影像監控與追蹤系統

行政院國家科學委員會專題研究計畫 成果報告

智慧型即時影像監控與追蹤系統 研究成果報告(精簡版)

計 畫 類 別 ： 個別型

計 畫 編 號 ： NSC 98-2221-E-011-102-

執 行 期 間 ： 98 年 08 月 01 日至 99 年 07 月 31 日 執 行 單 位 ： 國立臺灣科技大學電機工程系

計 畫 主 持 人 ： 蔡超人

處 理 方 式 ： 本計畫可公開查詢

中 華 民 國 99 年 08 月 17 日

行政院國家科學委員會專題研究計畫成果報告

智慧型即時影像監控與追蹤系統

Intelligent Real-Time Surveillance and Image Tracking System

執行期間： 98/08/01 ~ 99/07/31

計畫主持人：蔡超人 副教授 國立台灣科技大學電機系

一、中文摘要

在傳統的監控系統中，皆是使用 廣角鏡頭的場景攝影機進行全天候之 監控影像存取，而這樣會使所抓取到 目標物之影像較為模糊，而造成難以 辨識目標物之身份，且全天候影像存 取亦會使得硬碟資源浪費，因此在本 系統中則加入PTZ攝影機來協助場景 攝影機進行追蹤，並將所抓取到之目 標物，進行Zoom in功能的影像放大，

以 擷 取 到 較 清 晰 之 目 標 物 影 像 ， 另 外，在論文中提出以環境音訊來判斷 目前之音訊是否為一異常音訊，進而 判斷是否為一事件發生，才進行事件 影像存取，以減少硬碟資源浪費。在 本 系 統 中 使 用 德 州 儀 器 TMS320DM642 DSP之開發模組來發 展Server端的監控系統，且此系統具有 獨立運作之特性，而Client端則是以PC 進行使用者介面的開發，而Server端之 影像與事件狀態亦可透過網路傳輸至 Client 端 ， 當 Server 端 有 異 常 音 發 生 時，則Client端則會進行事件影像存取 與警訊顯示，並在日後可進行調閱與 瀏覽，如此建構出一套即時多目標物 追蹤與異常音偵測之監控系統。

關鍵字：異常音偵測、雙攝影機架構、

即時監控系統。

Abstract

In traditional surveillance systems, which use a wide-angle lens with field camera and store image all day. It can’t grab target’s face clearly for identification and storing image all day,

because of it will waste of hard-disk’s resources. In the system, using high-resolution PTZ camera to be in conjunction with field camera and can track targets. And abnormal sound detection, whether abnormal event happen or not and store event-image, it will save many hard-disk resources. This research will combine TI TMS320DM642 Evaluation Module to development surveillance system in Server-side, the system has stand-alone characteristic and developing the graphical user interface based on PC in Client-side, Server-side will transmit the alarm information and image to the Client-side automatically. When the abnormal events happen in Server-side and it will transmit the alarm information and store the event-image in time, if necessary it will able to browse the event-image. Thereby, the system develops a real-time multi-object tracking and abnormal sound detection system with online warning function.

Keywords：abnormal sound detection,

time surveillance system.

二、研究動機與目的

在近年來，影像監控系統被廣泛 的應用在不同的場所中，例如商店、

街道、社區及銀行等其他場所中，其 目的即是希望當有案件或是其他異常 事 件 發 生 時 ， 能 藉 由 系 統 的 影 像 存 取，而在日後能調閱其事件發生時之

影像，並藉由調閱影像，來查看事件 發生時之影像是否有拍攝到重要之訊 息，以成為日後破案之關鍵，而發展 成一套智慧型監控系統，但是，一般 為了要監視到更大的範圍，則皆是選 用單一的場景攝影機，且使用廣角鏡 頭，以增加監控的範圍，但是這樣會 使得所抓取到目標物之影像，較為模 糊，且解析度較低，而造成案件偵訊 之困難，如果，加大影像之解析度，

則會使得影像之資料量加大，而增加 影像處理時間，且無法達到即時的影 像監控，而為了解決此問題，本論文 則是除了使用場景攝影機之外，又加 上了PTZ攝影機，並對於該目標物進行 頭部鎖定追蹤與Zoom in之放大功能，

則可以得到較為清晰之目標物影像。

另一個問題則為，一般的監控系 統為了能拍攝到事件發生時之影像，

則必須進行全天候之影像存取，而在 日後事件發生時，再去進行此事件影 像的調閱。事實上，只有事件發生時 的前後數秒才是影像存取之重點，如 果一直持續進行全天候之影像存取，

則可能會造成硬碟資源的浪費，而在 本論文中對於影像監控系統加入了環 境音訊的資料分析，並對於發生異常 音之事件影像(搶劫、車禍…等)，進行 存取，則可以減少硬碟的空間消耗，

而在日後亦可以提供瀏覽及調閱，以 成為日後破案的關鍵。

三、結果與討論

本論文架構了一套結合異常音偵 測之即時影像監控系統，除了可以對 於目標物進行鎖定追蹤與特定目標物 之頭部鎖定之外，亦可以對於監控環 境之音訊進行分析，並判斷是否為一 異常音訊發生，並透過網路傳輸告知 Client 端進行影像儲存，並將該影像規 劃為一事件影像，而遠端監控介面亦 可瀏覽事件之影像，以及是否有異常 音之警訊，另外整個系統在經由程式

優化之後，亦可達到1 秒 25 張之影像 處 理 之 效 果 ， 以 達 到 即 時 監 控 之 目 的，在以下則對於本研究中各部份之 程序結果來進行說明。

3.1 系統架構與流程

在系統架構中，分為兩個部份，

分別是影像處理程序與異常音偵測程 序，而影像處理程序則又由四個程序 所構成，且在 server 端處理完影像與 異常音偵測之後，亦可將影像與警示 狀 態 傳 至 遠 端 的 使 用 者 介 面 中 來 觀 看。

圖1 移動目標物追蹤與異常音偵測之 監控系統架構圖

3.2 雙攝影機多目標物協同追蹤程序 在 本 系 統 中 採 用 雙 攝 影 機 的 架 構，先以場景攝影機來偵測移動之目 標物，並對於移動目標物進行追蹤，

其中，將從多目標物中選擇一個特定 的目標物來進行頭部鎖定追蹤，且在 雙攝影機的座標轉換中是透過事先校 正的方式，將特定目標物之座標傳送 給PTZ攝影機，並進行座標轉換，才能 控制PTZ攝影機移動至該目標物之頭 部附近，進行頭部偵測及追蹤，最後 將場景攝影機之目標物追蹤與PTZ攝 影機對於定目標物之頭部鎖定追蹤之 影像，經由影像壓縮傳送至遠端的使 用者介面，其影像處理程序如圖2所 示。

圖2多目標物協同追蹤程序流程圖 3.2.1 場景攝影機之目標物偵測程序

首先在初始化過程中先由場景攝 影機建立背景影像，並在往後所擷取 的連續之灰階影像對於背景影像相減 [1,2]以得到前景，當得到此前景後，將 可透過影像補償法進行修補，接著進 行影像前置處理的影像平滑法[3]濾除 影像中的雜訊，然後以影像投影來做 陰影濾除[4]，並使用型態學[11]的膨脹 與侵蝕運算來獲得較完整之區塊，最 後使用物件標記法[5]，將前景之多目 標物進行編號，以便進行目標物之框 選，接著即可進入追蹤程序，流程如 圖3 所示。

圖3 移動目標物偵測程序流程圖

3.2.2 場景攝影機多目標物追蹤程序 在此程序中使用不同的兩種演算 法來達到追蹤的效果，當影像中的目 標物沒有產生交會的情況下，則是使 用關聯性區塊比對法[6]，此法是利用 上一張影像之目標物區塊號碼與目前 影像目標物之區塊號碼去計算交集的 部份，如果交集量高達五成以上則表 示上一張影像目標的號碼與目前影像 目標之號碼為相同的一個目標物，藉 此達到追蹤的效果，另外，當目標物 產生交會時，則是使用彩色直方圖資 訊比對[7]，此法為必須在交會前與交 會後建立個別目標物之彩色直方圖模 型，並且比對交會前與交會後之目標 物的彩色直方圖資訊，以達到多目標 物追蹤的效果，其詳細流程如圖 4 所 示。

圖4 移動目標物追蹤程序流程圖

3.2.3 座標校正與 PTZ 頭部追蹤程序 在此程序中，是接續上一個程序 得到所要追蹤目標物的座標之後，再 導引 PTZ 到此座標的附近，為第一階 段的導引追蹤，接著 PTZ 再由自己的 追蹤演算法，進行頭部偵測追蹤，此 為第二階段之獨立追蹤，而此階段與 場景攝影機之追蹤無關，為 PTZ 獨立

場景攝影機 移動目標物 偵測程序

背景影像 相減法與補償

雜訊濾除 型態學處理

陰影去除

移動目標物件 框取 場景攝影機

影像擷取

前 景 萃 取 前 置 處 理

移動目標物 追蹤程序

連續影像 背景影像

物件標記 物件框取

自行完成追蹤。

當場景攝影機完成追蹤之後，要 將所要追蹤目標物之座標傳送給 PTZ 攝影機的畫面時，必須要經過事先的 校正[9,10]才能夠執行，包含 Pan、

Tilt、Zoom。

當PTZ 攝 影 機 移 至 目 標 物 附 近 時，即可由PTZ自行做獨立追蹤，在頭 部 偵 測 的 部 份 是 先 採 用 連 續 影 像 相 減，並得知移動的邊點，接著利用事 先建立好之橢圓樣板進行比對，找出 頭部之位置，並進行框選，接著進行 頭部之追蹤是採用橢圓樣版比對與色 彩資訊樣板的比對[8,12]來進行頭部之 追蹤，在追蹤的過程中，如果產生追 蹤失敗，則將會由場景攝影機重新傳 送目標物之座標給PTZ攝影機，並再次 去做頭部的偵測及追蹤，其詳細流程 如圖5所示。

獨 立 式 追 蹤

取得目標物之中心 與頭部座標

經座標轉換取得 PTZ攝影機Pan、

Tilt、Zoom之參數

命令PTZ移動至目 標物頭部附近

PTZ攝影機是否 定位?

移動邊緣偵測與橢 圓偵測及比對

是否偵測到 橢圓?

橢圓樣板與頭部彩 色資訊樣板比對

相似度高?

Y N Y

影像壓縮與網路 處理程序 移動目標物

追蹤程序

N

N Y 導

引 式 追 蹤 座標轉換及PTZ 攝影機追蹤程序

圖5 座標校正及PTZ攝影機頭部追蹤 程序流程圖

3.3 異常音偵測程序

除了影像處理的程序之外，在另 外一部份為異常音偵測的程序，一開 始 先 由 麥 克 風 擷 取 監 控 環 境 中 的 音 訊 ， 並 且 先 建 立 平 均 能 量 的 背 景 音 訊，且對於後續擷取的音訊來做背景 音的更新，並對後續所擷取進來之音 訊做能量分析[13]，且與背景音訊之資 料來做比較，判定是否為為一突波能 量之音訊，如果是則暫定可能為一異 常音之可能，並接續判斷下一秒音訊 之資料，來確定是否為一異常音之發 生，以避免突如其來之雜訊而造成系 統之誤判，確定為一異常音發生時，

則 必 須 透 過 網 路 告 知 遠 端 的 監 控 系 統，將目前暫存中的影像規劃為事件 影像並存取到硬碟中，以提供日後事 件調閱，達到安全監控之效果，反之，

在 下 一 秒 的 音 訊 資 料 判 定 非 為 異 常 音，則將此音訊更新至背景音中。

圖6 異常音偵測程序流程圖

3.4 影像壓縮與網路傳輸程序

在影像程序處理完之後，必須先 將影像格式由YUV 4:2:2轉換為YUV 4:2:0才能進行JPEG影像壓縮，在網路 端必須先進行TCP Socket的設定與網 路傳輸端口之屬性配置及目的之IP位 址設定，方能將影像透過網路傳輸至 遠端系統，在Sever端接收至Client端的 傳送要求時，才將JPEG[14]影像切割 成數個區塊來進行傳送，並在Client端 將影像區塊進行接收及組裝，再透過 Intel JPEG Library 15來進行影像解壓 縮，且不須經過硬碟存取以減少硬碟 資源浪費，且達到即時遠端監控的目 的，並將目前的圖像都暫存在記憶體 中，而當有一事件發生時，將記憶體 中暫存的影像，規劃為事件影像存取 至硬碟中，以提供日後調閱。

在Server端一秒可處理高達25張 的影像，且由於傳送影像至遠端的監 控系統不需將影像進行硬碟存取，故 在遠端監控系統亦可達到1秒20張之 影像顯示，以達成即時影像之遠端監 控系統目的。

圖7 影像壓縮與網路傳輸程序流程圖 3.5 硬體之系統架構

在本論文中，使用TI 德州儀器公 司 所 開 發 的 數 位 信 號 處 理 器 TMS320DM642 作為系統核心，此核 心時脈為720MHz，具有強大的數位信 號處理能力，並使用 Code Composer Studio 3.0 軟體來做程式開發，在系統 中使用了場景攝影機與 PTZ 攝影機，

經由開發板中的Video In Port 0 與 1 擷

取 雙 攝 影 機 的 影 像 ， 並 經 由 EDMA(Enhanced Direct Memory Access)之裝置抓取影像資料至核心來 做 處 理 ， 具 有 高 效 能 之 資 料 搬 移 功 能，且不佔用CPU 之執行時間，並在 影像處理結束之後亦透過此裝置將影 像輸出至VGA Port，並由顯示器來觀 看 影 像 處 理 結 果 ， 在 音 訊 處 理 的 部 份，由麥克風或是音訊裝置透過Mic in 或 Line in 來擷取音訊資料，並透過 EDMA 裝置抓取資料至核心來作處 理，除此之外，此開發板還提供許多 I/O 供影像和語音處理來做應用，像是 可透過UART 來控制 PTZ 攝影機、資 料可透過 Ethernet Port 傳輸至網路等 許多的相關應用，適合用於影音相關 之系統開發。

在系統中，透過 Video Capture Port 0 與 1 將雙攝影機之影像擷取至核心 中，此時解析度為 720x480，並透過 TVP5146 NTSC 解碼晶片，將影像壓 縮之 360x240，以減少影像處理之運 算，且影像格式為YUV 4:2:2，而 PTZ 之攝影機亦是如此，另外，PTZ 攝影 機可透過UART 傳輸指令控制 PTZ 移 動至定點，或做焦距調整，語音的部 份 則 是 將 麥 克 風 或 是 語 音 裝 置 透 過 Mic in 或 Line in 端將音訊資料擷取進 來，且可透過TLV320AIC23 晶片選擇 音訊取樣的頻率與輸入之裝置，在此 系統中設定取樣頻率為48k/s，且為立 體音，在影像與語音處理完成之後，

可以透過 Ethernet Port 將影像之資料 傳輸至遠端的使用者介面中，或是傳 送指令要求遠端將目前影像規劃為事 件影像存至硬碟中，在遠端的使用者 界面是用Visual Basic 6.0 軟體來完成 開發，其系統硬體架構如圖8 所示。

圖8 系統硬體架構圖 四、成果展示與效能測試

在本節中將對於本系統之實測結 果進行詳細的描述，與系統的執行效 能分析，其中系統的實測結果包含二 個部份，第一部份為雙攝影機之多目 標物協同追蹤之結果，第二部份為實 際在監控環境中去製作一段衝突音訊 之發生，並由系統來進行判斷，而在 效能分析的部份，則是包含影像處理 中的 4 個程序與異常音偵測程序來進 行效能分析。

4.1 目標物之雙攝影機協同追蹤

以下測試為環境中有 2 個目標物 發生交會時，且場景攝影機仍然可以 持續達到追蹤的效果，而 PTZ 攝影機 在 鎖 定 其 中 的 一 個 目 標 物 之 頭 部 之 後 ， 即 使 目 標 物 有 發 生 走 動 的 情 況 下，本系統仍然可以持續對目標物之 頭部進行所及追蹤。

圖9 雙攝影機協同追蹤測試圖

4.2 即時監控環境之異常音偵測 此部份為擷取監控環境中的音訊 進行異常音偵測，且在本系統中即使 由安靜的環境之情況，突然有目標物 產生對話的聲音，亦不會產生誤判，

如圖 10(e)~(f)影像對應其音訊波形圖 (e)~(f)，而在影像(f)~(g)，則為其中一 目標物將其金屬物摔落至地上，而產 生一段異常音，則系統才判斷為一異 常事件，此時遠端監控介面亮起事件 之警訊與歷史事件警訊，同時，Server 端則傳送命令告知 Client 端，進行目 前畫面之前後10 秒的影像事件規劃，

並寫入至硬碟中，以便以後之事件記 錄調閱。

圖10 監控環境之影像與相對應之事 件狀態示意圖與其音訊波形示意圖 4.3 效能測試

而最後總結本系統之執行效能如 圖11 所示，平均執行時間為 41.39ms，

表示1 秒可處理約 25 張之影像，亦是 可以達到即時影像監控之效果，而以 下針對其中的程序進行說明。

I. 多目標物偵測程序：22.63ms。

II. 多目標物追蹤程序：7.45ms。

III. 座標校正與 PTZ 攝影機頭部追蹤 程序：系統先導引 PTZ 攝影機至 頭部附近，所需時間為 5.87ms，

此部份完成之後，即進行頭部偵 測，其所需時間為 8.20ms，最後 則可以進入頭部追蹤的部份，其 執行時間為10.51ms。

IV. 影 像 壓 縮 與 網 路 傳 輸 程 序 ： 10.83ms。

V. 環境異常音之偵測程序：0.1ms。

圖11 系統的程式總執行效能 五、結論

最後則藉由實測的結果顯示，本 系統可以使用於多目標物之追蹤，且 可以對於監控環境中的任一目標物進 行追蹤，而環境異常音的偵測部份，

由於會對於目前音訊之前後的資料進 行分析比較，故亦可減少誤判的情況 發生，而在經由實驗驗證之後，則該 論文構想的方法即為可行的，且亦具 有不錯的目標物追蹤及異常音之偵測 效果，另外本系統可達到每秒處理25 張影像之即時監控的效果。

本論文發展出多目標物追蹤與異 常音之偵測的監控系統，並使用 DSP 的 DM642 之核心進行系統開發，其 DM642 開發的系統比起 PC-based，具 有更多的優點，例如體積小、高效率、

且具有獨立運作之能力，並藉由發展 此系統，來節省人力之成本及提高效 率，並達到較具多功能之即時逺端的 監控系統，且此系統適合用於公共場 所、辦公室、機場、港口等地方，以 達到安全即時監控之目的。

五、參考文獻

[1] C. R. Wren, A. Azarbayejani, T. Darrell and A. Pentland. “Pfinder: Realtime tracking of the human body,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, pp. 780-785, 1997.

[2] I. Haritaoglu, D. Harwood and L. S. Davis,

“Hydra: Multiple people detection and

tracking using silhouettes,” Proceedings of the Second IEEE Workshop on Visual Surveillance, pp. 6-13, June 26, 1999.

[3] R. C. Gonzalez and R. E. Woods, Digital Image Processing, Prentice-Hall, New Jersey, pp. 116-123, 2002.

[4] J. W. Hsieh, W. F. Hu, C. J. Chang and Y. S.

Chen, “Shadow elimination for effective moving object detection by Gaussian shadow modeling,” Image Vision and Computing Journal, Vol. 21, pp. 505-516, 2003.

[5] L. D. Stefano and A. Bulgarelli, “A simple and efficient connected components labeling algorithm,” Proceedings of 10th International Conference on Image Analysis, pp. 322-327, 1999.

[6] S. J. McKenna, S. Jabri, Z. Duric, A.

Rosenfeld and H. Wechsler, “Tracking Groups of People,” Computer Vision and Image Understanding, Vol. 80, pp. 42-56, 2000.

[7] M. J. Swain and D. H. Ballard, “Colour Indexing,” International Journal of Computer Vision, Vol. 7, pp. 11-32, 1999.

[8] S. Birchfield, “Elliptical Head Tracking Using Intensity Gradients and Color Histograms,” Proc. of the IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, pp. 232-237, June 1998.

[9] X. Zhou, R. Collins, T. Kanade and P. Metes,

“A Master-Slave System to Acuire Biometric Imagery of Human at Distance,”

ACM International Workshop on Video Surveillance, pp. 113-120, Nov. 2003.

[10] 馬仲強， “以DSP實現雙攝影機多目標物 協同追蹤與遠端影像間控系統，” 國立台 灣科技大學電機程系， pp. 9-90， 民國 九十八年五月。

[11] J. P. Serra, Image Analysis and Mathematical Morphology, Academic Press, pp. 115-130, 1982.

[12] 程上福， “以DSP實現人眼視覺之橢圓目

標物量測系統，” 國立台灣科技大學電機

程系， pp. 23-49， 民國九十七年七月。

[13] L. R. Rabiner and R. W. Schafer, Digital Processing of Speech Signals, Prentice Hall, pp. 30-70, 1978.

[14] W. B. Pennebaker and J. L. Mitchell, JPEG : Still Image Data Compression Standard, Van Nostrand Renihold, New York, 1993.

無研發成果推廣資料

98 年度專題研究計畫研究成果彙整表

計畫主持人：蔡超人 計畫編號：98-2221-E-011-102- 計畫名稱：智慧型即時影像監控與追蹤系統

量化

成果項目 ^{實際已達成}

數（被接受 或已發表）

預期總達成 數(含實際已

達成數)

本計畫實 際貢獻百

分比

單位

備 註 （ 質 化 說 明：如 數 個 計 畫 共 同 成 果、成 果 列 為 該 期 刊 之 封 面 故 事 ...

等）

期刊論文 1 1 80%

研究報告/技術報告 0 0 100%

研討會論文 1 1 80%

論文著作 篇

專書 0 0 100%

申請中件數 0 0 100%

專利 已獲得件數 0 0 100% 件

件數 0 0 100% 件

技術移轉

權利金 0 0 100% 千元

碩士生 0 0 100%

博士生 0 0 100%

博士後研究員 0 0 100%

國內

參與計畫人力

（本國籍）

專任助理 0 0 100%

人次

期刊論文 0 0 100%

研究報告/技術報告 0 0 100%

研討會論文 0 0 100%

論文著作 篇

專書 0 0 100% 章/本 申請中件數 0 0 100%

專利 已獲得件數 0 0 100% 件

件數 0 0 100% 件

技術移轉

權利金 0 0 100% 千元

碩士生 0 0 100%

博士生 0 0 100%

博士後研究員 0 0 100%

國外

參與計畫人力

（外國籍）

專任助理 0 0 100%

人次

其他成果

(

蔡超人, 葉佳翔, 林裕超, 2010 TI 亞洲區 DSP 暨嵌入式系統應用競賽臺灣區 系統應用組優等獎.

成果項目 量化 名稱或內容性質簡述

測驗工具(含質性與量性) 0

課程/模組 0

電腦及網路系統或工具 0

教材 0

舉辦之活動/競賽 0

研討會/工作坊 0

電子報、網站 0

科 教 處 計 畫 加 填 項

目 計畫成果推廣之參與（閱聽）人數 0

國科會補助專題研究計畫成果報告自評表

請就研究內容與原計畫相符程度、達成預期目標情況、研究成果之學術或應用價 值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性） 、是否適 合在學術期刊發表或申請專利、主要發現或其他有關價值等，作一綜合評估。

1. 請就研究內容與原計畫相符程度、達成預期目標情況作一綜合評估

■達成目標

□未達成目標（請說明，以 100 字為限）

□實驗失敗

□因故實驗中斷

□其他原因 說明：

2. 研究成果在學術期刊發表或申請專利等情形：

論文：□已發表 □未發表之文稿 ■撰寫中 □無 專利：□已獲得 □申請中 ■無

技轉：□已技轉 ■洽談中 □無 其他：（以 100 字為限）

參加 2010 TI 亞洲區 DSP 暨嵌入式系統應用競賽臺灣區系統應用組優等獎.

3. 請依學術成就、技術創新、社會影響等方面，評估研究成果之學術或應用價 值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）（以 500 字為限）

如將本系統應用至公共場所中，即使有發生犯罪或異常事件，本系統可對該目標物進行追 蹤，並且取得該目標物之頭部資訊之影像畫面，並協助警方破案。由於追蹤的演算法皆是 使用線性且較快速的影像處理方法，以簡少 CPU 的運算量。