智慧型遠端影像監視控制系統之研究(I)

行政院國家科學委員會專題研究計畫 期中進度報告

智慧型遠端影像監視控制系統之研究(1/3)

計畫類別： 個別型計畫 計畫編號： NSC91-2213-E-009-088- 執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學電機與控制工程學系 計畫主持人： 李祖添 共同主持人： 吳炳飛 報告類型： 精簡報告 處理方式： 本計畫可公開查詢

中 華 民 國 92 年 5 月 26 日

智慧型遠端影像監視控制系統之研究(1/3)

The Study of Intelligent Control System

of Remote Video Monitoring (1/3)

計畫編號：NSC 91-2213-E-009-088

執行期限：91 年8 月1 日至92 年7 月31 日

主 持 人：李祖添國立交通大學電機與控制工程學系

共同主持人：吳炳飛國立交通大學電機與控制工程學系

中文摘要：

智慧型遠端影像監視控制系統利用研發之高品質影像壓縮技術與智慧型資 訊加密系統，更重要的是可以利用一般的電話線路、區域網路或無線網路達到影 像傳輸的目的，讓我們的 居家安全或交通運輸安全上更有保障。另外攝影鏡頭加 上旋轉平台結合控制技術與影像辨識技術，使得智慧型監控系統可以達到自動影 像搜尋、物件追蹤與辨識的功能。本計畫之研究成果更可應用於智慧型運輸系統 (ITS)的研究。本研究計畫考慮到後 PC 時代的產品及需求與資料的保密性，所以 嵌入式系統與智慧型密碼系統的設計與製作也在計畫研究範圍內。 關鍵詞：監視控制、影像壓縮、加密系統、影像辨識、物件追蹤。

英文摘要：

The Intelligent Control System of Remote Video Monitoring (ICSRVM) will combine the research results of a high quality image compression technology and an intelligent information e nc r yp t io n s yst e m ( I IE S ) t o pro mo t e t he e-home secur it y and transportation security. The ICSRVM will control a rotary platform with CCD cameras and apply the image reorganization techniques to search, track and identify the targets automatically. The research result of this project can be utilized in the Intelligent Transportation Systems (ITS). Moreover, considering the research trend in the post-PC age and the demand of data security, we will implement our research result in an embedded system with IIES。

Keywords ：Image Compression Technology 、Intelligent Information Encryption System(IIES) 、 Image Reorganization Technology 。

前言：

近年來，受到全球性經濟不景氣以及廠商移往大陸投資設廠的影響，台灣 地區失業人口不斷地增加。竊盜案件的比例也增加了不少。在今日社會的各個階 層，對環境安全系統的需求，逐年成長。根據內政部的統計，去年 竊盜案破案率 不到五成，宵小猖獗的程度讓人不寒而慄，因此監視系統已廣為商店或民眾所採 用，更成為破案的關鍵。隨著電腦及網路技術的快速發展，國內工商業界甚至個 人用戶對網路的利用日益普及，由於用戶對環境安全監控的需求多樣化，加上客 觀環境及技術條件的成熟，智慧型、數位化、多功能、保密性及具有辨識功能的 監視控制系統將是未來監視系統的主流[1][2]。

研究目的：

本研究計劃︰智慧型遠端影像監視控制系統，相較於傳統閉路監視系統， 智慧型遠端監視控制系統利用高品質的影像壓縮技術，可以取代傳統錄放影機的 錄影工作，並節省錄影帶、磁頭清洗和磁頭更換的費用，除了提供長時間數位錄 影的功能外，還有警報功能、可快速與慢速放影、快速影像搜尋、循環錄影，由 於影像數位化，我們可以得到較好的影像 保存，更重要的是可以利用一般的電話 線路或區域網路達到影像傳輸的目的，讓我們的安全更有保障，另外攝影鏡頭加 上控制機構，所以智慧型監控系統可以達到自動影像搜尋、追蹤與 辨識的功能， 不但可以獲得比一般的保全監視錄影系統更好的影像品質，更可應用於智慧型運 輸系統(ITS)的研究，發展智慧型匝道儀控、事件自動偵測、動態交通預測、自 動車輛監視分類、自動車輛辨識、安全駕駛輔助、影像執法等系統。 本研究計劃將架構於設計製作一套集合加密、監控、錄影、放影、目標追 蹤、人臉辨識、車牌辨識及遠端監控於一體的數位式影像監視控制系統 。第一年 間，將完成智慧型遠端影像監視控制系統之架設，同時發展影像壓縮的方法，針 對移動物體偵測、警告聲響播放、透過電話線、區域網路或 Internet 遠端監看之 功能進行整合測試，智慧型遠端影像監視控制系統之架構如圖一所示。

圖一、智慧型遠端影像監視控制 系統架構圖

研究方法：

本年度之研究分為兩個部分作說明：  影像壓縮與處理設計方法。  系統建立與整合方面。

影像壓縮與處理設計方法：

1.影像壓縮方法 數位影像壓縮的目的在於在視覺可以接受的影像品質下，減少影像所需要的 儲存空間，來達到壓縮的效果，壓縮影像主要優點在兩個方面，一是減少影像所 需存放的記憶體空間，另一方面則是減少影像傳送時所需要的頻寬以及花費的時 間。本年度研究使用 JPEG2000 作為影像壓縮方法。JPEG 2000 標準化影像壓縮 技術之設計，其包含的主要技術為 Discrete Wavelet Transform (DWT)、Arithmetic

Co ding (AC)與 E mb e d d ed B lo c k Co d in g w it h O p t im iz ed Tr u nc at io n (EBCOT)[3][4][5][6]。在當前影像壓縮的市場方面，以 JPEG 為其主要標準化規

格，舉凡在數位多媒體的領域如 PC、PDA、PHS、數位相機與數位錄影機等等， 其影像壓縮大多以 JPEG 為主要規格，尤其在網際網路之傳輸與影像儲存機構方

面，此標準化之規格通常是影像儲存的基本格式；而新推出的世代規格JPEG 2000，不僅代表著影像儲存規格的世代交替，其參數規格更是符合多媒體的應用 領域。在核心技術方面， JPEG 2000 將 JPEG 原有的 Discrete Cosine Transform 由 DWT 所取代，之所以用 DWT 作為 Transform Coding亦是其運算的特性具有以 上所強調的優勢。JPEG 2000 架構簡介如圖二所示:

圖二、JPEG2000 方塊圖(Block Diagram)

同上圖所示，JPEG 2000 是由三個部分組成的： (1) Wavelet Transform-影像做小波轉換。

(2) Quantization-量化離散小波轉換產生 的係數。

(3) EBCOT(Embedded Block Coding with Optimal Truncation) - 對於量化過的係 數，以 entropy coding 的方式壓縮[7]。 此外，我們 運用 JPEG2000 的 ROI 功能，將有興趣的範圍做低倍壓縮，而其 餘背景則用高倍壓縮，以維持網路傳輸的品質並兼顧所欲監視的影像特性，影像 說明如圖三所示。 圖三、JPEG2000 ROI 2. 移動影像觸發錄影 智慧型遠端監視控制系統於啟動時，系統是處於全程監視錄影的狀態，所有 的影像資料透過 1.所述之影像壓縮技術壓縮處理後，全數儲存於電腦硬碟中，以 備將來查閱或作為證據之用。但是在某些特定之應用或是特定之環境下，例如預 估之錄影時間較長、儲存空間(storage)容量不足或是監視區域將長時間處於靜止

狀態等等，智慧型遠端監視控制系統不需要將儲存空間浪費於儲存大量的靜止影 像。針對此，智慧型遠端監視控制系統將發展由移動影像作為觸發的錄影模式， 稱之為「觸發錄影」，即當系統偵測到有移動的影 像時則自動啟動錄影功能同時 持續偵測影像，當偵測到影像恢復穩定靜止的狀態時則自動停止監視錄影，以達 到節省儲存空間以及縮短未來尋找重要影像的時程。 3. 多重保全區域設定 當智慧型遠端監視控制系統以動態偵測模式啟動時，鏡頭中所有監視區域 都屬於動態偵測的範疇，此時，系統對鏡頭下整張影像作動態偵測的運算。依照 不同使用者的需求，每位使用者的 ROI(Region of Interesting)區域不一定是整個 畫面，也許 只需要針對某一特定區域做動態偵測即可。針對此，智慧型遠端監視 控制系統則發展了多重保全區域設定選擇，藉 由標註捨棄偵測的區域，智慧型遠 端監視控制系統將使用者標註之捨棄區域忽略動態偵測。如此，動態偵測的運算 量將減少，每一張影像所花費的運算時間亦減少，動態偵測的靈敏度亦提高。 4. 透過電話線、區域網路或 Internet 進行遠端監看 智慧型遠端監視控制系統於運作時，分為伺服端(Server)以及客戶端 (Client)。伺服端(Server)負責接收攝影機的影像資料，而客戶端(Client)則可透過 Modem(電話線)、區域網路或 Internet 進行遠端監看，其架構如圖四所示。遠端 客戶端(Client)監看之畫面如圖五所示[8][9][10]。 圖四、電話線、區域網路或 Internet 遠端監看示意圖

圖五、遠端客戶端(Client)監看畫面 5. 播放警告聲音、E-mail 或撥打手機警示 在監視系統的應用裡，動態偵測是一個相當重要的功能。監視系統的架設， 目的就是要拍下那些動態物件的運動過程，因為那些物件代表著外人入侵、異物 產生或是具有特定意義的動作，因此需要錄下物件的運動過程以便未來查閱或是 作為證據之用。因此在由移動影像觸發錄影的模式下，於觸發錄影的同時，發出 警報聲響、傳送 E-mail 或撥打手機給使用者，用以提醒意外的發生。 6. 即時動態影像偵測 動態影像偵測可以由連續的相鄰影像，直接利用相鄰影像相對畫素(pixels) 的 差 值 作 為 有 物 體 進 入 監 視 範 圍 的 判 斷 依 據 ， 如 果 其 差 值 大 於 給 定 的 Threshold，就將此畫素標示為動態影像，但是本研究將以相鄰四點取一點的方式 降低運算量，以達到 即時動態影像偵測的目的，並研究有效的移動目標點判斷， 利用四鄰(4-neight)連續相鄰點的區域成長，如果區域面積太小，則將其剔除，以 降低誤判的機率。

系統建立：

本系統之實驗平台是 VIA Mini – ITX EPIA – M 系列，包含了 VIA C3TM 處 理器，搭配 VIA CLE266 North Bridge 以及 VT8235 South Bridge 晶片。其外觀如 圖六所示。

圖六、VIA EPIA – M 外觀[11]

VIA EPIA – M 使用 C3TMEBGA 處理器， 所使用的南北橋晶片分別為 VT8235 以及 CLE266，其架構如圖七 所示。本創作需要的 I/O 介面包含了 IDE、 Serial Port、Parallel Port、PCI 以及 USB2.0必須透過南橋 VT8235 連接，VGA 以及 Ram 則透過 CLE266 北橋晶片。架構圖如圖 3-2 所示。[11]

圖七、晶片組架構圖

為了保護程式財產，我們使用 SDOM 作為存放相關程式碼的儲媒。SDOM 全名是 Secure Disk On Module，是一種可以取代 Embedded 系統中，硬碟裝置的 Flash 裝置。其使用的介面是 IDE 介面，支援 PIO 傳輸模式。SDOM 分為三種模 式，包含 User Zone 、ROM Zone、Protect Zone。其中，ROM Zone 必須擁有 Key

以及 Password 才可寫入，Protect Zone中則需要 Key 與 Password 才有辦法讀取 以及寫入[12]，藉此保護軟體之智慧財產。

軟體部分，本系統將 Linux 移植於 VIA EPIA-M 系列平台，所有的軟體包括 驅動程式以及應用程式都是在系統上的 Linux 底下開發。因此，在軟體部分有三 個 主 要 工 作 ： 作 業 系 統 移 植(OS Porting)、 驅 動 程 式(Driver) 以 及 應 用 程 式 (Application)的撰寫。其軟體架構圖如圖八所示。

圖八、智慧型遠端影像監視控制 系統軟體架構圖

作業系統移植：

本系統移植 RedHat Linux 至 X86 架構之 VIA EPIA-M 系列平台。作業系統 移植技術包含有開機步驟、中斷、記憶體使用、執行函式庫、系 統工具等的規劃 與架設，且作業系統還必須能夠正確掌控所有週邊硬體。 Embedded OS 又有個別 名叫作 BIOS OS。主要的原因是因為我們的 OS size 很小，直接燒在 Flash Memory 裡就可以塞的進去。

Process Management

Kernel 負責 create、kill Task，同時也負責 Process 對外的連線和之間的溝通。 不同的 Process 是透過 signal， pipe， IPC 來做通訊，而 Process 的分工是透 scheduler 來決定 Process 的排程[13][14]。

Device Control

Device Control 主要就是寫我們熟知的 Driver。Linux Device Driver 主要分為 兩種，一種是 character device 像 serial port，一種是 block device 像 parallel port。 而 device driver 的設計有兩種方式，一種是直接內嵌在 Kernel 內，另一種則是以

Module 的方式，當 Kernel 需要時，再引進 Kernel[11]。 TCP/IP Stack：

一般網路分層為 AP/TCP，UDP/IP/Physical 四層。而 TCP，UDP/IP 這兩層 就由 Linux Kernel 包起來負責，對上它只是提供一組 API(Socket)給 AP 來使用， 對下它只要對 Network Chip 做存取的動作，就可以完成整個網路的連接 [15][16]。 Memory Management：

Memory 是主要的系統資源，Memory 使用適當與否，直接影響到系統效能。 對任意的 Process 而言，Kernel 基本上會把額度內的所有資源都配給 Process，為 該 Process 建立一個虛擬位址空間(virtual addressing space)。Kernel 內不同的部份 要呼叫特定的函式如 malloc, free..等，才能對 memory 做管理[16]。

GUI 介面(Qt/Embedded)

自從人類進入 Windows 時代後，GUI 介面就和程式寫作離不開關係，在 Windows 環境下，GUI 的發展工具，可說是相當完整健全，但我們的程式是架構 在 Linux 環境下，因此我們必須使用 Linux 下可發展 GUI 介面的工具。在 Linux 下的 GUI 發展工具相當多，選擇 QT 是因為它具有可攜性、執行速度快、很容 易使用。此外，在 Linux 下他是免費的。

驅動程式

驅動程式可視為夾在應用程式與實際硬體裝置之間的軟體層，對硬體裝置 的使用享有特權，也就是說，驅動程式能讓應用程式設計者撰寫應用程式時無須 面對硬體裝置。因為作業系統移植屬於硬體相關（ hardware dependent）的技術， 不同的硬體使用規劃，必須適切的改變驅動程式。所以為了讓本系統能夠使用周 邊設備，自行修改 Linux UART 驅動程式、無線網路卡、USB2.0 儲存裝置、PCI 影像擷取卡的驅動程式。 UART UART 是非常常見的 I/O 介面，通常用在慢速週邊或者做命令傳輸的工作。 我們系統的 UART 是以 RS232 為標準的傳輸 protocol。這部份主要是依照 RS232 傳輸規格，並下達命令控制 Camera 和 GSM 模組。不過我們使用之 Linux 版本 在高速下傳輸會有字元遺失的狀況發生，因此我們修正了這部分的驅動程式。 Wireless LAN Driver

Linux 目前對於 USB 介面的無線網路卡的支援並不充足，核心也沒有內建 任 何 一 款 USB 無 線 網 路 卡 相 關 驅 動 程 式 。ATMEL 所 出 的 USB WLAN AT76C503A 晶片組有相關的驅動程式，經過重新的修改，成功的為我們所使用

的 CNet U611 無線網路卡編譯出 Linux 下的驅動程式。 USB 2.0 Mass Storage Driver

所有的 USB 磁碟機、光碟機、或是沒有碟片的大姆哥、儲存卡等，在 USB 規格中都被稱作是大量儲存裝置。當 USB 偵測到此類裝置時，為了將其納入 Linux 核心架構中，USB 儲存裝置被 Linux 視為 SCSI 裝置，所以要使用此類裝 置，首先要讓核心支援 SCSI，然後就可以使用 USB 大量儲存裝置了。

PCI Capture Card Driver

我們所使用的 PCI 介面影像擷取卡是 ProVideo 148H，此卡有四個影像頻道 (Channel)分別由四顆 BT878 晶片掌管。此卡並沒有隨附 Linux 下的相關驅動程 式，因此，尋找支援 BT8X8 的 bttv 驅動程式後，重新修改以及重新對應廠商、 卡片編號後，成功載入。

應用程式

本系統的應用程式可分成 Server 端和 Client 端兩大部分。Client 端主要是 PDA 以及 PC 的瀏覽程式，Server 端則是本系統中相關的應用程式，分別是 Camera 拍照程式、GSM 模組控制程式、影像傳輸程式以及動態偵測程式等等。在網路 應用程式方面，如：SMTP Client、FTP Server、Web Server、JAVA Component 等，以下將分項說明。

Camera 拍照程式

此應用程式對 Camera Module 下達擷取影像資料的命令，Camera Module 立 即將 CCD Camera 所拍攝的影像存入系統的 USB 儲存裝置。 GSM 模組控制程式 此應用程式對 GSM 模組下命令，如接收遠端傳來的簡訊命令、撥打電話等 等。 Email Client 此程式可以寄送電子郵件給主機或是手機，附加 Camera 所拍到的照片，以 達到通知的效果。 Web Server 架設 Web Server 的目的在於提供使用者一個很方便的控制環境，只要有瀏 覽器的地方就可以控制並瀏覽系統上的照片，如 PC、PDA 等。 影像擷取以及動態偵測程式 此應用程式對於透過 PCI 影像擷取卡擷取之影像作讀取，與先前的影像作 相比對，利用 reference



2n imageNn 1 式作運算，與所設定的門檻值作比

較，決定是否有移動物體處於畫面中而開啟拍攝的功能。

系統執行結果：

門禁安全直接與訪客作遠端直接對話 當屋主不在家，有訪客按下門鈴時，系統會自動撥號給屋主設定於系統內 之手機號碼。屋主即可由遠端 透過手機與訪客作直接對談，直接過濾不肖份子對 於室內情況的試探，尤其是試探屋內有無人員。

不論是即時或是過時之影像資料，使用者可隨時查看相關影像資訊。CCD 模組所擷取之影像透過無線 RF 傳輸模組，由影像擷取卡進入系統記憶體，由軟 體進行影像壓縮，然後儲存於 USB2.0 外接硬碟中，供使用者查看。 遠端使用環境設定 1. 使用者名稱以及密碼。 2. 設定手機號碼，GSM 手機則設定號碼以及簡訊 Title。PHS 手機則設定手機 號碼以及 PHS Mail 帳號以及 Mail Title。

計畫成果自評：

本智慧型遠端影像監視控制系統整合了無線通訊網路、多媒體功能以及消 費性電子產品，為門戶監控以及門戶安全帶來便利的解決方案。使用者無論身處 何地，透過隨身攜帶的手機、PDA，或是 PC，能夠隨時監看家中情況。 此外，當有人按家中門鈴，而屋主不在家時，門鈴安全系統會建立與屋主 手機之通話連線進行通話，對於一般訪客而言可以直接與屋主聯繫，增進溝通效 率，對於不肖訪客而言，屋主如同處於家中與其進行對話，使其打消進行不肖行 為之念頭。 本研究計畫部分內容參與九十一年度微電腦應用系統設計製作競賽榮獲優 等。 同時申請國內專利，專利案號 092209438。

參考文獻：

[1] 朱峰毅, “數位影像處理在監視系統上之應用”, 中原大學電子工程中原大學 電子所碩士論文, 2000。 [2] 莊明哲, “遠端網路影像監控系統”, 國立台灣科技大學電機工程所碩士論文, 2001。 [3] JPEG2000 Book

[4] ISO/IEC, ISO/IEC 15444-1, Information Technology-JPEG2000 image coding system, 2000.

[5] M. D. Adams, “The JPEG-2000 still image compression standard,” ISO/IEC

JTC1/SC29/WG1 N2412, September, 2001.

[6] C. Christopoulos, A. Skodras, and T. Ebrahimi, “The JPEG2000 still image coding system: an overview,” IEEE Trans. Consumer Electronics, vo l. 46, pp.1103-127, Nov. 2000.

[7] D. Taubman, “High performance image scalable image compression with ebcot,”

IEEE Trans. Image Processing, vol. 9, pp. 1158-1170, July 2000.

[8] 李鴻舜, “以動態偵測為基礎的即時監視系統”, 交通大學資訊工程所碩士論 文,2001。 [9] 吳承威, “遠端監控之視覺系統研製”, 國立交通大學電機與控制工程所碩士 論文,2002。 [10] 林千智, “獨立式動態影像判別與儲存系統”, 國立成功大學電機工程學碩士 所碩士論文, 2001。 [11] http://www.viavpsd.com/product/Download.jsp

[12] Po wer Quot ie nt Int ernat io na l Co . , Lt d IC Storage Specia list Secured DiskOnModule TM Series Install Menual。

[13] TCP/IP Lean Web Server for Embedded Systems,Jeremy Bentham，2000 [14] http://www.jollen.org/linux/video_streaming/streaming-3.html

[15] http://www.viavpsd.com/product/epia_m_spec.jsp