智慧型遠端影像監視控制系統之研究(III)

(1)

行政院國家科學委員會專題研究計畫成果報告

智慧型遠端影像監視控制系統之研究(3/3)

計畫類別：個別型計畫計畫編號： NSC93-2213-E-009-155- 執行期間： 93 年 08 月 01 日至 94 年 07 月 31 日執行單位：國立交通大學電機與控制工程學系(所) 計畫主持人：李祖添共同主持人：吳炳飛計畫參與人員：彭信元王坤卿黃俊傑游東龍洪堯俊林宜甲報告類型：完整報告報告附件：出席國際會議研究心得報告及發表論文處理方式：本計畫可公開查詢

中華民國 94 年 7 月 19 日

(2)

行政院國家科學委員會補助專題研究計畫

■ 成果報告

□期中進度報告

（計畫名稱）

智慧型遠端影像監視控制系統之研究（3/3）

計畫類別：■ 個別型計畫 □ 整合型計畫

計畫編號：NSC 93 － 2213 － E － 009 － 155

執行期間： 93 年 8 月 1 日至 94 年 7 月 31 日

計畫主持人：李祖添教授

共同主持人：吳炳飛教授

計畫參與人員：

成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，■一年□二年後可公開查詢

執行單位：

(3)

1

中文摘要：

本計畫內容主要是利用影像處理與音訊處理之硬體模組，搭配計畫主持人實驗室所研究開發之具備多種上網途徑（包含有線及無線）的嵌入式行動通訊控制系統，使得硬體處理之高壓縮比影音壓縮資料，可藉由本實驗室開發之嵌入式系統透過網路即時傳遞至遠端，而使用者可透過行動通訊裝置（例如：PDA 與 Mobile Phone）或是電腦獲取即時影像，進而達到隨時隨地即時監控高畫質影像之目的。在內容方面，主要分為三個主題：(1)嵌入式行動通訊控制系統平台之建立，(2)溝通介面之開發設計，(3) 手持裝置（Mobile Phone、PDA）之監控程式設計。其中，相關技術包括嵌入式作業系統移植、多重上網途徑之網路程式設計、硬體驅動程式與應用程式之撰寫、溝通介面時序設計、手持裝置之 Java 程式設計等技術之開發。本系統已成功整合影音同步壓縮硬體、嵌入式行動通訊控制系統與手持式行動通訊裝置，完成一高效能且廣應用面之智慧型行動通訊監控系統，可完整彌補市面上之監控系統即時性不足與成本過高等問題。關鍵字：嵌入式系統、行動通訊裝置、雙向溝通界面、監控系統

英文摘要：

In this project, an embedded mobile surveillance system with accessing internet in multi-ways will be designed. The audio/video compression hardware can transmit its data to internet through the embedded system. The users can get the real-time information by the mobile hand-held devices, such as mobile phones and PDAs, or PCs. In order words, the users can monitor the real-time audio and video anywhere and anytime.

The content of the project are separated into three parts: (1) Build an embedded mobile surveillance platform. (2) Design a communication interface between the system and the compression hardware. (3) Develop the surveillance program in mobile hand-held devices. In these parts, the core technology includes porting the embedded operating system, networking programming for accessing internet in multi-ways, developing the drivers and the applications, designing the J2ME program in mobile devices. The system has been successfully integrated the audio/video compression hardware, an embedded surveillance system, and hand-help devices. The final objective of the project is to accomplish an high performance and wide application surveillance system to retrieve the instantaneous ability of the surveillance system at present.

(4)

前言：

近年來，治安頻頻敗壞，無論是金融機構、超商或是個人家庭之搶案、偷竊案頻傳，甚至連高科技公司的貴重原物料（庫存）的倉庫也有被搶的案例，但是，等到廠商自行錄製或警方提供之歹徒照片公布時，往往歹徒早已經贓物變賣，遠走高飛，國內廠商發展數位多通道監視錄影系統目前遇到許多瓶頸，如即時性不足，傳播影像途徑不足導致只能安裝在特定環境等等重大缺陷，本計畫提供了相當良好的關鍵技術，在沒有有線網路的環境下，仍然能夠保證監控影像可準確的傳送給使用者，同時，使用者也無須 24 小時盯著監控畫面，只要隨身攜帶行動通訊裝置，就可隨時隨地掌控最新狀況，對於犯罪防止或是重要物監控上都有相當大的進步。在應用性方面，由於本計畫所實做之系統具有多重上網途徑、優良的影音壓縮硬體與人性化且即時性高之行動通訊監控功能，可說是應用性相當的廣泛，無論是公司行號、企業用戶、家庭用戶、保全公司、運鈔車，甚至是一般車內防盜系統，都是可以應用的範圍。本系統將以低成本嵌入式之嵌入式系統實現，且具備使用行動通訊裝置進行即時監控之能力，可以讓使用者不受任何時空的限制，無時無刻、隨時隨地即時監控，可說是相當前瞻且重要的技術。

一、研究目的：

硬體之智慧型監控系統，此系統具備可利用行動通訊裝置進行即時監控之功能，能有效解決目前產業界數位監控系統之成本問題與功能完整性之補強。在計畫執行期間已藉由本實驗室累積之研究能量，完成以下目標。計畫目的：成功以具備多重上網途徑之嵌入式系統與影音壓縮硬體搭配，並整合行動通訊裝置，完成一低成本、高效能且廣應用性之數位監控 系統。 我們針對影音壓縮硬體開發出一溝通介面，使嵌入式系統與影音壓縮硬體可以透過此介面快速且正確的傳輸資料，如此一來，透過影音壓縮硬體所壓縮之資料就可以透過溝通介面快速地輸入至嵌入式系統，而嵌入式系統則可以立即透過網路將資料傳播給使用者，達到即時監控之目的。圖 1 為其架構圖。圖 1、系統架構圖

二、研究方法：

(5)

3 裝置完成一智慧型影像壓縮監控系統之開發，在科技發展如此快速的年代，藉由技術的整合進而提供人類更高品質的生活，這應是新一代科技人才的使命。我們以低成本之嵌入式系統整合影音處理硬體技術，搭配便利的行動通訊裝置，實現人人皆可隨時隨地即時監控之理想，相關研究方法敘述如下： 1. 系統平台之建立： 本計畫中之嵌入式系統係以一 Evaluation Board 為主要架構，其採用的處理器是以 ARM 為基礎之處理器，並整合高品質、高速度之影音壓縮硬體、Storage、RS-232 介面、GSM 模組、以及其他控制訊號，藉由整合這些技術來完成智慧型監控系統。嵌入式作業系統移植是本系統的主要特色也是非常繁重的工作，本計畫之作業系統採用 Linux 為基礎。底下將我們在系統平台建立時，需要完整移植作業系統之重要工作項目列舉如下[1]： Linux Loader Process Management Device Control TCP/IP Stack： Memory Management： 2. 驅動程式 驅動程式可視為夾在應用程式與實際硬體裝置之間的軟體層。所以為了讓本系統能夠使用周邊設備，我們必須加入相關之驅動程式，分述如下：

External Interrupt Driver

為了能夠更有效率的與硬體互相溝通，本實驗室之嵌入式系統必須具備外部中斷的能力，在 Linux 系統中，如果需要用到外部中斷，則需要撰寫驅動程式，當外部中斷發生的時候，驅動程式會主動將 Program Counter 跳至中斷副程式，執行發生中斷時應該做的資料傳輸動作。

Compact Flash Card Driver

為了能讓系統有一個儲存媒介，我們選擇了 Compact Flash Card，而為了能讓 Linux 能夠存取 Compact Flash Card，自然要寫驅動程式，對 Linux 而言，Compact Flash Card 就是系統的硬碟機。 3. 應用程式 本系統的應用程式包含相當多，以下將分項說明。 GSM 模組控制程式 此應用程式對 GSM 模組下命令，如接收遠端傳來的簡訊命令、撥打電話、透過 GPRS 撥接上網等等。為了讓使用者能夠更有效，且更方便的控制與設定系統，我們的系統也提供使用者直接利用手機傳送簡訊的方式來設定與控制系統，下表 1 為傳送簡訊時之命令、格式與其所代表之功能。表 1、簡訊之命令、格式與其所代表之功能 Commands Functionality S[num] 拍[num]張照片，並傳送至手機 C[num] 拍攝[num]秒之影片，並傳送至手機 P[num] 設定使用者之手機號碼為[num]號 E[address] 設定使用者之 Email Address 為[address] R[num] 設定系統所拍攝之影像解析度， [1] VGA (640x480) [2] QVGA (320x240) [3] CIF (352x288) [4] QCIF (176x144)

(6)

Email Client 此程式可以寄送電子郵件給主機或是手機，附加硬體所處理過之壓縮影像，以達到通知的效果。 4. 溝通介面之開發與設計： 在本計畫中，有一很重要的部分就是溝通介面之開發與設計，本計畫必須開發出一介面，使得影音壓縮硬體能夠將其壓縮過之影音資料透過此介面傳送至我們要開發之系統平台，再透過此系統平台之多重上網途徑，將影音資料藉由網路傳輸出去。在溝通介面的設計上，由於這個介面是專屬於此計畫使用之介面，只有兩個 Master 端，於是，我們不用考慮 Multiplexer 與 Priority 的設計。我們將採用 32-bit 的資料傳輸方式，而資料傳輸的 Handshaking 與一般的 SRAM 存取類似，其 State Chart 如下圖 2 所示。圖 2、溝通介面之 State Chart 由上圖我們可以看出，在資料傳輸上，溝通介面所需要扮演的角色，於是，在溝通介面的設計上，除了 32-bit 的 Data Bus 之外，還需要設計命令傳輸的腳位與一些輔助判斷用的控制訊號腳位，包括 3-bit 之 Command 訊號，2-bit 之 read/write 訊號與 ready 訊號，下圖 3 為溝通介面之示意圖：

圖 3、溝通介面之示意圖

5. 手持裝置 Mobile Phone 之 Java

程式設計： 手機和 PDA 雖然都是行動裝置，但就開發程式的方便性而言，PDA 相對容易許多，在 PDA 中，內部大多裝有強大的 Microsoft 作業系統，微軟也有提供開發環境供我們撰寫程式，但想要在手機上要開發程式就不是件容易的事情了，所幸現在許多手機均支援了執行 Java 的能力，讓我們可以利用昇陽（Sun Microsystems）的 J2ME （Java 2 Platform, Micro Edition）[2]來撰寫有關行動裝置的程式，透過 MIDP （ Mobile Information Device Profile），我們就可以撰寫在手機上的應用程式，並透過相關的介面（如紅外線、USB），就可以把我們寫的程式放到手機上去執行了。下圖 4 表示其 Flow Chart。

(7)

5 圖 4、Flow Chart

我們使用 Sun 公司所出的 WTK （Wireless Tool Kit）[3]來完成我們所要撰寫之 Java 程式的 Build 與 Package。下圖 5 為其執行時之畫面，而下圖 6 為其所提供之手機模擬器，我們可以先在此手機模擬器上完成模擬的動作，藉以瞭解我們的程式是否正確。在測試過程中，由於各加手機大廠，例如：Nokia、Motorola、Sony Ericsson 等，不見得可以完整支援 SUN 的 J2ME，於是我們還會採用手機大廠所出產之模擬器來模擬我們程式的結果。圖 5、WTK 在執行時之畫面圖 6、WTK 之手機模擬器就使用者而言，只要擁有一隻支援 GPRS 及 Java 執行能力的手機，再下載我們所開發的手機監控程式，就可以不受環境時空影響地進行監控了，相當方便。 6. 手持裝置 PDA 之程式設計： 在 PDA 上，我們將利用 Embedded Visual C++[4]撰寫小波轉換影像解壓縮與網路連線程式放入以 Windows CE 為 Operation System 的 PDA，可以讓 PDA 接收 Server 端所傳送出來的監控影像，達到隨時隨地，即時監控之目的。因為在 PDA 上記憶體大小有限， CPU 處理速度也有限，而一般的影像處理都有大量的使用到記憶體的配置，所以我們必須在有限的記憶體下

(8)

撰寫影像解壓縮程式，我們多加了兩個 Buffer 和兩個 Thread 來應付網路可能隨時傳輸不順暢而導致斷線的問題，client 端的其中一個 Thread 負責隨時將 server 端傳送的資料抓下來儲存在記憶體中，並放在兩個不同的 Buffer 裡，另一個 Thread 則負責將 Buffer 裡頭的資料做判讀，釐清何者是檔頭資訊、何者是真正的圖片壓縮內容，並妥善的利用檔頭資訊將資料作解壓縮，而後將圖片 Show 在螢幕上，有了兩個 Buffer 作緩衝、兩個 Thread 各司其職，相互合作，就不容易產生因為抓不到資料而導致當機的問題，也大幅的提高畫面更新頻率。 7. 網頁瀏覽器之 Java Applet 設計： 撰寫 Java Applet 最主要的目的為讓使用者方便的瀏覽環境，本計畫預計使用 Sun Java 來當作開發環境，優點為此 Java Applet 可跨平台，且支援豐富的 Class，體積較小，非常適合網路下載。在網頁的撰寫上也相當方便。

三、研究結果與討論：

本計畫內容主要是利用兼具影像處理與音訊處理之硬體模組，搭配具備多種上網途徑（包含有線及無線）的嵌入式行動通訊控制系統，使得透過硬體處理之影音壓縮資料，可藉由嵌入式系統透過網路即時傳遞至遠端，使用者可透過電腦或是行動通訊裝置（例如：PDA 與 Mobile Phone）獲取即時影像，進而達到家庭監控或是企業監控之功能。下將介紹本計畫執行之成果： 1. 建立嵌入式系統平台： 在本計畫中所需要的嵌入式系統開發平台已確實建立，並將平台成功 Layout 如下圖 7，此開發平台係針對此計畫中所需要的項目逐一設計，其設計重點如下： 溝通介面 嵌入式系統開發平台與影音壓縮硬體實驗板在本計畫設計中為獨立之兩項，故在設計嵌入式系統開發平台時，將溝通介面以插槽的方式預留，使得影音壓縮硬體可直接插入插槽，完成與嵌入式開發平台的連接。 上網介面 在嵌入式開發平台中，我們提供了有線及無線的上網方式，有線的上網方式即為 Ethernet 網路協定，而無線上網的方式我們採用 GPRS 網路協定，我們透過 RS-232 與 GPRS Module 互相連接，並撰寫相對應的驅動程式及應用程式讓系統可透過 GPRS Module 無線上網，增加系統應用性。圖 7、系統平台實際圖 2. 整合行動通訊裝置於監控系統：

(9)

7 手機操作介面介紹： 圖 8、手機介面切換應用程式選單：用以切換手機的待機畫面至應用程式選單，選取我們所要的應用程式。左功能選單鍵：執行畫面上的左功能，可由使用者自行定義。我們定義為開啟選項。右功能選單鍵：執行畫面上的右功能，定義為停止或退出程式。 3D 方向鈕：可以上下移動選擇選項，若按下可當作確定。 手機螢幕顯示介紹： 圖 9、手機螢幕畫面日期顯示：由 GPS 接收 SERVER 當地的日期時間，顯示在圖上位置。地點顯示：接收 GPS 提供的經緯度資訊，由 SERVER 轉為地點資訊送至手機上。左鍵可執行功能：顯示目前按下左鍵後，會執行的功能。右鍵可執行功能：顯示目前按下右鍵後，會執行的功能。 應用程式操作介紹： 以下是簡單操作一次，手機上的 JAVA 監控程式。可以發覺只要按按鈕，就能輕鬆達到功能。圖 10、畫面解說

(10)

圖 11a、畫面解說圖 11b、畫面解說圖 11c、畫面解說

四、計畫成果自評：

本研究計畫之研發成果成功的將嵌入式系統與影音同步壓縮硬體相整合，並且確實完成計畫所有目標，開發出一套結合影像與聲音之遠端無線監控嵌入式系統，本系統可將影音同步壓縮硬體所壓縮之資料串流即時透過無線或有線網路傳送至使用者之行動通訊裝置，可使使用者更即時的獲取系統安裝地點所發生的一舉一動，對於財產保護以及安全控管上提供了最佳的解決方案。本研究計畫部分內容參與許多競賽並獲得佳績，分述如下：佳作 2005 機動車輛創新設計獎銅質獎除了積極參與競賽之外，亦投稿論文至 2005 IEEE Intelligent Vehicles Symposium 國際會議並被接受，也投稿至 IEEE Transaction on Consumer Electronics 國際期刊發表之；同時亦申請台灣與美國專利，其中台灣專利已進入公告期，而美國專利亦申請中，專利申請案號為 92129555。

五、參考文獻

[1] Alessandro Rubini and Jonathan Corbet “Linux Device Driver”, Second Edition, O’Really, June 2001. [2] http://java.sun.com/j2me/ [3] http://java.sun.com/products/j2mew toolkit/download-2_1.html [4] http://msdn.microsoft.com/vstudio/ device/embedded/evcandcenet.aspx