結合影像與聲音之遠端無線監控嵌入式系統

行政院國家科學委員會專題研究計畫 成果報告

結合影像與聲音之遠端無線監控嵌入式系統

計畫類別： 個別型計畫 計畫編號： NSC93-2622-E-009-008-CC3 執行期間： 93 年 05 月 01 日至 94 年 04 月 30 日 執行單位： 國立交通大學電機與控制工程學系(所) 計畫主持人： 吳炳飛 計畫參與人員： 彭信元 報告類型： 精簡報告 處理方式： 本計畫為提升產業技術及人才培育研究計畫，不提供公開查詢

中 華 民 國 94 年 6 月 5 日

行政院國家科學委員會補助專題研究計畫

■ 成 果 報 告

□期中進度報告

結合影像與聲音之遠端無線監控嵌入式系統

計畫類別：■ 個別型計畫 □ 整合型計畫

計畫編號：NSC 93 － 2262 － E － 009 － 008 － CC3

執行期間： 93 年 5 月 1 日至 94 年 4 月 30 日

計畫主持人：吳炳飛 教授

共同主持人：

計畫參與人員：

成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

■涉及專利或其他智慧財產權，□一年■二年後可公開查詢

執行單位：國立交通大學電機與控制工程學系

中 華 民 國 94 年 4 月 30 日

中文摘要：

本計畫為計畫主持人與廠商合作 之產學合作計畫，內容主要是利用廠 商開發之影像處理與音訊處理之硬體 模組，搭配計畫主持人實驗室所研究 開發之具備多種上網途徑（包含有線 及 無 線 ） 的 嵌 入 式 行 動 通 訊 控 制 系 統，使得廠商透過硬體處理之高壓縮 比影音壓縮資料，可藉由本實驗室開 發之嵌入式系統透過網路即時傳遞至 遠端，而使用者可透過行動通訊裝置 （例如：PDA 與 Mobile Phone）或是 電腦獲取即時影像，進而達到隨時隨 地即時監控高畫質影像之目的。 在 內 容 方 面 ， 主 要 分 為 三 個 主 題：(1)嵌入式行動通訊控制系統平台 之建立，(2)溝通介面之開發設計，(3) 手持裝置（Mobile Phone、PDA）之監 控程式設計。其中，相關技術包括嵌 入式作業系統移植、多重上網途徑之 網路程式設計、硬體驅動程式與應用 程式之撰寫、溝通介面時序設計、手 持裝置之 Java 程式設計等技術之開 發。本系統已成功整合影音同步壓縮 硬體、嵌入式行動通訊控制系統與手 持式行動通訊裝置，完成一高效能且 廣 應 用 面 之 智 慧 型 行 動 通 訊 監 控 系 統，可完整彌補市面上之監控系統即 時性不足與成本過高等問題。 關鍵字：嵌入式系統、行動通訊裝置、 雙向溝通界面、監控系統

英文摘要：

This Project is a cooperated project. In this project, an embedded mobile surveillance system with accessing internet in multi-ways will be designed. The audio/video compression hardware which is developed by the company can transmit its data to internet through the embedded system. The users can get the real-time information by the mobile hand-held devices, such as mobile phones and PDAs, or PCs. In order words, the users can monitor the real-time audio and video anywhere and anytime.

The content of the project are separated into three parts: (1) Build an embedded mobile surveillance platform. (2) Design a communication interface between the system and the compression hardware. (3) Develop the surveillance program in mobile hand-held devices. In these parts, the core technology includes porting the embedded operating system, networking programming for accessing internet in multi-ways, developing the drivers and the applications, designing the J2ME program in mobile devices. The system has been successfully integrated the audio/video compression hardware, an embedded surveillance system, and hand-help devices. The final objective of the project is to accomplish an high performance and wide application surveillance system to retrieve the instantaneous ability of the surveillance system at present.

Key words: Embedded system, Hand-held device, Interface, Surveillance system

一、 前言：

近年來，治安頻頻敗壞，無論是 金 融 機 構 、 超 商 或 是 個 人 家 庭 之 搶 案、偷竊案頻傳，甚至連高科技公司 的貴重原物料（庫存）的倉庫也有被 搶的案例，但是，等到廠商自行錄製 或警方提供之歹徒照片公布時，往往 歹徒早已經贓物變賣，遠走高飛，國 內廠商發展數位多通道監視錄影系統 目前遇到許多瓶頸，如即時性不足， 傳播影像途徑不足導致只能安裝在特 定環境等等重大缺陷，本計畫提供了 相當良好的關鍵技術，在沒有有線網 路的環境下，仍然能夠保證監控影像 可準確的傳送給使用者，同時，使用 者也無須 24 小時盯著監控畫面，只要 隨身攜帶行動通訊裝置，就可隨時隨 地掌控最新狀況，對於犯罪防止或是 重要物監控上都有相當大的進步。 本系統將以低成本嵌入式之嵌入 式系統實現，且具備使用行動通訊裝 置進行即時監控之能力，可以讓使用 者不受任何時空的限制，無時無刻、 隨時隨地即時監控，可說是相當前瞻 且重要的技術。

二、 研究目的：

本計畫以一年之時間，完成一以 嵌入式系統搭配影像處理與音訊處理 硬體之智慧型監控系統，此系統具備 可利用行動通訊裝置進行即時監控之 功能，能有效解決目前產業界數位監 控系統之成本問題與功能完整性之補 強。在計畫執行期間已藉由本實驗室 累積之研究能量，完成以下目標。 計畫目的：成功以具備多重上網 途徑之嵌入式系統與廠商之影音壓縮 硬體搭配，並整合行動通訊裝置，完 成一低成本、高效能且廣應用性之數 位監控系統。 我們針對廠商所擁有之影音壓縮 硬體，開發出一溝通介面，使本實驗 室所開發之嵌入式系統與廠商之影音 壓縮硬體可以透過此介面快速且正確 的傳輸資料，如此一來，透過影音壓 縮硬體所壓縮之資料就可以透過溝通 介面快速地輸入至嵌入式系統，而嵌 入式系統則可以立即透過網路將資料 傳 播 給 使 用 者 ， 達 到 即 時 監 控 之 目 的。圖 1 為其架構圖。 圖 1、系統架構圖

三、 研究方法：

本計畫整合廠商所擁有之影音處 理硬體與本實驗室所開發之嵌入式系 統、行動通訊裝置完成一智慧型影像 壓縮監控系統之開發，在科技發展如 此快速的年代，藉由技術的整合進而 提供人類更高品質的生活，這應是新 一代科技人才的使命。 我們以低成本之嵌入式系統整合 1

影音處理硬體技術，搭配便利的行動 通訊裝置，實現人人皆可隨時隨地即 時監控之理想，相關研究方法敘述如 下： 1. 系統平台之建立： 本 計 畫 中 之 嵌 入 式 系 統 係 以 一 Evaluation Board 為主要架構，其採用 的處理器是以 ARM 為基礎之處理 器，並整合高品質、高速度之影音壓 縮硬體、Storage、RS-232 介面、GSM 模組、以及其他控制訊號，藉由整合 這些技術來完成智慧型監控系統。 從上面的介紹說明本系統需要多 項軟、硬體的技術搭配，包含有硬體 的設計、軟體的撰寫、系統的整合。 除此之外，要整合上面所有的流程步 驟，必須有作業系統，有了作業系統 本系統才可以順利驅動 TCP/IP 功能和 加入驅動程式。 嵌入式作業系統移植是本系統的 主要特色也是非常繁重的工作，本計 畫之作業系統採用 Linux 為基礎。 Linux 在發展的時候就已經考慮到支 援多種平台的可能性，所以它原始碼 的編排也就分為 Hardware Dependent 和 Hardware Independent 的部分，所以 基本上要 Porting 的話，一些跟平台相 關的組語和 C 語言碼要改，而不依賴 平台的 C 語言碼是不用改的。作業系 統移植技術包含有開機步驟、中斷、 記憶體使用、執行函式庫、系統工具 等的規劃與架設，且作業系統還必須 能 夠 正 確 掌 控 所 有 週 邊 硬 體 。 Embedded OS 又有個別名叫作 BIOS OS。主要的原因是因為我們的 OS size 很 小 ， 直 接 燒 錄 在 我 們 所 要 整 合 的 Storage 裡就可以。這樣的做法可以減

少成本，一般 Embedded Linux Kernel 的 size 為 500KB~600KB，這個同時也 是我們追求的目標[4]。 2. 驅動程式 驅動程式可視為夾在應用程式與 實際硬體裝置之間的軟體層，對硬體 裝置的使用享有特權，也就是說，驅 動程式能讓應用程式設計者撰寫應用 程式時無須面對硬體裝置。因為作業 系統移植屬於硬體相關（hardware dependent）的技術，不同的硬體使用 規劃，必須適切的改變驅動程式。所 以為了讓本系統能夠使用周邊設備， 我們必須加入 Wireless LAN、Compact Flash 與 Linux UART 的驅動程式，除 此之外，為了能夠與廠商所提供之硬 體互相配合，也要加入外部中斷 （External Interrupt）的驅動程式。

External Interrupt Driver

為了能夠更有效率的與硬體互相 溝通，本實驗室之嵌入式系統必須具 備外部中斷的能力，在 Linux 系統中， 如果需要用到外部中斷，則需要撰寫 驅動程式，當外部中斷發生的時候， 驅動程式會主動將 Program Counter 跳 至中斷副程式，執行發生中斷時應該 做的資料傳輸動作。 UART UART 是非常常見的 I/O 介面，通 常用在慢速週邊或者做命令傳輸的工 作。我們系統的 UART 是以 RS232 為 標準的傳輸 protocol。這部份主要是依 照 RS232 傳輸規格，並下達命令控制 GSM 模組。

Compact Flash Card Driver

為了能讓系統有一個儲存媒介， 我們選擇了 Compact Flash Card，而為 了能讓 Linux 能夠存取 Compact Flash Card，自然要寫驅動程式，對 Linux 而言，Compact Flash Card 就是系統的

硬碟機。 驅動程式分為區塊式驅動程式和 字元式驅動程式，由於 Compact flash 一次讀取的是 512 bytes 為一個 sector，因此要寫一個區塊驅動程式， 其後加入 FAT 的支援，讓系統可以很 快的就抓到 Compact Flash 的 Partition table，並辨識出有一個 FAT 16 的檔案 系統存在，而且可讀可寫。 3. 應用程式 本系統的應用程式，分別是 GSM 模組控制程式以及影像傳輸程式等 等。在網路應用程式方面，如：SMTP Client、FTP Server、Web Server 等，以 下將分項說明。 GSM模組控制程式 此應用程式對 GSM 模組下命 令，如接收遠端傳來的簡訊命令、撥 打電話、透過 GPRS 撥接上網等等。 我們將採用可以接收 AT Commands 的 GSM Module，並利用 AT Commands 來完成四個主要的功 能：1. 撥打電話、2. 傳送簡訊、3. 接 收簡訊與 4. 連接上 GPRS。我們將利 用下表 1 所列的 AT Commands 與這些 AT Commands 所代表的功用來完成本 系統的一些主要的行動通訊特色。 表 1、AT Commands 與其功用 AT Commands Functionality AT + CMGL = ALL

List all message

AT + CMGD = [num] Delete [num] message AT + CGDCONT Set internet condition

AT + CGREQ Set environment of communication AT + CGACT GPRS active

ATDT*99***1# Dial a phone number

為了讓使用者能夠更有效，且更 方便的控制與設定系統，除了透過網 路來設定與控制系統之外，我們的系 統也提供使用者直接利用手機傳送簡 訊的方式來設定與控制系統，下表 2 為傳送簡訊時之命令、格式與其所代 表之功能。 表 2、簡訊之命令、格式與其所代表之 功能 Commands Functionality S[num] 拍[num]張照片，並傳送 至手機 C[num] 拍攝[num]秒之影片，並 傳送至手機 P[num] 設定使用者之手機號碼 為[num]號 E[address] 設定使用者之 Email Address 為[address] R[num] 設定系統所拍攝之影像 解析度， [1] VGA (640x480) [2] QVGA (320x240) [3] CIF (352x288) [4] QCIF (176x144) 4. 溝通介面之開發與設計： 在本計畫中，有一很重要的部分 就是溝通介面之開發與設計，本計畫 必須開發出一介面，使得廠商所擁有 之影音壓縮硬體能夠將其壓縮過之影 音資料透過此介面傳送至我們要開發 之系統平台，再透過此系統平台之多 重上網途徑，將影音資料藉由網路傳 輸出去。 在溝通介面的設計上，由於這個 介面是專屬於此計畫使用之介面，只 有兩個 Master 端，於是，我們不用考 慮 Multiplexer 與 Priority 的設計。我們 將採用 32-bit 的資料傳輸方式，而資料 傳輸的 Handshaking 與一般的 SRAM 存取類似，其 State Chart 如下圖 2 所 示。 3

圖 2、溝通介面之 State Chart 由上圖我們可以看出，在資料傳 輸上，溝通介面所需要扮演的角色， 於 是 ， 在 溝 通 介 面 的 設 計 上 ， 除 了 32-bit 的 Data Bus 之外，還需要設計命 令傳輸的腳位與一些輔助判斷用的控 制訊號腳位，包括 3-bit 之 Command 訊號，2-bit 之 read/write 訊號與 ready 訊號，下圖 3 為溝通介面之示意圖： 圖 3、溝通介面之示意圖 5. 手持裝置Mobile Phone之Java程 式設計： 手機和 PDA 雖然都是行動裝置， 但就開發程式的方便性而言，PDA 相 對容易許多，在 PDA 中，內部大多裝 有強大的 Microsoft 作業系統，微軟也 有提供開發環境供我們撰寫程式，但 想要在手機上要開發程式就不是件容 易的事情了，所幸現在許多手機均支 援了執行 Java 的能力，讓我們可以利 用昇陽（Sun Microsystems）的 J2ME （Java 2 Platform, Micro Edition）[5]來

撰寫有關行動裝置的程式，透過 MIDP （ Mobile Information Device Profile），我們就可以撰寫在手機上的 應用程式，並透過相關的介面（如紅 外線、USB），就可以把我們寫的程式 放到手機上去執行了。 在 Java 程式的設計方面，由於 J2ME 的 API 並不像我們一般使用的 J2SE （ Java 2 Platform, Standard Edition ） 如 此 完 整 ， 我 們 必 須 熟 悉 J2ME 所支援的 API，才能夠完整的開 發出適合手機上執行的 Java 應用程 式。我們將利用 J2ME 所提供的 socket API 來完成 Server 與手機網路連線的 程式，同時，由於手機之 CPU 與記憶 體遠少於一般桌上型電腦，於是我們 無法撰寫一般的軟體程式來完成影像 Decode 的動作，我們必需使用手機內 部 已 經 支 援 的 JPEG[6] 與 MPEG-4 Decode 硬體，如此一來，才不會因為 手機的計算能力有限而導致畫面的嚴 重延遲。 另 外 ， 手 機 端 在 下 載 影 音 資 料 時，由於不知道 Server 端是否已經將 壓縮好之影音資料準備好，往往導致 手 機 端 下 載 到 的 是 不 完 整 的 影 音 資 料，使手機端的程式無法正確的將影 音資料解壓縮而造成使用者之重要資 訊流失的嚴重結果。為了避免這種錯 誤，我們採用 Server-Push 的方式，來 傳送 Server 端已經完整壓縮完成的影 音資料。Server-Push 方法是指在 Server 與 Client 已經完成連線後，先不要讓 Client 直接要求 Server 端傳送影音資 料，而是使 Client 端先 Standby 並保持 連線狀態，在 Server 端已經確定將影 音資料準備好後，在透過 Socket 傳送 封包的方式將 Server 端之影音資料正

確傳送至 Client 端，而 Client 端在接收 到 影 音 資 料 後 ， 即 可 以 正 確 的 將 其 Decode 。 如 此 一 來 ， 則 不 會 有 由 於 Server 端尚未準備好而出現錯誤的情 況，下圖 4 表示 Java Program 之 State Chart，而下圖 5 表示其 Flow Chart。

圖 4、State Chart

圖 5、Flow Chart

我們使用 Sun 公司所出的 WTK （Wireless Tool Kit）[7]來完成我們所 要 撰 寫 之 Java 程 式 的 Build 與 Package。下圖 6 為其執行時之畫面， 我們可以先在此手機模擬器上完成模 擬的動作，藉以瞭解我們的程式是否 正確。 圖 6、WTK 在執行時之畫面 就使用者而言，只要擁有一隻支 援 GPRS 及 Java 執行能力的手機，再 下載我們所開發的手機監控程式，就 可 以 不 受 環 境 時 空 影 響 地 進 行 監 控 了，相當方便。

四、 研究結果與討論：

本計畫內容主要是利用廠商開發 之影像處理與音訊處理之硬體模組， 搭配計畫主持人實驗室所研究開發之 具備多種上網途徑（包含有線及無線） 的嵌入式行動通訊控制系統，使得廠 商透過硬體處理之影音壓縮資料，可 藉由本實驗室開發之嵌入式系統透過 網路即時傳遞至遠端，使用者可透過 電腦或是行動通訊裝置（例如：PDA 與 Mobile Phone）獲取即時影像，進而 達到家庭監控或是企業監控之功能。 在本計畫執行期間內，預期完成 的工作項目均已確實 100%完成， 底 下將介紹本計畫執行之成果： 1. 建立嵌入式系統平台： 在本計畫中所需要的嵌入式系統 開發平台已確實建立，並將平台成功 Layout 如下圖 7，此開發平台係針對此 5

計畫中所需要的項目逐一設計，分述 如下： RISC 我 們 利 用 Samsung[8] S3C4510B[9]為 RISC 用以控管整個平 台硬體的運作，並成功移植與此 RISC 相對應的 uClinux 嵌入式作業系統，除 此 之 外 ， 對 於 其 他 硬 體 週 邊 ， 如 Ethernet、RS232、GPRS Module 與可 呼叫廠商硬體運作之驅動程式也都撰 寫完成。 Boot ROM 我們採用與 AMD AM29F040 相 容的 ROM 來存放包含 Boot Loader、 Linux Kernel、Device Driver 與所有相 關的 Applications，在系統開機之後， RISC 會從 Boot ROM 將這些資料讀 出，放入系統的 SDRAM 中，在放置 完成之後，剉千便會從 SDRAM 執行 相關程式，及完成開機過程。 溝通介面 嵌入式系統開發平台與廠商開發 之影音壓縮硬體實驗板在本計畫設計 中為獨立之兩項，故在設計嵌入式系 統開發平台時，將溝通介面以插槽的 方式預留，廠商所開發之影音壓縮硬 體可直接插入插槽，完成與嵌入式開 發平台的連接。 上網介面 在嵌入式開發平台中，我們提供 了有線及無線的上網方式，有線的上 網方式即為 Ethernet 網路協定，而無線 上網的方式我們採用 GPRS 網路協 定，我們透過 RS-232 與 GPRS Module 互相連接，並撰寫相對應的驅動程式 及 應 用 程 式 讓 系 統 可 透 過 GPRS Module 無線上網，增加系統應用性。 圖 7、系統平台實際圖 2. 整合行動通訊裝置於監控系統： 在行動裝置上應用程式的使用者 圖形介面，以下詳細介紹在手機上的 操作方法。 手機操作介面介紹： 圖 8、手機介面 切換應用程式選單 ： 用以切換手機的待機畫面至應用程式 選單，選取我們所要的應用程式。 左功能選單鍵 ： 執行畫面上的左功能，可由使用者自 行定義。我們定義為開啟選項。 右功能選單鍵 ： 執行畫面上的右功能，定義為停止或

退出程式。 3D 方向鈕 ： 可以上下移動選擇選項，若按下可當 作確定。 手機螢幕顯示介紹： 圖 9、手機螢幕畫面 日期顯示 ： 由 GPS 接收 SERVER 當地的日期時 間，顯示在圖上位置。 地點顯示 ： 接 收 GPS 提 供 的 經 緯 度 資 訊 ， 由 SERVER 轉為地點資訊送至手機上。 左鍵可執行功能 ： 顯示目前按下左鍵後，會執行的功能。 右鍵可執行功能 ： 顯示目前按下右鍵後，會執行的功能。 應用程式操作介紹： 以下是簡單操作一次，手機上的 JAVA 監控程式。可以發覺只要按按 鈕，就能輕鬆達到功能。 圖 10、畫面解說 圖 11a、畫面解說 圖 11b、畫面解說 圖 11c、畫面解說 7

五、 計畫成果自評：

本研究計畫之研發成果成功的將 嵌入式系統與影音同步壓縮硬體相整 合，並且確實完成計畫所有目標，開 發出一套結合影像與聲音之遠端無線 監控嵌入式系統，本系統可將影音同 步壓縮硬體所壓縮之資料串流即時透 過無線或有線網路傳送至使用者之行 動通訊裝置，可使使用者更即時的獲 取系統安裝地點所發生的一舉一動， 對於財產保護以及安全控管上提供了 最佳的解決方案。 本研究計畫部分內容參與許多競 賽並獲得佳績，分述如下： 第四屆旺宏金矽獎應用組優等獎 92 學年度教育部嵌入式軟體設計 競賽 佳作 第 五 屆 台 灣 工 業 銀 行 創 業 大 賽 佳作 2005 第一屆機動車輛創新設計獎 銅質獎 除了積極參與競賽之外，亦投稿

論文至2005 IEEE Intelligent Vehicles

Symposium 國際會議並被接受，也投

稿至 IEEE Transaction on Consumer

Electronics國際期刊發表之；同時亦獲 交通大學研發處協助申請台灣與美國 發明專利。台灣專利案號 92129555 已 獲同意且公告中。證書號:1233066。

六、 參考文獻

[1] http://www.ieee802.org/3/ [2] http://grouper.ieee.org/groups/802/1 1/ [3] http://www.gsmworld.com/technolo gy/gprs/index.shtml

[4] Alessandro Rubini and Jonathan Corbet “Linux Device Driver”, Second Edition, O’Really, June 2001. [5] http://java.sun.com/j2me/ [6] http://www.jpeg.org/ [7] http://java.sun.com/products/j2mew toolkit/download-2_1.html [8] Samsung Electronic, http://www.samsungsemi.com/ [9] Samsung Electronic, “S3C4510B High Performance Network Controller Specification”, Oct. 2001.