夜間自走車安全巡邏

國立

交

通

大

學

資訊學院 資訊學程

碩

士

論

文

夜

間

自

走

車

安

全

巡

邏

Nighttime Security Patrolling Based On

Autonomous Mobile Robot

研 究 生：葉宗鑫

指導教授：莊仁輝 教授

夜間自走車安全巡邏

Nighttime Security Patrolling Based On Autonomous Mobile Robot

研 究 生：葉宗鑫 Student：Tsung-Hsin Yeh

指導教授：莊仁輝 Advisor：Jen-Hui Chuang

國 立 交 通 大 學

資訊學院 資訊學程

碩 士 論 文

A Thesis

Submitted to College of Computer Science National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master of science

in

Computer Science June 2010

Hsinchu, Taiwan, Republic of China

夜間自走車安全巡邏

學生：葉宗鑫 指導教授：莊 仁 輝 博士

國立交通大學

資訊學院 資訊學程碩士班

摘 要

本論文研究主要是建構一種強調夜間監控的自走車裝備系統，不僅只日間使 用。在實作中使用備有近紅外線照明的監控攝影機，再將其裝置在自走車上，它 可依使用者的需求自由行走，以避免傳統監控的攝影死角，可預設定時間監控巡 邏外，並透過無線傳輸的方式，使其具備遠端操控的功能，也增進系統的便利性。 此種有別於傳統的監控系統既實用又簡便，使用者只需在遠端先針對要監控的物 品，去設定自走車移動的路徑，並圈選物品的範圍大小，並依據物品外觀變化及 灰階分佈情形，去判斷物品的安全與否。因此，本論文採用Snake Algorithm

( Active Contour Model ) 先去取得監控物品輪廓及灰階直方圖，再以 Hausdorff Distance 及 Histogram Intersection 為判斷方式，最後經由實驗結果證實其可行性 及正確性。

Nighttime Security Patrolling Based On

Autonomous Mobile Robot

Student：Tsung-Hsin Yeh Advisor：Dr. Jen-Hui Chuang

Degree Program of Computer Science

National Chiao Tung University

ABSTRACT

The main purpose of this thesis is to build a mobile robot system for the nighttime surveillance, which can also be used in the daytime. The system uses an IR camera and wireless device to make the mobile robot move unrestrictedly and can navigate at night at scheduled time. Through the wireless device, the remote control makes the system more convenient to use. Different from traditional surveillance system, users only need to set up the route for the mobile robot once by leading the robot toward the monitored object. For an object selected to be monitored, the system will record its contour and gray histogram as object features for object matching during the security patrolling. In this thesis, we estimate the contour of the object by Snake Algorithm ( Active Contour Model ), and with the gray histogram,do the judgment by using Hausdorff Distance and Histogram Intersection. The results of the experiment show the system is feasible can work satisfactorily.

致謝

  在這三年工作及讀書的日子，要感謝的人實在是太多了。首先要感謝指導教 授莊仁輝老師，感謝老師對論文上的指導及研究上的協助，讓我更了解研究學 問，所該抱執的態度及研究方法。感謝三位口試委員：顏嗣鈞教授、賴飛羆教授、 楊谷洋教授，百忙之中抽空前來，教授們口試時所提的寶貴意見，讓本論文更加 完善。 感謝實驗室的學長及學弟妹們的幫忙，當然更要感謝我的同學(同事)文治， 這三年來共同努力的日子，一同討論課業及論文研究。感謝部門主管曹凱翔先 生，能讓我有機會重拾課本回學校進修的機會，當然也要感謝同事們分擔我的工 作，讓我晚上有時間去上課。感謝求學過程中曾經幫助我的所有人。 最後我要感謝家人的支持，讓我能專心完成學業，感謝我在天上的父母，感 謝你們的養育之恩，不能與你們分享這份成果，是我心中最大的遺憾。

目錄

中文摘要...II 英文摘要...III 致謝...IV 目錄...V 圖目錄...VI 表目錄...VIII 第一章 緒論...1 1.1 動機與背景...1 1.2 相關研究...2 1.3 系統運作流程介紹...3 1.4 各章簡介...3 第二章 系統架構與系統流程...4 2.1 系統架構...4 2.2 系統運作流程...7 第三章 系統前置學習階段...11 3.1 路徑資訊記錄方式...11 3.2 影像前處理...13         3.3 監控物選取範圍...14 3.4 物品特徵資訊...18 第四章 安全巡邏階段...23 4.1 監控物選取範範修正…...23 4.2 監控物判斷失竊的流程...25 4.2.1 Hausdorff Distance...28 4.2.2 Hausdorff Distance 改善...29 4.2.3 Histogram Intersection 定義...32 4.2.4 自走車偏差校正...34 第五章 實驗結果...38 第六章 結論與未來展望...45 參考文獻...46 附錄一…...48

圖目錄

圖1.1 系統運作流程。...3

圖2.1 自走車硬體架設。...5

圖2.2 Pioneer P3-DX 外觀及內部座標系統。…………...5

圖2.3 AXIS 213 PTZ Network Camera 外觀。……...6

圖2.4 可見光影像與近紅外線影像。……….……….…………...7 圖2.5 前置學習階段流程圖。………...8 圖2.6 安全巡邏階段流程圖。………...10 圖3.1 監控環境及節點記錄位置。………...12 圖3.2 影像前處理。………...13 圖3.3 影像二值化結果。………...14 圖3.4 先後執行侵蝕( Erosion )及擴張( Dilation )之運算過程...15 圖3.5 執行浸蝕及擴張差異...15 圖3.6 二值化影像投影結果及邊界範圍。………...16 圖3.7 上升緣定義範例。………...17 圖3.8 自動選取範圍結果。...18 圖3.9 記錄選擇範圍灰階直方圖。…...18 圖3.10 Snake Algorithm 概念。……...19 圖3.11 Econt連貫性能量大小相異之兩組輪廓點位置。…...19 圖3.12 Ecurv曲度能量大小相異之兩組輪廓點位置。…...20 圖3.13 Sobel 運算後影像差異。……...20 圖3.14 Espring束縛能量大小相異之兩組輪廓點位置。…...21 圖3.15 Snake Algorithm 輪廓點搜尋範圍。……...22 圖3.16 Snake Algorithm 實作結果。……...22 圖4.1 監控物與光暈重疊現象。…...23 圖4.2 範圍修正流程圖。...24 圖4.3 範圍修正方式。...26 圖4.4 監控物安全判斷失竊流程圖。………...27 圖4.5 物品遭偷竊投影結果。...27 圖4.6 Hausdorff Distance 範例。……...29 圖4.7 輪廓左右偏移處理方式。……...30 圖4.8 輪廓放大及縮小差異。……...31 圖4.9 影像選取範圍差異。...34 圖4.10 偏差估計示意圖。………….……..………...35 圖4.11 偏差校正流程圖。………….………...37 圖5.1 實驗使用之監控物品。………...38 圖5.2 自走車監控時位置。………...38

圖5.3 系統操作介面。………...39 圖5.4 實驗監控環境位置圖。………...39 圖5.5 第一種狀況將監控物移除，判斷失竊結果。...40 圖5.6 第二種狀況物品不移除，判斷安全結果。…...41 圖5.7 第三種狀況將兩物品交換，判斷失竊結果。……...42 圖5.8 亮度變化造成誤判失竊。………...43 圖5.9 影像亮度不同其 Histogram Intersection 差異性。…...43 圖5.10 自走車偏移過大，造成監控物在可視範圍外。...44 圖5.11 交換實驗如用其它物品，仍有可能發生誤判。………...44 圖A 自走車安置方式。………...49 圖B 自走車量測方式。………...49

表目錄

表1 AXIS 213 PTZ Network Camera 規格表。... ...6

表2 記錄節點各欄位內容。...12 表3 影像判斷實例。...28 表4 輪廓左右偏差，經對齊中心點處理後 Hausdorff Distance 之差異。...30 表5 輪廓倍率差異，經對齊中心點 Hausdorff Std Distance 之差異。...32 表6 影像經 Histogram Intersection 比較之差異。...34 表7 偏差預估範例。...36 表8 實驗狀況及結果。...42 表A 自走車偏差量測試結果。...50

第一章 緒論

1.1 動機與背景 在這科技日新月異的年代，推陳出新的科技產品已深入人們的日常生活，例 如手機的發展，已經從傳統電話只能在家接聽，演變到可不受地點限制與人溝 通；數位相機的發展，從需安裝底片拍攝，也演變到可用記憶卡儲存，且能即時 預覽影像。而智慧型機器人的研究，至今也有數十年之久，傳統智慧型機器人的 研究，著重於軍事等特殊工業，以機器取代人們從事危險的工作，而目前智慧型 機器人的研究，則大多是以改善人們居家生活為主，如居家看護、行車導航、安 全巡邏等應用。 本論文研究是源自於以上智慧型機器人的研發構想，並將其運用於安全監控 系統的開發上，以改善傳統監控系統的三大限制： 一、成本高，架設費時： 在傳統的監控系統中，往往必須安裝大量的監控攝影機於各特定重要位 置，並架設大量的線路及監視螢幕於監控中心，以維持整個系統完整性。在 架設的過程中，需要大量的人力及物力，其所需花費的時間及成本相當龐大。 二、人員監控不易： 在完成系統的架構後，仍需花費足夠的保全人力，去監控各螢幕的顯示 狀況，並經保全人員，不斷地緊盯各螢幕畫面，並判斷環境是否異常。但如 此固定及頻繁的動作，對保全人員眼力及體力是相當大的負擔，難免會有所 閃失，錯過發生環境異常的情形。 三、機動性不足： 在夜間的環境中，往往需要利用探照燈裝置，來補償夜間亮度不足的問 題。當有異常發生，保全人員仍需親自前往該地點巡邏，以確認其環境安 全與否。

基於改善傳統監控方式的缺點，我們成功架設一台由遠端電腦控制的夜間自 走車監控裝置，並輔以無線傳輸，使其使用方式不受距離的限制。而自走車上監 控攝影機具備近紅外線照明及感測裝置，可於夜間機動巡邏監控。

1.2 相關研究

影像識別中常見的三種影像特徵分類方式包括：一、形狀 ( Shape ) 二、顏 色 ( Color ) 三、紋理 ( Texture ) 。以形狀識別為例 [ 1 ] 以 Hausdorff Distance

做為影像比對方法，Hausdorff Distance 方式主要是求兩物品輪廓最大差異距離，

該篇文獻以黑白影像作為比較，以期望物品輪廓為依據，並算出整張影像中 Hausdorff Distance 值最小的區塊，而該區塊即為物品所在位置。 [ 2 ] 同樣是以 Hausdorff Distance 為比較方式，但不以整個輪廓線條比較，而是以 Dynamic Two Strip Algorithm ( Dys2S ) 取出線條轉折處作為比較點，只以轉折點比較減少比較 次數。 [ 3 ] 則是加入旋轉角度及基因演算法提高其形狀比較準確度。在顏色識 別方面 [ 4 ] 提出 Histogram Intersection 方法，以 Color Histogram 判斷出其相似 度，對於旋轉及位移影像，該方式仍有較佳識別能力。在紋理識別方面 [ 5 ]以 紋理及顏色進行識別，其紋理識別方法，是取出整張影像亮度資訊，以2 × 2 遮 罩及門檻值算出該遮罩中二進值，將遮罩中二進值由左上至右下排列，代表一組 格雷碼值並將其轉換成十進值，依此方式求出整張影像十進值編碼，而經由此方 式得到整張影像編碼值，即代表該影像紋理資訊，當有新影像需比較，只需比較 兩張影像紋理資訊即可判斷相似與否。 本論文採用形狀及顏色二種影像特徵，做為識別依據。而未以紋理作為識別 方法，是因為夜間中雜訊多及景物較不明顯，很難得到一筆足以識別的紋理資 訊。形狀識別中，輪廓特徵點的取得採用 [ 6 ]提出的 Snake Algorithm ( Active Contour Module ) ，其基本原理為依據能量平衡條件，經由內縮能量及外擴能 量，找到能量最小值平衡點，而此時取樣點位置，即為物體輪廓，並參考其它相 關演化改良方式 [ 7 – 11 ] ，得到適用我們 Snake Algorithm，詳細內容將在第三

章說明。形狀識別及顏色的識別分別採用Hausdorff distance 及 Histogram Intersection 方式，並修改部份參數及定義，以符合本論文使用，詳細內容在第四 章中說明。 1.3 系統運作流程介紹 本論文目的為建立『全自動夜間監控系統』，使用前需經前置學習階段，該 階段記錄了路徑與物品特徵等兩種資訊，並儲存於系統資料庫中。而在安全巡邏 階段中，當巡邏時間到達，則執行安全巡邏，系統將依資料庫裏路徑資訊移動自 走車，並依物品特徵資訊分析物品安全性，圖1.1 為系統運作流程。 圖 1.1 系統運作流程。 1.4 各章簡介 本論文共分成六章，第二章我們將介紹裝置構成的元件及監控流程，第三章 我們將介紹前置學習階段，系統如何取得資料庫所需特徵資訊。第四章我們將介 紹安全巡邏時，判斷監控物品失竊與否的方式，第五章我們將呈現實驗結果，第 六章則說明未來的研究方向。 安全巡邏 路徑資訊 特徵資訊 進入安全巡邏階段 等待巡邏時間到達 前置學習階段 (取得路徑及物 品特徵資訊)

第二章 系統架構與系統流程

在本章中，我們將介紹所使用夜間自走車監控系統所需的各元件設備及其佈 線方式。由於本論文著重於夜間監控的功能，因此在選用監控攝影機方面，選用 具備有接收近紅外線感測能力的感測元件以及具備發出近紅線光源能力的發光 元件。而在自走車方面，則提供基本的方向控制及自走車內部座標的能力。由於 該夜間自走車監控系統加入無線裝置，提供遠端無線監控的功能，使監控攝影機 及自走車，具備遠端顯示及遠端控制能力。其元件設備及硬體架構，於2.1 節會 有詳細的說明。在硬體架構的介紹後，有關於如何於前置學習階段，取得路徑與 物品特徵兩種資訊之學習流程，則將於2.2 章節會有詳細的說明。 2.1 系統架構 本論文以一台筆記型電腦 ( NoteBook ) 或個人電腦 ( PC ) 做為遠端監控 主機，該主機記錄路徑資訊及物品特徵資訊，當巡邏時間到達，遠端監控主機可 立即操控自走車，移動到所需監控物品的位置前。自走車硬體架設，如圖2.1 所 示，分為一、自走車裝置：提供移動能力；二、監控攝影裝置：提供即時影像； 三、無線網路基地台 ( Access Point ) ：提供無線傳輸環境，使遠端監控主機能 透過無線網路，取得監控攝影裝置的影像畫面並控制自走車移動；四、電源裝置： 提供監控攝影裝置及無線網路基地台所需電源。

( a ) 自走車設備示意圖 ( b ) 實際架設之自走車 ( 側視圖 ) ( c ) 實際架設之自走車 ( 斜視圖 ) 圖2.1 自走車硬體架設。 一、自走車裝置： 在自走車裝置方面，我們選用Pioneer P3-DX 如圖 2.2 ( a ) ，該自走車具備 方向控制能力、內部座標系統及網路功能。內部座標將車子前後定義為xm軸， 左右定義為ym軸，角度為逆時針方向遞增，電源啟動後起始點在內部座標位置 ( xm , ym, θm ) 的值被設定為 ( 0 , 0 , 0°) ，圖 2.2 ( b ) 為自走車內部座標系統。 ( a ) Pioneer P3-DX 外觀 ( b ) 內部座標系統 圖2.2 Pioneer P3-DX 外觀及內部座標系統。 攝影機 無線基 地台 電源 裝置 網路線 自走車 電源線 攝影機 攝影機 電源裝置 電源裝置 無線基地台 無線基地台 自走車 自走車

二、監控攝影裝置：

在監控攝影裝置方面，我們選用了AXIS 213 PTZ Network Camera 產品，在

於該監控攝影裝置同時具備近紅外光源及近紅外感測能力，且擁有網路傳輸的 功能，其外觀如圖2.3 所示。產品規格表如表 1 所示，其紅外線投射距離為 3 公尺、水平視野為42°。圖 2.4 為實拍可見光影像及近紅外線影像，從影像中可 以觀察到日間影像遠比夜間的清楚，而夜間影像中在近紅外線照射下，影像成 現中間較亮而邊緣較暗特性。另外，由於可見光波長及近紅線波長不同，物品 對不同波長有不同的折射能力，造成有些顏色可在日間看到但到了夜間確無法 看到，如圖2.4 小熊維尼布偶衣服及衣服上文字。

圖2.3 AXIS 213 PTZ Network Camera 外觀。 表1 AXIS 213 PTZ Network Camera 規格表。

( a ) 可見光影像 ( b ) 近紅外線影像 圖2.4 可見光影像與近紅外線影像。 三、無線網路基地台 ( Access Point ) ： 在無線網路基地台方面，我們選用Planex BLW-54PM 做為無線傳輸的界面， 讓遠端監控主機，以無線方式控制自走車移動，並取得攝影裝置影像、自走車 座標位置及控制自走車移動。 四、電源裝置： 在電源裝置方面，我們選用Werker WKA12-7.5F 12V 電池，其目的為提供 攝影裝置及無線基地台所需電源。 2.2 系統運作流程 本論文之夜間自走車安全巡邏，其系統運作流程如圖1.1 所示，本節將分別 針對前置學習階段及安全巡邏階段，再詳細介紹其內部流程。 前置學習階段： 前置學習階段流程圖如2.5 所示，首先需人工操控自走車到監控物前，其行 走過程中的位置即構成路徑資訊，而被記錄於資料庫中。當到達監控物前並拍 照，系統會自動選取監控物範圍，如範圍有錯則仍需使用者調整，之後該範圍灰

階直方圖將記錄於資料庫。使用者確定選取範圍後，以Sanke Algorithm 取得物 品輪廓點，而輪廓點資訊亦記錄於資料庫中。因此自走車移動到監控物所需移動 的位置構成路徑資訊，監控物的灰階直方圖及輪廓點構成了物品特徵資訊。參考 圖1.1，當學習完所需監控物的路徑資訊及物品特徵資訊，則可啟動安全監控。 圖2.5 前置學習階段流程圖。 是 是 否 開始前置學習階段 操控自走車方向 (記錄路徑資訊) 是否已到 監控物前? 自動選取監控物範圍 (記錄灰階直方圖資訊) 執行Snakes Algorithm (記錄輪廓點資訊) 是否還有需要 的監控物? 完成前置學習 否 拍照

安全巡邏階段： 安全巡邏階段流程圖如圖2.6 所示，首先依資料庫中路徑資訊，控制自走車 移動到監控物前，等待自動對焦完成並執行拍照的動作，接著系統自動選取監控 物範圍，當選取範圍之面積大約等於零，則表示失竊，大於零則取出目前監控物 灰階直方圖資訊，並依選取範圍取得目前監控物輪廓點資訊。本系統判斷方式則 依照灰階直方圖資訊及物品輪廓點資訊，分析資料庫中的學習資訊與目前資訊相 似程度，經由系統判斷其安全與否，其判斷方式將於第四章詳細說明。當完成全 部監控物巡邏後，系統會移動自走車到起始位置，並等待下一次巡邏時間到達， 再次執行安全巡邏。

圖2.6 安全巡邏階段流程圖。 是 否 否 是 是 否 否 是 依資料庫中路徑資訊 行走 開始安全巡邏階段 是否已到監控 物前? 拍照 自動選取監控物範圍 執行 Snake Algorithm (取得目前輪廓點資訊) 系統判斷監控物 是否安全? 顯示失竊資訊 顯示安全資訊 是否為最後 監控物品? 完成安全巡邏 並移動到起始位置 (取得目前灰階直方圖資訊) 選取範圍寛及高 大於零?

第三章 系統前置學習階段

在使用夜間自走車監控系統前，我們必須提供路徑資訊給系統資料庫，讓系 統知道如何移動自走車到監控物前，而之後當安全巡邏階段，系統才能依循先前 所學的路徑資訊去移動自走車。本章將介紹如何以手動方式提供資訊給資料庫， 相關資訊包含：一、路徑資訊、二、物品特徵資訊。路徑資訊主要是提供下次移 動方向及需停止位置，資料庫中記錄方式將於3.1 節說明；由於在夜間雜訊較多， 容易造成取得輪廓之失真，因此必須經適當濾波做影像前處理，其處理方式將於 3.2 節中說明。因為自走車本身的偏差，在對應監控物的位置時，自然會產生偏 移的現象，因此本論文提供一自動圈選監控物方法，並將於3.3 節中說明。物品 特徵資訊是包含灰階直方圖資訊及輪廓點資訊，而輪廓點資訊取得所採用的 Snake Algorithm ( Active Contour Model ) ，將於 3.4 節中說明。

3.1 路徑資訊記錄方式 在系統資料庫中，路徑資訊記錄人工操控自走車至監控物前，所需執行移動 與轉向指令為何，以及執行指令後自走車座標為何。本論文中將自走車目前所在 位置，所執行指令及執行指令後自走車座標稱之為一個節點，其記錄方式如表2 所示。每個節點含有兩個欄位，第一欄位記錄移動與轉向指令，移動與轉向指令 包括：前進、後退、停止、右轉 ( 45°) 、左轉 ( 45°) 等，第二個欄位則記錄指 令執行後自走車的座標點 ( xm , ym , θm )。以圖 3.1 所示監控物位置為例，依自走 車座標表示法，xm表示前後，ym表示左右，角度逆時針方向旋轉，假設目前共 有兩項需監控物品，物品一位置在 ( 320 , 0 , 180°) ，物品二位置在 ( 300 , -280 , 90°) 。我們需控制自走車往前移動，假設自走車位置在 ( 240 , 0 , 0°) 時，可清 楚看到物品一，因此執行停止指令，此時即可拍照，並取得我們所需物品特徵資 訊，物品特徵資訊將於3.3 節中說明，接下來我們執行右轉及前進指令，往右前 方移動到 ( 250 , -10 , -45°) 時執行停止、右轉及前進指令，當移動到 ( 250 , -190 ,

-90° )可清楚看到物品二時下停止指令，並拍照取得我們所需物品特徵資訊。指 令依序執行，前進、停止、右轉、前進、停止、右轉、前進、停止等八道指令 ( 八 個節點 ) ，系統資料庫中路徑資訊就是記錄上述 8 個節點。各節點記錄內容， 如表2 所示。             圖3.1 監控環境及節點記錄位置。 表2 記錄節點各欄位內容。 節點編號 移動與轉向指令 _{( xm , ym , θm )} 0 前進 ( 0 + Δ , 0 , 0°) 1 停止 ( 240 , 0 , 0°) 2 右轉 ( 240 , 0 , -45°) 3 前進 ( 240 + Δ , 0 + Δ , -45°) 4 停止 ( 250 , -10 , -45°) 5 右轉 ( 250 , -10 , -90°) 6 前進 ( 250 , -10 + Δ , -90°) 7 停止 ( 250 , -190 , -90°) 物品一 ( 320 , 0 , 180°) xm ym  1,2,3 0 4,5,6 7 物品二 ( 300 , -280 , 90°)

3.2 影像前處理 因為夜間影像的雜訊較多，而輪廓取得會受雜訊的影響而出現錯誤，因此我 們使用中值濾波法 ( Median Filter ) 來處理，雖然影像的細節會變得較模糊，但 卻能達到濾除牆上雜訊的目的，進而得到較佳的監控物輪廓。中值濾波 ( Median Filter ) 是利用遮罩內所涵蓋的值，由小到大排列，取出位在排序中間的值做為 輸出，利用此方法可濾除遮罩中的孤立點，如圖3.2 ( a )中各點，由小到大排列 12、12、13、14、16、16、16、18、96，取中間值為 16，因此我們以中間值 16 取代值96。圖 3.2 ( b )為未過濾前之物體影像，圖 3.2 ( c )為中值濾波後影像。 ( a ) 中值濾波法範例 ( b ) 未過濾前影像 ( c ) 中值濾波後影像 圖3.2 影像前處理。 16 16 13 16 12 16 18 14 96 12

3.3 監控物選取範圍

系統在前置學習階段，系統會先自動選取監控物範圍，使用者只需確認範圍 正確與否。而在安全巡邏階段，系統會自動調整監控物的選取範圍，調整方式是 採取投影 ( projection ) 來修正範圍，該方式不僅可修正監控物範圍，也能快速

判斷監控物失竊與否，且若選取範圍愈接近監控物邊緣，也可減少Snake

Algorithm ( Active Contour Model ) 搜尋輪廓的速度。自動選取範圍方式是先將 灰階影像轉換成二值化，本論文採用整張圖的平均值作為二值化門檻值 ( threshold )。圖 3.3 顯示日間及夜間二值化結果，觀察日夜間影像差異，我們可 得知夜間影像中，不只存在監控物影像，同時也存在著紅外線投射的光暈現象。 在本論文中指的光暈現象是在夜間識別中一相當值得探究的議題，因光暈現象在 夜間中會一直存在，如何避免光暈影響所造成的自動選取範圍誤判，將於第四章 中說明。 ( a ) 日間影像及二值化結果 ( b ) 夜間影像及二值化結果 圖3.3 影像二值化結果。 監控物 紅外線 光暈

在經過二值化後，影像中仍會出現一些黑色孤立點，為避免孤立點造成邊界 判斷錯誤，本論文先利用形態學的侵蝕 ( Erosion ) 清除影像中黑色孤立點再利 用擴張( Dilation ) 填滿光暈白色凹洞，以得到一較佳二值化影像。圖 3.4 顯示了 侵蝕 ( Erosion ) 及擴張 ( Dilation ) 之運算過程，1 表示物品，0 表示光線，以 大小為3 × 3 之結構元素為例，侵蝕 ( Erosion ) 的運算，是當 1 周圍 8 格為有任 何一格為0 時，則該格會被設為 0。擴張 ( Dilation ) 的運算，是當 0 周圍 8 格 為有任何一格為1，則該格會被設為 1。圖 3.5 顯示了先後執行侵蝕及擴張之過 程。 圖3.4 先後執行侵蝕 ( Erosion ) 及擴張 ( Dilation ) 之運算過程。 ( a ) 二值化影像 ( b ) 執行侵蝕及擴張結果 圖3.5 執行浸蝕及擴張之差異。 在得到較佳二值化後，若以黑色像素代表物品，則可利用水平投影搜尋物品 上下邊界：由上而下可找出上邊界 ( ST ) ，由下而上可找出下邊界 ( SD )；另外， 1 1 1 1 0 1 1 1 1 1 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 0 1 1 1 1 1 1 1 侵蝕 ( Erosion) 擴張 ( Dilation ) 1 1 0 0 0 0 1 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 1 1 1 1 0 0 0 1 1 0 1 0 0 0 0 0 1 0 0 0 0 0 0 1 1 0 1 1 0 1 1 0 0 0 0 1 1 雜點消失 雜點 凹洞多  凹洞少 

可利用垂直投影搜尋物品左右邊界：左而右可找出左邊界 ( SL ) ，由右而左可 找出右邊界 ( SR ) 。圖 3.6 為經水平及垂直投影來決定物體邊界範圍之實例。 0 50 100 150 200 250 300 1 19 37 55 73 91 109 127 145 163 181 199 217 235 Y Count ( a ) 二值化影像 ( b ) 水平投影     0 50 100 150 200 1 18 35 52 69 86 103 120 137 154 171 188 205 222 239 256 273 290 307 X C ount   ( c ) 垂直投影       圖 3.6 二值化影像投影結果及所搜尋之邊界範圍。 由圖3.6 ( b ) ( c ) 投影可知，邊界是以搜尋上升緣為判斷依據，因此我們需 先定義何謂上升緣。我們先假設n 為投影範圍值 ( 水平投影：0 ~ 239，垂直投 影：0 ~ 319 ) ，P ( n ) 代表投影結果 ( 水平或垂直 ) ，d 為搜尋方向變數，n 遞增方向d 為 1，遞減方向 d 為 – 1，Dn = P ( n ) – P ( n – d ) 代表相鄰投影差值。 則上升緣需滿足下列二式： P ( n ) > P ( n – d ) + Tr1 ( 3–1 ) Dn + Dn+d + Dn+2d + Dn+3d + Dn+4d + Dn+5d + Dn+6d > Tr2 ( 3–2 ) 其中，( 3-1 )式適用於上升緣明顯處，本論文 Tr1 設為 8。以圖 3.7 ( a ) 為例，水 平投影資訊，左而右可找出左邊界 ( SL ) ，n 從 1 到 12，為遞增方向 d 為 1，而 P ( 5 ) 值為 58，P ( 4 ) 值為 16，符合 P ( n ) > P( n – d ) + 8 條件，因此 P ( 5 ) 為 左邊界。 另一方面，( 3–2 )式適用於上升緣不明顯處，本論文 Tr2 設定為 8。以圖 3.7 ( b ) SL SR ST SD

為例，水平投影資訊，右而左可找出右邊界 ( SR ) ，n 從 12 到 1，為遞減方向d 為 – 1，而 P ( 9 ) 值為 12，其 D9 = – 1、D8 = 1、D7 = 2、D6 = 3、D5 = – 1、D4 = 2、 D3 = 4，符合 Dn + Dn+d + Dn+2d + Dn+3d + Dn+4d + Dn+4d + Dn+5d + Dn+6d > 8 條件，因 此P ( 9 ) 為右邊界。圖 3.8 為圖 3.6 ( a ) 自動選取範圍結果。         Horizontal Projection : P ( n ) 12 13 11 16 58 62 72 90 92 93 96 98 0 20 40 60 80 100 120 1 2 3 4 5 6 7 8 9 10 11 12   ( a ) Horizontal Projection: P ( n ) 33 26 23 19 17 18 15 13 ₁₂ 13 _{12 12} 0 5 10 15 20 25 30 35 1 2 3 4 5 6 7 8 9 10 11 12         ( b ) 圖3.7 上升緣定義範例。 P ( 5 ) SL P ( 9 ) SR

      圖3.8 自動選取範圍結果。 3.4 物品特徵資訊 本論文取出灰階直方圖及輪廓點，做為物品特徵資訊用來判斷物品之差異 性。灰階直方圖資訊依監控物選擇範圍記錄灰階直方圖於資料庫中，如圖3.9 ( a ) ( b ) 為二個不同物品灰階直方圖分佈情況，我們可以觀察出不同物品會有不同 的分佈情況。 ( a ) ( b ) 圖3.9 記錄選擇範圍灰階直方圖。

輪廓點資訊採用 [ 6 ] 所提出的 Snake Algorithm ( Active Contour Model ) ，

取得外觀輪廓，並記錄其輪廓點於資料庫中。把Snake Algorithm ( Active Contour

Model ) 的概念想成如同很多人手牽手，在物品 ( 桌子 ) 外圍成一個較大範圍 ( 假設為圓型 ) ，如圖 3.10 ( a ) 所示，大家彼此縮短距離往內移動，此行為稱 之為內部能量，直到因桌子邊緣擋住我們前進，而這能量我們稱為外部能量，如

圖3.10 ( b ) 所示，此時每個人會停留在桌子邊緣，而每個人即表示一個輪廓點。

( a ) ( b ) 圖3.10 Snake Algorithm 概念。 Snake Algorithm 的觀念就如同範例所提，其演算法定義如 ( 3–3 ) 所示，為 一能量函數，包含內部能量Eint及外部能量Eext，當能量函數總合為最小值或輪 廓點無法再移動時，表示已取得物品輪廓。而內部能量Eint包含兩種能量Econt 及Ecurv。 ) ( ) ( ) ( ) ( ) ( 1 1

αE n βE n γE n

n E n E E image Curv Cont ext int snake N n N n          ( 3–3 )

Econt為連貫性能量 ( 3–4 ) ，控制輪廓點距離，Econt值愈大輪廓點愈遠，Econt值

愈小輪廓點愈近，圖3.11 顯示了連貫性能量大小相異之兩組輪廓點位置。 2 2 _{( ( ) ( 1))} ) ) 1 ( ) ( ( ) (n  x n  x n   y n  y n  Econt ( 3–4 ) ( a ) Econt值大 ( b ) Econt值小 圖3.11 Econt連貫性能量大小相異之兩組輪廓點位置。

Ecurv為曲度能量 ( 3-5 )，控制輪廓點間的彎曲度，Ecurv值愈大輪廓點間曲度愈

彎，Ecurv值愈小輪廓點間曲度較平緩，圖3.12 顯示了曲度能量大小相異之兩組 輪廓點位置。



_{( 1) 2 ( ) ( 1)}

 

2 _{( 1) 2 ( ) ( 1)}



2 ) (n  x n  x n x n  y n  y n y n Ecurv ( 3–5 )

( a ) Ecurv值大 ( b ) Ecurv值小 圖3.12 Ecurv曲度能量大小相異之兩組輪廓點位置。 外部能量Eext為Eimage ( 3–6 )，表示影像中梯度能量，目的使輪廓點停止在物品 的邊緣。本論文梯度影像使用Sobel 運算 ( 3–7 )， Gx ( 3–8 ) 偵測水平邊緣而 Gy ( 3–9 ) 偵測垂值邊緣，I ( x , y ) 表示影像灰階值，如圖 3.13 為經 Sobel 運算 後影像。

)

,

(

)

(

n

I

x

y

E

image







( 3–6 ) _{( , ) ( , )} 2 2 y x G G y x I y x G



         ( 3–7 )       ) , ( * 1 2 1 0 0 0 1 2 1 ) , (x y I x y Gx               ( 3–8 ) * ( , ) 1 0 1 2 0 2 1 0 1 ) , ( x y I x y Gy               ( 3–9 ) ( a ) 灰階影像 ( b ) Sobel 運算 圖 3.13 Sobel 運算後影像之差異。

本論文採用的Sanke Algorithm 能量函數如 ( 3–10 ) ，其項目除包含 Econt、 Ecurv及Eimage外，更新增Espring及Eline提高正確率。

line spring image curv cont N n

snake E βE γE μE κE

E 



   

1

 ( 3–10 )

Espring為束縛能量，目的使輪廓點往選取範圍中心點 ( x0 , y0 ) 移動，Espring值愈

大輪廓點離中心點愈遠，Espring值愈小輪廓點離中心點愈近，圖3.14 顯示了束縛 能量大小相異之兩組輪廓點位置。 Espring(n) 



x ( n)  x0



2 



y( n)  y0



2 ( 3-11 ) ( a ) Espring值大 ( b ) Espring值小 圖3.14 Espring束縛能量大小相異之兩組輪廓點位置。 Eline為灰階能量，目的使輪廓點往期望的灰階值移動，係數正時往暗的方向移 動，係數負時往亮的方向移動，本論文採用正係數。 Eline( n) I ( x(n ), y( n)) ( 3–12 ) 本論文 Snake Algorithm 使用參數值為：α = 10 、 β = 6、 γ = 1.2、μ = 10、 κ = 10，輪廓點搜尋範圍為 3 × 3 大小，如圖 3.15 所示，實作結果如圖 3.16 所示， 圖3.16 ( a ) 為執行前輪廓點擺放位置，圖 3.16 ( b ) 為執行過程中輪廓點移動方 向，圖3.16 ( c ) 為最後所記錄的輪廓點位置。 ( x0 , y0 ) ( x0 , y0 )

圖 3.15 Snake Algorithm 輪廓點搜尋範圍。 ( a ) 輪廓點起始位置 ( b ) 輪廓點移動路徑 ( c ) 輪廓點最後位置 圖 3.16 Snake Algorithm 實作結果。 6 物 品 5 3 2 1 0 輪廓點移 動方向 4

第四章 安全巡邏階段

安全巡邏階段流程相似於系統前置學習階段，而本章將介紹安全邏階段與系 統前置學習階段差異處，其差異分別為監控物選取範圍修正及監控物失竊判斷方 式。監控物選取範圍修正，修正因紅外線光暈與監控物重疊時，自動選取監控物 範圍是錯誤的，因此本論提供一修正方式其詳細方式於4.1 節中說明。監控物品 失竊判斷方式，利用第三章所取得輪廓點及灰階直方圖資訊為判斷依據，其判斷 方式於4.2 節中說明。 4.1 監控物選取範圍修正 安全監控巡邏階段監控物選取範圍如同 3.3 節中，利用二值化影像經投影方 式取得監控物範圍，但由於自走車本身的移動時誤差，造成二值化影像中紅外線 光暈與監控物重疊如圖4.1 所示，此時所取得的監控物範圍會是錯誤的，此時修 正方式會依前置學習階段的寛高比例做修正，範圍修正流程圖如4.2 所示。 0 50 100 150 200 250 300 1 19 37 55 73 91 109 127 145 163 181 199 217 235 Y Count ( a ) 監控物與光暈重疊 ( b ) 水平投影 0 50 100 150 200 1 18 35 52 69 86 103 120 137 154 171 188 205 222 239 256 273 290 307 X C oun t ( c ) 垂直投影 ( d ) 自動選取錯誤 圖4.1 監控物與光暈重疊現象。 ST :47 SD :221 SL :127 SR :271

圖4.2 範圍修正流程圖。 如圖4.2 所示之監控物選範圍修正流程，當目前寛高比率與原寛高比率差異 大於0.1 時，系統即會自動啟動範圍修正功能去做處理，其處理方式共有三個步 驟。步驟一：依選取範圍中心線，產生左、右判斷區塊。步驟二： 統計左判斷 區塊黑色像素總數 ( BL ) 及右判斷區塊黑色像素總數 ( BR ) 。步驟三： 判斷 區塊黑色像素較多為何，即表示物體所在位置 ( 因物體輪廓為黑色像素 ) ，BL 否 否 是 是 範圍修正功能  |目前寛高比率-原 寛高比率 | > 0.1  依選取範圍中心線 產生左右判斷區塊 ( BL 及 BR ) 左判斷區塊 ( BL ) > 右判斷區塊 ( BR )  右邊界 = R1 左邊界 = R1 - ( 原寛高比 率x ( 目前高 ) )   左邊界 = L1 右邊界 = L1 + ( 原寛高 比率 x ( 目前高 ) )   範圍修正功能結束 

> BR 時，物體在左邊，右邊界 = R1，左邊界 = R1 - ( 原寛高比率 x ( 目前 高 ) ) ；BL ≦BR 時，物體在右邊，左邊界 = L1，右邊界 = L1 + ( 原寛高比率 x ( 目前高 ) ) 。 以圖4.1 為例，已知原監控物寛 158 及高 161，目前監控物寛 144 及高 174， 因此，原寛高比0.98，目前寛高比 0.83，寛高比率差異超過 0.1，則依上述範圍 修正流程。步驟一：依選取範圍中心線，產生左、右判斷區塊，如圖 4.3 ( a ) 所 示。步驟二：判斷左區塊 ( BL ) 及右區塊 ( BR ) 大小，BL 為 1902、BR 為 2714。 步驟三：BL < BR 監控物在右邊，左邊界 = L1 = 127，右邊界 = L1 + ( 原寛高比 率x ( 目前高 ) ) = 297，如圖 4.3 ( b ) 為修正後範圍。 ( a ) 產生左右判斷區塊 ( b ) 自動選取修正結果 圖4.3 範圍修正方式。 4.2 監控物判斷失竊流程 第三章已介紹如何得到監控物品的輪廓點資訊及灰階直方圖資訊，而針對輪 廓點資訊本論文採用Hausdorff Distance 的判斷方式，其方式以輪廓最大差異距 離為判斷依據，其詳細方法於4.2.1 節中說明。在使用 Hausdorff Distance 的方法 時，會遇到自走車本身行走時的機械偏差，因而產生左右偏移及大小倍率差異的 輪廓，故將此方法稍作改良，以達較好的結果。故在輪廓判斷前會針對左右偏移，

先對齊監控物輪廓中心點再做Hausdorff Distance 判斷。並修改 Hausdorff Distance 的定義，使其能判斷大小倍率的差異，其方式以輪廓最大差異標準差距離為判斷 依據，本論文將此改良後的方法命名為Hausdorff Std Distance，其詳細方法於 4.2.2 節中說明。灰階直方圖資訊的判斷是採用Histogram Intersectoin 的方法，其方式 以直方圖分佈的相似度為判斷依據，當偷竊者將真品換成其它相同輪廓監控物品 時，可採用此方法去鑑別兩物品灰階直方圖分佈的相似度，來判斷真品是否已遭 失竊，其詳細方法於4.2.3 節中說明。另因自走車兩輪轉速的不一致，造成每次 移動皆有些許偏差，本系統設計簡易自動校正功能，當第一項監控物判斷安全 時，則進入偏差校正分析，4.4 節中將有詳細說明。 監控物判斷失竊流程圖如圖 4.4 所示，當安全巡邏時自走車移動到監控物 前，此時系統會自動拍照並選取監控物範圍，並進入監控物失竊判斷步驟： 第一步驟：經由自動選取監控物範圍，來判斷寛高是否大於零 ( 下邊界大於上 邊界、右邊界大於左邊界 )，是則進行第二步驟，否則代表整張影像中無監控物 存在，則判斷失竊。如圖4.5 所示為監控物失竊時，自動選取範圍值。第二步驟： 取得目前輪廓點資訊及灰階直方圖資訊。第三步驟：判斷前置學習階段輪廓點與 安全巡邏階段輪廓點之Hausdorff Distance 值是否小於等於Thd門檻值及 Hausdorff Std Distance 值是否小於等於Thsd門檻值，依選範圍取出目前灰階直方 圖資訊並與學習時灰階直方圖資訊以Histogram Intersection 方式算出相似度是否 大於等於Thi門檻值，當符合 ( 4–1 ) 式則判定監控物安全，否則判定失竊。 1 . Hausdorff Distance ≦Thd 2 . Hausdorff Std Distance ≦Thsd ( 4–1 ) 3 . Histogram Intersection ≧Thi 本論文Thd、Thsd及Thi門檻值依實驗環境測試100 次，選其最佳門檻值分別為Thd 為18 像素、Thsd為4 像素、Thi為65%，表 3 為實際判斷失竊結果。

圖4.4 監控物判斷失竊流程圖。 0 50 100 150 200 250 300 1 19 37 55 73 91 109 127 145 163 181 199 217 235 Y Count ( a ) 夜間影像 ( b ) 水平投影 0 50 100 150 200 1 18 35 52 69 86 103 120 137 154 171 188 205 222 239 256 273 290 307 X Co un t       ( c ) 垂直投影 圖4.5 物品遭偷竊投影結果。 是 是 否 否 自動選擇監控物 範圍 選擇範圍 寛及高大於 0 ? 灰階直方圖資訊及 輪廓點資訊是否符合 ( 4 – 1 ) 條件 ? 安全 失竊 取得灰階直方圖資訊及 輪廓點資訊 SL :175 SR :134 SD :73 ST :136

表3 影像判斷實例。 原影像 比較影像一 比較影像二 Hausdorff Distance：22.20 Hausdorff Std Distance：2.9 Histogram Intersection：23.27 % Hausdorff Distance：29.15 Hausdorff Std Distance：7.43 Histogram Intersection：57.04 % 4.2.1 Hausdorff Distance 假設兩組輪廓點集合，分別為A = { a 1 , … , a m } , B= { b1 , … , b n }，則 Hausdroff Distance 定義如下： H ( A , B ) = Max ( h ( A , B ) , h ( B, A ) ) ( 4–2 ) 其中h ( A , B ) = MaxMin || a – b ||，表示由全部 A 集合點到 B 集合點最近距離， 取其中距離最大值。h ( B , A ) = MaxMin || b – a ||，表示由全部 B 集合點到 A 集 合點最近距離，取其中距離最大值。如圖4.6 所示，h ( A , B ) 值不一定等於 h ( B , A ) 的值，而 H ( A , B ) 則是取兩者中最大值。

圖 4.6 Hausdorff Distance 範例。 在系統前置學習階段我們可將監控物輪廓點視為A 集合點，當安全巡邏階 段，可將同一監控物輪廓點視為B 集合點，再透過 Hausdorff Distance 的方法， 則可得到H ( A , B ) 值，當 A、B 集合點完全相同其值為零，表示物品輪廓相同， 但輪廓點的取得，在實際環境中會因雜訊或偏移導致誤差，因此在實作中是採一 門檻值，只要誤差小於門檻值，即表示物品輪廓相同。 4.2.2 Hausdorff Distance 改善 由於自走車機械誤差，會造成監控物輪廓點資訊偏移，其解決方式，可分成 兩類：一、左右位置偏移，二、前後位置偏移。 一、左右位置偏移： 將兩組輪廓點中心點對齊後，再以 Hausdorff Distance 比較相似與否，如圖 4.7 所示。表 4 為三張實際影像，經對齊中心點處理後 Hausdorff Distance 數值。 本論文Hausdorff Distance 定義小於 18 像素為安全。 A = { a 1 , … , a m } B = { b 1 , … , b n } h ( A , B )  h ( B , A )  H ( A , B ) = Max ( h ( A , B ) , h ( B , A ) ) = h ( A , B )

圖 4.7 輪廓左右偏移處理方式。 表4 輪廓左右偏差，經對齊中心點處理後 Hausdorff Distance 之差異。 灰階影像及輪廓點 輪廓點 Hausdorff Distance 原圖 影像 ₀ 比較 影像 圖一 5.09 比較 影像 圖二 6.08 目前監控物位置： 目前輪廓 B 中心點 ( xb , yb ) 對齊兩者輪廓中心點 xb' = xb +( xa – xb ) yb' = yb +(ya – yb) 原監控物位置： 原輪廓 A 中心點 ( xa , ya )

二、前後位置偏移 由於自走車前後位置的偏移，會造成監控物的縮放現象，而原Hausdorff Distance 定義，並無法判斷放大及縮小能力，因此我們重新定義，使其能判斷放 大及縮小能力，並命名為Hausdorff Std Distance，公式如下： Hs ( A , B ) = Max ( hs ( A , B ) , hs ( B , A ) ) ( 4–3 ) 其中hs ( A , B ) = StdMin || a – b || ，表示由全部 A 集合點到 B 集合點最近距離， 取距離標準差。hs ( B , A ) = StdMin || b – a ||，表示由全部 B 集合點到 A 集合點最 近距離，取距離標準差。 如圖 4.8 所示，當物體放大時距離經常是等比例的放大，而縮小時距離亦常 為等比例的縮小。因此，我們可以透過距離的標準差了解其差異性，監控物如為 圓形其理論上標準差值值為零，如大小近似，則其它形狀輪廓其標準差值仍逼近 於零，因此本論文定義一變數Thsd，做為判斷依據。表5 為三張實際影像，經對

齊中心點處理後Hausdorff Std Distance 數值。本論文 Hausdorff Std Distance 定義

小於4 像素為安全。



  N i i D N D 1 1



   N i i D D N 1 2 ) ( 1  圖 4.8 輪廓放大及縮小差異。 D 8 D 4 D 7 D 6 D 3 D 2 D 1 D 5

表 5 輪廓倍率差異，經對齊中心點後 Hausdorff Std Distance 之差異。 灰階影像及輪廓點 輪廓點 Hausdorff Std Distance 原圖 影像 0 比較 影像 圖一 2.38 比較 影像 圖二 2.09 4.2.3 Histogram Intersection 定義

本論文使用Swain 及 Ballard 的直方圖交集公式 ( Histogram Intersection )

[ 7 ]計算兩張影像灰階直方圖相似度。Histogram Intersection 公式如下： ( 4–4 ) 其中I j表示新影像灰階直方圖，M j表示原始影像灰階直方圖，由於影像為灰階影 像，因此n 為 255，H ( I , M ) 值介於 0 ~ 1 之間。表 6 為三張實際影像，經 Histogram

Intersection 計算後取其百分比值。本論文 Histogram Intersection 相似度需達 65% 以上為安全。





   _n j j n j j j M M I M I H 0 0min( , ) ) , (

表 6 影像經 Histogram Intersection 比較之差異。 影像 灰階直方圖 Histogram Intersection 原圖 影像 100% 比較 影像 圖一 62.87% 比較 影像 圖二 47.30% 本論文依選取範圍記錄灰色階直方圖，並非記錄整張影像大小，如圖 4.9 所 示為選取範圍差異及像素總數差異。因此須將兩者影像大小調整至相同，才能比 較出差異性，因此原Histogram Intersection 公式修正如下： Size Size I M

Scale  ；Isize ( 新影像大小 ) ，Msize ( 原影像大小 )

( 4–5 )





    _n j j n j j j M M Scale I M I H 0 0min( , ) ) , (

( a ) 影像選取範圍不同 ( b ) 像數總數不同 圖 4.9 影像選取範圍差異。 4.2.4 自走車偏差校正 本論文僅能判斷可視範圍物品是否失竊，為改善自走車偏差不斷擴大，本論 文提供一簡易自走車自動校正功能。由附錄一得知，自走車偏差並非固定，因此 無法以一固定偏差曲線來校正，因此本論文採取動態校正方式，當監控物安全 時，會計算前置學習階段時距監控物距離與安全巡邏階段時距離監控物距離差 異，進而修正其偏差量。該功能使用者必須提供系統監控攝影裝置水平視野率及 第一項監控物實際寛度，且監控攝影裝置必須與監控物成直角90°。自動校正功 能計算出前後偏差距離 ( Dx ) 及左右偏差距離 ( Dy ) ，其計算方式如圖 4.10 所 示。監控攝影裝置水平視野率為2θ、監控物實際寛度 OW、影像大小320 × 240、 影像中監控物寛度IW ( 輪廓點左右寛度 ) 、影像中監控物中心點 IC ( 輪廓點 左右寛度中心點 ) ，可經由 ( 4 – 6 ) 式計算出監控物到監控攝影裝置距離， ( 4 – 7 ) 式計算出監控物到影像中心軸距離。

320 cot 2 1 _  _  IW OW Dx ( 4–6 ) IW IC OW Dy   (  160) ( 4–7 ) 圖4.10 偏差估計示意圖。 以表7 為範例，為實測監控攝影裝置距離監控物 107 公分影像，共兩張影像 其中一張影像為左偏20 公分，經 ( 4 – 6 ) ( 4 – 7 ) 計算結果得知，兩張影像前後 距離離差異0.6 公分，左右距離差異 18.5 公分，雖其與實際距離仍有些許差異， 但我們仍可利用Dx及Dy值校正自走車誤差，避免偏移不斷擴大。圖4.11 所示為 偏差校正流程圖，首先我們會計算前置學習階段時離監控物距離 ( DxA ) 與安全 巡邏階段時離監控物距離 ( DxB )來比較，判斷前後距離差異。接下來計算距影像 中心軸距離，判斷左右距離差異。當前後及左右距離差異超過Td時，自走車修 正到正確位置。本論文Td訂為0.5 公分。 Dx Dy 240 320 OW θ θ IW IC

表 7 偏差預估範例。 監控物影像 輪廓參數 測試結果 距監控物107 公分之影像 最左邊輪廓點： 第48 像素 最右邊輪廓點 ： 第207 像素 影像監控物寛度： 共160 像素 影像監控物中心點 ： 第128 像素 距離監控物： 105.5 公分 距中心軸偏： - 8.1 公分 距監控物107 公分之影像 ( 且偏左 20 公分 ) 最左邊輪廓點： 第122 像素 最右邊輪廓點： 第280 像素 影像監控物寛度： 共159 像素 影像監控物中心點： 第201 像素 距離監控物： 106.1 公分 距中心軸偏： 10.4 公分 ( 攝影機參數：拍攝影像大小 320 × 240、水平視野率 2θ = 42°、監控物寛度 40.5 公分 )

圖4.11 偏差校正流程圖。 不校正 是 否 是 否 是 否 偏差估算 DxA > DxB ? 超前 落後 Dx =| DxA - DxB|  DyA > DyB ? 偏右 偏左 Dy = | DyA - DyB |  Dx > Td ? Dy > Td ? 依Dx及Dy修正位置

第五章 實驗結果

本章內容將依前兩章所提到的物品特徵資訊及判斷方法，以夜間實際環境進

行實驗並分析。本論文使用的程式語言為Borland C++ Builder 6.0，電腦設備為

Intel Core Duo Processor T2300E，1GB DDR2，作業系統為 WindowsXP SP2。

監控環境為室內未開燈，近紅外線光源使用監控攝影裝置裏內建近紅外線LED 燈，監控物一為圓型物體、監控物二為方型物體，如圖5.1 所示。圖 5.2 所示， 為自走車監控時位置，而圖5.3 為遠端電腦所顯示之系統操作介面，圖 5.4 為實 驗監控環境位置圖，自走車距離監控物一距離320 公分，監控物一距離監控物二 280 分分，自走車前進 230 公分可清楚看到監控物一，右移動 190 公分可清楚看 到監控物二，自走車移動速度每秒8 公分 ( 8 cm / sec )。 ( a ) 監控物一 ( b ) 監控物二 圖 5.1 實驗使用之監控物品。 ( a ) 自走車起始位置 ( b ) 往監控物一移動時位置 ( c ) 往監控物二移動時位置 圖5.2 自走車監控時位置。

  圖 5.3 系統操作介面。 圖5.4 實驗監控環境位置圖。 190 公分 250 公分 320 公分 280 公分 監控物二 監控物一 即時 影像 拍照 影像 自走車 方向操控 自走車位置 資訊 安全資訊欄位 判斷及偏移資訊 灰階直方圖資訊 輪廓點資訊

共實驗三種狀況，第一種狀況：物品移除、第二種狀況：物品不移除、第三種 狀況：兩物品交換。每種狀況皆執行 1 次前置學習階段後，每隔 60 秒進入安全 巡邏連續監控 20 次，如此學習5 次監控 20 次，共監控 100 次。第一種狀況物品 移除，測試是否能判斷失竊，正確率100%，如圖 5.5 所示，投影分析時即判斷 出失竊。第二種狀況物品不移除，測試是否能判斷安全，正確率82%，如圖 5.6 所示。第三種狀況將兩物品交換，測試是否能判斷失竊，如圖5.7 所示，正確率 100%，輪廓點及灰階直方圖分析時判斷出失竊，表 8 為兩項物品實驗條件下的 三種狀況之實驗結果。 ( a ) 圓形監控物移除時判斷失竊 ( b ) 方形監控物移除時判斷失竊 圖 5.5 第一種狀況將監控物移除，判斷失竊結果。  

  ( a ) 圓形監控物不移除時判斷安全           ( b ) 方形監控物不移除時判斷安全               圖 5.6 第二種狀況物品不移除，判斷安全結果。 ( a ) 圓形監控物換成方形監控物時，判斷失竊    ( b ) 方形監控物換成圓形監控物時，判斷失竊         圖5.7 第三種狀況兩物品交換，判斷失竊結果。

表8 實驗狀況及結果。 實驗狀況 正確率 其它 第一種狀況： 物品移除，測試是否能判斷失竊 100% 投影分析時判斷 出失竊 第二種狀況： 物品不移除，測試是否能判斷安全 82% 第三種狀況： 兩物品交換，測試是否能判斷失竊 100% 輪廓及直方圖分 析時判斷出失竊         針對第二種實驗狀況，分析出誤判失竊原因有二種，第一種亮度影響、第二 種自走車偏移過大。圖5.8 所示為不同亮度下的影像及灰階直方圖差異，其 Histogram Interection 為 51.74 %。亮度不同的原因又可分成兩類：一、監控攝影 裝置自動曝光 ( Auto Exposure ) 功能的穩定度是否一致。二、監控物位在紅外 線投影光源邊緣，造成亮度較暗。圖5.9 為將原影像調整不同亮度後，再去分析 其Histogram Intersection，由結果得知直方圖是無法正確判斷亮度差異的影像。 第二種自走車偏移過大，造成監控物無法在可視範圍內，皆會判斷成失竊，如圖 5.10。表 8 的實驗結果為監控物使用圖 5.1 ( a ) ( b ) 監控物的實驗結果，如使用 如圖5.11 ( a ) ( b ) 兩監控物做交換測試，仍無法正確誤判出失竊，其原因為灰 階直方圖只記錄灰階值出現的個數，沒有足夠的資訊區分兩灰階直方圖極為相似 監控物。

( a ) 前置學習階段時影像 ( b ) 安全巡邏階段時影像 圖5.8 亮度變化造成誤判失竊。 ( a ) 原始影像 ( b ) 較亮影像，相似度 36.48% ( c ) 較暗影像，相似度 42.42% 圖 5.9 影像亮度不同其 Histogram Intersection 差異性。

( a ) ( b ) 圖5.10 自走車偏移過大，造成監控物在可視範圍外。 ( a ) 監控物一 ( b ) 監控物二 ( c ) 判斷結果 圖5.11 交換實驗如用其它物品，仍有可能發生誤判。

第六章 結論與未來展望

本論文成功建立一套適合應用於夜間之自走車安全監控系統，該系統可應用 在博物館、保險庫等等，牆上任何需監控之物品。該系統利用自走車的機動性及 無線傳輸方便性，讓使用者可於遠端無線操控。而該系統同時具備簡易操作介面 及快速判斷能力。本論文使用輪廓及灰階直方圖資訊來作判斷，輪廓方式是採用 Hausdorff Distance 並改善原方式的不足，而灰階直方圖的判斷是採用 Histogram Intersection，結合這兩種方式即可正確判斷監控物是否安全。 但該系統仍有許多需要加強的地方，第一點自走車偏移方面，定位方式不夠 準確，造成監控物不在可視範圍內，第二點提高判斷正確性，可使用其它方式取 得特徵點，如以SIFT [ 12 ] 方式，第三點目前無法自動閃避障礙物，並重新建 立行走路徑。本系統目前仍需使用者訓練才能使用，未來期望可讓自走車自動學 習環境，全自動監控不需由人工操控學習。

參考文獻

[1] D. P. Huttenlocher, G. A. Klanderman, and W. J. Rucklidge, “Comparing Images Using the Hausdorff Distance,” IEEE Transaction on Pattern Analysis and

Machine Intelligence, vol. 15, pp. 850-863, 1990.

[2] G. Xu and W. Yang, “Fast Shape Matching Using a Hybrid Model,” International

Conference on Computer Engineering and Technology, vol. 1, pp. 247-251,

2009.

[3] Y. Gao, “Efficiently Comparing Face Image Using a Modify Hausdorff Distance,” IEEE Proceedings Vision, Image and Siginal Processing, vol. 150, pp. 346-350, 2003.

[4] M. Swain and D. Ballard, “Colour Indexing,” International Journal of Computer

Vision, vol. 7, no. 1, pp. 11-32, 1991.

[5] S. K. Saha, A. K. Das, and B. Chanda, “CBIR Using Perception Based Texture and Colour Measures,” Proceedings of the 17th International Conference of

Pattern Recognition, vol. 2, pp. 985-988, 2004.

[6] M. Kass, A. Witkin, and D. Terzopoulos, “Snakes: Active Contour Models,”

International Journal of Computer Vision, vol. 1, no. 4, pp. 321-331, 1988.

[7] D. J. Williams and M. Shah, “A Fast Algorithm for Active Contours,”

Proceedings of Third International Conference on Computer Vision, pp.

592-595, 1990.

[8] G. Wan, X. Huang, and M. Wang, “An Improved Active Contours Model Based on Morphology for Image Segmentation,” Proceedings of Second International

[9] C. C. H. Lean, A. K. B. See, and S. A. Shanmugam, “An Enhanced Method for Snake Algorithm,” International Conference on Innovative Computing,

Information and Control, vol. 1, pp. 240-243, 2006.

[10] M. Sakalli, K. M. Lam, and H. Yan, “A Fast Converging Snake Algorithm to Locate Object Boundaries,” IEEE Transaction on Image Processing, vol. 15, pp. 1182-1191, 2006.

[11] S. T. Acton and A. Rossi, “Matching and Retrieval of Tattoo Images: Active Contour CBIR and Glocal Image Features,” IEEE Southwest Symposium on

Image Analysis and interpretation, pp. 21-24, 2008.

[12] D. G. Low, “Distinctive Image Feature from Scale-Invariant Keypoints,”

International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004.

[13] R. C. Gonzalez and R. E. Woods, Digital Image Processing, Addison-Wesley Publishing Company, pp. 577-581, 2002.

[14] M. C. Chen, “Vision Based Security Patrolling in Indoor Environments Using Autonomous Vehicles,” Master Thesis, National Chiao Tung University, 2005. [15] K. L. Chiang, “Security Patrolling and Danger Condition Monitoring in Indoor

Environments by Vision-based Autonomous Vehicle Navigation,” Master Thesis, National Chiao Tung University, 2006.

附錄一 自走車偏差實驗

理論上自走車前進移動不應產生左右偏差及角度偏差，但實際測試結果並非 如此理想，原因為自走車左右輪轉速不同造成其移動方向不是一直線。而不同品 牌或型號其自走車偏差範圍也不同，因此針對Pioneer P3 - DX 我們統計其偏差 範圍。 實驗方式將Pioneer P3 - DX 自走車平行且垂直安置於磁磚線上，圖 A 為自 走車安置方式，並以磁磚線為起點，以捲尺量測300 公分、500 公分及 600 公分 距離，並擺放一參考基準點，圖B ( a ) 為 500 公分基準點位置，並設定自走車 以每秒移動8 公分的速度 ( 8 cm / sec ) 前進，且依自走車內部座標為依據，在 移動到300 公分、500 公分及 600 公分時停止，此時在自走車停止位置擺放一量 測點，圖B ( b ) 為自走車停止時量測點位置與基準點位置，圖 B ( c ) 為量測示 意圖，虛線為偏差量，其磁磚大小為40 × 40 公分。表 A 為實際結果，前進 300

公分的部份 ( xmax , ymax ) = ( 10.2 , 7.4 )、( xmin , ymin ) = ( 2.8 , 6.0)，因此偏差量 ( △x , △y ) 為 ( 7.4 , 1.4 ) ；前進 500 公分的部份 ( xmax , ymax ) = ( 12.5 , 9.2 )、 ( xmin , ymin) = ( 3.5 , 6.5 ) ，因此偏差量 ( △x , △y ) 為 ( 9.0 , 2.7 )；前進 600 公 分的部份 ( xmax , ymax ) = ( 18.4 , 12.6 )、( xmin , ymin ) = ( 5.0 , 9.5 )，因此偏差量 ( △x , △y ) 為 ( 13.4 , 3.1 )；由此可知當自走車移動距離加長，其偏差量範圍也

隨著增大，且偏移方向不是一條固定的曲線可表示，因此於4.2.4 節中本論文採

( a ) 左輪中心點垂直於地面 ( b ) 右輪中心點垂直於地面 圖 A 自走車安置方式。 ( a ) 500 公分基準點位置 ( b ) 量測點與基準點位置 ( c ) 量測示意圖 圖 B 自走車量測方式。 40  公分 40  公分 基準點 量測點 偏差量 x y △x △y 量測點 基準點 基準點

表 A 自走車偏差量測試結果。 距離 次數 300 公分 500 公分 600 公分 1 x = 2.8 y = 6.0 x = 3.5 y = 6.5 x = 14.6 y = 10.8 2 x = 2.9 y = 7.0 x = 8.1 y = 8.0 x = 5.0 y = 9.5 3 x = 7.4 y = 6.5 x = 12.5 y = 9.2 x = 14.0 y = 11.6 4 x = 3.2 y = 6.1 x = 10.2 y = 7.7 x = 13.1 y = 11.0 5 x = 10.2 y = 7.4 x = 8.8 y = 7.4 x = 13.0 y = 11.0 6 x = 7.6 y = 7 x = 4.3 y = 6.8 x = 10.3 y = 10.8 7 x = 6.6 y = 6.0 x = 5.8 y = 7.4 x = 14.8 y = 11.3 8 x = 7.8 y = 7.1 x = 7.7 y = 7.2 x = 10.4 y = 12.6 9 x = 4.8 y = 6.4 x = 8.0 y = 7.8 x = 7.1 y = 10.8 10 x = 5.8 y = 6.3 x = 9.8 y = 7.3 x = 18.4 y = 12.1