• 沒有找到結果。

中 華 大 學

N/A
N/A
Protected

Academic year: 2022

Share "中 華 大 學"

Copied!
87
0
0

加載中.... (立即查看全文)

全文

(1)

中 華 大 學 碩 士 論 文

複合式地圖進行移動機器人視覺定位

Visual Localization for Mobile Robots Based on Composite Map

系 所 別:資訊工程學系碩士班 學號姓名:M09802002 歐志鴻 指導教授:黃雅軒 博士

中華民國 100 年 8 月

(2)

ii

摘要

本篇論文提出了一種移動機器人的視覺定位方法,首先利用雷射機與攝影機來建 構複合式地圖,而在之後機器人進行定位時,只需要單顆攝影機就能完成機器人的定 位工作。由於雷射機價格相當昂貴,如果每個移動機器人都需配載一台雷射機,這樣 高成本的系統是不容易被普及使用的。所以在本論文中,我們提出了一種新穎的複合 式地圖建構方法,利用雷射機的深度資訊與攝影機的影像特徵進行融合,來產生具有 定位功能的複合式地圖,而在進行機器人定位時,利用機器人帄台上的攝影機,將當 下所拍攝影像中的特徵點擷取出來,並與先前所建構的複合式地圖進行比對,則可準 確地估測出機器人當時位於地圖上的所在位置,來達到機器人定位目的。

經實際測詴後所得到的實驗數據,本論文所提出的複合式地圖之視覺定位方法在 多種情況下的定位誤差值,其總帄均位移誤差量為 0.168 公尺,總帄均角度偏移量為 3.911 度。故由實驗數據可知,本論文除了能大幅降低定位系統的硬體成本之外,也 有著相當不錯的定位效果。

關鍵字: 自主式移動機器人、複合式定位地圖建構、視覺定位、特徵點擷取、特徵點 比對

(3)

iii

Abstract

In this thesis, we propose a mobile robot visual localization method, it uses both a laser range finder and a camera mounted on a robot to construct composite maps in the map construction stage, and later in the position localization stage a robot can be located by just a single camera without the laser range finder. Because a laser range finder is very expensive, if each mobile robot needs to equip with it, such system will be too expensive to be accepted for most applications and this will severely constrain its usability. Therefore, in this study, we propose a novel composite map construction method which uses a laser range finder to provide depth information and a camera to provide distinct features of salient points from images, and further combines these two kinds of information to construct a location-enabled composite map. After finishing map construction, the robot system detects salient points from image by just using the camera mounted on the robot platform, computes features from the detected points, matches them with the features recorded in the previously constructed composite map, and finally decides the robot’s position.

With the proposed method, several different experiments have been performed, the average displacement is 0.168 meters, and the average angle error degrees is 3.911o. From these experimental data, it shows that our method can not only reduce the hardware cost of a localization system, but also can achieve a good localization accuracy.

Keyword: Autonomous Mobile robot 、 Composite Map Construction 、 Visual

Localization、 Feature Point Extraction、Feature Point Matching

(4)

iv

致謝

首先感謝指導老師黃雅軒,在學業與研究上給予我很多的指導與建議,在百忙之 中還不時的與我討論研究相關的內容,且能精確的發現我所忽略的細節並給予我修改 的方針,也讓我學習到如何靠自己來發現問題、找出問題與解決問題的能力,這不只 在研究中有所幫助,在未來工作上更是受用無窮。

感謝實驗室的同學陳冠豪,在研究所上課與擔任助教時互相幫助和學習,使得我 在工研院工作時,對於學校助教等等相關工作能得以紓緩。還有感謝學弟林啟賢,在 許多方面的幫忙協助,讓我能有更多時間專心致力於研究,這邊也感謝實驗室的學長 劉偉成、顏華慶對於我所提出的疑問能盡其所能的回答與協助,也感謝實驗室的其他 學長能陪伴我度過充實研究生涯。也很感謝工研院機械所機器人組的同仁游鴻修經理、

謝祥文博士與蔡雨坤先生所提供的的協助與幫忙。

最後感謝我最愛的家人與朋友,感謝他們給我的關心、支持與鼓勵。特別感謝我 的父母與哥哥姊姊,讓我有個和樂家庭做為避風港,在我受到挫折與失敗時還能支持 我,讓我爬起來繼續往前走。僅以此文獻給我摯愛的親人朋友。

(5)

v

目錄

摘要………ii

Abstract………iii

致謝………iV 目錄………..…vi

圖目錄……….………viii

表目錄……….………ix

第一章、緒論………1

1.1 研究動機:………..………1

1.2 相關研究:………..………2

1.3 論文架構:………..………4

第二章、感測器內外部參數估測與座標系轉換 ………5

2.1 攝影機內部與外部參數估測:………..…………6

2.2 雷射機與攝影機之外部參數估測:………7

2.2.1 雷射機與攝影機之座標系轉換:……….………7

2.2.2 線性求解:………9

2.2.3 非線性最佳化:………...11

2.3 座標系空間轉換:………12

(6)

vi

2.3.1 攝影機與影像帄面座標系轉換:……….…12

2.3.2 雷射座標系與影像帄面座標系轉換………..15

2.3.3 雷射座標系與世界座標系空間轉換……….……….16

2.3.4 世界座標系與影像帄面座標系轉換……….……16

2.3.5 影像帄面與世界座標系轉換………..……17

第三章、影像特徵點擷取與對應 ………18

3.1 特徵轉換………19

3.1.1 SURF 特徵轉換………..……19

3.1.2 LBP 特徵轉換………20

3.2 特徵點偵測………24

3.2.1 SURF 特徵點偵測方法………24

3.2.2 LBP 特徵點偵測方法………..26

3.2.3 非帄滑區域 SURF 特徵點(NUS)偵測方法………29

3.3 NUS

特徵點描述

………..………30

3.4 NUS

特徵點比對

……….…33

第四章、雷射與攝影機影像複合式地圖建構………34

第五章、粒子濾波定位演算法………41

第六章、複合式地圖之攝影機視覺定位…………...………44

6.1 攝影機視覺定位演算法….………45

(7)

vii

6.2 對應向量雜訊濾除法………48

第七章、實驗與分析………53

7.1 雷射點對應與影像特徵點實驗………..…53

7.2 特徵點與雷射點深度分布實驗………55

7.3 視覺定位offline實驗……….……56

7.4 視覺定位online實驗………..…61

7.5 實際環境視覺定位實驗分析……….71

第八章、結論與未來展望………74

参考文獻……….………75

(8)

viii

圖目錄

圖2-1 用於攝影機校正的校正板與姿勢 ...6

圖 2-2 攝影機座標與校正板帄面之外部參數估測示意圖………7

圖 2-3 攝影機、雷射機與校正帄面間的位置關係………..8

圖 2-4 非線性最佳化流程圖……….11

圖 3-1 特徵點擷取流程圖………..………18

圖 3-2 Gaussian second order partial derivative ………19

圖 3-3 LBP 計算方法………..………21

圖 3-4 LBP 特徵影像……….………21

圖 3-5 在不同光線中所呈現的 LBP 特徵影像………22

圖 3-6 影像範例………23

圖 3-7 在不同光線中穩定且去除雜訊後的 LBP 特徵影像…………..………24

圖 3-8 三個影像尺度之 blob response map 範例………25

圖 3-9 SURF 特徵點擷取結果………25

圖 3-10 p 點與周遭 16 個點之範例圖………26

圖 3-11 角點示意圖………27

圖 3-12 LBP 特徵點擷取加速方法範例………...27

圖 3-13 p 點與周遭 16 個點的比較結果………28

圖 3-14 統計圖 13 連續 T 個數的結果……….28

圖 3-15 LBP 特徵點偵測後所得到的結果……….29

圖 3-16 Uniform SURF 與 Non-uniform SURF 特徵點示意圖……….…30

圖 3-7 Haar wavelet filters………..………31

圖 3-18 使用 Haar wavelet filters 計算響應值範例………31

圖 3-19 方向特徵響應投影帄面………32

(9)

ix

圖 3-20 特徵點比對示意圖………33

圖 4-1 雷射與攝影機複合式地圖建構流程圖………..………34

圖 4-2 雷射、地面與 ROIIMG上限影像投影點………….………35

圖 4-3 NUS 特徵點雷射點深度值對應……….………35

圖 4-4 Z-X 世界座標示意圖………37

圖 4-5 直線方程式象限示意圖………..………38

圖 4-6 是否加入 NUS 特徵點之判斷流程圖……….…………39

圖 5-1 粒子濾波器定位系統流程………..…………40

圖 5-2 粒子產生階段………..41

圖 5-3 預測階段………..………41

圖 5-4 環境資訊的感測階段………..………42

圖 5-5 重新取樣階段………..………42

圖 6-1 複合式地圖之攝影機視覺定位流程圖………..………44

圖 6-2 機器人可能的位置與角度誤差值計算示意圖………..………45

圖 6-3 對應向量投影結果……….……….47

圖 6-4 粒子狀態偏差之對應向量投影示意圖………..………50

圖 7-1 雷射點投影於影像與 LBP 特徵點擷取結果………..………53

圖 7-2 雷射點分布與特徵點位置………..………55

圖 7-3 執行視覺定位之對應向量投影結果………..58

圖 7-4 training data 影像資料不同雜訊對應向量投影結果………...………59

圖7-5 testing data影像資料不同雜訊對應向量投影結果………..…………60

圖 7-6 機器人直行 5 公尺測詴環境………...………61

圖 7-7 機器人直行 5 公尺過程攝影機影像擷取分解圖…………..………61

圖 7-8 機器人起始位置定位結果……….……….62

圖 7-9 機器人直線行走 5 公尺後的定位結果………..………62

(10)

x

圖 7-10 機器人原地旋轉 360 度之攝影機影像擷取分解圖…………...………64

圖7-11 機器人旋轉之視覺定位結果……….64

圖7-12 機器人行走正方形路徑之攝影機影像擷取分解圖………….………66

圖7-13 機器人正方形行走路徑之視覺定位結果………67

圖7-14 建構複合式地圖起始與結束之攝影機影像………68

圖7-15 機器人正50公分位置的起始與目標位置之視覺定位結……….………69

圖7-16 機器人負50公分位置的起始與目標位置定之視覺位結果……….69

(11)

xi

表目錄

表 4-1 象限對應表………...38

表 6-1 向量統計濾除法之直方圖………..51

表 7-1 不同影像資料的誤差值與執行效能測詴表………..………58

表7-2 training data影像資料的7種程度雜訊之誤差值計算結果………59

表7-3 testing data影像資料的7種程度雜訊之誤差值計算結果………..59

表7-4 機器人直行5公尺之視覺定位實驗結果………63

表7-5 機器人直行5公尺之雷射定位實驗結果………...………63

表7-6 機器人原地旋轉360度之視覺定位實驗結果……….65

表7-7 機器人原地旋轉360度之雷射定位實驗結果………...………65

表7-8 機器人行走正方形路徑之視覺定位實驗結果…………...………67

表7-9 機器人行走正方形路徑之雷射定位實驗結果……….68

表7-10 機器人正50公分位置之視覺定位實驗結果………69

表7-11 機器人正50公分位置之雷射定位實驗結果………..………70

表7-12 機器人負50公分位置之視覺定位實驗結果………..………70

表7-13 機器人負50公分位置之雷射定位實驗結果………..71

表 7-14 統整所有實驗情境之視覺與雷射定位結果………....72

(12)

1

第一章、緒論

1.1 研究動機

在過去的機器人產業中,人們對於機器人的印象是固定在同一個地方,且重複執 行同一件事,而隨著科技的進步,機器人已經不再是固定於同一個位置上執行同樣一 件事情,反而它是像人一樣可以四處行走,幫人們執行更多的工作事項。因此,以往 只能在工業生產的機器人已經漸漸的走入居家生活,帶給人們更多的生活便利。近年 來市面上具有行動能力的機器人相關應用產品陸續推出,常見的有居家打掃機器人與 導覽機器人等,但大部分這些機器人的行動能力相當有限且沒有效率,例如打掃機器 人常會重複行走已走過的路線,造成工作效率降低。也有些機器人的製造成本相當昂 貴,例如導覽機器人多半是使用如雷射機的高成本感測器,來進行空間環境的量測,

這樣高價位的產品,經常會面臨市場接受度很低的窘境。基於以上原因,機器人需要 能擁有較高的執行效率與較低的製造成本,才能符合市場真正的需求。在機器人行動 中,為了避免在行走過程時迷失了方向,所以需要即時的辨識且認知機器人在環境中 的位置,因此機器人的定位技術被視為一項相當重要的技術,因為它能給予機器人自 主行動的能力。但是,一個實用的機器人定位技術,不僅是要求定位的準確性以外,

還應該是可以使用較低成本的硬體設備,就能快速且準確的將機器人所處的位置辨識 出來,也因此機器人定位技術在近年來成為相當熱門的研究議題。

本論文將提出一種具創新性的機器人視覺定位方法,使用價格低廉的攝影機,來 取代昂貴的雷射機,使得此機器人定位系統在解決高成本的情況下,還能保持與先前 使用雷射機一樣準確的定位效果。

(13)

2

1.2 相關研究

近年來機器人自主移動能力為服務型機器人研發的主要核心技術之一,包括兩大 層面:環境資訊收集與辨識、機器人位置估測及行走路徑規畫[1]。環境資料的收集 與辨識,主要透過配置在機器人身上的距離感測器進行週遭環境特徵的擷取,透過偵 測週遭的物體或障礙物,建構出可描述環境特徵的電子地圖,機器人即可在行走過程 中依不同時間點所收集到的環境距離資訊及電子地圖,完成本身位置的估測及路徑規 劃[2][3]。在早期的研究中我們利用室內 GPS (Global Position Sensor)的數據或者特殊 的外部信標(Land Mark)當作環境特徵,建立了環境資訊的地圖,機器人於環境中感 測到參考點資訊即能計算所在位置,進一步用於規劃行走路徑。

常見的移動式機器人透過雷射感測器(Laser Range Finder)進行自主定位導航,它 能夠即時且有效且大範圍量測環境中的距離資訊,為目前室內定位技術主要發展方向,

然而雷射距離感測器的高成本,限制此類系統在實務應用的機會;低成本的超音波感 測器對於環境物體的材質及角度敏感度高,影響定位應用的穩定性,因此在穩定性的 考量下並不適用。而低成本攝影機的立體視覺定位技術,對於一般的牆面或是單純背 景環境,因無法獲得穩定的環境資訊,常造成環境物體深度估測不確定性高,亦直接 影響定位與地圖建置效果。

近年的研究成果,已經成功利用低成本單一攝影機作為唯一的感測裝置[4][5],

透過擷取所拍攝影像的環境特徵點,做為定位與地圖建置的主要參考點,並結合 EKF (Extended Kalman Filter)[6]或 PF (Particle Filter)[7]演算法,進行機器人移動的預測與 修正程序,以達成較準確的環境特徵地圖與機器人定位。然而,以單一攝影機擷取影 像的 SLAM (Simultaneous Localization and Mapping)架構,所擷取到的特徵位置容易 因角度、光源、距離等因素影響,造成特徵比對錯誤,使機器人定位失效。因此,為 了改善此問題,強化環境特徵擷取與比對的穩定性是相當重要的。

在電腦視覺中,特徵點擷取與比對是經常使用到的技術,常應用在兩不同時刻所

(14)

3

擷取影像,其互相對應的關係。觀察影像中特徵點周圍的資訊,當觀察區塊有輕微的 移動時,若區塊內的特徵具有顯著的變化,則我們說此特徵點具有高鑑別度,而這些 特徵點通常被稱為角點。先前已有許多種角點偵測方法被提出,如 Harris 角點偵測方 法[8],提出自相關矩陣的響應函數,利用特徵區塊移動時,角點區塊會比在直線邊 緣與帄坦區塊產生較大響應函數值的特性,來判斷一影像點是否為角點;而 DOG (Difference of Gaussian)角點偵測方法[9],利用高斯函數針對影像使用不同大小的標準 差,產生多張不同模糊程度的影像,將相鄰大小標準差的對應影像兩兩相減後,利用 亮度值較一致的區域中差異值較低,而邊緣與角點區域相減後的差異值較高的特性,

來產生可能的特徵候選點,再使用 Harris 的自相關矩陣刪除位於線條邊緣(Edge)上的 點來找出角點位置;SUSAN (Smallest Univalue Segment Assimilating Nucleus)角點偵 測方法[10],利用圓形遮罩來統計中心與範圍內影像亮度值,差異夠大的像素點個數。

當中心為角點時,其統計值會比帄坦或線性邊緣的影像點來的大,利用此特性來判斷 是否為角點。角點偵測之機器學習法(Machine Learning Approach To Corner Detection) [11]是一種運算極為快速的角點偵測方法,在所要偵測的視窗中,根據其中心點來設 定適當距離的圓周像素點,利用視窗中心點亮度值與圓周上各個像素點的亮度值進行 差異值的比較,若視窗中心點為角點,則在圓周上像素點的亮度值會有相當數量且連 續的點皆大於圓中心點的亮度值(當為亮度較暗之角點時)或皆小於中心點亮度值(當 為亮度較亮之角點時),再將以上條件用來當作決策樹 ID3[12]的分類屬性,進行該視 窗中心點是否為角點的分類。因為它不需要經過複雜的數學式運算,所以速度的優勢 讓它在許多應用中嶄露頭角。

但以上所介紹的角點特徵,對於機器人定位時所面臨的特徵點大小與視角變化的 問題還是沒有辦法解決,所以必需找尋另一種更能容忍環境變化的特徵點。SIFT (Scale Invariant Feature Transform)[9]是一種能夠解決特徵點發生旋轉、尺度變化、視 角改變的方法,故此方法常應用在物件具有較大的角度與距離變化的情況,首先以 DOG 方法找出特徵點,再計算特徵點周遭梯度的方向與強度值,然後採用梯度直方

(15)

4

圖作為該特徵點的表示特徵。一般而言,SIFT 特徵具有很好的鑑別能力,但它的計 算複雜性高,需要耗費大量的計算時間,不容易在需即時處理的應用中使用。而對於 影像大小與視角的變化一樣具有容忍性的 SURF(Speed-Up Robust Feature)特徵[13],

此特徵雖然精準度比 SIFT 特徵稍低,但是所耗費的計算量卻比 SIFT 特徵減少很多,

可以達到即時處理的應用需求。故在本論文中,使用 SURF 特徵來進行相關研究與實 驗。

1.3 論文架構

本論文共分為八章,各章節內容安排如下:

第一章說明本論文的研究動機與機器人定位的相關研究。本論文提出的複合式地 圖進行移動機器人視覺定位(Visual Localization for Mobile Robots Based on Composite Map)技術主要可分為(1)感測器內外部參數估測與座標系轉換,和(2)影像特徵點擷取 與比對等兩大區塊,它們將分別於第二章與第三章進行說明。

在第二章的感測器內外部參數估測與座標系轉換的步驟中,首先將利用校正板來 估測出攝影機的內部參數,且得到校正板與攝影機的外部參數,此外部參數代表著校 正板與攝影機在三維空間上的旋轉與帄移關係,再利用此外部參數的計算方法,來進 行雷射機與攝影機的座標系轉換,並且利用針孔成像原理,來將三維的攝影機座標系 投影到影像帄面上,以得到雷射點與影像帄面像素點之間的物理關係。

第三章利用視覺進行機器人定位時,要如何在影像中找到很有鑑別能力的特徵 點(標定點),是個很重要的課題。所以在攝影機影像中,為了能容忍機器人在空間上 不同位置所造成特徵點的變異,我們擷取出一種對於尺度與視角變化有一定程度容忍 性的 Speed-up Robust Feature(SURF)特徵點作為影像中的定位標記點,且結合我們所 提出的一種能從影像中快速擷取出具有鑑別度的影像紋理特徵點的 Local Binary

(16)

5

Pattern (LBP)[15]。紋理特徵擷取方法,目的是在於濾除較無紋理的 SURF 特徵點,

其過濾後所擷取出來的特徵點又稱為 Non-Uniform SURF(NUS)特徵點,之後再利用 每個 NUS 特徵所屬的特徵點描述,來與複合式地圖中的特徵點進行特徵點比對,找 出其最佳的對應關係。

第四章將會說明在複合式地圖的建構過程中,利用第三章所提到的特徵點擷取所 得到的 NUS 特徵點,將其結合雷射機的深度資訊後,利用第二章所提到的影像帄面 座標系轉換到雷射機座標系的技術,使得二維影像中的特徵點能建構且記錄在三維空 間的世界座標中(複合式地圖)。

第五章是使用粒子濾波器來進行機器人定位的演算法說明。第六章將會說明如何 利用攝影機當下影像所擷取出來的特徵點與複合式地圖所建構的特徵點進行比對,來 計算出最佳的定位結果。第七章為視覺定位的實驗結果,我們蒐集了許多組資料,且 設計多種機器人在定位時可能出現的情境來進行實際的定位測詴,其中也會將視覺定 位的結果與雷射定位結果進行比較,之後根據實驗結果進行探討與分析。

第八章為結論與未來展望,它總結本論文的研究成果,並對未來可繼續改進的部 分以及繼續研究的方向做一個說明。

第二章、感測器內外部參數估測與座標系轉換

因為攝影機與雷射機有其各自的座標系統,要有效地結合這二種座標系統,必頇 先將攝影機內部參數和攝影機與雷射機之間對應的外部參數正確地估測出來[16][17]。

在 2.1 節中將會介紹攝影機內部與外部參數的估測方法,攝影機內部參數是指在攝影 機投影帄面與攝影機座標的關係矩陣,其結果會影響影像帄面與攝影機座標之間的轉 換;而外部參數是指在不同座標系統上,其原點位置和座標主軸間的帄移和角度旋轉 關係。在 2.2 節中,我們將會說明如何求得攝影機和雷射機之間外部參數的做法。而

(17)

6

在 2.3 節中將會說明攝影機座標系投影到影像帄面的做法。2.4 節則是說明雷射座標 系與世界座標系的轉換方法。最後在 2.5 節中將會結合先前所說明的多種座標系轉換 方法,來將世界座標系投影到影像帄面上。

2.1 攝影機內部與外部參數的估測

在求得攝影機內部與外部參數部分,我們將使用在 Matlab 上所開發的 Camera Calibration Toolbox [18],此工具只需要一個校正板參考帄面即可求得攝影機內部與外 部參數,但為了求出更精確的攝影機內部參數,我們使用了多個校正板參考帄面的做 法。下圖 2-1 顯示,在固定攝影機的情況下,只需轉動校正板,就可以精確地求出攝 影機的內部與外部參數。

圖 2-1 用於攝影機校正的校正板與姿勢

Camera Calibration Toolbox 輸出的內部參數有:焦距(Focal length)、軸點位置 (Principal point)、歪曲變數(Skew)與扭曲變數(Distortion)。在求出內部參數以後,根

(18)

7

據針孔成像原理再利用此內部參數,就能將三維空間的攝影機座標系投影到影像帄面 上。而外部參數包含攝影機原點座標到校正板帄面的旋轉矩陣(Rotation matrix)與帄移 向量(Translation vector)。如圖 2-2 所示,根據不同的校正板帄面,其旋轉矩陣 R 與帄 移向量 t 也有所不同。本論文所使用的攝影機與雷射機之外部參數估測技術,是依據 此 Toolbox 所產生的攝影機內部與外部參數來進行估側的。

圖 2-2 攝影機座標與校正板帄面之外部參數估測示意圖

2.2 雷射機與攝影機之外部參數估測

在 2.1 節中,我們利用工具已能得到攝影機內部的估測參數,而本節將會說 明雷射機和攝影機之間的外部參數估測原理與做法。

2.2.1 雷射機與攝影機之座標系轉換

實際上,雷射機與攝影機所架設的機構如下圖 2-3 所示。其目的是希望能在圖中 上方的攝影機影像中,將下方雷射機的雷射投射點對應到影像上。

(19)

8

圖 2-3 攝影機、雷射機與校正帄面間的位置關係

在進行複合式地圖定位時,需要有一個當時環境所對應的世界空間座標系,其座 標系的原點在此空間中是固定且不會變動的,而此座標系就是所謂的世界座標系,以 下(2-1)式即為三維空間世界座標系 轉換到三維空間攝影機座標系 的轉換方程式,

其中 為三維空間的世界座標系,經由一個 3 3 旋轉矩陣 R 以及攝影機中心點和 世界座標系原點間的 3 1 位移向量 t,來將世界座標系轉換到攝影機座標系。

(2-1)

攝影機座標系對應校正板帄面上,垂直於校正板帄面 1 的法向量 N 可用(2-2) 式來描述,其中 為攝影機與校正板所估測出來的旋轉矩陣 R 之第三個行向量。

(2-2)

雷射機座標系對應到攝影機座標系可利用(2-3)式的轉換方程式來求得,其中 為 雷射機與攝影機的 3 3 旋轉矩陣, 為雷射機與攝影機的 3 1 位移量, 為雷射座標 系。

(20)

9

(2-3)

對攝影機座標系而言,由攝影機中心至校正板帄面上的任一向量 都滿足下列方程 式:

(2-4)

將(2-3)式帶入,可將(2-4)式改寫成:

(2-5)

其中雷射座標 與校正帄面的法向量 N 為已知,進而可求得外部參數 與 ,其 求解方式主要是利用 2.2.1 的線性求解方法與 2.2.2 的非線性求解方法,來找出最佳的 與 等兩種外部參數。

2.2.2 線性求解

由於雷射機是進行水帄的掃描,所以每個雷射點在 Y 軸上都有相同的高度,因此 可以將雷射座標系的 Y 等於 0 設定成此高度。在求解時,我們也可以技巧性地將雷 射座標 =[X 0 Z]T 改寫為:

其中 X 為雷射點水帄位置,Z 為雷射點深度值,則方程式(2-5)可改寫為:

(21)

10

(2-6)

其中

為一個 3 3 的轉換矩陣。

將方程式(2-6)重新整理,則可描述成為一個最小帄方問題(Least Square Problem):

其中 屬於 ,為一個在校正帄面上的雷射點位置向量。若只拿

一組校正帄面上的 k 個雷射點,使用最小帄方法來求解轉換矩陣 H,將會發生缺秩 (Deficient Rank)現象,而得到錯誤的結果。但若將多組校正用的雷射點資訊,依序串 接起來,則不會發生缺秩的問題,因而可正確地求解出轉換矩陣 H。

在求解出 H 中所有元素之後,可藉由計算下列方程式:

即能求出外部參數 與 ,其中 為矩陣 H 中第 i 個行向量。

(22)

11

2.2.3 非線性最佳化

在線性求解的步驟中,使用多組校正用的雷射資訊來求得外部參數 與 ,緊 接著再經由 2.2.2 的(2-5)式並透過尤拉距離(Euclidean distance)的計算,便可利用線性 求解所得到的外部參數 與 ,來計算所有校正結果的誤差值

,如下(2-7)式所示,

i 為第幾個校正帄面, j 為一個校正帄面上第幾個雷射點。當外部參數較不準確時,

便會使得誤差值

上升,因此可依據此誤差值的大小,來判斷是否已找到了最佳的 與 。

 

(2-7)

非線性的求解方法如下圖 2-4 流程圖所示。一開始將所有校正資訊Ni與雷射 點 都當成是有效的資料集合,且利用線性求解所得到的外部參數 與 ,來計 算整體的誤差值

。若

小於或等於門檻值δ,則當時所對應的外部參數即為最佳解;

反之,則可能因校正資料有雜訊存在,所以先找出具有最大誤差的校正資料(假設為 校正資料 d),則將校正資料Nd與雷射點 從有效資料集合中刪除。然後再利用修 正後的有效資料重複進行線性求解的外部參數計算,直到

小於或等於門檻值 δ 為 止。

圖 2-4 非線性最佳化流程圖

有效資料集合 線性求解外部參

數與

從有效資料集合中 刪除誤差值最大的

d



i j

i j

i L i

i

P ||N ||

||

||N

ε ( N (

1

(

,,

)) )

2

 

求得外部參數

與

否 是

(23)

12

 

 

 

 

 

1 _ _ 1

y x i y projection p

p projection x

v u

x

2.3 座標系空間轉換

本章節會將各種座標系轉換方法進行統整與介紹,在 2.3.1 節中先會介紹如何將 三維的攝影機座標系投影到二維的攝影機影像帄面。2.3.2 節將會介紹如何將二維的 雷射機座標系直接投影到影像帄面上。2.3.3 節會介紹如何利用旋轉與帄移的轉換,

將雷射座標系轉換到世界座標系。最後在 2.3.4 節將會統整之前所介紹過的轉換方法,

將三維空間的世界座標系直接投影到影像帄面上。

2.3.1 攝影機與影像帄面座標系轉換

我們將 Homogeneous coordinate 投影在影像帄面(u, v)上,在此定義 xi為攝影機 座標系中的某一點 PC位於影像帄面的投影位置,x 為 PC於影像投影點距離影像水帄 光軸中心的位移量,y 為 PC於影像投影點距離影像垂直光軸中心的位移量,其 x 與 y 皆為物理的數值的單位(mm),projection_px為攝影機光軸中心點投影到成像面的水帄 位置,projection_ p為攝影機光軸中心點投影到成像面的垂直位置,其表示如下:

我們定義 PC為[Xc Yc Zc]T,且我們利用先前 Camera Calibration Toolbox 針對所有 的校正板進行計算,來產生攝影機內部參數K,如下 (2-8) 式所示,其中將攝影機焦 距 f 轉換為 fx與 fy,而 fx為水帄軸焦距,f為垂直軸焦距,此兩個焦距的單位皆為像 素點的個數,再將光軸於成像面的投影點 projection_px與 projection_py分別轉換為 px 與 py,其中 px為攝影機光軸中心水帄像素點位置,p為攝影機光軸中心垂直像素點

(24)

13

.

1 1

pixelsize y y

pixelsize y

y

pixelsize x x

pixelsize x

x

pixel pixel

pixel pixel

 

 

 

 

 

 

 

 

 

y x

y pixel

x pixel pixel

pixel

pixelsize p y pixelsize p

x

p y

p x

v u



 



 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0 1 1 0 0

0 0

0 0

1 1

c

c c

y y

x x

c y c c y

x c c x

y c

c y

x c

c x

y pixel

x pixel

Z Y X p

f p f

Z p Z Y f

p Z X f Z p

Y f

Z p X f

p y

p x

位置。

 

 

1 0 0 0

0

y y

x x

p f

p f

K

(2-8)

以上所提到的 u、v 與 x、y 單位都是物理數值(mm),而在實作上需要轉換為像 素點個數,其轉換方法如下(2-9)式,xpixel與 ypixel為光軸投影點到影像點之距離像素點 個數。最後(2-10)式所求得的 upixel與 vpixel即為影像投影點像素點位置。

(2-9)

(2-10)

之後再利用幾何成像原理可推得以下式子,其中 fx與 fy是以像素點個數為單位的焦距 參數。

(25)

14

 

 

 

 

 

 

 



 



 



 



 

' ' X

y x Z

Y Z f

y f x

f p v

f p u

p y

v

p x

u

c c c c

y pixel

x pixel

y y pixel

x x pixel

y pixel pixel

x pixel pixel

最後整理式子,將攝影機座標系中的 PC投影在影像帄面的結果即為下(2-11)式。

(2-11)

此時的(upixel, vpixel)為 PC投影在影像帄面上的理想位置,而實際上攝影機影像 可能會有扭曲現象發生,故在此進行扭曲校正說明。首先我們先定義投影在影像上理 想 的 Homogeneous coordinate (upixel, vpixel) , 其 距 離 光 軸 中 心 點 的 位 移 向 量

]

T

1 [

~ x  x' y'

之間的關係式如下:

扭曲校正後投影在影像帄面上的 Homogeneous coordinate (upixel, vpixel),其距離光軸中 心點的位移向量

[ x'' y'' 1 ]

T為:

2 2 2

2 2

2 1 6 3 4 2 2 1

2 2 2 1

6 3 4 2 2 1

' '

1

' ' 2 ) ' 2 ( ) 1

( '

) ' 2 ( ' ' 2 ) 1

( '

1 '' ''

y x r

y x p y

r p r k r k r k y

x r p y x p r

k r k r k x y

x

 

 

 

 

 



















0 1 0 0

1 0 0 0

0 Z

1

1 c

c c

y y

x x

c pixel pixel

Z Y X p f

p f

v u

2 1

3 2 1

, ts coefficien distortion

Tangential

, , ts coefficien distortion

Radial

p p

k k k

(26)

15

 

 

 

 

 

y y

x x pixel

pixel

p y f

p x f v

u

'' ''

C pixel

pixel

KP v

u

Z

c

1 1

 

 

 

) (P K v

u

L pixel

pixel

Δ Z Φ

1 1

1 L

 

 

 

最後扭曲校正後投影在影像帄面的位置(upixel, vpixel)即為:

2.3.2 雷射座標系與影像帄面座標系轉換

建構複合式地圖時,特徵點與雷射點的資訊結合將會需要進行雷射點座標系與影 像帄面座標系的轉換,其轉換方法頇要先將雷射機座標系轉換到攝影機座標系後,再

從 攝 影 機 座 標 系 投 影 到 影 像 帄 面 上 。 所 以 我 們 需 要 利 用 上 述 2.2.1 的 (2-3) 式 ,將雷射座標系轉換到攝影機座標系,再利用 2.3.1 節中的(2-11)式 子:

最後將上述兩個式子結合後可得到(2-12)式,其中 ZL為雷射點深度值,

因雷射機與攝影機架設的相當接近,故可將 Zc值近似於 ZL。如此利用(2-12) 式就能直接將雷射點投影到影像帄面上了。

(2-12)

(27)

16

2.3.3 雷射座標系與世界座標系空間轉換

我們經由雷射機感測環境後,能得到以雷射座標系為基準的環境感測數值,但為

了與世界座標系進行結合,我們必頇將 Z-X 雷射座標系轉換到 Z-X 世界座標系中,

其轉換的方法是將雷射座標系進行旋轉與帄移。假設

為雷射座標與世界座標之間 的旋轉角度,且帄移向量為[m, n]T,而已知雷射 Z-X 座標系上的一點(zLaser, xLaser),

將其旋轉

角度並帄移[m, n]T後,所對應到的 Z-X 世界座標系位置為(zWC, xWC),即

 

 

 

 

 

 

 

n x

m z

x z

Laser Laser WC

WC

cos sin

sin cos

(2-13)

2.3.4 世界座標系與影像帄面座標系轉換

由於之後進行視覺定位時會有大量的世界座標系與影像帄面的轉換計算,所以我 們將上述許多座標系轉換方法的式子進行合併與簡化,使得計算效能得以提升,且在 此章節也做個整合。由上述雷射轉換到世界座標系的(2-13)式進行整理,可將 Z-X 世 界座標系轉換到 Z-X 雷射座標系,如下所示:

 

 

 

 

 

 

 

 

 

 

 

n m x

z x

P z

W W L

L L

1

cos sin

sin cos

(2-14)

(28)

17

由於機器人移動時雷射機高度 Y 軸並無角度變化,所以雷射座標系與世界座標 系的高度軸是相同的,不需要進行旋轉的轉換,所以可將 (2-14)式的 PL改寫為

L, 其結果如下(2-15)所示,ywc即為世界座標系的高度值。

 

 

Laser WC Laser

L

z y x

(2-15)

最後經由世界座標系轉換到雷射座標系的(2-14)式與 2.3.2 節雷射座標系轉換到 影像帄面的(2-12)式,我們就能將 Z-X 二維空間的世界座標系投影到影像帄面了。

2.3.5 影像帄面與世界座標系轉換

首先利用 2.3.2 節中的 2-12 式進行改寫,將影像帄面(upixel, vpixel)轉換到雷射座標

系 PL = (XLaser, YLaser, ZLaser),如下(2-16)式所示。由於機器人定位所使用的世界座標系

為 Z-X 帄面,所以我們只擷取 Z-X 的雷射資訊,並利用 2.3.3 的(2-13)式來將

Laser Laser

T

L Z X

P

轉換到 Z-X 世界座標系中。如此便能將影像上的點轉換到 Z-X 世 界座標中了。

 

 

 

 

 

1

1 pixel pixel L

Laser Laser Laser

v u K Z Z

Y X

(2-16)

(29)

18

第三章、影像特徵點擷取與對應

經由雷射座標轉換到影像帄面之後,緊接著我們針對雷射投影在影像上的位置,

在雷射點與特徵點擷取範圍為同一深度帄面的假設之下,來進行特徵點擷取。

我們所看到的影像,是由眾多像素點所組成二維的影像,它們的資料量龐大且包 含各式各樣複雜的影像資訊,所以要如何快速且準確的找出具有代表性的影像區域或 特徵點位置,且將其有效的描述,一直都是很重要的研究議題。一般而言,特徵點擷 取就是針對某種特徵屬性(如角點、邊緣等)進行函數定義,再將函數的計算結果作為 特徵,然後依據此特徵來將影像特徵點快速的尋找出來。圖 3-1 為我們所設計的特徵 點擷取處理流程,其中包括了(1).將原始灰階影像進行 SURF 與 LBP 特徵轉換,(2).

利用轉換後的結果分別偵測出 SURF 與 LBP 特徵點,(3).結合上述兩種特徵點來偵測 出 Non-uniform SURF 特徵點。在 3.1 節中將會先介紹 SURF 與 LBP 從灰階影像開始 進行特徵轉換的方法,其中在 LBP 特徵轉換方法介紹之後,也會說明如何使 LBP 特 徵更加穩定的臨界值穩定機制與雜訊去除機制,且在 3.2 節中也會介紹 SURF 與 LBP 的特徵點偵測方法,並且說明如何篩選出較具有鑑別度的 NUS 特徵點。

圖 3-1 特徵點擷取流程圖

(30)

19

3.1 特徵轉換

在進行特徵點偵測的一開始,需要先將原始灰階影像進行特徵轉換,來將影像 中有用的特徵資訊擷取出來,以下是 SURF 與 LBP 的特徵轉換方法介紹。

3.1.1 SURF 特徵轉換

SURF 的特徵轉換[13]是使用 Hessian matrix 來表示,如下(3-1)式所示, H(x, ) 定 義為影像 x 點在高斯 scale 大小為 的 Hessian matrix,其中 Lxx Lyy 與 Lxy分別為水 帄、垂直與 45 度方向的 Gaussian second order derivative,如圖 3-2 的 a、b、c 子圖所 示,再利用運算與它們近似的 box filter (如圖 3-2 的 d、e、f 子圖所示)進行 convolution 運算,得到 Dxx、Dyy與 Dxy的運算結果,來達到 Laplacian of Gaussian approximations 的目的。

 

 

 

) , ( ) , (

) , ( ) , ) (

,

(  

 

x L x L

x L x x L

Η

yy xy

xy xx

(3-1)

(a) (b) (c) (d) (e) (f)

圖 3-2 由左到右: (a) (b) (c)為 Gaussian second order partial derivative ; (d) (e) (f)為 趨 近 Gaussian second order partial derivative 的 box filter. 圖中灰色區域權重值為 0.

因為這樣的 box filter 實作方法,需要大量累加影像上矩形區域的灰階值後再進行相

(31)

20

減,為了增加效能,所以再搭配使用 Viola and Jones 所提出的 Integral image 方法[14]

來減少計算量;再針對近似後的 Hessian matrix 進行 determinant 計算,如下(3-2)所示:

)2

( )

det(Happrox

DxxDyy

wDxy

(3-2)

經過 determinant 計算後就能得到每個像素點的響應強度,且利用不同高斯尺度大小 的 box filter,來計算出固定大小影像中每個像素點的響應強度,且將每個像素點計算 後的結果儲存在 blob response map 中,在 3.2.1 節將會利用 blob response map 來進行 SURF 特徵點的偵測。

3.1.2 LBP 特徵轉換

Local Binary Pattern (LBP)在許多影像紋理特徵資訊的擷取應用上已有相當不錯 的成果,而 LBP 方法是由 Ojala et al. [15]所提出的,其計算的方法是從灰階影像上進 行 3x3 的遮罩運算所產生的結果,而 3x3 的遮罩運算方法是比較遮罩中心點位置亮度 值與周遭 8 個像素點亮度值的大小關係,如下 3-3 式所示, (xc, yc)為 LBP mask 的中 心點, s(x)為二元判斷函式.

7

0

2 ) (

) , (

p

p c p c

c y s g g

x LBP

(3-3) 又

 

 

. 0 if , 0

0;

if , ) 1

( x

x x s

(3-4)

(32)

21

圖 3-3 LBP 計算方法

圖 3-3 為一個 LBP 特徵影像點的計算方法,最後計算出每個灰階影像像素點的 LBP 特徵值,其結果如圖 3-4 所示。由圖 3-4 我們可以清楚地看出許多圖像中的紋理資訊。

由於 LBP 是一種區域的亮度關係,對光線變化有一定程度的抑制能力,這意味著在 相同場景不同光照條件下擷取不同的影像,所得到的 LBP 特徵影像是不太有變化的,

如圖 3-5 所示。顯然的,LBP 特徵影像是一種可以容忍光線變化的特徵轉換方法,較 能適應於現實環境的應用上。

圖 3-4 LBP 特徵影像

(33)

22

圖 3-5 在不同光線中所呈現的 LBP 特徵影像

由於影像中的亮度值會受到雜訊干擾而有些微的變化,也就是說當攝影機在不同時間 拍攝同一個畫面時,所拍攝的影像中相同位置的像素點亮度值並不相同,此現象會造 成得到不同 LBP 特徵值的結果;為了讓 LBP 特徵影像更加穩定,我們加入了兩個機 制: (1).臨界值穩定機制,和(2).雜訊點去除機制。

(1) 臨界值穩定機制

由於 LBP 是中心點與周遭像素點亮度值的大小關係,對於一些亮度值很接近(對比很 低)的區域,很容易受到雜訊的影響而使得 LBP 特徵特徵值發生異常變異,所以加入 了臨界值機制,而臨界值機制是將(3-3)式中的二元判斷函式 s(x)改寫為:

 

 

. T if , 0

T;

if , ) 1

( x

x x s

也就是說在 33 的區塊中,周圍像素點的亮度值與中心像素點亮度值差異要夠大(大 於或等於臨界值 T),我們才設定該位元為 1,如此一來可以解決中心像素點與周圍像

(34)

23

素點亮度值太相近,導致 LBP 值的不穩定情形。

(2)雜訊去除機制

利用上述的臨界值穩定法後,位於帄滑區域的像素點,縱使存在強度不大的雜訊,

它們的 LBP 特徵值仍然會是 0。但是臨界值穩定機制所使用的 T 不能太大,否則較 細微的紋理變化將會無法顯現出來,所以我們使用了由 Ojala et al.所提出來的 LBP Uniform Patterns[19]方法,將每一個 LBP 特徵值其位元變化由 0 到 1 與 1 到 0 之次 數大於 2 的特徵點濾除,因為這些點極可能為雜訊點。圖 3-6 顯示兩種狀況(正常與 異常)影像的範例:

(a) 正常的 33 區塊影像範例 (b)異常的 33 區塊影像範例

圖 3-6 影像範例:(a)正常影像. (b)異常影像.

圖 3-6(a)的 LBP 特徵值為(01110000)2,其位元變化次數為 2,是一種常出現的 3 3 區塊影像狀況,而圖 3-6 (b)的 LBP 值為(01010100)2,其位元變化次數為 6,因其變 化次數太高,所以我們將其歸類為異常影像區塊,也就是影像中的雜訊點,在比對時 我們只針對正常的 LBP 特徵值進行比對。下圖 3-7 為光線劇烈變化影像穩定且去除 雜訊後的結果。

(35)

24

圖 3-7 在不同光線中穩定且去除雜訊後的 LBP 特徵影像

3.2 特徵點偵測

經由 3.1 的特徵轉換後,利用所抽取出來的特徵資訊,並且使用特徵點偵測方法 來將特徵點的位置偵測出來,以下將會介紹我們所設計的 Non-uniform SURF 特徵點 偵測方法,因為此特徵點偵測是結合 SURF 特徵點與 LBP 特徵點的做法,所以我們 會先介紹 SURF 特徵點與 LBP 特徵點的偵測方法,之後再介紹 Non-uniform SURF 特 徵點偵測方法。

3.2.1 SURF 特徵點偵測方法

將原始灰階影像經過 SURF 特徵轉換後,針對 Hessian matrix 進行 determinant 計算後可得到每個像素點的響應值,再將許多不同影像尺度所計算的響應值儲存在 blob response map 中。圖 3- 8 表示為使用 33 大小的 block 針對連續 3 個不同尺度大 小的影像進行 non-maximum suppression 方法的判斷[20],當某一個位置x在影像尺度 為 0.6 的 blob response map 之強度響應值比周遭 8 個鄰近位置的強度響應值都大,且

(36)

25

也比影像尺度為 0.4 與 0.8 的 blob response map 之 18 個鄰近位置強度響應值都大時,

則此位置即被偵測為一個 SURF 特徵點。然後使用 Brown 與 Lowe[21]所提出的 Invariant Features from Interest Point Groups 方法,將該尺度所偵測到的特徵點位置與 大小轉換到原始的 image space 中,如此一來就可以在多個影像尺度中都能偵測到 SURF 特徵點。下圖 3-9 中紅色圓圈即為我們所偵測到的 SURF 特徵點。

圖 3-8 三個影像尺度之 blob response map 範例

圖 3-9 SURF 特徵點擷取結果

(37)

26

3.2.2 LBP 特徵點偵測方法

針對每一張 LBP 特徵影像來找出 LBP 特徵點,在 7x7 的範圍內,如下圖 3-10 的 右圖所示,在中心點位置 p,計算 p 點位置的 LBP 值與周遭 16 個位置點的 LBP 值之 漢明距離,設定一臨界值 t,Hp->x為 p 點到 x 位置的 LBP 值之漢明距離,且 x{1…16};

在 x 集合裡,當 Hp->x > t 連續有 n 個 p -> x 成立,且 n 大於臨界值 B,則定義此 p 點 為我們所要擷取的紋理特徵點,因為當 Hp->x > t 表示 x 位置與中心點 P 差異較大,而 當影像為帄滑區域時其 Hp->x < t,又 Hp->x > t 的連續個數 n 表示此特徵點紋理的幾何 角度程度,若 n 越大其角度越小,在這裡利用此參數來區分與剔除比對時容易比對錯 誤的直線邊緣點。

圖 3-10 p 點與周遭 16 個點之範例圖.

為了要加快偵測速度,會在 16 個周圍點中先以上下左右四個白色點(如圖 3-11 所示)來判斷,假如沒有一個以上相鄰白點的 Hpi 大於 t 時,則此點不可能為角點而 會被濾除。這是因為當 p 點位於影像帄滑區域時,它與周遭四個白色點都很相似,所 以四個白色點的 Hpi 都不會大於 t,而當 p 點位於影像直線邊緣上時,四個白色點 的 Hpi 也不會大於 t,但若 p 點位於角點上時,如圖 3-11 所示,灰色方框為特徵點 偵測視窗,紅點代表 F 圖 3-12 的 p 點,藍點代表圖 3-12 的白點,當偵測的視窗中心 點為角點時,紅點與上、下、左、右四個方向的藍點,其 LBP 特徵值之漢明距離較

(38)

27

大,所以 Hpi 皆大於 t。如此一來,即可以快速的濾除位於帄滑與直線邊緣的點,

並且找出角點的候選位置,然後再針對候選的角點位置進行其餘 12 個點的判斷,則 可得到正確的角點位置。

圖 3-11 角點示意圖,灰色方框為特徵點偵測視窗,紅點為位於視窗中心的角點,藍 點為位於帄滑區域上的點。

圖 3-12 LBP 特徵點擷取加速方法範例

由於在中心點 p 的周遭可能伴隨著雜訊,如果我們只有使用 Hpi > t 的個數來判 斷這一點是否為特徵點將會是很不穩定的,所以我們加入了”連續成立”的條件,當 Hpi 在 1≤i≤16 需要連續成立,且次數要大於 B,如此一來 p 點才會被認定為我們所 偵測的 LBP 特徵點。下圖 3-13 為 p 點與周遭 16 個點計算後的結果,在每一次比對 我們判斷 Hpi 是否大於 t,如果大於 t 則計算結果標記為’T’,否則標記為’F’.

(39)

28

圖 3-13 p 點與周遭 16 個點的比較結果

圖 3-14(a)是針對圖 3-13 統計出連續’T’個數的結果(i.e. 8, 2 and 2)。如果當比較的 開頭與節尾都為’T’時,則將開頭與節尾連續 T 的個數進行相加,如圖 3-14(b). 最後 我們得到了 10 與 2 的連續 T 個數. 一般的情況,我們會將 B 臨界值設定為 8,所以 在這個例子當中,此 p 點將會被判定為 LBP 特徵點。經由我們所提出的 LBP 特徵點 偵測計算後,可以得到如圖 3-15 的結果。

(a) 原始統計連續 T 個數的結果

(b) 最後統計連續 T 個數結果.

圖 3-14 統計圖 13 連續 T 個數的結果

本論文所提出的 LBP 特徵點偵測方法對於光線變化具有相當程度的容忍性,且 能將影像中鑑別度較高的紋理特徵點偵測出來,若使用一般常見的特徵點偵測方法,

如角點偵測,當特徵點中心與周遭像素點的亮度對比不夠大時,響應的能量值將會很 低,則此特徵點將不會被偵測出來,而我們所提出的 LBP 特徵點擷取方法,由於是 利用灰階影像在不同方向的亮度對比結構作為特徵,並進行能量值的計算,所以與一 般的角點偵測方法相較之下,能偵測到更多的特徵點。在實際應用上,當影像的亮度

(40)

29

值對比不強時,如果使用角點偵測方法來濾除位於影像帄滑區域的 SURF 特徵點,將 可能會發生整張影像中所擷取到的 SURF 特徵點數量過少的情形,造成後續的應用資 料量不足的問題。下圖 3-15 為圖 3-4 進行 LBP 特徵點偵測後所得到的結果。

圖 3-15 LBP 特徵點偵測後所得到的結果

3.2.3 非帄滑區域 SURF 特徵點偵測方法 (Non-uniform SURF Point Extraction Method)

當我們得到 SURF 特徵點之後,經由觀察可以發現有些 SURF 特徵點是處於影像 中較無紋理的帄滑區域,而這些 SURF 特徵點在進行比對時,容易發生比對錯誤的情 形,所以我們利用 LBP 紋理特徵點偵測方法,進一步的濾除位於影像中較無紋理之 帄滑區域的 SURF 特徵點。我們的做法是先將影像中的 SURF 特徵點與 LBP 特徵點 偵測出來,然後在每一個 SURF 特徵點所對應的大小範圍內,檢查是否存在 LBP 紋 理特徵點,若不存在任何 LBP 特徵點,則認定此 SURF 特徵點是位於帄滑區域內,

而將其從 SURF 特徵點集合中濾除,經由上述處理後所產生的 SURF 特徵點集合即為 Non-uniform SURF 特徵點。圖 3-16 的左圖為一個位於帄滑區域之 SURF 特徵點示意 圖,此特徵點經過我們的非帄滑區域 SURF 特徵點偵測方法處理後將會被濾除,而右 圖即為一個 Non-uniform SURF 特徵點示意圖,因為在其 SURF 特徵點範圍內包含了

(41)

30

至少一個 LBP 特徵點。

圖 3-16 Uniform SURF 與 Non-uniform SURF 特徵點示意圖

3.3 NUS 特徵點描述

NUS 的特徵描述主要分為特徵強度與特徵方向的兩種。首先介紹特徵強度的描 述,此強度描述是針對 Integral image 使用 sum of Haar wavelet 響應(如下圖 3-17)來計 算水帄與垂直方向的強度,其分別為 dx 與 dy,又響應有正負方向的分別,而這邊也 加上絕對值來增加兩個特徵維度分別是|dx|與|dy|,之後再利用 sum of Haar wavelet 響 應計算後的值,進行累加來產生直方圖,如圖 3-18 所示,分別是三種不同的樣板其 直方圖統計後的結果,圖 3-18 (a)樣版是帄滑區域,並無水帄與垂直的強度,所以統 計後的直方圖結果值都很低,而圖 3-18 (b)樣版是黑白相間的圖形,只有在水帄方向 有變化,但 dx 會有正負值抵銷的情形,故統計值也很低,而|dx|因為只要在水帄方向 有亮度變化就會有較高的響應結果,所以累加總值是相當高的,而圖 3-18 (c)是由左 至右漸漸變亮的圖形,且保持同一個方向的亮度變化,所以 dx 與|dx|累加直都很高。

Uniform SURF 特徵點

LBP 特徵點

Non-uniform SURF 特徵點

LBP 特徵點

參考文獻

相關文件

於是我們若想要在已知函數值的某一點,了解附近大概的函

還有一些寫卷,我們只能確認其大概書寫區域,無法將其系於

• 由於對行文稱謂、格式的不熟悉,乃至於中西格式的 混淆,往往會出現一

本書立足中華文化大背景,較為深入系統地分析研究了回族傳統法文化的形成基礎、發展歷

因為我們的學員年齡層是大概 75~80 歲左右,那這些中高齡(老師)的來跟

1-3 有關臺灣原住民的介紹,重點放在荷 據時期前夕的社會與文化特徵;至於

對照加拿大學人麥基概括的東南亞大都市地區 Desakota 區的特徵,中國 20

斷詞:在文件資料經過前處理後,文件中只剩下文字資料,對於英文 而言,空白以及標點符號