結合二維影像與三維點雲資訊之物體辨識

(1)

國

立

交

通

大

學

電控工程研究所

碩士論文

結合二維影像與三維點雲資訊之物體辨識

Object Recognition Using 2D Image and 3D Point Clouds Data

研究生 :牟家昌

指導教授:林昇甫博士

(2)

結合二維影像與三維點雲資訊之物體辨識

Object Recognition Using 2D Image and 3D Point Clouds Data

研究生：牟家昌

Student: Chia-Chang Mou

指導教授：林昇甫博士

Advisor: Dr. Sheng-Fuu Lin

國立交通大學

電控工程研究所

碩士論文

A Thesis

Submitted to Institute of Electrical Control Engineering College of Electrical Engineering

National Chiao-Tung University in Partial Fulfillment of the Requirements

for the Degree of Master

in

Electrical Control Engineering June 2011

Hsinchu, Taiwan, R.O.C 中華民國一百年六月

(3)

i

結合二維影像與三維點雲資訊之物體辨識

學生 : 牟家昌指導教授 : 林昇甫博士國立交通大學電控工程研究所碩士班

摘要

近年來，在辨識三維物體的研究中，點雲資料逐漸成為重要的研究對象。在不同的拍攝視角與不同的拍攝距離所選取的特徵，往往會直接影響辨識的成效。為了解決這個問題，本論文提出一個整合型辨識系統，由不同距離所得到不同完整度的影像，利用辨識策略的切換以達成兼顧不同距離時的辨識。在遠距離時，採用傅立葉描述子作為形狀描述的特徵，以及視角內插法來提升辨識的正確率；當距離足夠近時，由於塔台的輪廓線會越來越不具代表性，造成辨識的錯誤率增加，故本論文採用一個結構描述子做為辨識時所使用的特徵，以點雲資料直接進行辨識。本論文以十個不同的塔台模型，驗證本論文所提出的演算法。在遠距離與近距離兩種不同的條件下，實驗結果顯示本論文所提的方法，在辨識率方面均優於單獨使用距離影像或點雲資料所使用的特徵。關鍵字 : 點雲資訊、距離影像、三維點雲辨識

(4)

ii

Object Recognition Using 2D Image and 3D Point Clouds Data

Student : Chia-Chang Mou Advisor : Dr. Sheng-Fuu Lin

Submitted to Institute of Electrical Control Engineering College of Electrical Engineering

National Chiao Tung University

ABSTRACT

In recent years, research works of three dimensional object recognition in point cloud data become more and more popular. Appearance-based features, such as silhouettes of objects, will directly affect the recognition efficiency in different positions with various angles. To tackle this problem, this thesis proposes a recognition system with two-feature integration. One is the Fourier descriptor of the contour in a range image, and the other is the structure descriptor extracted from point clouds. The Fourier descriptor is used to identify an object in the far distance. Additionally, a method of view-angle interpolation is proposed to increase the correct recognition rate. The structure descriptor is used to recognize an object when closing to the object, since the contour information lacks the ability to describe the object. Furthermore, a strategy of proposed method is presented to select the appropriate feature for object recognition. Ten different control towers are used to verify the performance of the proposed approach. The experimental results show that the proposed system performs better than the method using only feature of range image or feature of point clouds data across the entire distance range.

(5)

iii

誌謝

首先要以最誠摯的謝意，感謝我的指導教授林昇甫博士，感謝他在研究上的啟發與指導，以及細心校閱本論文的繆誤之處，同時也要感謝本實驗室的學長晉嘉、國育、士哲、永吉、啟耀、逸章、俊偉、道智、長安、煜維、昆義和，同學煒清、世雄、家興、以及學弟們，有你們的幫忙才能在修課學習上不至於孤軍奮戰，更有效率地解決修課上的問題，也由於你們熱心的協助與討論，使得研究過程中的困境能夠迎刃而解。最後要感謝疼愛我的父母，感謝他們的養育之恩以及在我求學生涯中給我最大的鼓勵與支持，讓我得以順利完成學業。

(6)

iv

摘要…………...………...…i 英文摘要…………...ii 致謝………...…...iii 目錄………...…...iv 表目錄………...…...vi 圖目錄………...…...vii 第一章緒論………...…1 1.1 三維物體辨識介紹………...…1 1.2 研究動機與背景...2 1.3 相關研究之探討………...…2 1.4 論文主體與貢獻……...……6 第二章相關技術與原理………...…7 2.1 資料取得方式………...…7 2.2 採用距離影像時特徵擷取的方法及比對…...………9 2.2.1 輪廓提取…...………9 2.2.2 傅立葉描述子(Fourier descriptor) ...10 2.2.3 特徵比對…………...11 2.3 採用點雲資料時特徵擷取的方法及比對…………...11 2.3.1 主成分分析法…………...11 2.3.2 主曲率…………...12 2.3.3 形狀指標…………...16 2.3.4 區域成長法………...…17 2.3.5 圖(graph)的建立…………...18 2.3.6 圖形比對…………...18

(7)

v 2.4 骨架化與骨架樹………...20 2.5 點特徵直方圖……… ...22 第三章系統流程…………...24 3.1 整體辨識架構…………...24 3.2 辨識策略的切換…………...25 3.3 距離影像的辨識…………...26 3.3.1 特徵抽取(傅立葉描述子) …………...26 3.3.2 相似度比對…………...28 3.3.3 視角內插法…………...29 3.3.4 挑出候選模型...…………...30 3.3.5 找出候選模型的角度落點範圍及內插角度………...…...31 3.3.6 找出內插的影像及計算傅立葉描述子…………...32 3.3.7 進行比對……...…....32 3.3.8 非資料庫物體偵測………..….32 3.4 點雲資料的辨識…………...35 3.4.1 特徵抽取(結構描述子) …………...35 3.4.2 前處理…………...36 3.4.3 點雲分類…………...37 3.4.4 區域分割…………...38 3.4.5 圖形建立…………...40 3.4.6 相似度比對…………...47 第四章實驗結果與分析…………...51 4.1 資料庫的建立…………...51 4.2 實驗結果與分析……...…...…54 4.3 結果討論…………...66 第五章結論與未來發展…………...70

(8)

vi 參考文獻…………...71

表目錄

表 2-1 點屬性分佈。………..………16 表 3-1 修改後的點屬性分佈。………...……….37 表 4-1 估測後的三個角度。………66

(9)

vii

圖目錄

圖 2-1 三維模型塔台。………...……….7 圖 2-2 模擬拍攝(側視圖)。………...………8 圖 2-3 模擬拍攝(正視圖)。………...8 圖 2-4 模擬拍攝後的結果 (a)距離影像、(b)點雲資料。……….9 圖 2-5 主曲率表示圖。………...14 圖 2-6 九種量化後的幾何分佈。………17 圖 2-7 圖的表示(a) 無向圖、(b) 有向圖、(c) 加權圖。………..18 圖 2-8 圖形比對的分類。………19 圖 2-9 圖 2-9(a) 原始影像，(b)骨架化後的影像。………..20 圖 2-10 圖 2-10 終點與接點在骨架上的表示。………20 圖 2-11 骨架樹的表示。………...………..21 圖 2-12 法向量的量測。………..22 圖 2-13 抽取特徵點，選取點對示意圖。紅點為域抽取特徵的點，水藍為半徑 r 內的點，其餘為半徑外的點。...22 圖 2-14 PFH 特徵抽取角度示意圖。………...23 圖 2-15 針對不同平面抽取 PFH 的結果。………...23 圖 3-1 辨識策略流程圖。………24 圖 3-2 距離影像的表示(a)完整的距離影像、(b)封閉的輪廓。……….……..25 圖 3-3 距離影像的表示(a)部份的距離影像、(b)不封閉的輪廓。………25 圖 3-4 距離影像的辨識流程圖。………26 圖 3-5 輪廓抽取的過程(a)3D 塔台模型、(b)對應的距離影像、(c)對應的輪廓…...27 圖 3-6 角度表示圖。………27 圖 3-7 特徵資料庫中某一個塔台模型所含的傅立葉描述子的特徵向量之示意圖。…………...………..………..28

(10)

viii 圖 3-8 在 6 個距離下，三種不同範數的比較。………29 圖 3-9 視角內插法流程圖。………30 圖 3-10 場景與資料庫的特徵向量經由比對後所產生的結果之示意圖。…………30 圖 3-11 直方圖表示對應的範圍。……….31 圖 3-12 每個群集中心對應新的內插角度示意圖。..………..31 圖 3-13 內插的流程。...………..32 圖 3-14 由左至右、由上至下分別為塔台編號 1 到 10，正確比對之對應不像似度值。………33 圖 3-15 綜合 10 個塔台之正確比對所對應的不相似度值。….………33 圖 3-16 Z 函數之分佈情況。...………34 圖 3-17 不包含在資料庫中的塔台模型。..………34 圖 3-18 輸入資料為點雲資料的辨識流程圖。....………35 圖 3-19 建立結構描述子的流程圖。………..36 圖 3-20 法向量的表示。………..37 圖 3-21 點分類後的結果 (a)編號 1 之原始部分點雲資料，(b)圖(a)之分類結果， (c)邊號 10 之原始部分點雲資料，(d)圖(c)之分類結果。…………...……..38 圖 3-22 區域成長法流程圖。………..39 圖 3-23 點雲資料分割結果，不同區塊以不同的顏色區別 (a)編號 1 之塔台內部點，(b)圖(a)之分割結果，(c)編號 10 之塔台內部點，(d)圖(c)之分割結果。...40 圖 3-24 結構抽取結果(a)、(c)、(e)表示分割面與邊在空間上的分佈關係，(b)、(d)、 (f)表示對應的圖形結構。………....41 圖 3-25 節點法向量表示 (a)區塊法向量，(b)對應區塊之節點法量。………...…42 圖 3-26 塔台最大主軸與節點法向量的夾角(a)塔台之最大主軸表示，(b)示意最大主軸與對應區塊法向量的夾角。...43 圖 3-27 平面所對應的形狀指標 (a)點分佈為平面，對應圖(a)的形狀指標，(c)點分佈為圓柱形，(d)對應圖(c)的形狀指標，(e)點分佈為圓錐形，(f)對應圖(e)的形

(11)

ix 狀指標為圓錐形，(f)對應圖(e)的形狀指標。...44 圖 3-28 相鄰節點之夾角。………45 圖 3-29 由邊的屬性所附屬的結構特徵(a)、(c)、(e)表示分割面與邊在空間上的分佈關係，(b)、(d)、(f)表示不同的邊之連接關係。………...……46 圖 3-30 點雲資料下的特徵表示。………47 圖 3-31 子圖抽取的流程圖。………48 圖 3-32 經分割後所產生的子圖。………48 圖 3-33 比對流程圖。………50 圖 4-1 資料庫中 10 種塔台模型。………...51 圖 4-2 經由對稱性分析後得到之 72 張塔台編號 10 的資料庫影像。...…………..52 圖 4-3 點雲資料下的特徵資料庫。………53 圖 4-4 角度的選擇範圍。………55 圖 4-5 角度對於辨識的錯誤率。………56 圖 4-6 受遮蔽的情況(a)標高角 45 度之點雲分佈情況、(b)標高角 10 度之點雲分佈情況。…...……57 圖 4-7 受遮蔽的情況(a)標高角 45 度之點雲分佈情況、(b)標高角 80 度之點雲分佈情況。……...…58 圖 4-8 有無加入視角內插法之比較圖。...59 圖 4-9 傅立葉描述子與結構描述子之綜合辨識率比較。...59 圖 4-10 標高角介於 10 度至 30 度的綜合辨識率的比較。………60 圖 4-11 標高角介於 40 度至 80 度的綜合辨識率的比較。………61 圖 4-12 標高角介於 10 度至 80 度的綜合辨識率的比較。………62 圖 4-13 整合型方法與其它文獻的辨識率比較。………63 圖 4-14 細部放大。………65

(12)

1

第一章緒論

本章分成四節，將三維物體辨識這個領域做介紹。首先，1.1 節將介紹三維物體辨識( 3D object recognition )相對於二維影像辨識的優點，然後說明三維物體資料的取得方式以及三維物體辨識的未來發展潛力；1.2 節將介紹三維物體辨識的動機；1.3 節介紹本論文的架構，1.4 節說明本論文之貢獻。

1.1 三維物體辨識介紹

以往取像技術的發展是取得二維影像為主，例如:灰階影像或是彩色影像，使得影像辨識大多是從二維資訊中取得特徵並發展應用所需之演算法，像是文字辨識、人臉辨識、指紋辨識、車牌辨識等方面，但礙於二維影像提供的資訊會因為光源照射角度的差異以及光源強度不同，使得辨識效果不彰更嚴重可能導致無法辨識出影像中的目標物體；然而，近年來隨著三維物體的取像技術越來越成熟，使得以物體表面的三維資訊為基礎來進行物體辨識，在三維的取像設備大致上是由雷射測距儀(laser range finder)來取得，而取得的資訊可分成兩大類，第一類為距離影像(range image)，在以往二維影像每個像素所含的內容為灰階值(gray level)，但是在距離影像中每個像素所含的內容為測距儀到物體的距離，在藉由這些距離轉換成相對於 0~255 的灰階影像，第二類為點雲資訊(point cloud data)，而此種資訊正如其名是將拍攝到的物體利用點得方式來呈現，點雲中每點的資訊描述正是三維空間中的座標，其點與點的對應位置就是真實空間中的對應位置。一般二維影像只能提供以真實世界投影在影像平面上的資訊基於物體表面的反射特性，來獲得物體的輪廓、邊界、紋理等特徵，但是以二維資訊為基礎的辨識演算法來辨識出實際的三維物體時，會產生許多問題，因為光源照射角度的差異及光源強度不同，以致於針對同一場景，會獲得不同的二維資訊，使得辨識率不穩定或是效率較不佳；然而，相較之下，如果能直接取得場景的三維資料來進行物體的辨識，相對於二維資訊，三維資訊能更準確的描述物體的外觀以及物體的幾何資訊。

(13)

2 雷射測距儀被廣泛的應用在距離量測、地型地貌的監測、建築物的量測、三維立體物體的量測等。藉由雷射測距儀也可得到物體的輪廓、邊界、紋理等；這些影像資訊目前有被應用在機器人視覺，地形變化的量測，機械機密定位以及生物立體影像的重建等。

1.2 研究動機與背景

在本論文中，將結合距離影像與點雲資訊設計出一個三維物體辨識系統，將應用在機場塔台的辨識上，而本論文則架構在單一塔台上做辨識，故不需做場景分割的動作，但是在擷取塔台的影像資料上將會隨著距離而改變，以距離影像來說，距離越來越遠則影像將會越來越小，以點雲資訊來說，距離越來越遠則點雲分佈在物體表面將會越來越稀疏，這對辨識上都是一大考驗，且在三維的物體辨識中，特徵的選取必頇要符合尺度不變性、平移不變性及旋轉不變性，如此一來才能夠形成強健的辨識系統，本論文旨在設計一個辨識系統，能夠符合三大不變性，且對距離遠近變化下的辨識率能夠有好的表現。

1.3

1.4 論文主體與貢獻

本論文在辨識策略方面，提出整合型方法，是採用距離影像及點雲資料兩種資料型態來做辨識，而選擇哪種資料型態作為辨識用的基礎，將依據物體與雷射測距儀的距離來得知是否要切換方法，而切換得時機則是根據雷射測距儀是否有拍攝到完整的物體，若是有拍攝到完整的物體則採用距離影像作為基礎，反之則採用點雲資料作為基礎。本論文貢獻一 : 基於距離影像作為辨識基礎時，本論文採用傅立葉描述子作為在距離影像在比對時所使用的特徵，以及提出視角內插法做補償改善了單獨使用傅立葉描述子的辨識率。本論文貢獻二 : 基於點雲資料作為辨識基礎時，由於雷射測距儀與物體的距離以足夠近，導致無法擷取到完整的物體樣貌，因為傅立葉描述子是一個全域的特徵，故比對效率將隨著物體與雷射測距儀越來越接近而越來越低，此時本論文提出結構描述子的方式來做為在點雲資料下進行比對時所使用的特徵，而本論文所提出的結構描述子為一區域特徵，故其在近距離的比對效率比傅立葉描述子好。本論文貢獻三 : 提出一個整合型辨識系統，可根據雷射測距儀與物體的遠近對於擷取影像的完整度，做辨識方法的切換，且能達到即時辨識的效果。

(18)

7

第二章相關技術與原理

本章第一節先介紹如何取得深度影像( range image )與點雲資料( point clouds data )，第二節介紹在距離影像辨識策略下本論文所使用的特徵擷取的方法以及如何利用這些特徵進行特徵比對，第三節介紹在點雲資料辨識策略下本論文所使用的特徵擷取的方法以及如何進行特徵比對，第四節將介紹如何切換不同的辨識策略。

2.1 資料取得方式

本論文是透過模擬雷射測距儀的拍攝方式來取得深度影像與點雲資料，透過雷射測距儀的拍攝可同時得到深度影像與點雲資料，由圖 2-1 表示完整的塔台模型，本論文之場景拍攝與資料庫的建立都需透過這些模型來得到，圖 2-2 表示模擬雷射測距離拍攝時的側視圖，而圖 2-3 表示模擬雷射測距離拍攝時的正視圖，圖 2-4(a)表示經由雷射測距儀拍攝後所得之距離影像，而圖 2-4(b)表示經由雷射測距儀拍攝後所得之點雲資訊。圖 2-1 三維模型塔台。

(19)

8

圖 2-2 模擬拍攝(側視圖) 。

(20)

9 (a) (b) 圖 2-4 模擬拍攝後的結果 (a)距離影像，(b)點雲資料。

2.2 採用距離影像時特徵擷取的方法及比對

本論文在採用距離影像作為辨識基礎的特徵擷取方法是基於文獻[1]的方式來進行，在傅立葉描述子的部份本論文會先將深度影像轉成二值化影像，以方便做輪廓的提取，以下先介紹為了傅立葉描述子所要先做的輪廓提取的方法。

2.2.1 輪廓提取

輪廓抽取(contour extraction)的目的就是為了要獲得影像的外部輪廓，但是不要影像內部的邊(edge)，輪廓抽取是為影像形狀分析做準備，在本論文則是為了利用傅立葉描述子來分析物體的輪廓。輪廓提取的方法有很多種，如梯度法，或者是用型態學先對影像進行腐蝕，在藉由原影像減去腐蝕後的影像，則由於本論文是採用二值化影像作為基礎，故在輪廓抽取部份是利用輪廓追蹤法，如此一來可把輪廓點先做排序，而不需要再抽取輪廓後再重新排序。基於輪廓追蹤法本論文是參考[14]的方式，首先找到第一個起始點A ，定義₀ 初始的搜索方向為沿左上方，如果左上方為黑點則為邊界點，否則搜索方向順時針旋轉 45 度，直到找到黑點，然後把此點定為A ，並把當前搜索方向逆時針旋₁ 轉 90 度，繼續尋找下一個黑點，直到找到第一個初始點，則結束追蹤。

(21)

10

2.2.2 傅立葉描述子( Fourier descriptor )

傅立葉描述子是一種以輪廓特徵為基礎的特徵抽取方法，在 2D 圖像檢索中已經是很有效的一種方法，其可經由正規化(normalization)使其特徵具有平移，旋轉，尺度大小具有不變性，而在文獻上也有討論抽取不同傅立葉特徵，也會有不同的檢索效果，其中依照其採取的特徵可分為中心距離傅立葉 (centroid distance Fourier)，面積傅立葉(area Fourier)，角度傅立葉(angular Fourier)，複數平面傅立葉(contour complex Fourier)，極座標傅立葉(polar Fourier)和綜合角度和中心距離傅立葉(angular radius Fourier)，這些不同特徵的傅立葉抽取方式在[13] 都有說明，但在文獻上[1][2][3][15]的探討中，中心距離傅立葉相對於其它方法是比較常被拿來使用的，且本論文利用中心距離傅立葉的效果較好，故在抽取特徵方面是採取中心距離傅立葉作為特徵，則中心距離傅立葉是根據中心距離函式，就是以物體上輪廓每一點到物體中心的距離來表示，而利用中心距離法可使此特徵具有平移不變性，定義如下: ( ) (( ( ) ) ( ( ) ) ) , 1,..., , 2 / 1 2 2 N b x b y x b x b r   _c   _c  (2.1) ( ), 1 , ) ( 1 1 0 1 0         N b c N b c y b L y b x L x (2.2) )) ( ), ( (x b y b 為物體上輪廓上的一點，(x_c,y_c)為物體的中心點， N 為邊界點的總 數，當中心距離函式設定好之後，接下來就是對其函式作傅立葉轉換，定義如(2.3) 所示: 1 ,..., 1 , 0 , ) 2 exp( ) ( 1 ) ( 1 0        N n N nk b r N n F N b  , (2.3) 其中F(n)也就是r(b)的傅立葉轉換後的值。其中為了使每項係數都能具有旋轉不變性，故取F(n)的大小 F(n) ，而不考慮正負。其次為了使傅立葉描述子具有比例大小不變性，要針對複數特徵時把每項F(n)除以F(0)，定義如下所示:          ) F( F(L) ) F( ) F( ) F( ) F( Fd 0 0 2 0 1 ，，，  ， (2.4)

(22)

11 其中 L 為自定的一個常數，L 越大代表特徵為度越高，但只能取 2 N L 個特徵維度，因為 2 N L 以後的特徵值是重複的，所以並不需要。

2.2.3 特徵比對

要如何評判在資料庫中的模型與未知的場景模型是否相同，通常都是透過相似度分析，但是在文獻上的探討大多是利用差異度(dissimilarity)來表現，兩物體越相似則差異度越小，反之則差異度越大。而在進行特徵比對時，最常使用的就是利用範數距離(norm)





n n i i y x d 1    , (2.5) 2  n 時為歐基理德距離，是最常使用的距離標準，在比對時通常都是直接採取找到最近的距離，也就是差異度最小的做為正確找到物體的依據，由於本論文將應用在物體辨識上，因為物體形狀上的相似度滿高的，故只利用最相似的物體作為評判往往都會產生誤判的情況，導致辨識度嚴重下降的原因，故本論文在此提出兩階段的辨識比對方法，第一階段先利用範數距離的比對方式找出前幾名最相似的物體，第二階段則是利用視角內插法找出後選物體之距離影像所對應的特徵後，然後再利用這些特徵來做內插。

2.3 採用點雲資料時特徵擷取的方法及比對

在空間上的點雲資料是無序的，比較簡單的來說就只是一群點資料在空間上的分佈，單獨看每點資訊只有空間中的位置(x, y, z)值，但是這群點資料分佈在物體的表面，所以可以透過一些幾何上的分析，每一個點資料在當前空間中與鄰近點資料一起分析後可得知是甚麼形狀或是含有其它資訊，本論文在點雲資料做特徵擷取的方面則是基於圖(graph based)的建立來實現，並利用圖比對的中的不完全比對(inexact matching)來進行兩個圖的比對。

2.3.1 主成分分析法

(23)

12

得到點資料的主軸分佈可經由主成分分析法來達成，首先針對某點 p 找出_i

其鄰近點，可用最近點收尋法(nearest neighbor search)來做，對找出的鄰近點集合抽取出兩個量，第一個為群集中心c ，第二為對應的相關矩陣(correlation matrix)_i i C 分別定義如下所示:    i i N q i i i q N c 1 , (2.6)







T N q i i i i i i i i c q c q N C      1 , (2.7) 為鄰近點集其中一點為轉置，為鄰近點集各數，其中N_i T q_i ，而相關矩陣中的特徵向量{e₀,e₁,e₂}對應的特徵值{₀,₁,₂}，其中₀₁₂，故₀對應的特徵向量為法向量也就是三大主軸中最小的主軸分佈，₁對應的特徵向量則為第二主軸，然後最大的主軸分佈即為₃所對應的特徵向量，在文獻[16][17][18]則根據這些特徵值的分佈，依據不同的幾何分佈會對應不同的特徵值分佈，進而將當前p_i 分類成邊界點(boundary)、邊緣點(edge)、內部點(interior)、邊角點(corner)等的屬性。

2.3.2 主曲率

在微分幾何中，在曲面給定兩個主曲率用來衡量在某點 P 的曲面在此點不同方向下所產生怎樣不同彎曲的程度。在主曲率的分析上，由於某點與鄰近點幾何關係的不同可對曲面的分類做解析: 1. 橢圓型 : 兩個主曲率有相同的符號，則曲面是局部击點。 2. 雙曲型 : 兩個主曲率符號相反，則曲面是局部鞍形。 3. 臍點 : 兩個主曲率有相同的值，且任意切向量可作為主方向，這通常出現在離散點。

(24)

13

4. 拋物型 : 一個主曲率為零，另一個主曲率非零。 5. 平臍點 : 兩個主曲率皆為零。

主曲率的定義如下所示:

主曲率k 及₁ k₂可由微分幾何中的第一基本式(first fundamental form)與第二基本式(second fundamental form)所推得，第一基本式表是曲線的弧長，而第二基本式則表示近似的表示曲面離開切平面的程度，進而表示曲面在空間中的彎曲程度，第一基本式中利用I(u,v)u,v 做為表述， 3 ,v R u  向量，設X₍_u_,_v₎為參數面 (Parameter Surface)，則此參數面的切向量內積會滿足下式             _v _u _v _u _v _u _v _v _v u bX cX dX ac X X ad bc X X bd X X aX I( , ) , ( ) , , EacF(adbc)G b d, (2.8) v u X 及X 為點( vu, )在參數面上之切向量，aX_u bX_v與cX_u dX_v為X 及_u X_v的線性組合，其中X 表示_u 對u偏為分，X_v表示對v偏為分，可推得第一基本式的係數  X_u X_u E , , (2.9)   v X X F _u, , (2.10)   v X X G _v, , (2.11) 根據上述原理本論文先定義參數面為r₍_u_,_v₎ (u,v,S₍_u_,_v₎)其中S_{( v}_u_, ₎為一多項式曲面表示成S₍_u_,_v₎ c₀ c₁vc₂uc₃vuc₄v2 c₅u2c₆uv2 ...，則分別對u,v偏微分得 ru|(0,0)(1,0,c2c3v2c5u...)|(0,0)(1,0,c2)  , (2.12) rv|(0,0)(0,1,c1c3u2c4v...)|(0,0)(0,1,c1)  , (2.13) 2 2 1 ,r c r E_u _u   , (2.14) F ru,rv c1c2   , (2.15)

(25)

14 2 1 1 ,r c r G_v _v   . (2.16) 曲面的第二基本式: 設曲面 S 的方程為rr( vu, )為二次可導函數，即r( vu, )有連續的二階導函數 uu r 、r_uv 、 r_vv。現在固定曲面上一點P( vu, )並設T 為曲面在_S P點的切平面。曲線(C):uu(s)，vv(s)，或是rr[u(s)，v(s)]是 S 上過P點的一曲線，其中s是自然參數設P是曲線(C)上在P點鄰近的一點，P和P點的自然參數的值分別為s與ss，即P點的向徑為r(s)，P點的向徑為r(ss)，利用泰勒展開式可以得: 2 ) )( ( 2 1 ) ( ) (s s r s r s r s r P P         , (2.17) 其中lim 0 0   s  。設 n 為曲面在P點的單位法向量，由P 作切平面T 的垂線，垂足_S 為 Q，則QPn，其中為從切平面T 到曲面 S 的有向距離，如圖 2-5 所示: _S 圖 2-5 主曲率表示圖。由於QPn0，nr0，所以

(26)

15 , ) )( ( 2 1 )] ( ) ( [ ) ( 2 s n r n n s r s s r n P P n P P QP n P Q                      由於 v r u r r _u  _v ,rruuu rvvv 2ruvuvruurvv 2 2 , 又因為 0  r_u n ,nr_v 0, 所以 2 2 2 2n r dudv n r dv du r n ds r n    uu   uv   vv , (2.18) 引進符號 n r L _uu ,M r_uvn,Nr_vvn, 前式改為 II nd2r Ldu22MdudvNdv2, (2.19) (2.19)式稱曲面的第二基本式，係數 L、M、N 稱為曲面的第二基本量，得知第一基本式的係數 E、F、G 及第二基本式的係數 L、M、N 後可得兩個曲率，高斯曲率以及平均曲率。高斯曲率: 2 2 F G E M N L G      =k₁k₂_, (2.20) 平均曲率: 2 ( ) 2 2 F G E L G M F N E H           = 2 2 1 k k  , (2.21) 則可推得 G H H k₁ 2  2  ,k₂ 2H  H2 G,

(27)

16 令k₁ k_max(p)，k2kmin(p)則 G H H k₁ 2  2 _, (2.22) G H H k₂ 2  2  _, (2.23) 本論文根據上述原理將其分類成: 1. 臍點且分佈曲面為橢圓型 : 击邊角(convex corner)。 2. 臍點且分佈曲面為雙曲型 : 凹邊角(concave corner)。 3. 拋物型 : 邊緣(edge)。 4. 平臍點 : 平面(interior)。經由上述分析可得到在邊角點的判定中可藉由正負符號的差異來區分击點或凹是點，而在 Interior 並不需要考慮k 及₁ k₂的正負符號，只需考慮大小分佈即可，本論文根據上述每一種類別都有不同的k₁、 k₂分佈將其歸納如下表 2-1 所示。表 2-1 點屬性分佈。 2 1andk k 平面(interior) k₁0andk₂ 0 邊緣(edge) _k ₀_and _k ₀_or 2 1  k1 0andk2 0

击角(convex corner) k₁0andk₂ 0andk₁k₂0or

0 0

0 ₂ ₁ ₂

1 andk  andk k 

k

凹角(corner concave) k₁0andk₂ 0andk₁k₂ 0or

0 0 0 ₂ ₁ ₂ 1 andk  andk k  k

2.3.3 形狀指標(shape index)

由[6]所提出之形狀指標，其主要用意在於量化一個三維空間中面的幾何分佈，因為這個面可能是曲面可能是平面，也有可能這個面同時包含了許多不同的

(28)

17 幾何分佈，對此[6]提出 9 種幾何分佈量化後的結果如圖 2-6 所示。圖 2-6 九種幾何分佈。而這些量化後的值就是形狀指標，要計算這些形狀指標前必頇先計算主曲率，而主曲率可由 2.3.1 節中介紹的算法來達成，而形狀指標的定義如(2.24)所示: ) ) ( ) ( ) ( ) ( ( t a n * 1 2 1 ) ( 2 1 2 1 1 p k p k p k p k p SI       ，k1 k2. (2.24) 而[17]則利用形狀指標搭配法向量以及每一個像素的影像深度做為一個多維度直方圖的特徵，然後在利用這個特徵進行辨識。

2.3.4 區域成長法

經由分類後，可以得知每一個點是屬於平面點或是邊緣點或是其它屬性，再來就是利用這些點資料的特性進行分割的動作，在文獻[21]提到許多不同的分割方法，而本論文採用區域成長法[20]來做為分割點雲的依據，區域成長法的概念即為利用某一種子點 P 做為搜尋的起點，向外搜尋 K 個最近的鄰近點，根據其種子點與鄰近點的相似度作為是否合併的依據，若是鄰近點與種子點相似則合併，反之則不合併，此時這些鄰近點將繼續向外搜尋 K 個最近的鄰近點直到無法繼續搜尋到可合併的鄰近點時將停止搜尋，並將這些由種子點 P 所合併的點歸納成同一群，然後再產生新的種子點 P 繼續搜尋並合併，直到每一個點都走訪後程式結束。區域成長法的優點就是演算法簡單，及其運算速度快，但是在目前而言，種

(29)

18

子點的選擇上並沒有一個很好的歸納說明如何挑選出最好的種子點用以分割上是最好的，故本論文在點資料的合併上則是依據點的屬性要為內部點，點與點的法向量的夾角和點與點的距離不能超過某個閥值。

2.3.5 圖(graph)的建立

一個圖(graphs) G 是由節點(node)集合 N 和邊(edge)集合E共同組成，記為

G = (N, E)，而圖的分類上又可根據邊是否具有方向性分成有向圖及無向圖，有 向圖為邊(x,y)不等同於邊(y,x)，而無向圖則為邊(x,y)等同於邊(y,x)，圖的邊除了表示兩頂點的連結特性以外，另外若包含加權值(weight)，則此圖就可稱為加權 圖，在圖形理論(graph theory)中，若是一個圖 G的節點 N與邊E為一個圖 G 節 點 N 與邊E的子集合則稱 G為 G 的子圖(sub-graph)。 (a) (b) (c) 圖 2-7 圖的表示(a)無向圖 (b)有向圖 (c)加權圖。

2.3.6 圖形比對 (graph matching)

由[22]中對圖形比對上做了大略的分類由圖 2-8 所示，在比對上可以分作完全比對與不完全比對。給定兩個圖形G_M (N_M,E_M)及G_S (N_S,E_S)且 NS  NM ，則若是問題在於找尋一對一的映射 f :N_S N_M，當(u,v)E_S且( f(u),f(v) )E_M，則這個問題就稱之為是完全比對。則在不完全比對的問題中，給定兩個圖形GM (NM,EM)及GS (NS,ES)且 M S N N  ，目標在於找出一個映射關係 f:NS NM ，當(u,v)ES且

(30)

19 M E v f u f( ), ( ) ) (  ，而這個關係是說明從大的圖形G 中找出一個最小的相應於_M S G 的圖形，圖形比對可被看作是一個最小化[23]的問題，它可被表示成下列式子:      Ns  x e E s m N N f e Ces x Cns f r( ) ( ) ( ), : . (2.25) 的節點資料庫中某個場景的節點，N_m: odel : s N m 。有相連節點的邊 e: 。節點的誤差 場景節點與 odel Cns: m 。邊的誤差 場景邊與 odel Ces: m 。而(2.25)式之誤差和的最小值就是最後匹配的結果，要計算上述誤差就必頇賦予這些 node 與 edge 有意義的表示，這些表示可能是個值或是形狀等等，而且這些表示頇具備旋轉不變性、平移不變性。這些表示用在節點稱節點屬性(node attribute)記作_V，用在邊則稱邊屬性( edge attribute)記作_E，若是一個圖的節點及邊皆賦予屬性，則此圖也稱為加權圖(attribute graph)記作G(V,E,_V,_E)，雖然有這兩種比對問題，但是不完全比對的方法較合乎於實際的應用上，本論文取得的點資料都呈現部份的分佈，所以在場景節點的取得上也會比資料庫的模型節點來的少，故不完全比對較合乎於本論文的需求。完全比對 (exact matching) 圖形比對 (graph matching) 不完全比對 (inexact matching) 圖同構 (graph isomorphism) 子圖同構 (sub-graph isomorphism) 加權圖比對 (attribute graph matching) 加權子圖比對 (attribute sub-graph matching) 圖 2-8 圖形比對的分類。

(31)

20

2.4 骨架化與骨架樹

骨架化(skeletonization)為一種將物體做細線化的表現，其中骨架亦可保留物體的拓樸特性，由文獻[13]利用中軸轉換將物體做細線化，由圖 2-9(b)可以得知物體做骨架化後所得到結果。 (a) (b) 圖 2-9(a) 原始影像，(b)骨架化後的影像。文獻 [31] 中提出利用骨架的抽取，再利用抽取出的骨架轉換成骨架樹 (skeleton tree)，再來利用這個樹的分佈建立相鄰矩陣(adjacent matrix)，最後利用支持向量機(support vector machine)來對物體做辨識，首先骨架化的方法目前可利用距離轉換(distance transform)，或是細線化(Thinning)，亦或是利用中軸轉換來達成骨架化的方法，再來就是建立骨架樹，在建立骨架樹之前必頇先得到骨架的終點(endpoint)與接點(crossing point)，由圖 2-10 即表示利用圖 2-9(b)中之骨架所得到的終點與接點，藍色實心點表示接點，綠色實心點則表示終點。

(32)

21 其中節點 A、B、C 為接點，節點 D、E、F、G、H 為終點，終點與接點都找出後接下來就是建立骨架樹，樹必頇要有根(root)做為起始節點，而文獻[31]中利用每個節點中的座標位置距離物體重心的座標位置最接近者做為骨架樹的根，由圖 2-10 的例子中節點 B 的座標為最接近物體重心的座標，接下來就是由節點 B 開始長出骨架樹的表示，圖 2-11 表示利用圖 2-10 所抽取出的骨架樹。圖 2-11 骨架樹的表示。當骨架樹抽取完成後，接下來就是進行相鄰矩陣的計算，相鄰矩陣表示的即為節點與節點的連接情況，利用一個矩陣來表示，若是兩個節點相鄰，且兩節點不為同一個節點，則在矩陣中表示為 1，其它則為 0，接下來就是場景節點與模型節點要如何作匹配，在文獻[31]中節點的匹配則是利用該節點的所對應的子樹所產生的相鄰矩陣，利用這個相鄰矩陣的特徵值做為量測場景圖與模型圖兩個圖中節點的相似程度，而圖中的邊則是利用一維的函數 f(r)，其中 r 來為變數。若是 m 表示為 f(r)的平均(mean)可由(2.26)式來表示:    l i i i r f r m 1 ) ( , (2.26)    l i i n i n r r m f r 1 ) ( ) ( ) (  (2.27) 由式(2.27)則為矩(moment)的表示，在 n=2 時廣義的來說為一個點集的形狀的量 測，通常廣泛的被表示成是寬度(width)的測量，而這個函數 f(r)則可以利用節點與節點間的骨架連接來表示，如此一來節點與節點的連接方式不會是直線，而是曲線，這樣更能夠表示連接的關係。

(33)

22

2.5 點特徵直方圖(point feature histogram)

特徵向量可以利用簡單的平面法向量來組成複雜的特徵向量表示，目前有法向量的量測 (surface normal estimation) 與點特徵直方圖量測 (point feature histogram estimation)，圖 2-12 表示法向量的量測。圖 2-12 法向量的量測。法向量的量測做為特徵的表示是最簡單的方式，但若是要利用法向量組合成更複雜的特徵表示，目前[32]所提出之點特徵直方圖即是目前最新的方法，針對每一組點對(point pair)，(p_s,n_s);(p_t,n_t) 且令un、s v(pt ps)u、wuv，圖 2-13 表示選取鄰近點的結果。圖 2-13 抽取特徵點，選取點對示意圖。紅點為域抽取特徵的點，水藍為半徑 r 內的點，其餘為半徑外的點。

(34)

23





              j j i j i j i j j n u n w a f p p f p p p p u f n v f , , , tan / , , 3 2 1 0 x x x _x _x x hist d f f d f i                3 0 min max (2.28) 式(2.28)表示利用圖 2-14 幾個角度的四種函數。圖 2-14 PFH 特徵抽取角度示意圖。圖 2-15 為對不同平面抽取 PFH 的結果，可以發現到，PFH 針對不同平面所抽取出的結果有著顯著的差異，所以對不同平面的分類效果，是可以被期待的，這樣的特徵在對相似性較高的模型，相信是一個有鑑別度的描述子。圖 2-15 針對不同平面抽取 PFH 的結果。

(35)

24

第三章系統流程

本章總共分成 4 節，首先說明整體辨識的系統流程，再對其辨識流程做進一步詳細的說明。3.1 節介紹整個三維物體辨識的系統架構應用在塔台的辨識上； 3.2 節說明如何定義在塔台與雷射測距儀在何種距離的情況下要切換辨識策略； 3.3 節說明在距離足夠遠時切換到距離影像的辨識流程，3.4 節說明在距離足夠近時切換到點雲資料的辨識流程。

3.1 整體辨識架構

本論文提出一個辨識法則，採用整合型的方式來達成辨識的目的，本論文的辨識系統是架構在利用模擬雷射測距儀拍攝物體的方式得取所需之資料然後進行辨識，而本論文則是利用機場塔台模型來做辨識演算法的驗證，由於是模擬的方式，故只針對單一物體來做辨識，而非複雜場景的情況下來做，所以不需再對場景做分割的前處理及去雜訊的動作，本論文在利用模擬雷射測距儀的方式可同時取得的資料共有兩種，一是點雲資料，二是距離影像，而這兩種資料型態本論文會根據在塔台與雷射測距儀的距離不同下進行不同的辨識策略，以下章節將詳細介紹流程圖中每一個方塊的細節。點雲資料距離影像根據雷射測距儀與塔台的距離做辨識策略切換採用點雲資料作為辨識的資料採用距離影像作為辨識的資料距離足夠近距離足夠遠辨識結果輸出圖 3-1 辨識策略流程圖。

(36)

25

3.2 辨識策略的切換

本論文在辨識策略的切換是依據物體與雷射測距儀的距離來做切換，故當物體與雷射測距儀的距離足夠遠時，則可擷取到完整的距離影像如圖 3-2(a)所示，而對應的影像輪廓是能夠保持封閉的狀態如圖 3-2(b)所示，但如果物體與雷射測距儀的距離足夠近時，在距離影像的擷取上就無法呈現完整的影像如圖 3-3(a)所示，而對應的影像輪廓的就無法呈現封閉的狀態如圖 3-3(b)所示，故本論文將依據影像輪廓的封閉與否來決定要使用哪種資料型態以及進行哪種的辨識策略。 (a) (b) 圖 3-2 距離影像的表示(a)完整的距離影像，(b)封閉的輪廓。 (a) (b) 圖 3-3 距離影像的表示(a)部份的距離影像，(b)不封閉的輪廓。

(37)

26

3.3 距離影像的辨識

本節討論在塔台與雷射測距儀的距離足夠遠的情況下可以擷取到完整的影像資訊，本論文將採取距離影像作為辨識時所使用的資料，圖 3-4 當輸入資料為距離影像下的辨識流程架構。特徵抽取(傅立葉描述子) 對每個塔台建立特徵資料庫輸入距離影像特徵資料庫離線架構在線架構輸入距離影像相似度比對特徵抽取(傅立葉描述子) 輸出比對結果視角內插法圖 3-4 輸入資料為距離影像的辨識流程圖。

3.3.1 特徵抽取(傅立葉描述子)

為了要能夠抽取傅立葉描述子，必頇把 3D 模型轉成距離影像，如圖 3-5(b) 所示，在本實驗中拍攝時所使用的解析度為 256*256 像素，要對距離影像作傅立葉描述子特徵抽取前，必頇先將找出距離影像的輪廓如圖 3-5(c)所示，之後再以輪廓上每點到中心點的距離為傅立葉參數，經過傅立葉轉換，計算出傅立葉描述子的特徵值。

(38)

27

(a)

(b) (c) 圖 3-5 輪廓抽取的過程(a)3D 模型，(b)對應的距離影像，(c)對應的輪廓。本論文在離線架構下所需之特徵資料庫則是將角度分成 288 視角來進行拍攝的動作，圖 3-6 表示本論文定義拍攝角度的變化，而這 288 個距離影像經由特徵抽取後，每個塔台模型都會擁有 288 組傅立葉描述子的特徵向量由圖 3-7 所示，其中F 至₁ F288表示各個不同角度下所產生傅立葉描述子的特徵向量。圖 3-6 角度表示圖。

(39)

28 圖 3-7 特徵資料庫中某一個模型所含的傅立葉描述子的特徵向量之示意圖。

3.3.2 相似度比對

本論文於在線架構下則是利用標高角(elevation)介於 10~80 度與方位角 (azimuth)介於 10~360 度中隨機挑選一組角度來做為輸入距離影像的取得，然後再經由特徵抽取後可得到一組傅立葉描述子的特徵向量，場景的輸入距離影像所得之特徵向量要與資料庫中的特徵向量做比對時，本論文在此比較三種範數 (norm)，目的在於比較這三種範數對於兩個特徵向量比對的差異度，在比對中則是希望將像與不像在相似度上做個明顯的區隔，圖 3-8 表示利用 1-norm 應用在塔台邊號 1 到 10 的相似度比較中，圖 3-9 表示利用 2-norm 應用在塔台邊號 1 到 10 的相似度比較中，圖 3-10 表示利用無限(infinite)-norm 應用在塔台邊號 1 到 10 的相似度比對中，若是這兩個特徵向量越接近則差異度越小，反之則越大，在圖 3-8 至圖 3-10 所使用的場景輸入皆為為塔台編號 10 的某個角度下所拍攝的影像，然後再與 10 個塔台做相似度比對，從圖 3-8 中明顯可看出利用 1-norm 可以將其不相似度值做明顯的區隔，而圖 3-9 與圖 3-10 則分別使用 2-norm 與 infinite-norm 並無法有效的區隔不相似度值，所以本論文將採用 1-norm 做為相似度比對時所使用之比對方法，而在本論文中的特徵資料庫共有 10 個塔台模型，在從中找出最小的值所對應的塔台模型作為最終的比對結果，本論文利用 Tou[30]提出之動態最佳分群法(Dynamic Optimal Clustering)來對上述使用三種不同的範數時，對於分類結果的效能評估，在此本論文直接對每個塔台在每一個固定的距離下都拍攝 100 張，距離變化從 600 公尺到 1100 公尺做比較，式(3.1)表示效能估測的依

(40)

29 據， } max{ } min{ ) ( kk ij c D D K   , (3.1) 其中 2 1 1 2 ) ( ) ( )) ( ) ( (        N n i j ij z n z n D , 2 1 ) ( 2 ) ( ) ( ) ( ) ( 1          k x class k q kk q z x k n D .則當效能估測值(K_c)越大表示效能越好，圖 3-8 表示當利用三種不同範數的情況下，各種不同的範數所做出之效能評估，實驗比較後發現 2-norm 的效能比起其他兩種範數來的良好。

1-norm 2-norm Infinite-norm 600 公尺 0.1638 0.1758 0.1747 700 公尺 0.1532 0.1535 0.1529 800 公尺 0.1565 0.1566 0.1564 900 公尺 0.1469 0.1474 0.1473 1000 公尺 0.1520 0.1566 0.1546 1100 公尺 0.1497 0.1500 0.1485 圖 3-8 在 6 個距離下，三種不同範數的比較。

3.3 視角內插法

若單純只利用相似度比對之最相像者，作為最後辨識出的塔台，當資料庫含有更多塔台模型時，這樣有可能就會產生很多相似度最高但卻不是對應到場景的塔台，這將導致辨識結果下降，故本論文提出視角內插法提高了辨識的準確度，利用這個內插法做補償可以還原可能的場景拍攝角度，視角內插法可以更進一步的得到更相似於場景拍攝時的影像，如此一來可以增加辨識時的準確度，圖 3-9 為視角內插法的流程架構。

(41)

30 挑出候選模型找出候選模型的角度落點範圍找出內插後的特 徵(傅立葉描述子) 進行比對圖 3-9 視角內插法流程圖。

3.3.4 挑出候選模型

首先將場景的距離影像與每一個塔台模型進行相似度比對，而一個塔台會產生一組 288 個的比對結果，本論文稱之為 dissimilarity between nodel and scene(簡稱 DMS)如圖 3-10 所示，表中每一格 Dis 則表示經過相似度比對後所產生的差異度，再將這個 DMS 利用直方圖的方式來呈現如圖 3-11 所示，針對 10 個塔台挑選出前幾名差異度最小的作為候選模型，而如何得到最小的差異度則是依據圖 3-10 所圈出的直方圖所對應的差異度，本論文則是針對 10 個塔台模型找出前幾名差異度最小的作為候選模型，而表中被圈出的部份則由下一節來說明。圖 3-10 場景與資料庫的特徵向量經由比對後所產生的結果之示意圖。

(42)

31 圖 3-11 直方圖表示對應的範圍。本論文設定一個門檻值，當直方圖中的差異度小於門檻值，則所對應的值方圖將被挑出來做為角度落點範圍的依據，圖 3-11 中紅色區塊則是差異度小於門檻值所對應的值方圖。

3.3.5 找出候選模型的角度落點範圍及內插角度

圖 3-12 被圈出的區塊則是應對於圖 3-11 直方圖中差異度小於門檻值的部份，由於在場景拍攝時是隨機拍攝，我們並不知道是在甚麼角度下去拍攝的，所以由這些紅色區塊的分佈我們反推對應於場景拍攝時可能的角度範圍，每一個區塊可看作是一個群集，圖 3-12 說明如何利用這些區塊中心做為內插角度的挑選。圖 3-12 每個群集中心對應新的內插角度示意圖。門檻值

(43)

32

3.3.6 找出內插的影像及計算傅立葉描述子

利用每個群集中心找出每一個候選模型的內插角度後，每一個候選模型都會算出所屬的內插角度，接下來就是利用內插角度取出鄰近的距離影像的特徵向量，最後就是對這些距離影像的特徵向量作內插，圖 3-13 為內插之流程圖。圖 3-13 內插的流程先得知後選模型有哪些，利用用新的內插角度得知鄰近四張影像的特徵向量，在視角內插的部分，本論文利用雙線性內插法(bilinear interpolation)，將其四張影像的特徵向量做內插，最後可得到內插後新的傅立葉描述子做為特徵向量。

3.3.7 進行比對

經由前幾名候選模型所算出之傅立葉描述子的特徵向量將與場景之特徵向量做比對，比對的方式仍然是採用 2-norm 的方式來算出差異度，最後比對結果也將採取前幾名差異度中最小的差異度所對應的模型作為最終的比對結果。

3.3.8 非資料庫物體偵測

通常進行比對後，不相似度最小的值所對應的物體，即是最後辨識出的物體，

(44)

33 不過往往辨識出的物體有時候不含在資料庫中，故本論文在此提出一個非資料庫物體的偵測，利用 10 個模型進行比對後，經由正確比對所產生的大量不相似度值之資料進行統計，可以得知當場景物體與資料庫模型進行比對後大概的相似度值會介於在哪一個範圍內，進而可以依據這個範圍的限制，來剃除有可能不是在資料庫中的場景物體。圖 3-14 由左至右、由上至下分別為塔台編號 1 到 10，正確比對之對應不相似度值。圖 3-15 綜合 10 個塔台之正確比對所對應的不相似度值。

(45)

34 為了區別當非資料庫中的物體場景輸入時，本論文採用一個 Z 函數如式 (3.2)。                                               b x , b x b a , a b b x b a x , a a b a x a x , f ( x , a , b ) 0 2 2 2 2 1 1 2 2 , (3.2) 圖 3-16 Z 函數之分佈情形由圖 3-16 可以發現，當輸入場景與資料庫比對後，最小的不相似度值若是越大，則其相似比例將會越來越小，本論文設定當相似比例小於 0.3 時，則本論文將判斷此輸入場景不是屬於資料庫中任一類模型。圖 3-17 第 11 類塔台。圖 3-17 第 11 個塔台模型本論文測詴後發現，將第 11 個塔台與資料庫比對後，

(46)

35 最小的不相似度值為 0.18，故相似比例小於門檻值，所以本論文判斷此類為不屬於資料庫的場景物體。

3.4 點雲資料的辨識

本節將討論在塔台與雷射測距儀的距離足夠近的情況下無法擷取到完整的影像資訊，本論文將採取點雲資料作為辨識時所使用的資料，在點雲資料的部份，本論文提出一個結構特徵作為辨識時所使用之特徵表示，圖 3-18 表示當輸入資料為點雲資料下的辨識流程架構。特徵抽取(結構描述子) 對每個塔台建立特徵資料庫輸入點雲資料特徵資料庫離線架構在線架構輸入點雲資料相似度比對特徵抽取(結構描述子) 輸出比對結果圖 3-18 輸入資料為點雲資料的辨識流程圖。

3.4.1 特徵抽取(結構描述子)

經由雷射測距儀所取得的點雲資料，雖然在空間中是無序的，但這些點雲的分佈卻可以表示物體的外型，故將利用這些點雲的幾何分佈來做為辨識時所使用的特徵，但是當量測的視角不同時，會得到不同的三維物體姿態，所以在特徵的建立上必頇要滿足，尺度不變性(scale invariant)，平移不變性(translation invariant)，

(47)

36

旋轉不變性(rotation invariant )，本論文利用圖(graph)的方式來達到建立結構描述子作為比對時所使用的特徵表示，建立結構描述子的流程如圖 3-19 所示。輸入點雲資料圖形建立(結構描述子) 前處理計算主曲率點雲分類點雲分割區域成長法主成分分析找法向量圖 3-19 建立結構描述子的流程圖。

3.4.2 前處理

在求得某點 P 之主曲率前，必頇先要得知點 P 之法向量，利用空間中點 P 之鄰近點，經由 P 點與鄰近點之空間幾何分佈可得之法向量之方向，由主成分分析法的所找出之三主軸即為其相關矩陣之特徵向量{e₀,e₁,e₂}對應的特徵值 } , , {₀ ₁ ₂ ，其中₀ ₁ ₂，而₀所對應的特徵向量e 就是法向量如圖 3-20₀ 所示，而點 P 之主曲率可由 2.3.2 節求得。

(48)

37 圖 3-20 法向量的表示。

3.4.3 點雲分類

本論文利用 2.3.1 節所介紹之主曲率並歸納出點屬性的分類表格如表 2-1 所 示，根據表 2-1 在點雲的分類上本論文使用兩個門檻值 Thr1 及 Thr2 來區別目前 的點資料是屬於哪種屬性，表 2-1 加入門檻值的限制後修改成如表 3-1 所示。表 3-1 修改後的點屬性分佈。 2 1and k k 內部點(interior) k₁ Thr1andk₂ Thr1 邊緣點(edge) ₁ ₁ ₁ ₁ 2 1 2 1 Thr and k Thr or k Thr andk Thr k     击角點(convex corner) ₁ ₁ ₂ _* ₀ 2 1 2 1 2

1 Thr and k Thr andk k Thr andk k 

k 凹角點(corner concave) ₁ ₁ ₂ _* ₀ 2 1 2 1 2

1 Thr and k Thr andk k Thr andk k 

k

利用表 3-1 對點屬性的分佈本論文挑選的門檻值 Thr1 = 0.48 及 Thr2 = 0.1 所分後 的結果如圖 3-21 所示。

(49)

38 (a) (b) (c) (d) 圖 3-21 點分類後的結果 (a)編號 1 之原始部分點雲資料，(b)圖(a)之分類結果， (c)邊號 10 之原始部分點雲資料，(d)圖(c)之分類結果。

3.4.4 區域分割

在點雲資料做完分類後，可得知每點的屬性，由於區域成長法也適用於高維度的資料，故本論文應用區域成長法來達到分割每塊不同的平面或是曲面，在區域成長法中，種子點的選擇有時候會關係到分割效果的好壞，一般而言種子點的選擇是不希望種子點落在雜訊或是邊界上，但是就目前而言還沒有很好的說明應

(50)

39 用特定的種子點選擇可以達到最好的分割效果，所以按照不同的問題則會有不同的種子點找尋的方法，由於本論文在 3.4.2 節已經將每點資料做過分類，所以在種子點的找尋方面只針對內部點(interior)來處理，在每次新的群集之初始種子點則是利用隨機的方式在內部點中挑選，而種子點之鄰近點是否屬於同一群集的評判標準則是利用點與點的法向量夾角小於某個門檻值，點與點的歐基里德距離小於某個門檻值，收尋的鄰近點中只能是內部點，而區域成長法的流程圖由 3-22 所示。點雲資料從內部點隨機挑選起始種子點由種子點進行鄰近點的搜尋是否每點都尋訪過否非邊緣點 角度<門檻值 距離<門檻值 點合併成為同一群的種子點是否還有種子點是否是否是成長結束圖 3-22 區域成長法流程圖。本論文在角度的門檻值是設定 12 度，距離的門檻值是設定 1.3 公尺，圖 3-21 的分割結果如圖 3-23 所示。

結合二維影像與三維點雲資訊之物體辨識

國

立

交

通

大

學

電控工程研究所

碩 士 論 文

結合二維影像與三維點雲資訊之物體辨識

Object Recognition Using 2D Image and 3D Point Clouds Data

研 究 生 :牟 家 昌

指導教授:林 昇 甫 博士

結合二維影像與三維點雲資訊之物體辨識

Object Recognition Using 2D Image and 3D Point Clouds Data

研 究 生 ：牟 家 昌

Student: Chia-Chang Mou

指 導 教 授 ：林 昇 甫 博士

Advisor: Dr. Sheng-Fuu Lin

國立交通大學

電控工程研究所

碩士論文

結合二維影像與三維點雲資訊之物體辨識

摘要

Object Recognition Using 2D Image and 3D Point Clouds Data

ABSTRACT

誌謝

目錄

表目錄

圖目錄

第一章 緒論

1.1

三維物體辨識介紹

1.2

研究動機與背景

1.3

相關研究之探討

1.4

論文主體與貢獻

第二章 相關技術與原理

2.1

資料取得方式

2.2

採用距離影像時特徵擷取的方法及比對

2.2.1

輪廓提取

2.2.2

傅立葉描述子( Fourier descriptor )

2.2.3

特徵比對





2.3

採用點雲資料時特徵擷取的方法及比對

2.3.1

主成分分析法







2.3.2

主曲率

2.3.3

形狀指標(shape index)

2.3.4

區域成長法

2.3.5 圖(graph)的建立

2.3.6 圖形比對 (graph matching)

2.4

骨架化與骨架樹

2.5

點特徵直方圖(point feature histogram)





第三章 系統流程

3.1 整體辨識架構

3.2 辨識策略的切換

3.3 距離影像的辨識

3.3.1

特徵抽取(傅立葉描述子)

3.3.2

碩士論文

研究生 :牟家昌

指導教授:林昇甫博士

研究生：牟家昌

指導教授：林昇甫博士

第一章緒論

第二章相關技術與原理

第三章系統流程