基於視覺導航之自主無人機環繞檢測 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文 Master’s Thesis. 基於視覺導航之自主無人機環繞檢測政治. 學. ‧ 國. 大立 Autonomous UAV Surround Inspection based on Visual Navigation. ‧ sit. y. Nat. er. io. 指導教授：劉吉軒博士. n. al. ni Ch 研究生：張為超撰 U engchi. v. 中華民國一零九年十二月 December 2020. DOI:10.6814/NCCU202100038.

(2) 摘要與在空曠地區的進行的航空影像不同，人造建築物的航空檢視需要無人機進行更複雜的導航。無人機需要以可控的方式向目標物體移動，以獲取結構表面的特寫影像，同時也需要為了自身的安全而避免碰撞到目標建築物。在本文中，我們提出了一項基於視覺導航的人造建築物之自主檢視任務。我們利用 SLAM 做為視覺定位之基礎，主要針對以圓柱形建築物為路徑之環繞檢視為例，以實際飛行的形式進行了測試。我們的技術貢獻主要有兩個方面。首先，我們以一個較為完整之任務形式呈現我們的研究，無人機從起飛開始，接著會自主辨識出目標建築物並設定. 政治大. 環繞檢視之路徑，在環繞的同時進行實時校正，完成使用者設定之環繞回合數. 立. 後便會進行返航。其次，我們使用行為樹作為控制體系結構來集成所有功能組. ‧ 國. 學. 件以增強整體之穩定性以及可行性，並在低成本之微型無人機上進行開發。而在現實世界中的實驗表明，無人機可以以一定的成功率執行環繞檢視任務，並. ‧. 且能完整的獲取目標建築物的影像以進行結構檢視。. y. Nat. n. er. io. al. sit. 關鍵詞:無人機、SLAM、行為樹、建築物檢視. Ch. engchi. i Un. v. DOI:10.6814/NCCU202100038.

(3) Abstract Unlike aerial imagery in open fields, aerial inspection on man-made construction requires more complex navigation from drones. The drone needs to move toward target object in a controlled manner in order to acquire close-up views on structure surface, at the same time, avoid collision for its own safety. In this paper, we present a research work on autonomous visual navigation for aerial inspection on man-made construction. In particular, we focus on developing orbital inspection of pole-like. 政治大. objects. We use SLAM as the basis for visual positioning and we test our method in the form of actual flight.. 立. There are two main aspects of our technical contribution. First, we present our. ‧ 國. 學. research in the form of a relatively complete mission. The drone will automatically. ‧. identify the target building and set the path for the surround view from the start of. sit. y. Nat. take-off, and perform real-time adjustment while orbiting to complete the user-. io. er. defined surround After the number of rounds, it will return home. Secondly, we use behavior tree as a control architecture to integrate all functional components to. al. n. v i n enhance the overall stability andC feasibility, and develop h e n g c h i U it on a low-cost UAV.. Extensive experiments in a real world scenario have shown that UAV can perform surround building inspection tasks with a certain success rate, and can obtain complete images of target buildings for structural inspection. Keywords : UAV、SLAM、behavior tree、building inspection. DOI:10.6814/NCCU202100038.

(4) 目錄第一章. 緒論............................................................................................................ 1. 1.1. 研究背景.................................................................................................... 1. 1.2. 研究動機與目的 ....................................................................................... 3. 1.3. 論文架構.................................................................................................... 5. 1.4. 研究成果與貢獻 ....................................................................................... 6. 第二章. 文獻探討.................................................................................................... 7. 2.1 同步建模與即時定位 .................................................................................... 7 2.2 行為樹........................................................................................................... 10 2.3 建築物檢視之案例 ...................................................................................... 13 第三章. 政治大. 基於視覺導航之無人機環繞檢測 ......................................................... 15. 立. 3.1 特徵點比對 .................................................................................................. 16. ‧ 國. 學. 3.2 ORB-SLAM ................................................................................................. 17 3.3 環繞路徑生成 ................................................................................................ 20. ‧. 3.4 路徑導航 ...................................................................................................... 21 3.5 錯誤回復 ........................................................................................................ 23. y. Nat. n. al. er. 實驗設計及結果分析 ............................................................................. 28. io. 第四章. sit. 3.6 行為樹 ............................................................................................................ 25. i Un. v. 4.1 實驗設計 ...................................................................................................... 28. Ch. engchi. 4.2 實驗評估指標設計 ...................................................................................... 30 4.3 實驗結果與分析 .......................................................................................... 33 4.3.1 無人機與預設路徑之偏差 ............................................................... 34 4.3.2 環繞路徑之方向偏差 ....................................................................... 35 4.4 自主無人機環繞檢視之路徑俯視圖 .......................................................... 36 4.5 實驗結果討論 .............................................................................................. 39 第五章. 結論及未來展望 ..................................................................................... 41. 5.1 研究結論 ...................................................................................................... 41 5.2 未來展望 ...................................................................................................... 42 參考文獻...................................................................................................................... 44. DOI:10.6814/NCCU202100038.

(5) 第一章緒論 1.1 研究背景. 無人機（Unmanned Aerial Vehicle，UAV）是近幾年來非常熱門的航太產業之一。根據國際民航組織（ICAO）的定義，只要是沒有駕駛及人員乘坐的飛行載具皆可被稱作為無人機，並且可以從其他地方由人員進行遠程的完全控制，也可以透過程序來進行自主控制[1]。最早的無人機技術多被使用於軍事偵察上，而至今的無人機除了因為科. 政治大. 技的進步而導致製造成本大幅降低，使得一般大眾可以輕易取得之外，多種不. 立. 同的感測器如：攝影機、GPS、紅外線測距儀等也可以被搭載在無人機上，讓. ‧ 國. 學. 無人機的應用可以因此更加廣泛。而在現今不論是政府機構、企業、科研單位乃至於一般民眾，皆將無人機作為一種協助人員採集數據的方便工具來使用，. ‧. 而無人機在使用的用途上也由原本單純的軍事導向逐漸應用於不論是高空的偵. sit. y. Nat. 查任務或是近距離之拍攝上。. io. er. 一種常見的無人機航空影像任務是讓無人機飛行在離地面比較高的高度，以俯視的方式從高空中由上而下對特定區域進行航空影像的紀錄，以較遠. n. al. Ch. i Un. v. 距離且大面積的觀測方式來取得任務的影像資料。此種任務的飛行路徑一般來. engchi. 說是會呈現較為簡單的直線、根據區域覆蓋率計算所得的路徑或是跟隨移動目標而形成的動態軌跡等。而此種先進的航空影像獲取技術，已在許多不同的領域產生了一系列的相關應用，例如:高分辨率的地表重建[2]、災害的救援[3]、遙測[4]、野生動植物的觀察[5]等任務。與高空的航拍影像不同，對特定區域進行近景航拍的無人機任務通常需要其進行更複雜的導航。以對人造建築進行航拍檢查的無人機任務為例，因為任務需要無人機盡可能的靠近目標建築物，並且要在立體結構的附近操作無人機以獲取檢測物結構表面的近景影像來進行安全或結構損壞的檢查。因此要進行此類的檢視任務除了需要熟悉操作無人機的駕駛員以外，通常也需要至少一名的觀測人員在旁規劃無人機的航點以及協助注意無人機周遭的環境狀況來保 1. DOI:10.6814/NCCU202100038.

(6) 證飛行安全。相關的案例研究如 Gillins 等人的研究[6]，他們利用無人機來進行橋梁的部件檢測。而只由駕駛員進行單人的全程操控會容易導致駕駛員只專注於控制無人機，進而忽略無人機周遭的狀況，因此他們以一個小團隊的方式來輔助駕駛員操作 DJI Phantom 3 Pro 以進行橋梁的檢測任務。他們以人員直接操作的方式盡可能地接近當地的一座跨河大橋以獲取橋梁表面各個部件的影像資料。收集完航拍影像後，他們將收集回來的影像資料再交由專業人員進行分析。而藉由此種嶄新的檢測方式，他們成功的檢測到了諸如部件漏水、水泥龜裂以及橋樑組件生鏽等等的證據。然而，為了完整地完成檢測任務，無人機的飛行路線通常需要根據檢視. 政治大的不同，駕駛員在操作方面的難度也會有所差別。例如在執行長方形建築物立. 物件的形狀以及大小透過動態計算來設定，也因此導致無人機會根據飛行路線. （例如：常見的樓房、大廈等）的檢測時，一般會採用橫向移動的路徑來執行. ‧ 國. 學. 檢測，如圖 1.1 所示。以控制方面來說，由於長方形的建築物可以很明確地計. ‧. 算出檢測物的面數，因此在執行檢測任務時，不需要特地將角動量考慮至飛行的控制系統，僅需要在換面檢測時再控制無人機的角動量進行旋轉來換面即. Nat. sit. y. 可。因此駕駛員實際在執行長方形建築物的檢測任務時，在同一個時間點僅需. er. io. 要考量最多 2 個自由度（前後以及左右）的控制。然而在掃描圓柱狀的建築物. al. iv n C 建築物時，一般會採用圓型的路徑以貼合柱狀建築物的形狀來獲得最高的檢視 hengchi U n. 時（例如：柱狀的橋墩、燈柱、工業煙囪等）情況就會較為複雜。在掃瞄此種. 覆蓋率，如圖 1.1 所示。而以控制方面來說，因為必須同時發出轉向的角動量. 以及左右移動來控制無人機進行繞圓，必要時也須根據當下狀況來校正無人機的前後位置，因此在執行此種路徑時駕駛員必須同時考量至少 3 個自由度（前後、左右以及角動量），甚至如果想要以螺旋型的路徑來執行掃描的話，就需要額外考量高度的控制而必須同時進行 4 個自由度的控制，在這樣的情況下會使得控制行為變得相當複雜。另外，由於人造建築物的附近環境很可能是一個封閉的空間，這表示一般常用的定位系統可能容易受到干擾或甚至是無法使用，因此在任務的導航或是避障上會更加依靠專業人員的判斷與決策。. 2. DOI:10.6814/NCCU202100038.

(7) 圖 1.1:檢視任務須依檢測物形狀規劃不同路徑。左圖為長方形建築物的檢視路徑，右圖為圓柱形建築物的檢視路徑。. 政治大綜合上述所有這些因素，在進行人造建築物的航拍檢查任務時，需要駕立. ‧ 國. 學. 駛員對於無人機的操作非常熟稔，因為在避開周遭附近障礙物的同時，無人機也需要以受控的方式向檢測建築物靠近，並沿著建築物的表面進行飛行，以獲. ‧. 取待檢結構表面上的近視圖。總歸來說，無人機的檢查任務需要駕駛員能靈巧地對無人機進行飛行控制。. n. al. er. io. sit. y. Nat. 1.2 研究動機與目的. Ch. engchi. i Un. v. 雖然目前的無人機建築物檢視任務大部分仍然由作業人員直接控制無人機來進行，但是由人員直接操控無人機來進行作業仍然存有許多缺點。有研究表明在無人機失事的事故中，大部分的主要原因皆為人為因素而導致事故發生 [7]。這很大一部分是由於人類的眼睛因為視差的關係，導致作業人員在操作無人機時很難只利用目視來對應無人機在 3D 立體環境中的真實位置，再加上執行檢測任務時，無人機需要盡可能的靠近任務目標來進行影像之蒐集，這些因素皆會增加無人機在執行檢測任務時的風險。由於人為操控無人機進行檢視任務容易因為駕駛員的操作不當而導致意外發生，因此現今有許多研究皆希望無人機能以智慧自主控制的方式來逐漸取代傳統由人員的直接控制。在[8]的研究中展示了自主無人機應用於橋樑和擋土. 3. DOI:10.6814/NCCU202100038.

(8) 牆等建物檢視的研究。他們根據目標物的結構形狀，預先以人為的方式指定了多組興趣點（Point of interest）並將其轉換為無人機的全球衛星定位系統（Global Positioning System，GPS）之航點，然後由該一系列的 GPS 航點來控制無人機進行自主的橋梁或是建築物的巡檢。儘管上述的這些手動或半自動的導航方法皆已部分證明了空中檢查對人造建築物的潛在價值，但在實際的應用上仍存在一些障礙而導致難以廣泛運用。用單純目視或無人機攝影機的影像來觀測無人機的位置並進行手動控制不是一件容易的事，需要駕駛員對於無人機的操作非常熟悉，尤其是在檢測任務中會要求無人機盡可能地靠近目標建築物以獲取影像。而使用傳統的 GPS 定位方法則可能會受到建築物的結構阻擋而缺少任務所需之定位精度，甚至可能由於訊. 政治大實很難應用於檢測任務之大部分的場域[9]。立. 號遮蔽而完全無法接受到 GPS 訊號，因此藉由 GPS 來定位無人機在通用度上其. 鑒於這些自主無人機在檢測任務中遇到的困難，本論文的研究目的是使. ‧ 國. 學. 用無人機來進行檢測任務之自主導航，本研究希望能在不使用 GPS 以及其他額. ‧. 外感應器的情況下，以同步定位與地圖建構實時定位無人機之位置，並且依據建築物的形狀來規劃檢視路徑。本研究以對駕駛員操控較為複雜之環繞檢視任. Nat. sit. y. 務為例，用實際任務的形式來完成對建築物的影像數據收集。環繞檢視通常用. er. io. 於獲取圓柱形狀之建築物之表面圖像，從電線桿、燈柱、橋墩、發電廠到大型. al. iv n C 通常需要對這些高而細長的建築結構進行視覺的損壞檢查，而無人機的環狀軌 hengchi U n. 煙囪以及高塔等建築物，皆可以適用於此種檢視路徑。維護這些設備的第一步. 道則可以完全覆蓋圓柱形建築物的表面圖像。如圖 1.2 所示，無人機的飛行路. 徑通常是以圓柱的圓心做為環繞路徑之中心，與一般攝影機會向飛行軌跡對齊的航向不同，以環繞路徑進行的檢視任務會命令無人機以固定的高度沿著環狀軌道飛行的同時，無人機鏡頭會鎖定在朝向圓心的方向來收集建築物的影像數據。因此，進行一次環繞檢視的飛行路徑可以獲取到目標建築物特定部分的整個圓形表面，而當如果感興趣的區域較大時，則可以藉由進行不同高度的多個軌道來提供所需的影像覆蓋範圍。而在控制的複雜度上，圖 1.2 左邊的圓形路徑只需要在飛行過程中保持固定的角速度以及前進速度來進行繞圓即可，因此在進行此類的運動控制時僅需要同時間進行 2 個自由度的調整，即:圍繞 z 軸旋轉的偏航率以及沿著 x 軸的前進速度即可。而右邊的環繞路徑需應任務之需求 4. DOI:10.6814/NCCU202100038.

(9) 而必須面向目標建築物，在自由度的控制上則需要控制側滑速度以及偏航率，必要時也必須控制前進速度來與目標建築物保持適當的檢視距離，甚至可能會需因應任務之需求而額外進行高度之控制。而以自由度來進行分析，環繞路徑需要控制至少 3 個自由度，即:與目標物保持相對距離的前進速度(x 軸)、控制環繞的側滑速度(y 軸) 以及圍繞 z 軸進行旋轉的偏航率，而如果再加上高度的控制就必須同一時間控制 4 個自由度。因此相比於左邊的圓形路徑，右邊的環繞檢視路徑在控制上會相對來說更為複雜。鑒於上述之原因，本研究將以真實世界中的橋墩的柱子作為實例，以環繞檢視的方式來收集目標建築物之影像，並期望能在任務的複雜性、通用性和運行的成本方面進行擴展。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 1.2: 一般圓型路徑之航向與環繞檢視航向的區別，左為一般圓型路徑之航向，. i Un. v. 右為環繞檢視之航向，紅色箭頭為攝影機面向之角度。. Ch. engchi. 1.3 論文架構. 在本論文的第一章中，首先講述了研究背景、動機與目的。第二章則會探討本研究主要使用之技術組件包括:SLAM、行為樹（Behavior tree）以及討論相關的檢視任務之實際範例。第三章為基於視覺導航的無人機環繞檢測，在本章節會詳細說明本研究所設計之研究方法包括:確認目標建築物後以 ORBSLAM 定位無人機、標定目標建築物之圓心並規劃檢視路徑並進行導航，並且提出一些方法來穩定 ORB-SLAM 在實際使用時遇到的狀況。第四章說明以本研究所提之方法實際在實驗場景所測試之實驗數據，我們會將無人機實際環繞. 5. DOI:10.6814/NCCU202100038.

(10) 之飛行路徑與理想的圓形路徑相互比較，同時也會確認目標之影像資料是否能維持在無人機畫面的正中心以達到最佳的檢視品質，我們會藉由這兩種指標來確認本研究之成效。最後第五章則討論本研究的結論以及規劃相關的未來工作。. 1.4 研究成果與貢獻. 本論文的研究成果與貢獻主要是讓無人機可以在不使用其他感測器的情況下，僅使用 SLAM 以視覺定位無人機的位置並且應用於實際的檢測任務。無人機首先會使用特徵點比對之方式來確認建築是否為我們欲檢測之目標建築. 政治大之圓心位置，並依據使用者所設定的檢視半徑規劃出圓形的檢視路徑以進行環立. 物，接著無人機會自動靠近目標建築物並標示出該建築物位於 SLAM 座標系統. ‧ 國. 學. 繞檢視。在環繞的過程中，無人機會根據 SLAM 所提供的姿態位置來檢查自身是否仍在路徑的軌道上，如果偏離了軌道，無人機便會根據自身位置實時動態. ‧. 校正。由於本研究目標是環繞檢視任務，因此在過程中需要無人機的攝影機能一直正對著目標物來進行檢視，因此我們的無人機會也根據目標物相對於無人. y. Nat. sit. 機之位置來調整無人機攝影機所面向的角度。. n. al. er. io. 另外在無人機自主建築物檢測的相關研究中，雖然有許多研究皆有提出. i Un. v. 許多新穎的方法，但是很多的實驗仍然停留在使用模擬器或是在實驗室的環境. Ch. engchi. 中來進行測試，而沒有拿到真實世界的環境做實際的應用。在真實世界中其實往往會有許多的不可控因素影響到實驗的進行，比如說自然光照、風速、訊號影響等等，而那些因素皆會影響到實際實驗進行的狀況。因此做為本論文的方法測試，我們會以真實世界裡的橋墩做為實際測試的例子，實際驗證我們所提出之方法，並以兩種評估指標做為基準來評測實驗數據。. 6. DOI:10.6814/NCCU202100038.

(11) 第二章文獻探討本章節依照研究目的分為分成三個小節，分別探討相關的知識背景和應用。第一小節為同步定位與地圖建構（SLAM）之探討；第二小節為幫助無人機任務進行模組化的相關方法之探討;第三小節則會討論建築物檢視之相關研究。. 2.1 同步建模與即時定位. 政治大. 一般而言無人機的定位最簡單的方式即是使用 GPS 來協助無人機進行定. 立. 位，但是在現實的環境中，GPS 會因為任務場域之因素而導致訊號遮蔽或是由. ‧ 國. 學. 於其他因素而使得 GPS 不準確甚至於完全接收不到衛星訊號。而要將 GPS 應用於無人機的檢測任務實際上更是困難，首先是 GPS 在使用上的精度其本身就有. ‧. 一定的誤差存在，而在檢測任務中有許多情況是需要命令無人機非常靠近建築. sit. y. Nat. 物，如此才能接收到影像品質比較優良之近景視圖。另外許多建築物的高架結. io. er. 構其實也會影響到 GPS 訊號的接收，因此以 GPS 來做為檢測任務之定位基礎實際上是很難應用於大部分的任務場域。. n. al. Ch. i Un. v. 除了 GPS 以外，每台無人機通常也會配備慣性測量單元（Inertial. engchi. measurement unit，IMU）來協助無人機測量自身位置。慣性測量單元是藉由無人機內建的一些測量單元例如：陀螺儀、指北針以及加速度計等等所構成，而 IMU 則是藉由綜合這些傳感器的所收集到的資訊讓無人機可以以此來估計自身之位置座標。但是單單基於慣性測量單元的定位通常會產生比較大的誤差 [10]，而且其精確度會隨著無人機的飛行時間而逐漸降低，因此較不適用於一些檢測時間較長之任務。在自然界中，動物或昆蟲可以只利用視覺上的影像資訊去定位自身的位置並同時了解周遭狀況。而受到自然界之啟發，有一些研究利用最低成本之方法：即一台低成本攝影機以及慣性測量單元的幫助來協助定位，同步定位與地圖建構（Simultaneous Localization and Mapping，SLAM）便是以此做為根基並 7. DOI:10.6814/NCCU202100038.

(12) 發想，並且 SLAM 也成功地運用於機器人上以幫助機器人進行諸如探索環境以及進行導航等任務。而近年來隨著無人機的出現，SLAM 也常常被應用於無人機的任務上。大多數的 SLAM 皆是利用運動推斷結構[11](Structure from motion， SFM)來做為根基。攝影機可以透過在環境中四處移動來獲取到許多環境周遭的影像變化，而當攝影機移動時，SFM 可以根據周圍物體影像特徵的變化來推斷自身攝影機位置座標的變化。相對地，SFM 也可以根據攝影機的影像變化以及位移量得出環境特徵值對應回 3D 地圖的位置座標。簡單來說，SFM 是利用 2D 圖像的序列變化來估計出 3D 結構的地圖座標並同時推斷攝影機位移的技術，因此可利用 3D 場景的不同視角來進行 3D 地圖的重建。. 政治大是在於擷取影像特徵值之方法的不同。在其中，DSO-SLAM、LSD-SLAM 以及立目前在電腦視覺的技術中有許多不同類型的 SLAM 方法，其差別最主要. ORB-SLAM 為技術發展較為成熟也是比較多人所使用的 SLAM 技術，並且這些. ‧ 國. 學. 技術皆有被包裝成 ROS（Robot Operating System）提供給使用者使用。. ‧. DSO-SLAM[12]為基於直接算法所設計的 SLAM，在點雲的生成量上是屬於稠密的點雲地圖，因此構建出來的點雲群的可讀性較高。然而因為它缺乏. Nat. sit. y. 閉環檢測（loop-closure）的功能，因此它不會根據先前走訪過的特徵值來重新. er. io. 校正攝影機的位置，而這也導致了 DSO-SLAM 在使用時，它會隨著使用時間的. al. iv n C 時，使用 DSO-SLAM 作為座標系統之定位基礎可能會產生比較大的誤差。 hengchi U n. 推移而逐漸累積誤差值導致其定位精度逐漸下降。因此在面對長時間的任務. LSD-SLAM[13]與 DSO 同樣是屬於稠密類型的點雲地圖，它的特徵點是. 藉由影像的梯度來擷取，而它也是被歸類為使用直接算法方式的 SLAM 技術。與 DSO 不同的是，LSD-SLAM 具備閉環檢測的功能，因此當攝影機走訪到重覆的位置後，它可以根據偵測到的重複的特徵值重新為其位置進行校正。然而 LSD-SLAM 對光源的敏感度較高，而在室外環境運行時因其光源變化相較於室內來說較為複雜，因此相比於室內環境 LSD-SLAM 在室外的運行結果通常會比較差[14]。 ORB-SLAM[15]的點雲是基於 ORB 特徵點提取方式來獲取的。由於其特徵點擷取之方法，ORB-SLAM 僅能生成半稠密（Semi-dense）的點雲地圖，因此在可讀性上 ORB-SLAM 相較於上述之 SLAM 也比較差，而其特徵點擷取之 8. DOI:10.6814/NCCU202100038.

(13) 方式也導致 ORB-SLAM 在表面紋理較少的場景其定位表現會比較差，但 ORBSLAM 同時支援閉環檢測以及提供使用者儲存及載入地圖，並且 ORB-SLAM 也可以搭配具有深度資訊的攝影機大幅增加其可靠性。在[16]的研究中有對上述之各個 SLAM 之效能做評測以及整理，他們在室內設置了一個固定的路徑，並且在機器人身上裝置了不具深度資訊的 monocamera 以進行實驗。他們將上述之各個 SLAM 方法分別沿著設定之路徑分別運行 2 圈以測試他們的效能及穩定性，並將其路徑結果分別輸出並與原路徑進行比對來測試他們的平均誤差。而上述 SLAM 之比較結果是 DSO 的表現最差，在室內賽道的平均誤差為 0.403m。這是由於 DSO 沒有閉環檢測的原因，因此導致 DSO 在進行第二圈的導航時，在自我姿態的定位上產生了比較大的漂移及. 政治大最好的 SLAM 為 ORB-SLAM，其平均誤差值為 0.159m。立. 誤差。而表現第二好的 SLAM 為 LSD-SLAM，其平均誤差值為 0.277m；表現. 本研究之研究目的為在室外之自然環境執行自主環繞檢測任務。一般來. ‧ 國. 學. 說，環繞檢視任務在路徑的設定上很容易出現重複環繞之行為，同時由於任務. ‧. 場域以及環繞檢視本身之路徑特性，建築物很容易受到自然光線之影響而出現一側較亮一側較暗的情形存在，且路徑本身也容易受到建築物之影響導致光線. Nat. sit. y. 受到遮蔽，因此視覺導航必須有一定的穩定性去承受光照變化。重複環繞這一. er. io. 特性導致了 SLAM 的閉環檢測功能對於本研究之目的顯得十分重要，因此缺少. al. iv n C 大的漂移量而無法修正導致定位失準。另外在檢測任務中的自然光影變化可能 hengchi U n. 閉環檢測的 DSO-SLAM 在我們的案例中可能就會隨著任務時間之推移產生比較. 較為嚴重，因此對光源變化比較敏感的 LSD-SLAM 也同樣較不適用於情境。. ORB-SLAM 雖然對於紋理單調的場景其穩定性雖然不高，但是在自主檢測的任務中不單單只有建築物本身，其目標建築物附近的環境影像特徵皆可以成為 ORB-SLAM 定位的依據以增強 ORB-SLAM 的定位精確度。除此之外，ORBSLAM 也同時支援使用者自行存儲地圖，讓使用者做完一次環繞檢視任務後，可以保存當前建立好的點雲地圖以便之後可以重複利用。鑒於上述之因素，本研究最後選定 ORB-SLAM 做為本研究視覺導航之無人機的定位依據。. 9. DOI:10.6814/NCCU202100038.

(14) 2.2 行為樹. 由於檢視 3D 物件的任務流程十分繁瑣，且在進行任務時有部分的動作需要無人機重複執行，例如：建築物的環繞、前後校正以及轉向校正等等，因此程式的模組化（Modularity）與可重用性（Reusability）對於檢視任務來說非常重要，本小節將探討可將程式模組化之方法。有限狀態機（Finite state machine）已經被應用於電腦科學多年，有限狀態機是一個數學的計算模型，可以表示有限個狀態以及在這些狀態之間可以因為達成某些條件而自動切換狀態。有限狀態機通常會有一個起始階段顯示初始. 政治大始狀態為 S0 而終點狀態為 S3，其中會根據使用者輸入之數值 1 或 0 來做狀態立之狀態，以及一個終點狀態顯示最終目標，如圖 2.1 為有限狀態機之範例，初. ‧. ‧ 國. 態 S3。. 學. 之間的切換，當有限狀態機偵測到連續兩個輸入數值皆相同後則會進到最終狀. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 2.1：有限狀態機。. 而使用有限狀態機的應用種類繁多，從紅綠燈號誌的變化到投幣販賣機的應用都可以使用有限狀態機來進行設計，而在無人機的應用上有限狀態機可以幫助其在進行決策以及狀態之間的變換上更加清楚明確。如[17]所提及之案例，他們設計一套系統可以利用無人機去進行人員的搜索和救援任務，他們利用平行階層化的有限狀態機（Parallel Hierarchical Finite State Machine， 10. DOI:10.6814/NCCU202100038.

(15) PHFSM）去連接無人機之各個技術組件，並根據當下無人機的狀況在各個狀態節點中進行條件切換。圖 2.2[17]為他們所設計之 PHFSM 架構，每個節點代表著一個較大型的科技組件，並且每個節點裡面也同時是由複數個有限狀態機去組成。而在 PHFSM 的系統架構中，他們可以很輕易的利用階層化的方式來定義緊急狀態（Emergence State）並將其設為最優先級，來讓無人機偵測到異常後能快速的進行緊急處理。這樣的編排已經某種程度增加了其系統的模組性和重複使用性以及易讀性，並且已經有優先序的概念形成。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. er. io. 圖 2.2：無人機的救援任務以 PHSFM 表示。[17]. al. n. iv n C 行為樹也類似於有限狀態機，其設計之目的也是幫助程式進行模組化以 hengchi U. 及提高可重用性。而與有限狀態機不同的是，行為樹在設計上更為精簡，在閱讀上也更符合直覺，並且可模組化的程度與可重用性相比於有限狀態機更高，. 因此使用者可以很輕鬆地從行為樹中添加或刪除動作及條件甚至於其子樹，而不必仔細去確認修改所有內容。行為樹最早被使用於電玩遊戲產業去控制 NPC （None player character）的行為，而現今行為樹也被應用於許多其他領域。行為樹的樹葉節點可以分為兩種類型，其分別為：動作節點（Action node）以及情況節點（Condition node)，而非樹葉的節點則可以分為 4 種：選擇節點（Selector node）、序列節點（Sequence node）、並行節點（Parallel node）以及裝飾節點(Decorator node ）。而以上六種節點皆只會回傳 3 種狀態：成功、運行中以及失敗，而其詳細規則如表 2.1。 11. DOI:10.6814/NCCU202100038.

(16) 表 2.1：行為樹之規則簡介。結點類型. 成功. 失敗. 執行中. 選擇節點. 一個節點成功. 所有節點失敗. 一個節點回傳執行中. 序列節點. 所有節點成功. 一個節點失敗. 一個節點回傳執行中. 並行節點. N 個節點成功. N 個節點無法成功. 所有節點回傳執行中. 裝飾節點. 自訂. 自訂. 自訂. 動作節點. 完成動作. 無法完成動作. 執行中. 條件節點. 合乎條件. 不合乎條件. 無. 政治大示為問號，當其下之任一節點回傳成功其便會往上回傳成功，反之失敗;序列節立行為樹會以一定頻率由左至右逐一拜訪其各個節點。選擇節點以圖示表. ‧ 國. 學. 點以圖示表示為單箭頭，當其下所有節點回傳成功便會回傳成功，反之失敗;並行節點以圖示表示為雙箭頭，當其下 N 個子節點回傳成功便會回傳成功，反之. ‧. 失敗;裝飾節點以圖示表示為外框菱形，其可以由使用者自行定義回傳成功以及失敗之條件;狀況節點以圖示表示為外框橢圓形，其會依據使用者設定之條件並. y. Nat. n. al. er. io. 動作完成則會回傳成功，反之則回傳失敗。. sit. 根據當下情況進行判斷來回傳成功或失敗;動作節點以圖示表示為外框方型，若. i Un. v. 圖 2.3[18]之例子顯示行為樹相比於有限狀態機可以用更簡潔的方式來描. Ch. engchi. 述問題。若以有限狀態機來設計系統，開發者必須很繁複的去根據狀態所回傳之三種狀態（即：成功、失敗以及運行中）來進行節點之設計，而由於行為樹之節點本身就被預設為會根據條件來回傳這三種狀態，因此在系統的設計上相對來說更為方便。而由於行為樹其本身為樹狀之結構圖，因此行為樹可以很輕易的設計出具有優先化概念之階層化邏輯架構，而相比於有限狀態機，行為樹的這種樹狀結構之特性也可以讓使用者能更直覺的從邏輯架構中刪除或是添加額外的行為，而不用去詳細確認節點之間的狀態轉換。. 12. DOI:10.6814/NCCU202100038.

(17) 圖 2.3:開前門，如果成功則通過，分別以 FSM(左)和行為樹(右)表示。[18]. 2.3 建築物檢視之案例. 近年來有許多研究皆使用無人機來進行自主的建築物檢視，如[19]之研. 政治大. 究他們提出利用無人機來巡檢碼頭建築之自主巡檢任務。他們所提之研究方法. 立. 會預先以一張較大範圍之全域地圖來預先幫無人機規劃全域路徑，然而由於碼. ‧ 國. 學. 頭會因為海蝕等因素，因此可能會有作業人員幫碼頭之結構進行補強，使得預先給定之全域地圖有時會在部分區域發生改變。為了能應對部分區域之地貌改. ‧. 變，他們使用兩個 2D 的光學雷達（LIDAR）並裝置於無人機上，而系統在控. sit. y. Nat. 制無人機進行碼頭之全域導航時，一旦 2D LIDAR 偵測到前方存在障礙物時，. io. er. 系統會優先命令無人機進行障礙迴避，並同時將所偵測到的地圖變化更新至全域地圖，以方便執行下一次的巡檢任務。然而在他們的研究中，他們僅使用模. n. al. Ch. i Un. v. 擬器來測試他們所提之系統，因此無法肯定以他們所提之方法能完美的運用於現實世界之任務上。. engchi. P Shanthakumar 等人[20]的研究則是使用 3.5 公斤重的自組無人機來進行自主之橋梁巡檢。他們同樣也使用兩個 2D LIDAR 來協助無人機進行自我定位以及掃描周遭環境，並利用無人機上的單眼相機來記錄建築物之影像資訊。無人機上的兩個 2D LIDAR 分別對上方的橋面以及前方垂直的橋柱做雷射掃描，以此來讓無人機判別自身位置與橋梁之相對距離以防止意外產生。整個檢視任務流程分為 3 個步驟：1.用 LIDAR 來導航無人機並巡檢橋梁，並由 LIDAR 去判斷無人機是否與橋梁足夠接近或是過於接近；2.利用 LIDAR 數據以及單眼相機的視覺資訊來判斷此階段任務（即橋柱檢視或是橋面檢視）是否完成；3.由無人機的路徑覆蓋率去判斷整體任務是否完成。 13. DOI:10.6814/NCCU202100038.

(18) 在[21]則展示了無人機的自主建築物巡檢，並以一般常見的大樓作為實驗之目標。他們使用了基於 Pixhawk 控制系統的總重 2.4 kg 的四軸飛行器。該四軸飛行器配備有 GPS，磁力計和 IMU，而他們的主要傳感器為安裝在雲台上的 Kinect v2，它提供了 RGB 影像和具有深度資訊的紅外線攝影機。他們所提出的系統首先會在深度和彩色圖像之間執行相關的影像處理，以便從影像中的像素資訊來估計出實際的深度資訊。接著他們利用深度攝影機從待檢建築物獲取的點雲中切割出建築物牆壁的表面，以便在飛行過程中準確的獲得無人機與建築物牆壁之間的相對距離。最後則是使用視覺伺服控制（Visual servoing control）將無人機與目標建築物的相對距離做為 PID 控制器的輸入來進行前後校正，以保持無人機與建築物的相對距離，完成建築物的自主巡檢。. 政治大為無人機的定位手段以幫助任務的進行。然而在現實中並不是所有類型的無人立上述所提之研究除了基本無人機的影像外，皆有搭載其他的感測器來做. 機皆有能力可以搭載額外之感測器，有些負重量小於 100 公克之微型無人機. ‧ 國. 學. [22]便無法像上述的研究一樣利用額外搭載的感測器去進行位置定位。因此有. ‧. 些研究如[23]則是不需要搭載額外之感測器，僅以無人機攝影機的影像畫面以及內建的 IMU 作為定位之依據來完成自主之環繞檢視。在他們所提之研究裡，. Nat. sit. y. 他們利用無人機單眼攝影機回傳的影像並搭配使用霍夫變換（Hough line）與索. er. io. 伯算子（Sobel operator）等影像處理之方式將柱子的圖像切割出來。接著他們. al. iv n C 校正。他們以切割出來的柱子影像作為定位之基準再搭配無人機所配備的 IMU hengchi U n. 利用切割出來的柱子影像大小來判斷無人機與柱子之間的相對距離來進行前後. 以進行視覺伺服控制，來完成自主環繞直立柱狀之建築物。並且他們使用的無人機配有可以提供光源的照明設備，因此在光源比較昏暗的場景做環繞檢測時，反而可以利用照明設備將柱子的圖像切割的更好而獲得更好的實驗數據。然而此種基於影像切割的方法很大一部分受限於實驗環境，切割出來的影像品質會容易受到建築物的紋理材質、陰影或是逆光等影響，因此在環境比較複雜的自然場域其效果會比較不好。. 14. DOI:10.6814/NCCU202100038.

(19) 第三章基於視覺導航之無人機環繞檢測本研究之研究目的是希望提供一種自動的無人機控制系統，其中無需人為的協助或干預無人機在自主環繞檢測過程中的任何步驟。在任務場域附近有目標圓柱形建築物的情況下，首先無人機可以識別出正確的目標並向目標飛行，接著本研究之系統可以依照使用者設定之環繞半徑給定無人機適合的圓形檢視路徑。接著無人機便會以適當的距離和方向將自身導航至設定之路徑上，並圍繞著目標以使用者設定之高度進行環繞檢視至設定之回合數，完成設定之回合數後，無人機會自主返回至起飛位置以完成整體的環繞檢測任務。為了實. 政治大. 現這一級別的自主性，我們採用了數個技術組件以構建能夠執行完整導航過程. 立. 之自主系統。系統架構的功能組件劃分如圖 3.1 所示，其中包括：目標對像的. ‧ 國. 學. 圖像匹配，ORB-SLAM 定位，路徑自動生成，導航控制以及錯誤恢復。而上述所有功能組件都利用行為樹進行模組化，作為可以實時執行的控制體系結構。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 3.1：系統組件架構圖. 15. DOI:10.6814/NCCU202100038.

(20) 3.1 特徵點比對. 由於我們的研究目標為一個完整的檢測任務，因此在檢測任務的一開始需要能在比較大的環境地圖中成功辨識出環繞檢測之目標建築物。我們預先給定目標建築物的遠距離圖像，無人機則會在起飛後利用該圖像的影像特徵從無人機的影像上辨識出目標建築物並向目標飛行。我們利用 OpenCV 函式庫中提供的尺度不變特徵變換（Scale invariant feature transform，SIFT）演算法來完成對目標建築物的辨識。在特徵點比對的演算法中，SIFT 特徵點擷取的計算效率其實不如其他局部特徵檢測器快速，例如：SURF 特徵點擷取、Oriented FAST. 政治大的精度上 SIFT 特徵點擷取在這些算法中不論是在空間或尺度上的定位都更為精立和 ORB 特徵點擷取等方法在擷取的速度上相比於 SIFT 皆比較快速，但在匹配. ‧ 國. 學. 確[24]。而在我們的任務情境中，能準確的辨識出任務目標建築物相比於辨識速度更為重要。另外，SIFT 特徵點擷取對於影像的縮放和旋轉也是不會受到影. ‧. 響的，這些因素對於無人機攝影機能從各種視角和角度辨識出目標建築物的任務場景非常重要。. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 3.2:用 SIFT 特徵點擷取來辨識目標建築物。. 圖 3.2 顯示了室外任務環境中 SIFT 的特徵匹配之結果。我們須事先準備目標建築物的影像並將其提供給導航系統，目標影像可以在距離目標建築物較遠距離的情況下拍攝，並獲得周圍環境的較寬視野。無人機可以使用此圖像從遠處識別出目標建築物並根據其特徵點之分布情況來引導無人機至目標建築物前方。舉例來說，如果匹配到的特徵點之平均像素座標位於無人機攝影機畫面. 16. DOI:10.6814/NCCU202100038.

(21) 之左側，則表示當下無人機之位置位於目標建築物之右側，因此我們系統便會命令無人機往左飛行來進行校正。雖然 SIFT 特徵點擷取相較於其他特徵點擷取方法來說已經相對穩健，但是單純使用 SIFT 特徵點擷取在某些區域紋理相似的情況下仍然容易產生錯誤的匹配結果。為了減少匹配錯誤的情況，我們進一步使用了隨機抽樣一致算法（Random sample consensus，RANSAC）[25]去提升 SIFT 特徵點擷取之準確率。RANSAC 利用匹配點的空間關係來消除那些匹配錯誤的特徵點，以提升整體匹配結果之準確率[26]。圖 3.3 顯示了以 RANSAC 成功剔除 SIFT 匹配錯誤的特徵點以增加整體正確匹配率的比較圖。. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. al. n. iv n C 圖 3.3:用 RANSAC 增強 SIFT 匹配率之比較圖。(上圖為使用 RANSAC 前之影 hengchi U 像，紅色圓圈內為匹配錯誤之特徵點，下圖為使用 RANSAC 後之影像匹配). 3.2 ORB-SLAM ORB-SLAM 如[16]所進行之測試結果所示，它在 SLAM 的比較中擁有較好的準確度。ORB-SLAM 也同時擁有閉環檢測的功能，我們在以 ORB-SLAM 執行環繞檢測任務時，由於環繞檢視路徑之特性的關係，每次無人機沿著設定之路徑檢視完目標一圈回到原點時，都可以利用閉環檢測的功能來對 ORBSLAM 重新進行校正以消除累積之誤差值。另外，ORB-SLAM 也支援使用者自行紀錄以及載入地圖的功能，可以讓使用者在完成一次環繞檢視後進行點雲地 17. DOI:10.6814/NCCU202100038.

(22) 圖的儲存，之後在相同地區執行檢視任務時就可以不必每次都要重新建立一次新的點雲地圖。因此本研究在經評估各個 SLAM 方法之優缺點後，最終我們選定 ORB-SLAM 作為本研究無人機視覺定位之基礎。 ORB-SLAM 在其系統運行時會創建一個環境地圖，該環境地圖主要由關鍵幀（Key frames）以及根據關鍵幀所形成之地圖點（Map points）所構成。每個關鍵幀同時會將其位置儲存在 ORB-SLAM 的坐標和 2D 特徵點列表中。整個 ORB-SLAM 系統由三個並行的流程組成，其分別為追踪（Tracking）、區域映射（Local mapping）和閉環檢測（Loop closing），其系統結構如圖 3.4 所示 [15]。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. i Un. v. 圖 3.4:ORB-SLAM 主要的三個流程:追踪、區域映射和閉環檢測。[15]. engchi. 追踪流程負責在每幀中定位攝影機並根據提取出來的特徵點來插入新的關鍵幀，ORB-SLAM 如其名是使用 ORB 特徵點提取方法來尋找影像之特徵，而系統會在後續的影像串流中持續匹配並追蹤這些被提取出來的特徵點，以便將這些特徵點用於後續的姿態計算以及定位周遭環境等。如果在運行中由於攝影機被遮擋或是畫面突然移動等原因而發生追踪丟失時（lose track），系統則會使用位置識別的組件來試圖執行重新定位。區域映射則是負責處理新生成的關鍵幀並執行局部優化（Bundle adjustment），以對攝影機周圍的環境進行最佳化的重建。但是當 ORB-SLAM 的特徵點因為紋理材質或是亮度等原因，特徵點僅分布在比較遠方的背景而缺乏近景之特徵時，ORB-SLAM 的局部優化就有 18. DOI:10.6814/NCCU202100038.

(23) 可能會失效而產生比較大的尺度飄移（Scale drift）[27]。另外在這個流程裡 ORB-SLAM 同時會剔除一些品質不良的關鍵幀，以增加地圖之穩定性。閉環檢測的流程則會檢測每個新生成的關鍵幀是否在之前有建立過，如果檢測到重覆之關鍵幀則會融合重複的關鍵幀並將 ORB-SLAM 累積的誤差值消除。. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. 圖 3.5：具有兩個不同位移的平移卻表現出相同的特徵對應關係。. n. al. Ch. engchi. i Un. v. 然而在使用沒有深度資訊的相機（即 mono camera）進行 SLAM 的追蹤時，由於其本身缺乏深度的資訊，因此使得幾乎所有單鏡頭的 SLAM 系統皆有尺度不確定性的問題存在。尺度不確定性為單鏡頭的 SLAM 系統在沒有深度資訊的情況下，僅能根據特徵點的對應關係來判斷相對的平移運動之長度而非公制的長度[28]。如圖 3.5 所示，左邊的攝影機在 2 公尺寬的隧道中向前移動 2 公尺，右邊的攝影機在 1 公尺寬的隧道中向前移動 1 公尺，在隧道特徵相同的前提下，那些特徵點位移的變化在 SLAM 的座標系統中會顯示出相同的對應關係。由於單鏡頭的 ORB-SLAM 會根據其自身坐標系中的地圖（即不是真實世界的比例尺）來輸出本地化的地圖，由於座標系統與真實世界比例尺的不同，因此難以避免失真的情況出現。為了求得真實世界的比例尺，在使用 ORB-SLAM 19. DOI:10.6814/NCCU202100038.

(24) 時必須利用額外的外部資訊來轉換比例尺。在本研究的案例中，我們利用無人機 IMU 氣壓計的高度資訊將 ORB-SLAM 所產生的內部比例尺轉換為真實世界之比例尺。利用公式 3.1 可以藉由無人機在起飛或是上升時氣壓計所偵測到之高度變化來求得兩者之間之比例尺高度. 。如圖 3.6 所示，其中. 時所接收之 ORB-SLAM 高度座標，而. 代表無人機在. 代表無人機在高度所收之. 氣壓計的高度資訊。而藉由此種的座標轉換才能使 ORB-SLAM 建立能對應真實世界之座標系統。. 3.1. 立. 政治大. ‧. ‧ 國. 學 sit. n. al. er. io. 3.3 環繞路徑生成. y. Nat. 圖 3.6:利用無人機上升時的 IMU 高度資訊來進行座標轉換。. Ch. engchi. i Un. v. 藉由 ORB-SLAM 來協助定位無人機在真實世界的位置後，我們便可以進行無人機環繞檢測之路徑生成。我們在 ORB-SLAM 裡無人機的前方規畫一個範圍來偵測前方的點雲，這個範圍通常為使用者設定之圓型路徑的半徑。由於在任務開始時，我們已經先以特徵點比對的方式確認了目標物並將無人機引導至目標物前方，因此可以推斷在我們規劃範圍內出現的點雲群應屬於目標建築物之表面特徵。接著我們便去計算該範圍內點雲群的位置座標之平均值，計算出來的數值為目標表面所生成的 ORB-SLAM 點雲座標的平均位置。以該平均座標值再加上目標圓柱物體之半徑後便可以求得目標物的圓心在 ORB-SLAM 裡的座標。求得該圓心之座標後，將該值套入標準圓型方程式後，便可以以目標的中心點當作圓心來規劃出適合的圓型路徑以進行環繞檢測。圖 3.7 為使用 20. DOI:10.6814/NCCU202100038.

(25) ROS 提供之套件 RVIZ 以視覺化呈現了現實中的橋墩以上述之方法在 ORBSLAM 裡來設置的虛擬柱體，及其依使用者設定之半徑所規劃之圓形環繞路徑的俯視示意圖。. 政治大. 立. 圖 3.7:橋墩在 ORB-SLAM 裡以視覺化呈現的虛擬柱體及其檢視路徑之俯視. ‧. ‧ 國. 學. 3.4 路徑導航. 圖。. sit. y. Nat. io. er. 在我們的控制系統中，我們根據使用者的設定給予無人機基礎的角速度以及根據角速度和環繞路徑的弧長給予其相應的線性速度使其進行環繞檢視。. n. al. Ch. i Un. v. 在理想的世界中，我們可以透過執行相應的平移運動和旋轉運動來完美地讓無. engchi. 人機遵循此圓形路徑路徑以完成環繞檢視。然而在現實世界中卻不是如此，風力條件的不確定因素和無人機機體所造成的硬體誤差會導致無人機在執行環繞檢視時容易偏離預設軌道。而路徑導航則是針對無人機當前的姿態進行實時的動態校正，以改善與目標路徑的偏移。在路徑導航的控制期間，無人機將以固定的頻率估計其相對於目標建築物的當前位置，並將其當前位置與規劃的環繞路徑進行比較以動態校正。無人機路徑導航之示意圖如圖 3.8，其中向量定之軌道圓心到無人機初始軌道位置之初始向量，向量機當前位置的向量。而角度. 為設. 則是軌道圓心到無人. 則由公式 3.2 給出了以當前無人機在進行環繞飛. 行時需要面向的理想方位，角度. 則為 ORB-SLAM 估計的無人機當前之. 實際方位，因此在圖 3.8 中，無人機需要同時進行轉向. 度以及進行位置校正. 21. DOI:10.6814/NCCU202100038.

(26) 來讓無人機回到預設之路徑上。. 3.2. 立. 政治大. ‧ 國. 學 ‧. 圖 3.8: 實際飛行偏離理想環繞路徑之示意圖。. Nat. sit. y. 在無人機進行環繞檢視時可能會發生兩種類型的路徑偏差。第一種類型. er. io. 的路徑偏差為無人機位置的偏差，由於先前的位移、外力或是無人機內部的機. al. n. iv n C 比設定的環繞半徑更靠近或更遠離目標建築物的圓心。這時我們的系統將計算 hengchi U 械因素等，導致無人機在執行平移運動時產生偏差，這表示無人機的當前位置. 相對應的線性速度以進行校正，讓無人機在接下來進行環繞檢測的同時逐漸引導回到預設路徑。第二種類型的路徑偏差為無人機在角度上的偏差，由於先前的平移校正與角速度導致的偏差使得無人機面向的方位已偏離了目標建築物之中心，使得目標的影像不在無人機攝影機畫面之中心。此時我們使用兩種導航的策略以進行角度校正。如果當前無人機的角度與理想的角度之差值小於閾值，我們則不中斷無人機的動作，而是在環繞檢視的同時加入額外的角速度來逐漸校正無人機之轉向。另一種情況則是當無人機的角度偏差變得太大，使得無人機可能失去目標建築物的影像，此時就得優先進行角度之校正。而這時無人機則會優先進行懸停並根據當下角度之偏差的方向來調整自身的轉向。換句話說，此時僅 22. DOI:10.6814/NCCU202100038.

(27) 提供並執行角速度的運動，而沒有給出額外的線性速度。本研究所設定的角度閾值預設為 8 度，閾值的設定是根據實際測試所量測出來的結果，如果所設定的閾值太大可能會使目標建築物的影像偏離無人機視野中央區域太多，導致檢視影像的品質較差，而若閾值所設定的太小則可能會大幅增加任務時長導致任務失敗，閾值的設定可以交由使用者根據建築物以及現場運行的狀況實地進行調整。而整個任務我們通過這兩種動態校正路徑之導航機制，讓無人機可以在合理的條件下執行圍繞目標建築物的環繞檢視。. 3.5 錯誤回復. 政治大實的室外環境使用卻有許多因素會影響到 ORB-SLAM 的效能。其中視覺的影立雖然 ORB-SLAM 在實驗室的測試中有非常好且穩定的表現，但是在現. ‧ 國. 學. 響對於 ORB-SLAM 最為關鍵，例如:光照變化、圖像的模糊、鏡頭之旋轉以及缺乏紋理的材質等。而影響最嚴重甚至可能導致 ORB-SLAM 失去對於無人機. ‧. 的追蹤（即 lose track）。為了使無人機能夠更穩定的執行環繞檢測，因此自主系統必須有能力能夠從潛在的故障中執行錯誤回復。要執行錯誤回復的首要步. y. Nat. sit. 驟為錯誤識別，系統在執行環繞檢測時一旦發出位移的命令後，經錯誤偵測模. n. al. er. io. 組檢查無人機在 ORB-SLAM 裡的位置座標卻沒有發生位移的改變時，系統則. i Un. v. 會判斷 ORB-SLAM 失去對於無人機位置之追蹤。而當失去追蹤的狀況被系統. Ch. engchi. 偵測到時，我們便透過執行錯誤回復來嘗試修復失去追蹤的錯誤。目前 ORBSLAM 能應對失去追蹤的唯一方法是透過從之前走訪過的關鍵幀來執行重新定位（即透過偵測到先前的已知位置來執行重新定位）。由於環繞檢視的移動路徑預設為圓型，因此當判斷為失去追蹤後，系統則會發出相反的角速度以及線性速度以將無人機導航回到其先前之位置，直到 ORB-SLAM 重新找回對於自身位置之追蹤，然後再重新做導航之校正。另一個會影響到 ORB-SLAM 的因素源自於環繞檢測任務路徑本身的特性。由於無人機是使用前置攝影機鏡頭來執行視覺導航，因此在室外場域執行環繞檢視時，圓型路徑不可避免地會遇到自然光線的變化。而 ORB-SLAM 通常在曝光不足的區域中只能產生非常稀疏的特徵點，從而導致在定位精度上會. 23. DOI:10.6814/NCCU202100038.

(28) 有較差的表現[29]。另外在[30]的實例中也可以很明顯地看到光影變化對於 ORB-SLAM 的影響，當場景的陰影面太暗會因為場景的紋理不足使得特徵點幾乎只分布在影像比較亮的區域，這使得 ORB-SLAM 在進行定位時會因此精度下降而產生錯誤。為了避免自然光影會影響到定位之準確度，我們將無人機傳回來的影像經過伽瑪校正的處理後再傳回給 ORB-SLAM。曝光過度和曝光不足的場景均通過非線性的冪定律方程式按像素進行變換，首先我們計算整張畫面總和之灰階值並將其平均得到 m，接著我們透過公式 3.3(a)來求得 Gamma 校正的校正系數，校正系數. 可以將無人機回傳之影像畫面整體色調調整至中間. 色調。接著我們利用公式 3.3(b)分別求得灰階值 0 至 255 經過校正後之數值，其中 x 為畫面之灰階度. 。求得每個灰階值之校正後的數值後，我們. 政治大們進一步減少了錯誤狀況的發生。圖 3.9 顯示了任務場景期間伽瑪校正效果的立. 將其逐一套入原始影像以獲得色調較為平均之校正影像。透過伽瑪校正後，我. 示例。. ‧ 國. 學 3.3(a). ‧. n. er. io. sit. y. Nat. al. 3.3(b). Ch. engchi. i Un. v. 24. DOI:10.6814/NCCU202100038.

(29) 立. 政治大. ‧ 國. 學. 圖 3.9:上圖為經過伽瑪校正前的 ORB-SLAM 其點雲數量為 90，下圖為經過伽. n. al. er. io. sit. y. ‧. Nat. 3.6 行為樹. 瑪校正後的點雲數量為 177。. i Un. v. 由於環繞檢視的任務過程繁瑣且整體任務是由多種不同功能的組件來完. Ch. engchi. 成，且在執行環繞檢測時會有許多步驟需要重複執行。除了技術組件繁多外，在室外的實驗場域也有許多因素會干擾程式的運行，使得預先設定的導航路徑幾乎可以肯定會因為意外事件以及不可預期的因素而受到高故障率的困擾。因此程式區塊的穩定性、模組化以及可重用性對於本研究來說非常重要。在現實環境運行的自主系統必須以一種可以在感測與行為之間連續循環的機制中來進行構建，以便讓無人機進行任務時可以實時的與環境來進行互動。感測與行為的循環機制讓我們的系統可以重複進行感測環境周遭、並根據偵測到的環境狀況來制定行為策略以及執行相應動作。而與有限狀態機相比，行為樹的設計輕鬆簡單，但卻可以以高穩定性和模組化的方式循環並週期性的在感測環境以及做出相應行為之間來做切換。相較於有限狀態機，行為樹可以更好的制定出階. 25. DOI:10.6814/NCCU202100038.

(30) 層化的行為模式以應對現實的多種狀況。. 立. 政治大. ‧ 國. 學. 圖 3.10:環繞檢測任務之行為樹設計。. ‧. y. Nat. 我們將上述小節的所有的技術組件和設計皆集成到行為樹中[18]，並讓. io. sit. 行為樹根據任務階段以及環境狀況執行相應的動作。圖 3.10 顯示了用於環繞檢. n. al. er. 測任務的行為樹設計。行為樹是從根節點開始執行並從左側逐一拜訪其所有子. i Un. v. 節點。行為樹第一層最左側為整個環繞檢測任務之起點，這邊的序列節點主要. Ch. engchi. 負責執行目標建築物的辨識以及將目標建築物影像對齊於無人機攝影機之中央區域，我們利用 3.1 節所提到的 RANSAC 搭配 SIFT 來進行目標特徵點辨識，並根據特徵點之分布來導航無人機。無人機對齊目標建築物後，接著便可以初始化 ORB-SLAM 以執行接下來的視覺定位。第二層行為樹主要是負責將無人機導航至目標建築物前方並設置環繞路徑。第二層最左邊之後備節點是負責將無人機上升至固定高度，並在這個階段同時利用無人機 IMU 的氣壓計將 ORB-SLAM 裡的座標系統轉換為真實世界之公制座標系統。第二層中央的後備節點則會給予無人機往前的線性速度，直到無人機與目標建築物的相對距離達到使用者所設定之環繞檢視半徑，接著無人機便會去計算目標建築物表面點雲之平均座標位置並設置虛擬的圓心然後以其. 26. DOI:10.6814/NCCU202100038.

(31) 規劃環繞檢視路徑。第三層的行為樹主要負責進行環繞檢視以及錯誤回復。由於第二層的行為樹已給定了環繞檢視之路徑，因此第三層最左邊之序列節點僅負責發出相應的移動命令來執行環繞以及根據 ORB-SLAM 裡的位置座標來實時校正無人機。環繞檢視的節點會根據預設路徑之大小以及旋轉的角度來控制無人機，而校正節點則負責計算無人機當下之位置以及角度來發出合適的命令讓無人機進行校正。而第三層右邊的後備節點則負責進行錯誤回復，當紅色的狀況節點檢測到了 ORB-SLAM 失去追蹤時便會回傳錯誤以啟動右邊的錯誤回復節點，錯誤回復節點會持續命令無人機返回之前檢視過的路徑以嘗試重新找回 ORBSLAM 之特徵點。藉由行為樹提供的這種明確的階層化以及清楚的分工，無人. 政治大. 機可以用穩定的方式執行各個組件裡的任務，並根據飛行實的情況在其中進行切換。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 27. DOI:10.6814/NCCU202100038.

(32) 第四章實驗設計及結果分析本章節講述檢驗無人機基於視覺導航的建築物環繞檢視任務之可行性及穩定性之實驗設計，及無人機在實驗中所收集的實驗資料之分析。我們會以兩種評估指標來評估實驗之成果，其分別為:無人機與設定路徑之路徑偏差以及目標建築物影像在無人機攝影機內成像位置之方向偏差。我們根據這兩種評估指標來驗證本研究所提之方法之可行性及穩定性。本章節首先會針對實驗設計進行說明，包括:實驗所用之實驗設備、實驗場域之設置以及環繞半徑之設定等。再來則會分別講述兩種實驗評估方法之設. 政治大. 計。最後則是針對無人機進行環繞檢視所收集之影像資料進行分析及說明，並. 立. 藉由上述所提之兩種評估指標來檢視本研究所提方法之成效。. ‧. ‧ 國. 學. 4.1 實驗設計. sit. y. Nat. 我們整體的系統開發包含了許多軟體及硬體所組件。其中一些技術組件. io. er. 是使用 OpenCV 涵示庫中的資源所構成，而其他的部分則是使用 Python 語言來進行撰寫。所有的技術組件皆在 ROS 上作為軟體整合的平台來進行構建。ROS. n. al. Ch. i Un. v. 平台則被安裝在 Ubuntu 16.04 筆記型電腦上做運行，其 CPU 的規格為 2.8 GHz. engchi. 8 核心，處理器為 Intel Core i7-7700HQ 並配置 7.7 GB 的記憶體。我們所使用的無人機為法國 Parrot Drone SAS 所推出的微型四軸無人機 Parrot Bebop 2，重量約為 525 公克，其外型如圖 4.1[31] 所示。Bebop 具有內部的 IMU、基本的經緯度傳感器、魚眼前置攝影機、氣壓計以及 Wi-Fi 模組。Wi-Fi 模組可將系統軟體與 Bebop 2 無人機進行實時連接。我們藉由 Bebop_autonomy[32]所提供的 SDK 來進行開發，Bebop_autonomy 為應用在 Bebop 2 上的開源驅動程式，並提供在 ROS 平台上進行運作。Bebop_autonomy 提供了基本的無人機移動控制系統、前置鏡頭的即時影像驅動以及根據 IMU 和 GPS 構成的基礎位置估計 (Bebop_ODOM)等不同功能供給使用者進行開發。由於 Bebop 2 本身使用 WiFi 與筆記型電腦進行連接，因此為了使其接收影像的頻率能維持在每秒約 30 幀 28. DOI:10.6814/NCCU202100038.

(33) 左右，Bebop_autonomy 會額外壓縮 Bebop 2 的影像解析度至 856. 480 像素。. 圖 4.1[31]:Parrot Bebop 2. 政治大由於真實世界相比於模擬器來說有許多不可預期的因素存在，並且我們立希望能以一個較為完整的任務形式來檢驗我們所提之方法，為此我們在真實世. ‧ 國. 學. 界的環境中選定一個實際的圓柱形建築物做為我們環繞檢視任務之目標。最後我們選定了位在國立政治大學附近的景美溪沿岸的橋墩作為我們實驗的環繞檢. ‧. 視之目標。我們選擇的橋墩以及附近環境如圖 4.2 所示，該橋墩是一個圓形的. Nat. sit. y. 柱狀結構，橋墩的直徑大小大約為 1.0 公尺，高度約為 6.2 公尺，該橋墩用於支. er. io. 撐上方的人行步道並直立於河岸草皮的地面上。橋墩檢測任務的典型任務場景. al. iv n C Parrot Bebop 2 實測後發現，其附近環境也正好受到橋梁之高架結構影響而導致 hengchi U n. 主要是基於 GPS 導航無法正常運作情況下作為前提，而該橋墩附近經我們以. GPS 訊號接收不穩定。另外，由於其附近還有另一座供給車輛進行雙向通行之橋樑，因此該目標建築的周遭環境也時常受到陰影的遮蔽而導致該橋墩形成非常明顯的亮面及暗面，也因此在一定程度上增加了實驗的難度。. 29. DOI:10.6814/NCCU202100038.

(34) 政治大. 圖 4.2:以橋墩作為檢測任務之對象. 立. 自主環繞檢測任務的整個任務流程從起飛開始，接著無人機會自主的接. ‧ 國. 學. 近任務目標並將自身定位在目標建築物前面，接著便會圍繞目標對象進行旋轉並收集影像畫面，當檢視完使用者指定的回合數後無人機便會返回起飛點來完. ‧. 成整個任務流程。為了進行實驗，我們選擇距橋墩約 10 公尺的地面作為起飛. Nat. sit. y. 點。在實驗開始時，我們將 Parrot Bebop 2 放在起飛點並啟動程式以執行自動檢. er. io. 查任務。我們分別針對 2、3 以及 4 公尺的檢視半徑來執行環繞檢視，每個不同. al. iv n C 們會以 ROS 所提供的紀錄工具 Rosbag 可以供開發者記錄 h e n來進行紀錄。Rosbag gchi U n. 的環繞半徑皆會成功的測試 10 次以檢視其穩定性及誤差率。在進行實驗時，我. 當下 ROS 近乎所有的資料，包括無人機的影像、GPS 資料、無人機的 IMU 資料、SLAM 之點雲狀態等。每個環繞路徑飛行的角速度皆被設置為每秒 1/18 ，而無人機的線性運動之數值則是透過與檢視半徑相應之弧長所得出的。. 4.2 實驗評估指標設計. 本研究利用兩種評估指標來分析我們收集回來的影像數據。第一個評估的指標是無人機與預設路徑之偏差值，其目的是在測量無人機實際飛行的位置與理想環繞路徑之差距。在現實世界的環境中，由於現實世界的陣風之影響和無人機硬體的功率損耗而期望獲得完美的飛行軌道路徑是不切實際的。雖然從 30. DOI:10.6814/NCCU202100038.

(35) 與檢視任務相關的影像採集的角度來看，只要目標建築物的表面影像能以合理的質量被無人機所收集即可算是任務成功，因此在實際的任務上不需要無人機完全沿著設定好的路徑去執行完美的飛行路徑。但是由於無人機不是透過盲目執行一系列預先設計的控制命令來執行檢測任務，而是藉由實時的根據自身之位置以及感知周遭環境狀況來做動態的調整，因此該指標可以用於量測自主無人機的感知以及行為之狀況。綜上所述，無人機與預設路徑之偏差值的量測是無人機意識到自身姿態與目標建築物之間的空間關係的偏差，並根據當下狀況進行自主的動態調整，以盡可能地遵循預設環繞檢視路徑之偏差值的觀察和測量之結果。由於本研究是基於 SLAM 技術來進行無人機之導航，因此無法單純藉由. 政治大像在室內實驗環境一般輕易地架設量測器具以進行評估，因此最後我們採用了立 SLAM 量測之結果做為評量標準之依據。而受限於室外環境的限制，我們無法. 基於圖像的間接距離測量方法來做為無人機與預設路徑之偏差值的評量標準。. ‧ 國. 學. 為了量測該偏差值，我們事先沿著橋墩黏貼了紅色膠帶做為之後影像分析之輔. ‧. 助工具。值得注意的是，紅色膠帶僅用於完成飛行後的評量標準，而不會用於環繞檢視任務期間的自主導航。由於我們檢測的目標建築物其形狀為直立圓柱. Nat. sit. y. 狀，而無人機則與目標建築物以保持水平之方式來進行檢測，因此在做影像分. al. iv n C 我們希望直接利用該紅色膠帶來對影像畫面進行顏色的分割，但是在真 hengchi U n. 變。. er. io. 析時其紅色膠帶的影像像素寬度不會受到無人機攝影機角度之影響而造成形. 實世界中，顏色會受到光線的影響而產生深淺或是明暗等變化，使得在 RGB. （Red, Green, Blue）空間裡進行顏色分割時會容易出現分割錯誤的情形。因此在進行此類之影像處理時須先將影像從 RGB 空間轉換成 HSV（Hue, Saturation, Value)空間。RGB 空間是以紅光、綠光以及藍光來表示一張影像畫面，而在 HSV 空間則是以色相、飽和度以及明亮度來表示該影像畫面。色相表示的是色彩的外相，飽和度表示了顏色的濃度，明亮度表示顏色的明暗程度。而在進行顏色分割時，以 HSV 來表示顏色相比於 RGB 的方式更直觀，我們只需要針對膠帶顏色的色相去調整，並且考慮該顏色之飽和度以及明亮程度，即可減少在進行顏色分割時受到光線影響的程度。另外值得一提的是，由於該橋墩周遭環境的原因使得其光線分布呈現非常明顯的暗面及亮面，因此在進行顏色分割時 31. DOI:10.6814/NCCU202100038.

(36) 我們額外利用 3.5 小節中所提到的亮度校正來修正影像的灰階值，以獲得更好的分割效果。完成對於膠帶之顏色分割後，我們可以利用切割出來紅色膠帶的影像像素寬度. 來間接測量無人機與目標物表面之間的距離. 。借助實際測. 量的橋墩實際寬度 m 和無人機的相機焦距（已知係數），我們利用公式 4.1 來求得實際無人機與目標建築物表面之相對距離. 。接著我們將所測得的相對距. 離與預先設定之路徑半徑來進行比較，以此得出無人機與預設路徑之偏差值。. 4.1. 第二個評估標準則是目標建築物影像在無人機攝影機內成像位置之方向. 治政大心之方向。我們藉由計算目標建築物在無人機畫面內成像之位置是否位在畫面立之中心點來評估無人機方向之偏差。我們同樣利用上述所提之間接測量方法來偏差。此偏差值用於衡量無人機的鏡頭之角度是否可以保持朝向目標建築物圓. ‧ 國. 學. 作測量，首先我們先以公式 4.1 來求得在該檢視半徑下目標建築物在攝影機內應成像之像素寬度大小，我們以此像素寬度在影像之中心區域以兩條紅線做代. ‧. 表，表示在這個距離下目標建築物如果在無人機視野中央時應呈像之像素大. Nat. sit. y. 小。接著我們藉由量測實際上紅色膠帶成像之位置與標記的中心區域像素之偏. er. io. 差來求得無人機之方向偏差。換句話說，我們將目標對象成像之像素大小與中. al. iv n C 央區域的平移偏差越大，則代表目標建築物的影像成像在無人機攝影機的邊 hengchi U n. 心區域的平移偏差值作為方向偏差的間接評量。當該紅色膠帶成像的位置與中. 緣，也表示無人機與目標建築物的方向偏差越大。圖 4.3 顯示了一個範例影像，其分別測量和記錄了兩種評估指標並標示於圖像上. 32. DOI:10.6814/NCCU202100038.

(37) 圖 4.3: 圖中展示了兩個評估指標。其中無人機位置偏差值為 0.86 公尺;方向偏. 政治大. 差為 57 像素值(綠色框偏離兩條紅線的大小)。. 立. ‧. ‧ 國. 學. 4.3 實驗結果與分析. 本章節講述實驗資料經過評估指標評量後所得之實驗結果。本章節將分. y. Nat. 別探討實驗資料經過無人機與預設路徑之偏差值以及目標建築物影像在無人機. io. sit. 攝影機內成像位置之方向偏差值，這兩種評估指標將用來檢測本研究所提方法. n. al. er. 之成效。兩種評估指標皆會分別用以檢驗以 2、3 以及 4 公尺做為檢視半徑各飛. Ch. i Un. v. 行 10 次之平均誤差值、單圈之最大誤差值以及單圈最大平均誤差值的實驗資. engchi. 料，並且會分別探討實驗數據之結果。第一小節將會針對無人機與預設路徑之偏差值來進行分析。第二小節將會針對目標建築物影像在無人機攝影機內成像位置之方向偏差值來進行分析。在第三小節我們將會提供無人機的路徑俯視圖，並列舉出三次環繞檢視之實驗數據來進行探討。最後在第四小節我們則會針對整體的實驗結果進行討論以及分析。本研究在不同半徑的情況下測試合計 30 次來驗證本研究提出方法之可行性與穩定性。在環繞檢視路徑半徑為 2、3 和 4 公尺各進行 10 次飛行的每個子集中，其各個子集之實驗成功率分別為 80％、90％和 100％。其中在環繞檢視半徑為 2 公尺時失敗兩次，以及環繞檢視半徑為 3 公尺時失敗一次。而其失敗的原因有兩次為 ORB-SLAM 失去追蹤並且錯誤回復無法修正而導致失敗，另 33. DOI:10.6814/NCCU202100038.

(38) 一次失敗原因為在執行 2 公尺環繞檢視時，ORB-SLAM 的定位不佳而導致無人機過於靠近目標物，我們因為安全因素而由人為來中斷任務。為了進一步評估自主的性能指標，我們進行了額外三次的飛行測試以建立飛行任務子集之間比較的通用基礎，兩次在以 2 公尺作為半徑之軌道上執行，另一次則在 3 公尺之軌道上執行。. 4.3.1 環繞路徑與預設路徑之偏差. 表 4.1 是基於顏色切割方法來求得像素值，並以像素值來轉換為無人機與目標建築物相對距離之位置偏差。第一行標示了無人機與柱子之檢視半徑，. 政治大第二行則是進行 10 次實驗後所量測之位置偏差平均值，該數值紀錄了無人機在立我們分別使用 2、3 以及 4 公尺來做為檢視半徑來進行自主無人機之環繞檢視。. 進行 10 次飛行時，每個時刻無人機與預設檢視半徑之誤差並將其計算為整體之. ‧ 國. 學. 平均值。第三行則是單圈最大的平均誤差值，該數值記錄了資料子集 10 次飛行. ‧. 中單圈平均誤差最大的數值。這代表了該次飛行實驗是在子集中，在位置調整方面為整體飛行中狀況最差的一圈。第四行為最大之誤差值，該數值代表了在. Nat. al. er. io. sit. y. 該檢視半徑的所有飛行中，無人機與路徑偏差曾出現過最嚴重之紀錄。. v. n. 表 4.1: 無人機與目標建築物之位置偏差檢視半徑. Ch. i Un. e n g c位置誤差 hi. 平均誤差值. 單圈最大平均誤差值. 最大誤差值. 2 公尺. 0.33 公尺. 0.44 公尺. 0.75 公尺. 3 公尺. 0.31 公尺. 0.54 公尺. 0.89 公尺. 4 公尺. 0.38 公尺. 0.59 公尺. 1.1 公尺. 表 4.1 中的結果表明，無人機與目標建築物相對距離之位置偏差的平均偏移距離為 0.31 公尺至 0.38 公尺，而單圈最大的平均誤差值為 0.44 公尺至 0.59 公尺。另外在 10 次測試中，期間出現過的最大誤差值為 0.75 公尺至 1.1 公尺，而 1.1 公尺的最大誤差值出現在環繞檢視半徑為 4 公尺的飛行中。通常來說，較大的半徑在執行自主環繞檢測時會在路徑走訪期間產生比較大的位置誤差。 34. DOI:10.6814/NCCU202100038.