無人機於建築物周圍指定區域之視覺導航降落方法 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文. Master's Thesis. 治政大無人機於建築物周圍指定區域之視覺導航降落立 ‧. ‧ 國. 學. 方法. sit. y. Nat. Visual Navigation for UAV Landing on n. er. io. Accessory Building Floor al iv n Ch engchi U 指導教授：劉吉軒教授研究生：劉効哲. 中華民國一百零九年十二月 i. DOI:10.6814/NCCU202100033.

(2) 摘要近年來無人機不只在軍事方面的應用，與人類日常生活的應用也逐漸普及，許多領域開始將無人機技術結合，進行開發具有自主行為能力的行為。如 Google 母公司 Alphabet 的無人機子公司 Wing 為全美第一家使用無人機送貨公司，利用偵測目的地和搜索著陸點的技術，實際應用在貨物運送上;美國亞馬遜在無人機上裝置感應裝置，及一般相機和紅外線相機分析周遭環境，發展能夠長途飛行的送貨無人機。在大多數應用於現實世界的無人機任務中，降落是相當重要的關鍵步驟，尤. 政治大物的交付才算成功。對於精確的著陸要求，基於視覺的導航技術具有高度的可靠立其是在貨物運送及交付方面。當無人機成功著陸或低空盤旋於目標降落點時，貨. ‧ 國. 學. 性和準確性。在本文中，我們介紹了用於自主降落在建築物周圍附屬平台上的精確視覺導航的研究工作。我們結合了一些基於視覺的先進方法，開發了其他功. ‧. 能組件，透過行為樹進行決策邏輯的控制，整合視覺模組及無人機的飛行導航控. sit. y. Nat. 制，以提供可用於建築物附近精確著陸的實用自主導航系統。在現實世界中的初. n. al. er. io. 始實驗顯示出利用視覺方式進行導航的結果，執行精確著陸的成功率很高。. i Un. v. 關鍵詞：無人機、決策控制、行為樹、圖像/目標特徵點辨識. Ch. engchi. ii. DOI:10.6814/NCCU202100033.

(3) 目錄第一章、緒論 ........................................................................................ 1 1.1. 研究背景. 1. 1.2. 研究動機與目的. 2. 1.3. 論文架構. 5. 1.4. 研究成果與貢獻. 5. 第二章、文獻探討 ................................................................................ 7 2.1. 降落問題. 2.2. 視覺導航. 2.2.2. ORB-SLAM. 2.3. 立. ‧ 國. 特徵點匹配. 政治大. 7 8. 學. 2.2.1. 7. 行為樹. 9 11. ‧. 第三章、技術框架與模組 ..................................................................14. y. Nat. 降落任務. sit. 3.1. 3.1.2. 定位無人機位置以建立安全的飛行路徑. 3.1.3. 鎖定畫面並接近目標. 3.1.4. 降落進行著陸. n. al. er. 識別地標建築物. io. 3.1.1. 3.2. Ch. engchi. i Un. v. 15 15 16 17 18. 地標建築物圖像特徵點匹配. 19. 3.2.1. SIFT+RANSAC(RANdom SAmple Consensus). 19. 3.2.2. 目標影像特徵點匹配方式. 20. 3.2.3. 特徵點匹配實際比對結果. 23. 3.3. ORB-SLAM 對應真實世界的映射. 27. 3.4. 導航控制. 29. 3.5. 錯誤回復機制. 30 iii. DOI:10.6814/NCCU202100033.

(4) 3.6. 行為樹決策方式之建立. 32. 第四章、實驗設計與結果分析 ..........................................................36 4.1. 實驗設計. 4.1.1. 4.2. 37. 實驗指標評估. 39. 實驗結果與分析. 39. 4.2.1. 根據近景圖像特徵點匹配結果降落. 40. 4.2.2. 近景圖像特徵點匹配加上標記辨識降落. 43. 4.2.3. 多種視覺導航依據:ORB-SLAM 的錯誤回復機制. 46. 4.2.4. 特徵點檢測受光線影響問題. 48. 4.3. 小結. 立. 政治大. 49. 第五章、結論與未來展望 ..................................................................51 研究結論. 5.2. 未來展望. ‧. ‧ 國. 學. 5.1. 51 52. Reference ..............................................................................................54. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. iv. DOI:10.6814/NCCU202100033.

(5) 第一章、緒論 1.1. 研究背景無人飛行載具(Unmanned Aerial Vehicle, UAV)或稱無人飛機系統(Unmanned. Aircraft System,UAS)，俗稱無人飛機、無人機、無人航空載具，廣義上為不需要駕駛員登機駕駛的各式遙控飛行器，在用途上通常分為軍用和民用[1]。在官方的定義上，美國聯邦航空總署(FAA)定義只要在操作飛行器時，不是從內部直接人為操作的都算是無人飛機。無人機應用程序提供了可能的民用和公共領域應用程. 政治大. 序，可以使用單個或多個無人機。作為 UAS 匯集而成的整體架構，邏輯上認為. 立. 可能的應用範圍會很大，在往後的幾年將會更廣泛。在現階段，無人機的多種應. ‧ 國. 學. 用，包括環境的監控[2]、搜救行動[3]、監視和偵察（ISR）[4]以及貨物的運送[5]。. ‧. 無人機的歷史發展至今，最早在 20 世紀 20 年代出現，於第一次世界大戰進. sit. y. Nat. 行時，計畫研發一種無人操控、用無線電操控的小型飛行載具，飛到敵人上方投. io. er. 擲炸彈。但在第一次世界大戰至第二次世界大戰以前，軍用的無人機較常當作練習用的標靶機，用來訓練防空砲手等等。而在二次世界大戰後，20 世紀中後期的. al. n. iv n C 戰爭中，隨著電子通訊技術的發展技術進步，無人機在擔任偵查任務的角色上開 hengchi U. 始展露其靈活應用性與重要性。時至今日，在軍事用無人機上各國將各種高新技術加入，並增加續航時間，爭相發展智慧型的控制系統，與過去透過遠端監控不同，在任務中希望能夠有自主且具備智慧的決策控制方式，增加完成任務的成功率及穩定性。美國在軍事無人機上的應用，其中無人機的任務:監視敵軍的行動，但就曾有在起飛後不久，因為無人機接收的其中一項數據資訊發生故障，傳回錯誤的資訊及位置，導致無人機與地面監控失去連線，最終完全失去聯繫，只能宣告任務失敗。根據此種情形，近期無人機的發展上多追求自主的控制，從訊號精. 1. DOI:10.6814/NCCU202100033.

(6) 準的提升，例如全球導航定位系統的資訊，到本地端無人機對於自身位置的判斷，透過多種傳感器，視覺上的資訊搭配全球導航定位系統，達到更穩定的技術。無人機在自主的導航上目前為相當重要的發展，相關研究也有重大的進展 [6]，其中無人機的導航系統(Navigation Systems)，為了在飛行時認知飛機在任何時刻的位置。為了實現完全自主的運行，大多使用全球定位系統(GPS)為主要的感測方式。GPS 全球定位系統，又稱全球衛星定位系統，在地球上大部分地區能提供連續且精準的三維空間座標資訊，但精確的設備例如軍事用戶具備的接收器相對才能得到極為準確且穩固的座標信號資訊，若使用的接收器是相對低成本 (Low cost)的設備，易受到現實環境的因素影響，導致精準度下降。應用在無人. 政治大. 機的導航任務上，單純用 GPS 資訊來獲得無人機自身的位置，是不夠穩固的定. 立. 位系統。. ‧ 國. 學. 無人機飛行導航是透過傳感器資訊當作依據，常見傳感器有 GPS、視覺傳感. ‧. 器、 Lidar、Laser 等等。其中 GPS 全球定位系統，在[7]中提到無人機僅依靠 GPS. sit. y. Nat. 飛行定位可能會受到信號干擾導致安全問題，或是在城市環境中導航會由於高層. io. er. 建築物的干擾，導致 GPS 信號無法提供準確的導航;在[8]中提到 GPS 在稠密的. al. 城市環境中的限制，在軍事應用上對於 GPS 信號的惡意干擾也需要將入準確的. n. iv n C 位置估計和環境映射技術。應用在無人機的導航任務上，例如將貨物遞送到某特 hengchi U. 定區域，並成功降落於目標區域上，單純用 GPS 資訊來獲得無人機自身的位置，是不夠穩固且不夠精準的定位方式，容易受到訊號干擾的影響而導致誤差過大甚至任務失敗。. 1.2. 研究動機與目的對於任何無人機的任務，成功的降落過程為最後的關鍵步驟，從起飛到一定. 高度，飛行至空中的安全通道並返回地面後停止。不成功的降落可能會造成貨物的丟失或無人機設備毀損的風險，這會大大降低整體任務的價值。除了緊急降落 2. DOI:10.6814/NCCU202100033.

(7) 外，通常針對特定目標位置面向的著陸任務，一個有利的著陸點應是大面積的寬闊平坦地面，以最大程度降低著陸過程中發生碰撞的風險。但是，對於城市環境中的許多應用而言，合理可用的著陸點可能只是被人造結構和像是植物等等的障礙物包圍的一小塊平坦地面，如圖 1.1 所示。在特殊領域的其他應用中，也可能要求更困難的降落點，例如漁船甲板或貨車的平台。對於更成功和普遍的無人機應用，必須認真考慮有效的著陸技術，成功的無人機著陸要求位置上的精準，由於可以事先由操作員調查並選擇指定著陸位置，因此可以合理的假定著陸點地面與周圍空域之間有一條清晰的垂直通道。因此，只要多旋翼無人機可以精確地將自己定位在降落點的頂部並實現垂直降落，就可以確保無人機設備的安全性和. 政治大. 任務價值。必須提供一種可靠且準確的位置識別方法，使自主無人機能夠精確定. 立. 位指定著陸點的確切位置。此外，該位置識別方法還需要能夠估計當前位置和目. ‧ 國. 學. 標位置之間的差異，以便計算出能夠減少和消除位置差異的動作規劃。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 1.1 被人造結構像是建築物等等障礙物包圍的一小塊平坦地面無人機是一種在空間中具有高機動性的機器，位置識別方法起始於起飛點的定位，再經過安全的飛行路徑穿越到著陸點，如圖 1.2 所示。在這方面，GPS 傳感器和 GPS 信號已經普遍用於所有類型的無人飛行載具(UAV)中，作為可靠的全球定位系統，GPS 在全球地理坐標系中提供通用的位置信息，因此基於 GPS 的導航已成為大多數無人飛行載具(UAV)應用中採用的主要方法。通過將 GPS 設 3. DOI:10.6814/NCCU202100033.

(8) 備用作嵌入式傳感器，無人機可以連續接收當前地理位置的緯度和經度坐標資訊，並使用其導航到目標位置。. 圖 1.2 顯示無人機位置識別方法起始於起飛點基地的定位，再經過安全的飛行. 立. 治政路徑穿越到著陸點大. ‧ 國. 學. 基於 GPS 的導航通常由 GPS 坐標指定的一系列航點組成，這些航點是從啟航地點到目的地的的引導路徑。儘管基於 GPS 的導航在露天和偏遠地區大都成. ‧. 功，但它遇到了許多環境和技術限制。首先在擁擠的建築物群中，GPS 信號可能. sit. y. Nat. 會丟失或受到干擾，或是擁有人造結構和密集的電力設施的城市環境嚴重威脅了. io. er. 基於 GPS 的導航的可靠性[9]。其次，商用 GPS 設備無法提供高水平的定位精度，. al. 據資料顯示，民用 GPS 的水平方向(horizontal)精度在 95％的信賴區間內誤差為. n. iv n C h e n g c h i UGPS 的精準度大約在 5 公尺 10〜15 米，垂直精度甚至更差[10]，儘管目前民用到 10 公尺左右，但對於精準導航的任務此偏差仍然過大。GPS 定位精度受許多誤差來源的影響，例如多徑效應、大氣條件的不一致、時鐘誤差、計算舍入誤差和信號接收器的干擾[11]。基於 GPS 的導航常常與期望路徑產生偏離，並且對於依賴於水平和垂直位置精度的降落任務，在操作上顯得不切實際。近年來，越來越多的研究是基於視覺的導航[12]，應用於無人機的著陸，視覺提供了普遍的感知力，並提供了有關周圍環境的豐富信息。對於精確的著陸，基於視覺的導航技術也具有很高的可靠性和準確性。為了成功著陸階段而操作的不同技術，能夠事前準備的工作包括，例如用於定位安全著陸區域的 3D 地形圖生成[13]，準確的 4. DOI:10.6814/NCCU202100033.

(9) 標記檢測和跟踪[14]以及具有地面環境識別和自主適應的著陸策略[15]。在本文中，我們提出了針對自主視覺導航的研究工作，我們專注於開發的技術目標是：分析任務並將其分解為幾個用於設計自主決策系統的功能模型。. 1.3. 論文架構本研究於第一章緒論介紹整體研究的背景、動機與目的，首先介紹無人機於. 近代的應用及使用於許多不同種類的任務，根據需求進行導航的技術。接著描述根據精準降落的要求為主要目的，探討無人積在進行導航任務時所依賴的各式傳感器，例如有 GPS、視覺傳感器、Lidar、Laser 等等。其中基於視覺上的導航應. 治政大用，能夠有效的利用於精準導航至降落點的任務，由於著陸任務中的目標降落點立不一定為空曠的安全區域，通常為建築物的某處特定區塊，或是障礙物包圍的一. ‧ 國. 學. 小塊平坦區域，所以需要多種的傳感器融合，進行安全航道的識別，導航至目標. ‧. 著陸區塊降落。第二章文獻探討將本篇研究中相關的文獻做整體的介紹。第三章. sit. y. Nat. 技術框架與模組將深入分析本研究使用的視覺導航方式及架構，以及介紹整體任. io. er. 務的決策邏輯與模型。第四章為實驗結果的分析，藉由多次實驗記錄的結果進行. al. n. 評估，進而探討本研究方法的可行性及穩定性。第五章將實驗的結果分別再進行. ni Ch 論述，整理出大致的結論與未來展望。 U engchi 1.4. v. 研究成果與貢獻無人機在現實應用中，降落的環節為關鍵的一步，尤其是在貨物遞送的任務. 中，當確實著陸或低空盤旋降落時，貨物的遞送才算成功，但在自主精準降落上仍然有許多面向要考慮，分成幾項要素：正確的降落地點、安全降落以及精準降落對於整體任務的價值，設計能夠達到安全且精準降落的導航飛行。利用視覺資訊導航方面，對於降落於特定目標區域中，其通用性、準確性和可靠性是評估的. 5. DOI:10.6814/NCCU202100033.

(10) 關鍵指標。本研究提出利用降落區域附近的圖像，當作視覺導航的基準，以無人機當前畫面與降落點附近的圖像做特徵點的匹配，向降落點移動，以及透過對錯誤情況的感知，做出相對應的回復動作。以降落於特定區域的情境為主要任務，在貨物遞送的任務中，經過長距離的導航飛行後，到達特定的降落區域附近，成功且精準的遞送並降落，對於整體任務而言為相當重要的環節。所以在定位自身位置上為了能精準的判斷，不能只利用單一的感測資訊，需要加上其他的感應器，達到傳感器融合(sensor fusion)，在[16]中提出在城市環境中，引入視覺導航技術，對未知環境建立場景地圖，在地圖中進行自身位;[17]中以 SLAM 技術提供 3D 視覺映射，在森林中做導航飛行，並且配備多個傳感器，包括 LIDAR、立體聲相機. 政治大. (stereo camera)、IMU 及 GPS。而對於應用在現實世界中的可行性與外在環境的. 立. 不確定性，透過決策控制的方式，在出現錯誤情況時能正確偵測並執行相對應的. ‧ 國. 學. 錯誤回復以順利完成任務。本研究目的在於以無人機進行決策行為控制，搭配無. ‧. 人機上加載的相機，接收即時影像，追蹤當前畫面的特徵點，以視覺辨識的方式來定位自身位置，使導航的任務更穩固，結合影像特徵點辨識[18]、(視覺 ORB-. y. Nat. er. io. sit. SLAM)來執行智慧且自主的決策(decision making) 能力，實現視覺導航，使無人機能夠成功降落於目標區域。整體的研究及多次實驗後，我們的技術貢獻有兩個. n. al. Ch. i Un. v. 方面：首先我們從系統角度解決問題，並設計一個完整的技術解決方案，我們結. engchi. 合了一些基於視覺的最先進方法，開發了視覺導航的功能組件，以提供適用於安全航道的檢查，及精準降落的目標，達到自主式導航功能。其次我們執行技術開發設計，使用行為樹作為決策控制的結構來整合所有開發的功能組件，並在四旋翼無人機上使用開發的系統進行現場測試。在現實世界中的多次實驗顯示，執行著陸任務的成功率很高。. 6. DOI:10.6814/NCCU202100033.

(11) 第二章、文獻探討 2.1. 降落問題對於貨物遞送服務，無人機通常會通過設定多個航點，經過預設的航道來導. 航進行遠距離飛行，以到達最終目的地，並將貨物降落在指定地點的地面上。精確著陸對於貨物接收和實現整體貨物交付任務的價值相當重要，可以通過具有獨特圖形圖案[19]或有色區域[20]的點標記來指定著陸位置，利用對視覺對象辨識和跟踪技術來識別著陸點並有效地將無人機導航達到精確著陸，許多研究也將精. 政治大在城市環境中，貨物接收點最適合建築物周圍的平坦區域，像是建築物周圍的平立. 確著陸擴展到了其他更高風險的著陸點，例如船板[21]或是移動中的平台[22]。. ‧ 國. 學. 台、窗台，以方便人員進入和取出貨物。由於潛在的信號干擾和不夠穩定的位置精度，基於 GPS 對人造結構周圍的著陸區進行環繞的導航變得不可靠且容易發. ‧. 生故障。附屬建築地板通常在某些方向上被建築結構包圍，這對於精確和安全著. Nat. sit. y. 陸是很大的挑戰，所以我們考慮視覺導航方法來解決建築物附近的著陸問題。假. n. al. er. io. 設無人機已通過 GPS 航路點導航到最終目的地附近的空域，則著陸過程分為四. i Un. v. 個步驟：（1）識別地標建築物（2）定位無人機位置以建立安全的飛行路徑（3）. Ch. engchi. 鎖定畫面並接近目標（4）降落進行著陸。在每個步驟中，無人機利用機上加載相機作為感測導航資訊的主要來源，而嵌入式氣壓計和 IMU（慣性測量單元）將作為輔助傳感的數據來源。. 2.2. 視覺導航視覺感測器近年來已用於汽車、低成本的無人載具和機器人等等的導航上. [23]，使用視覺感測器的導航可以分為三種[24]：第一種方式是通過視覺傳感器建立周圍環境的 3D 場景資訊以定位自身位置，進行無人機位置估計和映射，像 7. DOI:10.6814/NCCU202100033.

(12) 是 ORB-SLAM、LSD-SLAM 等等;第二種稱為視覺里程計[25]，是透過連續的相機圖像來估計無人機的行進距離;第三種為基於地標的視覺導航，透過對地標的影像偵測，計算無人機當前相對地標的位置來確定位姿，其中地標可以是指特殊的視覺標記，像是以顏色或是形狀來表示，也可以指一個明確的物體，例如大樓建築物、雕像等等的人造建物。其中基於地標的視覺導航方法具有導航參數誤差較小和計算簡單的優點，但是對於地標特徵點數量不足或是不易辨識的情況下，這種方法不是穩固的導航方式。而通過視覺傳感器的 SLAM 方式，其優點為可以建立周圍環境的 3D 場景資訊，提供無人機位姿的資訊，但容易受光照影響，像是 DSO-SLAM[26]對於光線要求高，需要保持曝光時間的穩定。. 2.2.1. 特徵點匹配. 立. 政治大. 基於關鍵點(keypoint-based)的特徵點匹配方式因其對光線照射、比例縮放、. ‧ 國. 學. 背景雜亂的環境，因其穩定性而廣泛用於地標識別。基於關鍵點的方法包括兩個. ‧. 步驟：在不同尺度空間檢測感興趣的關鍵點，並從這些以關鍵點為中心的區塊中. sit. y. Nat. 提取局部描述符。特徵點的檢測和匹配應用在許多計算機視覺，例如動作檢測、. io. er. 圖像檢測、對象檢測。特徵檢測主要先確定圖像中的興趣點，描述每個特徵點周. al. 圍的局部外觀，在光照，平移，比例和平面內旋轉的變化下是不變的。匹配則是. n. iv n C 比較圖像中的興趣點，對於兩個圖像各取一個點(Xi, h e n g c h i U Yi)<-->(Xi`, Yi`)去做匹配。同樣一個物體在不同視角下得到兩張影像，想要識別這兩張影像中哪一個點是對應到物體上的同一個點。兩個圖像中根據檢測到的輪廓特徵，比對特徵之間是否存在匹配的特性，在不同角度、傾斜度，通過伸縮、旋轉及平移去決定特徵位置及相對比例，基於特徵的方式中，提取明顯的特徵點，將這些特徵之間的相關性來確定最佳的匹配，這些特徵包括點、邊、輪廓、特徵點區域的質心等等。常見的基於關鍵點的特徵點檢測方式:SIFT, SURF, ORB 等等，理想的特徵點檢測方式因其對圖像比例縮放、平移和旋轉具有尺度不變性，其穩定性高而廣泛用於圖像比對 (Image matching)[27] 。其中尺度不變特徵轉換 (Scale8. DOI:10.6814/NCCU202100033.

(13) invariant feature transform ,SIFT)，由 David Lowe 在 2004 年開發的特徵檢測器[28]， SIFT 的特徵檢測用於目標影像識別的應用十分有效，但是其計算的複雜度較高，會消耗較多計算資源。SIFT 是基於物體區域性外觀的興趣點，像是建築物表面的門窗、樓梯等等區域，對於影像的旋轉、大小、光線以及小幅度的視角變化有很高的穩定性。而另一種特徵點檢測方式為加速穩健特徵(Speeded Up Robust Features ,SURF)，SURF 為 SIFT 的相似方法，相較於 SIFT 提高了計算的效率，執行速度比 SIFT 快，但是在尺度變換上效果較差。除了上述兩種基於關鍵點的特徵點檢測方法，還有像是定向的 FAST 和旋轉的 Brief (oriented FAST and rotated BRIEF ,ORB)方法，也能夠有效使用於目標影像識別，且相對於 SIFT 運算速度更快。. 立. 政治大. 根據上述提到的特徵點檢測方法，廣泛應用於目標位置的識別或是場景追蹤。. ‧ 國. 學. 在[29]中提出利用 SIFT 檢測城市中建築物的特徵點，藉由圖像之間特徵點的差. ‧. 異，進行位置上的識別;基於特徵點的方法也應用在物體的追蹤上，在[30]中利用. y. Nat. 基於 SIFT 演算法的匹配方式，追蹤因為碰撞或是分裂而改變形狀的冰山。根據. er. io. sit. 研究上結果顯示[27][36]，SIFT 與 ORB 和 SURF 比較，SIFT 在影像的比例縮放、旋轉變化上，被認為是相對最準確的特徵檢測器，對於應用在本研究中的任務需. n. al. Ch. i Un. v. 求，透過目標影像特徵點匹配結果來進行無人機的位置識別與導航控制，在不同. engchi. 的任務情形中對於影像特徵點的處理，SIFT 能夠提供較好的效果，進而提升匹配的準確性。. 2.2.2. ORB-SLAM. ORB-SLAM[31]是一種能基於單一(monocular)相機、立體 (stereo)相機和 RGB-D 相機的即時性 SLAM 技術，優勢為可以計算相機軌跡和稀疏點的 3D 場景重建，在靜態環境下定位準確且穩定，但缺點為在動態偵測或受光照影響之下，容易失去對場景的追蹤。ORB-SLAM 的作法是從圖像中提取特徵點，大多數的 SLAM 方法皆依賴於特徵的提取。ORB-SLAM 利用了基於特徵點匹配的估計， 9. DOI:10.6814/NCCU202100033.

(14) 在任務中使用相同的視覺特徵，用於追蹤、映射、重新定位及循環閉合，如圖 2.1[31]所示。ORB-SLAM 資訊用於無人機導航任務上，可以分成兩種： 1. 預先建立：執行任務前，事先於任務航點間的場景建立點雲資訊。在執行時利用建立好的點雲資訊估計無人機自身的位姿做移動。 2. 即時建立：任務中即時建立當前畫面的點雲資訊，即時估計無人機自身的位姿利用 ORB-SLAM 事先建立好的道路的 3D 場景資訊，在基於 ORB-SLAM 視覺導航的應用上，根據載入的 3D 場景地圖進行導航較為穩固，但可能會因為地. 政治大本研究使用單一(monocular)相機操作 ORB-SLAM，在執行任務中即時建立立. 貌出現極大的改變，與當前讀取到的場景資訊無法正確匹配。. ‧ 國. 學. 無人機當前畫面的點雲資訊，主要應用於飛行任務中提供對於前方物體在視覺特徵點上的資訊，透過 ORB-SLAM 估計自身的位姿，達到本地端的無人機位姿校. ‧. io. sit. y. Nat. n. al. er. 正。. Ch. engchi. i Un. v. 圖 2.1 ORB-SLAM system overview[31]. 10. DOI:10.6814/NCCU202100033.

(15) 2.3. 行為樹行為樹(Behavior tree)是一種能夠在不同任務之間做切換的方法，是在電腦遊. 戲行業中開發，可作為增加模組化的工具。行為樹是一有方向性的根樹(directed root tree)，由節點組成的樹狀結構，節點與節點間透過箭頭連接，從根節點開始執行，該根節點在給定的頻率下，產生訊號允許去拜訪節點，並將其發送到子節點，且一個節點接收到拜訪，才會執行該節點。子節點在接收到後立即回傳執行返回給父節點，如果已經實現目標，則立即返回成功，否則返回失敗。在執行這些流程中，有四種控制流節點:順序(sequence)、後備(fallback)、修飾(Decorator)和. 政治大左邊的子節點開始執行，其中有任何一個子節點成功則後備節點就為成功狀態，立. 兩類執行節點: 動作(action)和條件(condition)，如圖 2.2[32]所示，後備節點由最. ‧ 國. 學. 反之所有的子節點失敗後備節點才為失敗狀態。順序節點由最左邊的子節點開始執行，其中所有子節點成功則後備節點才為成功狀態，反之只要有任一個子節點. ‧. 失敗則後備節點即為失敗狀態。標準行為樹通常使用多個節點來處理各種行為，. Nat. sit. y. 並且並行節點同時開始在其所有子節點上執行。特殊規則決定了其中一棵或多. n. al. er. io. 棵子樹完成時如何採取行動（取決於所需的行為）。簡單並行節點只有兩個子節. i Un. v. 點：一個子節點必須是單個 Task 節點，另一個子節點可以是完整的子樹。將簡. Ch. engchi. 單並行節點視為在執行 A 的同時也執行 B。例如:在攻擊敵人時，向敵人前進。基本上，A 是主要任務，而 B 是等待 A 完成的次要任務或填充任務。並行節點對於需要隨時應對變化的決策邏輯十分有效，例如:”無人機電池有沒有足夠的電量”和”無人機向前飛行”兩個子節點，若突然發現電量不足，則向前飛行的節點的行為就會停止。修飾節點只會有一個子節點，讓使用者自行定義修飾節點對子節點執行的動作，例如定義執行持續 5 秒的行為，若超過 5 秒還未結束，則該修飾節點就變成失敗狀態。動作節點和條件節點皆由使用者自行定義。. 11. DOI:10.6814/NCCU202100033.

(16) 圖 2.2 行為樹節點種類介紹[32] 在決策控制的任務上，透過上述行為樹的六種不同類型及功能的節點，能夠根據任務內容將設計複雜邏輯行為以行為樹來運作，其由左至右、由上而下的拜訪順序具有權重的優先性和邏輯性。圖 2.3[33]顯示的例子，機器人的任務為找到. 政治大. 一顆球，撿起後並放入垃圾箱。若機器人無法完成任務，應將機器人轉移到安全. 立. 位置等待。若在執行該任務時將機器人手中的球取走丟到機器人的前方，此時機. ‧ 國. 學. 器人會往中間移動，並再次開始接近球。根據上述行為樹的決策邏輯來看此例子，最上層為一後備節點，有一個順序節點和動作節點，順序節點若回傳成功則代表. ‧. 任務失敗，就會執行動作節點的動作; 順序節點下包含四個後備節點，第一個先. y. Nat. io. sit. 檢查球的位置是否在附近，若在附近則找到球，第二個檢查球的位置，並靠近球，. n. al. er. 第三個檢查是否在箱子附近，若在附近則靠近箱子，最後一個檢查放置球的位置，. Ch. i Un. v. 接著放置球到箱子上。此例子中，機器人不會簡單地執行拾取和放置任務，會不. engchi. 斷監視任務動作，有外部干擾(將機器人手中求取走)時停止並跳過計畫的動作，並決定要執行的新動作(機器人往中間移動，並再次開始接近球)。因此這種類型的任務適用於能擴展的架構，而行為樹具備模組化的架構，在任意一種情況下達到擴展和修改操作策略。大多數控制體系結構缺少上述的特性，例如有限狀態機，會因為許多狀態間的轉換而顯得相當複雜，而在執行任務時，會有多種不同的方式，在經過計畫後，行為樹能在整個架構中執行對於當下情況較適合的動作，例如在無人機任務中，無人機脫離原先計畫的路徑的情況，能夠將無人機導回規劃. 12. DOI:10.6814/NCCU202100033.

(17) 的路徑上，這樣能避免無人機受到外在環境干擾而導致任務失敗甚至發生墜機意外。. 圖 2.3 以行為樹表示上述例子[33]. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 13. DOI:10.6814/NCCU202100033.

(18) 第三章、技術框架與模組在執行降落任務中，為確保無人機能夠自主完成任務，收集地標的影像資訊為視覺導航的依據，其中要考慮到許多不確定的因素。本研究依據視覺感測能力，以多張地標影像為基準，利用視覺特徵點匹配與圖像分割匹配方式來達到視覺導航，基礎的任務架構圖如圖 3.1 所示。為了在真實世界中實現高度自主的精確降落，選擇在建築物旁部分被包圍的地面平台上進行，我們採用了幾種技術組件來構建能夠執行完整導航過程以進行精確著陸的自主系統。導航過程的功能劃分包括目標及對像的圖像匹配、映射、定位、導航控制以及錯誤恢復。我們在開發其. 政治大即時的空間定位和映射。所有功能組件都以行為樹整合在一起，作為實時執行的立他控制方面功能的同時，採用了兩種基於視覺的最先進方法：圖像特徵匹配以及. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 決策控制模組。. Ch. engchi. i Un. v. 圖 3.1 整體降落任務架構圖. 14. DOI:10.6814/NCCU202100033.

(19) 降落任務. 3.1 3.1.1. 識別地標建築物. 透過視覺導航的方式，首先識別出目標區域的影像，判斷是否為正確的目標，如圖 3.2 所示，成功辨識後對目標區域影像進行鎖定，開始向目標區域移動。目標區域的影像就像是實現視覺標記(marker)的應用，在[34]中無人機根據視覺標記(Aruco marker)的標記檢測方法和姿態估計算法，估算無人機自身的位置並進行姿態的校正，執行降落的動作;不使用 GPS 的情況下，欲得到無人機與目標區域的相對高度及距離，在[35]中，利用視覺標記(Aruco marker)估算無人機高度與. 政治大. 距離的相對值，根據計算姿態的偏差值校正無人機的位置，導向目標區域後降落。. 立. 由於 GPS 定位的不準確性且容易受到信號干擾，通常在降落任務需要加入額外. ‧ 國. 學. 的傳感器，例如雷達、氣壓計等等，以感測與地面的高度距離，但儘管利用這些傳感器，在對於精準的降落於特定水平面區域上還是不夠精確。所以在不使用. ‧. GPS 定位的情況下，使用視覺來達到準確降落，希望透過對目標區域影像的辨識，. Nat. sit. y. 判斷無人機當前位置與目標區域的距離，將無人機校正至正確的降落點。. n. al. er. io. 假設給出了目標建築物的航拍照片，則地標識別將對目標建築物進行視覺檢. i Un. v. 查，並確保無人機到達降落地點。事先準備了一組不同高度，角度和距離的目標. Ch. engchi. 建築物的圖片，當到達標記目標建築物附近位置的最終 GPS 航路點時，無人機將進入著陸過程並將目標建築物作為地標的圖像，進行特徵點的匹配以識別。一旦建築物的圖像識別成功，無人機將啟動著陸過程的第二步，調整其位置並慢慢靠近。如果圖像識別失敗，則無人機啟動錯誤回復機制，進行錯誤情形的修復動作，重新做特徵點識別的動作。. 15. DOI:10.6814/NCCU202100033.

(20) 圖 3.2 降落任務的第一步，無人機位在初始的位置識別出當前影像是否為正確的目標，實現視覺標記(marker)的應用. 3.1.2. 定位無人機位置以建立安全的飛行路徑. 政治大如果地標建築物的圖像配置文件中，多張圖片之一成功匹配，則代表當前無立. 人機已經位於適當距離的位子，有條件地接受目標建築物上的地標識別。在接受. ‧ 國. 學. 地標識別的情況下，無人機的懸停位置可能不是當前階段的最佳起點。為了確保. ‧. 接近目標建築物並到達著陸點頂部的垂直區域的安全路徑，已為目標建築物預先. sit. y. Nat. 計劃了一條虛擬飛行路徑。該虛擬飛行路徑通常與建築物的開口端（例如 L 形或. io. er. U 形開口）的方向對齊。從開口端的視角所觀看到的建築物圖像，無人機必須位. al. 於安全飛行路徑的適當位置。著陸過程的第二步是調整無人機的位置，使其與飛. n. iv n C hengchi U 行路徑對齊，這是通過將無人機的前置相機圖像與建築物的正中間飛行路徑圖像進行匹配來完成的。經過匹配的結果將指示無人機在達到精確匹配之前，無人機應持續進行橫向及垂直移動的動作，如圖 3.3 所示。此時，無人機已將自己定位在通往建築物的飛行道上，並準備進行下一步的著陸操作。. 16. DOI:10.6814/NCCU202100033.

(21) 圖 3.3 根據飛行路徑的圖像，估算無人機自身的位置並進行姿態的校正調整. 政治大. 無人機的位置至進場點，使其與安全飛行路徑對齊. 鎖定畫面並接近目標. 學. ‧ 國. 3.1.3. 立. 長距離導航任務上通常利用 GPS 當作判斷無人機位置的依據，能夠依據兩. ‧. 個航點經度、緯度計算得到之間的距離，所以在不使用 GPS 情況下，且具有已. sit. y. Nat. 知距離，根據從遠到近分成三個不同距離的位置，透過三個距離所看到的目標區. io. er. 域影像，以遠景到近景的影像為依據，判斷無人機當下要執行的動作，一旦辨識. al. 到目前畫面與遠景的影像相符合，代表目前無人機位在離目標區域較遠處，執行. n. iv n C hengchi U 將畫面鎖定於目標區域與前進的動作;若辨識到目前畫面與近景的影像符合，則代表目前無人機已經達到接近降落點的距離，進行降落動作。無人機著陸的方法是開始向前直線運動，以減小其到地面目標位置的水平和垂直距離。著陸的這一階段代表著目標鎖定，以及建築物位於中間的飛行路徑，如圖 3.4 所示，無人機在保持視覺重心固定在建築物中心圖像的同時繼續前進。隨著無人機慢慢前進，途中還將需要一些圖像參考來建立視覺鎖定。這可以通過以下方式完成：準備一組處於不同放大級數的建築物圖像，或者通過提取建築物圖像中心區域內的圖像特徵。放大圖像用於目標圖像特徵匹配方法，而中心區域圖像特徵用於目標跟踪方法。兩者都可以通過視覺導航提供水平和垂直引導，以 17. DOI:10.6814/NCCU202100033.

(22) 達到適當的懸停點。適當的懸停點位於指定著陸點的頂部，並且以最小安全距離遠離建築物的外牆。. 立. 政治大. 圖 3.4 對地標影像的鎖定和前進，無人機的向前接近動作是開始向前進行直. ‧ 國. 學. 線運動，以減小其到目標位置的水平(和垂直)距離. 降落進行著陸. ‧. 3.1.4. sit. y. Nat. 著陸過程的最後步驟是從懸停點開始下降，直到在指定的著陸點著陸為止。. er. io. 由於懸停點垂直位於著陸點的頂部，因此通過在 z 軸上提供恆定的負速度以逐漸. al. iv n C hengchi U 視覺導航方法還可以提高實際著陸的精度和安全性，類似於在接近步驟中執行的 n. 降低高度，可以直接進行下降動作，如圖 3.5 所示。此外，採用垂直向下相機的. 視覺導航，可以同時使用圖像特徵匹配和目標跟踪來與著陸點標記物進行視覺鎖定這將提供較小的橫向及縱向移動的引導，從而實現精確著陸。其中在發生無法成功辨識降落點標記，如果發生這種情況，下降操作將停止，將啟動錯誤回復的機制，進行錯誤修復的動作。. 18. DOI:10.6814/NCCU202100033.

(23) 圖 3.5 顯示懸停點垂直位於著陸點的頂部，通過在 z 軸上提供恆定的負速度. 政治大. 以逐漸降低高度，進行下降操作. 立. ‧ 國. 3.2.1. 學. 地標建築物圖像特徵點匹配. 3.2. SIFT+RANSAC(RANdom SAmple Consensus). ‧. 為了以視覺導航達到精準降落，初始化的第一步為使用指定位置，已事先存. y. Nat. sit. 儲的圖像檢查正確的地標建築物，針對目標識別的功能需求採用圖像特徵點匹配. n. al. er. io. 技術。本研究將 OpenCV 庫中的 SIFT（尺度不變特徵變換）特徵檢測器用於我. i Un. v. 們的功能組件，SIFT 特徵具有多個優點，其對於圖像縮放、平移和旋轉具有尺. Ch. engchi. 度不變性，因此 SIFT 對於檢測區域中小部分幾何變形的處理上具有相當的穩定性。此外當與其他類型的特徵點檢測器相比，發現基於 SIFT 的表現相較之下效果較好[36]。但是在某些區域紋理相似或是沒有清楚輪廓結構的情況下，導致特徵點的檢測受到影響，進而產生錯誤的匹配，為了減少此種情況發生，進一步使用 SIFT+RANSAC(RANdom SAmple Consensus)[37]特徵點匹配技術，為了使特徵點匹配更加穩固，利用 RANSAC 算法來提高匹配的精度，該算法利用匹配點的空間關係消除錯誤匹配，以進行增強[38]。如圖 3.6 為特徵點匹配的示意圖，顯示了目標地標建築物經過圖像匹配結果，紅色圓圈中出現了一些匹配錯誤的情 19. DOI:10.6814/NCCU202100033.

(24) 形，通過 RANSAC 進行了增強後，從而獲得了更好的匹配結果。對於目標圖像匹配的功能是為了完成精確著陸過程的地標識別步驟。. 政治大 (a). 立. ‧. ‧ 國. 學. n. Ch. er. io. al. sit. y. Nat (b). i Un. v. 圖 3.6 RANSAC 改進 SIFT 特徵點匹配(a)未加入 RANSAC，紅色圓圈標示特. engchi. 徵點匹配錯誤的部份(b)加入 RANSAC. 3.2.2. 目標影像特徵點匹配方式. 一旦圖像匹配結果成功，即確認了地標建築物的位置，精確著陸的下一步就是將無人機的方向對正於目標降落區域，且位在安全飛行路徑的對中位置，圖像特徵點匹配功能也提供關於無人機位置的資訊。假設事先儲存了包含地標建築物的安全飛行路徑圖像，則無人機根據當前所視的圖像和地標建築物索引圖像（query image）之間匹配的關鍵點的位置，將指示無人機應該往哪個方向移動。圖 3.8 為對目標降落區域的影像做特徵點匹配的示意圖。左圖為目標降落區域影 20. DOI:10.6814/NCCU202100033.

(25) 像，稱為索引圖像(query image)用來當作判斷的基準圖像，右圖為當前無人機相機畫面的影像，特徵點匹配的影像分成兩種，如圖 3.7 以架構圖顯示圖像匹配的情況分類。第一種為一般對地標建築物辨識的情形，無人機當前畫面的中心與索引圖像做特徵點匹配;第二種為對地標建築物辨識失敗的情形，將圖像切割為 4 個區塊個別做特徵點的匹配。綠色線段表示經過匹配後得到的匹配點，紅色區域代表地標的目標區域影像，由匹配點的座標計算當前與目標區域的相對位置，根據相對位置資訊進行無人機位姿的調整與校正，將無人機導向目標區域後降落。通過正確的移動方向和移動距離，下一輪圖像匹配將成功地將飛行路徑圖像與無人機相機圖像的中央區域進行匹配，無人機的運動調整是通過導航控制功能執行. 政治大. 的，這樣就完成了定向無人機以建立正確飛行路徑的步驟。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 3.7 對地標建築物進行特徵點匹配的架構圖. 21. DOI:10.6814/NCCU202100033.

(26) 對於任務中所產生特徵點匹配成功或失敗的情形，判斷的條件利用匹配點的數量以及連續匹配次數作為判定的決策。在實際測試中，第一個條件預先設定成功匹配點的數量為 10 個匹配點，若小於 10 個匹配點的話即判定為失敗的情況。在無人機移動中進行特徵點匹配的同時，根據判定匹配點的數量，決定匹配成功與否，若連續 5 次匹配皆為失敗的結果，則判定當下特徵點的匹配為失敗的情形，進行分割圖像匹配的方式。橫向及縱向的移動會依據當前無人機相機影像與目標影像匹配得到的 X,Y 像素座標值，假設算出成功匹配的點有 n 個，記為(Xi, Yi)，其中 i = 1, 2, 3 …, n . 經由估計匹配的點(Xi, Yi)與目標點(tx,ty)像素座標的差，記為(Δx,Δy)，利用. 政治大. (Δx,Δy)判斷無人機與目標降落區域的相對位置，預設目標降落區域的像素座標. 立. 區間記為[dx,dx']及[dy,dy']，此預設的像素座標區間根據第 3.1.2 小節所提到的安. ‧ 國. 學. 全飛行路徑，以此為基準預設一個圖像區間，此圖像為校準圖像(alignment image)，. ‧. 用來將無人機校準到安全飛行路徑中，而此圖像的像素值與比例值以安全飛行路. sit. y. Nat. 徑為基準來設定。如下無人機相對於目標區域位置的表示方式:. io. er. 1. Δx < (tx - dx) ------向右邊移動. al. n. 2. Δx > (tx + dx') ------像左邊移動 3.. i n C U hengchi Δy < (ty - dy) ------向下方移動. v. 4. Δy > (ty + dy') ------像上方移動. (a) 22. DOI:10.6814/NCCU202100033.

(27) (b) 圖 3.8 特徵點匹配示意圖分為兩階段：(a)第一階段為一般對地標建築物辨識的情形，綠色框框表示無人機當前畫面的中心，(b)第二階段為對地標建築物辨. 政治大. 識失敗的情形，將圖像切割為 4 個區塊分別做特徵點的匹配來重新判斷相對. 立. 特徵點匹配實際比對結果. ‧ 國. 學. 3.2.3. 位置. 從遠處慢慢接近大樓平台降落的過程中，無人機根據不同距離下的地標圖像. ‧. 進行位置的調整，如圖 3.9 所示為實驗中對地標圖像進行辨識，其中顯示當前無. y. Nat. sit. 人機透過特徵點匹配的結果平移的方向。由圖中可以看到左圖為地標建築物的圖. n. al. er. io. 像，右圖為當前無人機畫面的中心影像，根據兩張圖的特徵點匹配結果，在圖中. Ch. i Un. v. 以綠色的線顯示為匹配到的特徵點，經由計算全部特徵點的 X,Y 像素座標值的. engchi. 平均值，以地標建築物圖像上的某區域當作目標區域，利用圖像的一段像素區間當作基準值，計算平均值與基準值之間的像素差，來判斷目前無人機與目標區域的相對位置。在飛行中無人機會慢慢移動位置直到當前匹配到特徵點的平均值在目標區域的基準值內，代表當前無人機位置鎖定於正確飛行路徑上。. 23. DOI:10.6814/NCCU202100033.

(28) (a). 立. 政治大. ‧. ‧ 國. 學. (b). n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. (c) 圖 3.9(a)、(b)、(c)分別顯示遠、中、近距做特徵點匹配結果，根據目前位置與校準圖像(紅色框框部份)的像素差，進行水平及垂直的移動對於圖像特徵點匹配錯誤的情形，代表無人機當前相機中心所看到影像無法與地標圖像匹配，可能的原因為畫面特徵點過少、強烈光線影響或是無人機本身 24. DOI:10.6814/NCCU202100033.

(29) 的位置偏差過大，導致畫面中心嚴重偏離。此時圖像特徵點匹配的方式進入第二種階段，在 3.2.2 小節中有講述特徵點匹配的兩種階段。如圖 3.10 所示為無人機位置發生偏離的情況時相機的影像，此種錯誤回復的機制是應對無人機本身位置受到干擾，而產生大幅度的偏差位移時，透過較為全域的地標建築物圖像當作基準，對個別分割出的圖像進行特徵點匹配，根據分割後的圖像索引來判斷目前無人機相對於目標區域的位置，之後進行相對應的導航控制。如圖 3.11 所示為匹配錯誤的情況與經過分割圖像的判斷方式後逐漸校正位置至能夠成功匹配。上圖為特徵點匹配失敗的情形，因為無人機的位置偏向畫面的左側，此時無人機相機的中心畫面無法成功匹配，導致特徵點過少進入錯誤回復的機制，下圖經過了分. 政治大. 割圖像的校正方式後，將無人機位置導向目標區域。由圖 3.12 中顯示 index = 1. 立. 的圖像和 index = 3 的圖像能夠成功與地標圖像匹配，而 index = 0 與 index = 2 的. ‧ 國. 學. 圖像無法正確匹配，代表目前無人機的位置偏向地標建築物的左側，左邊圖像不. ‧. 是位於地標建築物的範圍中，所以此時導航控制依據該結果向右邊移動做校正。. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 3.10 左圖為無人機位置發生偏離的情況時相機的影像，右圖將當前影像分割成 2x2 圖像，分別標示索引值. 25. DOI:10.6814/NCCU202100033.

(30) 立. 政治大. ‧. ‧ 國. 學. 圖 3.11 上圖為匹配錯誤的情況，下圖顯示經過分割圖像的校正後，直到當. y. Nat. n. al. er. io. sit. 前畫面特徵點匹配成功，將無人機導向目標區域. Ch. engchi. i Un. v. (a). 26. DOI:10.6814/NCCU202100033.

(31) (b) 圖 3.12 分割後圖像分別做特徵點匹配的結果:(a)索引值為 1 的分割後圖像，代表右下方向,(b)索引值 3 的分割後圖像，代表右上方向. 立. ORB-SLAM 對應真實世界的映射. 學. ‧ 國. 3.3. 政治大. 導航飛行的方式可以透過多種感測資訊來執行，其中一種為根據 GPS 全球. ‧. 定位系統得到距離資訊，或是利用視覺導航方式。為了在部分 GPS 訊號受阻的. sit. y. Nat. 空間中能夠安全地進行導航，無人機將需要整體周圍環境的地圖以及將自身定位. n. al. er. io. 在地圖中的方法。該地圖將可感知的環境資訊顯示為場景特徵點，透過其在地圖. v. 上不斷更新的位置，無人機可以動態計算出朝向目標建築物附近懸停點的合適路. Ch. engchi. i Un. 徑，以便在降落點執行最終下降。考慮到無人機平台上計算能力和傳感器有效載荷的有限資源，我們使用 ORB-SLAM 來實現。ORB-SLAM 的應用情境為當降落任務進行到最後一項步驟，對降落點的標記識別失敗的情形下，提供另一種視覺的導航的資訊。飛行導航控制的每個週期，無人機會根據當前畫面的點雲資訊進行飛行軌跡的判斷，一旦感測到已經相當接近大樓建築物的外牆就會停止前進，示意圖如圖 3.13。根據 ORB-SLAM 對於距離的估計值，在降落之前的導航階段感測無人機前方的物體、感測前方障礙的應用。. 27. DOI:10.6814/NCCU202100033.

(32) 圖 3.13 對降落點的標記識別失敗的情境，利用 ORB-SLAM 資訊提供降落最後步驟的導航 ORB-SLAM 僅需單一相機即可以合理的計算成本獲得準確的結果，場景特. 治政大徵點是通過 ORB 特徵得出的，ORB 特徵的計算效率很高，並且大多數情況在不立同視角和光照影響下能保持運作。問題之一是由於缺乏深度信息而導致的尺度模. ‧ 國. 學. 糊性(scale ambiguity)[39]。我們使用無人機的 IMU 數據將 ORB-SLAM 產生的地. ‧. 圖比例尺轉換為實際坐標比例尺，通過將 IMU 在現實世界中測量的移動距離與. sit. y. Nat. ORB-SLAM 測量的像素距離進行比較，可以得出在現實世界的距離比例，無人. io. er. 機可以透過一段垂直運動來獲得 ORB-SLAM 坐標與現實坐標之間的比例估計值。. al. 此估計值可以利用在感測前方障礙的應用，在無人機接近目標建築物期間先初始. n. iv n C ORB-SLAM，當無人機到達降落點上方的懸停點後，若其他的視覺導航方式出現 hengchi U. 錯誤情況時，利用單眼相機得到目標建築物的圖像， ORB-SLAM 可以提供無人機相對於圖像場景中檢測到的特徵的估計姿勢(位置和方向)，導航控制功能將使用此姿勢估計進行另一種視覺的導航，用於下降和著陸的最後一步。根據 ORBSLAM 看到的即時影像，得到本地端的位姿資訊，藉由將自身的坐標系的單位推算出現實世界的相對比例，推算出相對距離。 ORB-SLAM 通過將關鍵畫面看到的真實位置，透過映射解決與現實世界比例之間的縮放問題。為了計算位姿對應到真實世界的度量值，會根據以下的算法在任務中動態修改無人機的位置，透過距離上的位移變化，估算正確的度量值。示意圖如圖 3.14。計算方式如下: 28. DOI:10.6814/NCCU202100033.

(33) 1. 起飛後到達指定高度，固定無人機本身位置 2. 將 ORB-SLAM 最初的高度位姿記為 Pn，及無人機自身的實際高度記為 An 3. 將無人機垂直上升一段高度位移，記下位移後的實際高度為 An`，ORBSLAM 在 An`高度時的位姿，記為 Pn` 4. 進行比例尺的校正計算。利用 An 到 An`的平移幅度與 ORB-SLAM 關鍵幀取得的 Pn 與 Pn`之間平移幅度的比率我們利用上述 ORB-SLAM 的一組關鍵畫面映射得到真實世界的比例. 政治大人機在運行期間的定位提供導航。立. 估計值，主要目的就是藉由 ORB-SLAM 建立關鍵畫面的地圖資訊，為無. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 3.14 根據 ORB-SLAM 透過距離上的位移變化，估算正確的距離度量值. 3.4. 導航控制無人機的導航控制功能負責執行連續的飛行週期，發出橫向及縱向的運動命. 令，根據測量的運動結果，將運動結果與所對應的目標位置進行比較，並確定適當的調整以減小差異。在預設的任務航道或模擬的環境中，通過執行已經設定的平移和旋轉運動，可以完美地遵循計劃的飛行路線，但是在現實世界中，風向狀. 29. DOI:10.6814/NCCU202100033.

(34) 況及天氣狀況和不夠精確的訊號資訊會導致恆定的飛行偏差。導航控制對無人機的位置進行動態校正，以糾正與預先計算的路徑或所需位置的偏差。在導航控制週期中，通過感知功能（例如圖像特徵點匹配和 SLAM）提供相對應的結果，並執行新的調整運動，這提供了即時的動作控制及決策調整。. 3.5. 錯誤回復機制錯誤的偵測與回復，對於機器人、無人機等等需要進行決策控制的任務，例. 如工廠作業、救難、軍事任務中，為了確保任務的連續運作，必須將決策操作進行模組化。在[32]中提到關於人形機器人對於錯誤偵測與錯誤回復的架構與方式，. 治政大機器人應該具有檢測動作發生的情況並從已知的狀態中產生錯誤回復的動作。當立機器人在執行任務中，要求機器人選擇適合當下情況的回復動作，即使發生錯誤. ‧ 國. 學. 例如向前傾倒、跪倒、向後躺等等動作，也可以繼續執行工作。考慮到任務階段. ‧. 中可能突發的錯誤行為，導致任務失敗的情形，透過無人機上的感測器及設備從. sit. y. Nat. 環境中獲得數據，感知錯誤發生的情況，啟動錯誤回復(Error recovery)的機制讓. io. er. 無人機能安全的完成任務或返航。在導航任務中單單只依靠一種傳感器所提供的. al. 資訊來當作定位及位姿的依據，若因為外在環境影響或機器本身的誤差導致單一. n. iv n C 的傳感器產生錯誤，則可能會發生任務失敗的情形。所以利用錯誤回復來處理此 hengchi U 種情形，讓整體的任務更加穩固。. 無人機在決策行為上，必須考慮到發生錯誤時的動作，像是失去 GPS 訊號或是視覺識別的部分發生錯誤等等情況，在執行任務時要有感測發生錯誤的能力，以及將錯誤修復的機制，讓任務能順利的執行。針對本研究的降落任務，如圖 3.15 所示，分為三層階段的架構: 1. 任務規劃(process):第一段為整體任務的主要目標動作。無人機首先識別前方地標的目標影像，之後確認前方的路徑是否與預設的安道路相符合，並進行位置上的調整，鎖定畫面後向目標降落區域前進。 30. DOI:10.6814/NCCU202100033.

(35) 2. 錯誤來源感知(error source):第二層的架構為錯誤回復的階段，考慮到任務階段中可能發生的錯誤行為導致任務失敗的場景，透過無人機上的感測器及設備從環境中獲得數據。在導航任務中單單只依靠一種傳感器所提供的資訊來當作定位及位姿的依據，若因為外在環境或機器本身的誤差導致單一的傳感器產生錯誤，則可能會發生任務失敗的情形。所以提出一個架構來處理此種情形，讓整體的任務更加穩固。幾種可能發生的錯誤情形，例如當 GPS 失去連線或發生錯誤時，需要以其他的控制方式替代或輔助;任務中利用視覺進行地標特徵點識別，可能發生匹配失敗的情形，一旦場景匹配失敗，可能會失去辨識的能力，針對此種情況利用對當前匹配失敗的. 政治大. 圖像做分割，分別以分割後的圖像與地標圖像做特徵點的匹配，提供下一. 立. 階層中回復動作的資訊。. ‧ 國. 學. 3. 任務回復動作(recovery action):在感測到錯誤的情況後，將無人機偏離的情. ‧. 形導正回原先任務的路徑，或者在發生無法導正的情況下，將無人機飛回. y. Nat. 起點終止任務，為上一層錯誤回復架構的應對動作。像是針對地標識別失. n. al. er. io. sit. 敗的情形，根據分割圖像的匹配結果來決定無人機的移動方向。. Ch. engchi. i Un. v. 圖 3.15 錯誤回復架構圖 31. DOI:10.6814/NCCU202100033.

(36) 3.6. 行為樹決策方式之建立在現實世界中應用的自主移動系統必須以一種機制進行構建，進行感知決策. 動作的連續循環，以便與任務活動的環境互動，使決策動作週期性的重複感知環境資訊，通過一系列的條件選項進行決策並執行動作。行為樹早在計算機遊戲的領域中就已成為相當廣泛運用的控制體系結構，後來逐漸在機器人技術中也被使用。通過樹狀表示，行為樹嵌入的邏輯結構，可以在各種條件和行為動作之間進行切換。模塊化和反應性是行為樹的兩個重要且實用的特性，用於在環境中開發具有相當複雜性與多樣性的自主決策控制。為了設計和控制用於精確著陸的自主. 政治大實現了有效的切換機制。為了使目標明確，利用一般後置條件前提行動行為樹立無人機，行為樹提供了混合多層感知決策動作的良好結構模組，並在實時執行中. ‧ 國. 學. (General Postcondition Precondition-Action (PPA) )。如圖 3.16[32]為一個典型的一般後置條件前提行動行為樹。C 為先決條件，可以通過動作 A1 或 A2 去實現，. ‧. 而 A1 或 A2 分別有前置條件 C1i 和 C2i。從先決條件開始確認，其父節點為一. Nat. sit. y. 後備節點，只要先決條件 C 返回成功，則後備節點為成功，不會拜訪後面的子樹;. n. al. er. io. 若先決條件 C 返回失敗，則會依序拜訪其他子樹，直到先決條件 C 成功。先決. i Un. v. 條件 C 設定為是否到達終點，A1 或 A2 為控制無人機前進或調整姿勢的動作。. Ch. engchi. 圖 3.16General Postcondition Precondition-Action (PPA) BT[32] 在整體降落任務規劃中，首要任務為進行目標區域的確認。移動方式為視覺特徵點匹配定位方式提供的資訊，導引無人機至目標點，藉由計算匹配點的座標 32. DOI:10.6814/NCCU202100033.

(37) 與目標點座標的位置差異，當作決策條件控制移動行為，並獲取無人機當前面向的角度與目標點之間的夾角，以控制無人機的轉向行為，如圖 3.17 所示。考慮到途中發生錯誤的情況，例如圖像特徵點匹配失敗、最後階段找尋降落標記失敗等等情形，因為行為樹具備模塊化和反應性的優點，在任務中發生錯誤較容易進行即時的校正及檢查，立即達到修復的動作，如圖 3.18 所示為錯誤情形的個別行為樹模組。為了達到精準降落，圖 3.19 顯示了一個功能完整的行為樹，目標為精確地降落在地標建築物的附屬平台的地板上，並在具有實際飛行測試的無人機平台上運行它。精確著陸行為樹成功地集合和嵌入了技術組件的功能，從而為任務完成提供了一致的執行，從多次的自主精準降落實驗得到了充分驗證。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 33. DOI:10.6814/NCCU202100033.

(38) 立. 政治大. ‧ 國. 學 ‧. 圖 3.17 整體降落任務規劃以行為樹表示. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 3.18 降落時 AprilTag 辨識失敗，以 ORB-SLAM 建立的環境資訊當作最後決策的行為樹. 34. DOI:10.6814/NCCU202100033.

(39) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 3.19 整體任務規劃加上錯誤回復機制以行為樹表示. 35. DOI:10.6814/NCCU202100033.

(40) 第四章、實驗設計與結果分析我們設計了一組實驗，以驗證系統的自主性與可行性來評估整體的效能。我們使用的無人機機型為 DJI MAVIC ZOOM 2，為四旋翼的無人機，飛機具有內部 IMU、基本經緯度感測器、魚眼前置相機、Wi-Fi 模組功能和 ROS 相容的 SDK 為無人機平台。 Wi-Fi 鏈接可將系統軟體操作與 DJI MAVIC ZOOM 2 無人機進行實時的連接。無人機上的相機傳輸的圖像和狀態數據會被發送回系統軟件，而飛行命令則發送到無人機。無人機上的相機圖像設置為 660 x 385 像素，提供每秒 30 幀的數據傳輸。視覺技術方面利用 OpenCV 的組件以及 Python 實現，結合. 政治大實驗的軟體在 2.7HZ Intel Core 立 i5-5200U 的筆記型電腦上運作。. 視覺及其他技術的組件皆在 ROS(Robot Operating System)軟體平台上執行。整體. ‧ 國. 學. 本實驗任務地點設定在現實世界進行測試，精確降落的地標是大學校園內的山坡建築，我們選定河堤周圍的大樓作為主要的地標，降落點為大樓平台面。如. ‧. 圖 4.1 所示為地標大樓全域圖像，該建築物有一個 L 形開口，上面有一塊平台，. Nat. sit. y. 大約 17 公尺 x18 公尺，該平台的方向被樹梢圍繞，樹梢會阻礙低空接近，所以. n. al. er. io. 該目標實驗點代表了基於 GPS 導航的高風險著陸點，小區域的平坦地面僅允許. i Un. v. 有限的誤差範圍。在河堤周圍皆為樹木、山景的環境下，像是建築物有清楚輪廓. Ch. engchi. 的物體當作地標，在視覺特徵點辨識上會有較佳的效果，能夠以大樓周圍的外牆、窗戶、樓梯、欄杆等等作為特徵點的依據。在降落於大樓周圍的導航任務上，通常不能夠使用 GPS 作為定為依據。由於感知能力或導航自主性引起的降落精度不足，可能對無人機造成安全上的危害。為實現降落任務實驗，在實驗開始時都要手動控制 DJI MAVIC ZOOM 2 到距離大樓約 50 公尺處起飛後盤旋，高度定在約能夠包含大樓影像的高度，距離大樓平台約 6 到 8 公尺，將 DJI MAVIC ZOOM 2 設置為懸停，切換到自主系統控制開始。實驗開始後先進行對地標影像的特徵點匹配，無人機的位置移動是根據匹配的結果得出。 36. DOI:10.6814/NCCU202100033.

(41) 圖 4.1 地標大樓圖像，大樓前平台面為目標降落地點. 4.1. 實驗設計. 政治大本研究將設計一個自主的視覺導航，透過圖像特徵點匹配結果為依據讓無人立. ‧ 國. 學. 機進行降落任務，實驗架構如圖 4.2 所示。實驗的項目以無人機從相對大樓正面不同的位置做切入，以驗證整體系統對於利用視覺辨識上的效能，及對於錯誤情. ‧. 形發生時的應對。相對大樓正面的位置採用隨機的起點分別從左側、右側等不同. sit. y. Nat. 視角下的位置做切入。對於整體效能的觀察是由無人機盤旋後對地標圖像做特徵. io. er. 點匹配，經由匹配的結果判斷當前無人機相對於預設的大樓平台位置，經過平移. al. iv n C hengchi U 視覺導航的飛行軌跡，藉由觀察到飛行時的方向、位置上的資訊，經過多次實驗 n. 位置校正後進入預設的軌道，向前進直到成功降落於大樓平台。我們會紀錄利用. 評估單純利用視覺進行導航的可行性。軌跡的紀錄上，上述的度量方式由 3D 的折線圖表示飛行的軌跡。在現實環境中，從距離地標大樓 50 公尺進行盤旋，對地標做第一次的視覺辨識，但即使第一次辨識成功，並不能保證之後接近大樓的過程中還是以正確的位置及方向接近目標平台，所以我們利用多張的地標圖像來確保整體視覺辨識的穩定性。除了第一次的地標辨識使用的地標圖像，根據不同的距離為標準(距離為已知的資訊)，分成遠程到近程，如圖 4.3 為實驗中預設的遠、中、近程相對應的地標圖像，個別提供無人機在不同距離下紀錄的地標圖像，這個方式提供了更多視覺的資訊。 37. DOI:10.6814/NCCU202100033.

(42) 立. 政治大. ‧. ‧ 國. 學. n. al. y er. io. sit. Nat. 圖 4.2 實驗方法架構圖. Ch. engchi. i Un. v. 圖 4.3 依據距離遠(左上圖)、中(右上圖)、近個別的地標圖像. 38. DOI:10.6814/NCCU202100033.

(43) 4.1.1. 實驗指標評估. 根據上述的視覺特徵點匹配方式，最終會將無人機導航至距離地標建築物靠近的區域後降落。實驗的評估指標分為兩種，第一種降落點評估方式為根據視覺特徵點的導航，加上錯誤回復的機制，當無人機已經經過通道到達建築物附近，成功比對到近距離的地標建築物圖像，如圖 4.4 的近景圖像特徵點匹配結果，代表無人機很接近大樓外牆，無人機便執行降落的動作。第二種降落的評估方式為較精準的降落點，經過不同距離下的地標圖像特徵點比對後，加上降落點的標示，評估的標準為計算實際降落的位置，與 AprilTag 上的中心點的距離差(公分)。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. io. n. al. er. 圖 4.4 近景圖像特徵點匹配結果，代表相當靠近目標降落點執行降落的動作. 4.2. 實驗結果與分析. Ch. engchi. i Un. v. 本節講述實驗的整體效能評估指標藉由觀察任務的完成率、飛行過程中的軌跡以及透過視覺導航無人機最終降落點與目標降落點的誤差。實驗中分別從左側、右側、下方隨機位置進行對地標的辨識與至的校正，成功經由辨識圖像後到達降落點降落的成功率為 86％，其中幾次的失敗為途中因為光線照射的變化而導致特徵點的匹配失敗，無人機根據錯誤的特徵點匹配結果進行校正，無法導向正確位置，因而中斷任務。排除光影影響的情況下，任務途中對地標的辨識失敗時，會啟動錯誤回復的機制(error recovery)，在失敗情況發生時無人機紀錄當下相機的圖像進行圖像分割，將圖像分成 4 個區塊，個別與地標圖像進行特徵點匹配， 39. DOI:10.6814/NCCU202100033.

(44) 以匹配的結果判斷無人機的移動方向，實驗中皆有加入錯誤回復機制，在匹配錯誤的情形下進行回復的動作。本章節將分成三個小節，第一個小節為無人機根據近景圖像特徵點匹配結果直接降落，將針對特徵點匹配方法進行的視覺導航，及途中發生錯誤情形啟動圖像分割方式。第二小節為圖像特徵點匹配加上標記辨識降落，利用 AprilTag 標示降落點於降落平台上，當作評估實際飛行的指標。第三及第四個小節為實驗上遇到的問題，例如強烈日照情形、特徵點較少的地標建築物區塊等等，顯示出單純使用特徵點匹配的資訊來做導航，再某些情況下並非是可行的方式，所以對於這些可能會導致任務失敗的情況，提出其他的錯誤回復機制來解決。. 學. ‧ 國. 4.2.1. 政治大根據近景圖像特徵點匹配結果降落立. 整體的任務由飛行軌跡來呈現與預設的安全航道做比較，以 GPS 資訊紀錄的軌跡，其飛行軌跡如圖 4.7 所示。此階段的降落機制設定為對地標建築物做圖. ‧. 像特徵點匹配後，根據匹配結果比對到近程的圖像後，代表無人機目前位置已經. y. Nat. sit. 相當接近目標降落點，直接執行降落。從軌跡中能看到實際利用視覺導航飛行與. n. al. er. io. 預設的航道間的差異，整體的飛行路徑都相似，就是經過遠、中、近的圖像匹配. i Un. v. 調整位置後降落，軌跡上不一致的部分，為了進一部觀察此情況，圖 4.8 顯示了. Ch. engchi. 錯誤回復機制下飛行軌跡示意圖，可以觀察到透過遠、中、近程的地標建築物圖像做視覺引導至降落點，途中特徵點匹配失敗的軌跡分佈。顯示無人機有向其他方向移動的行為，與預設的飛行路徑不同，因為飛行路徑中可能出現特徵點匹配的失敗，此時會進入第二種圖像辨識的階段，將當前的圖像分割為 4 塊，分別與地標建築物做比對，判斷當前無人機的位置。實驗結果顯示於表 4-1，最大的距離誤差為 8 公尺，最小距離誤差為 1.4 公尺，平均距離誤差為 3.58m，花費的平均時間為 3 分鐘。造成最大距離誤差達到 8 公尺且花費時間也較長的情況，是因為在特徵點匹配的階段，受到較為強烈日 40. DOI:10.6814/NCCU202100033.

(45) 照的影響下，地標建築物的整體圖像輪廓上會發生改變，導致特徵點檢測時無法成功匹配，持續產生不一致的情況，雖然在匹配失敗的情況下啟動錯誤回復的機制，實驗結果顯示依然能成功的將無人機導引回正確的路徑上，但是整體任務會相當耗時。. 立. (a). 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat (c). (b). Ch. engchi. (e). i Un. v. (d). (f). 41. DOI:10.6814/NCCU202100033.

(46) (g). (h). 圖 4.7 以 GPS 資訊紀錄的飛行軌跡第一張為預設的航道軌跡，其他的為從不同位置、高度當作起點，經過特徵點辨識後校正位置，導向降落點的飛行軌跡表 4-1:根據匹配結果比對到近程的圖像後，直接執行降落，記錄與降落點的偏差距離與耗費時間. 政治大降落點誤差距離飛行時間立. 1.4m. 3m13s. 2.5m. y. al. n. 6. 3m5s. 2m27s. er. io 5. 4m. sit. Nat. 4. 2m35s. ‧. 3. ‧ 國. 2. 1.6m. 學. 1. 4.5m. Ch. engchi U. 1.75m. v ni. 4m5s. 2m15s. 7. 5.2m. 2m19s. 8. 2.9m. 2m50s. 9. 8m. 4m53s. 10. 4m. 2m25s. 平均值. 3.58m. 3m. 標準差. 1.92m. 49s. 42. DOI:10.6814/NCCU202100033.

(47) 圖 4.8.錯誤回復的飛行軌跡:藍色圓圈標示處為飛行中發生圖像特徵點匹配錯誤，根據錯誤回復機制重新調整位置. 4.2.2. 政治大. 近景圖像特徵點匹配加上標記辨識降落. 立. 上述的實驗利用視覺導航的方式去彌補 GPS 信號上的缺失，因為 GPS 在定. ‧ 國. 學. 位上有一定的誤差(大約 10~15m)，無法適用於建物旁的精準降落，但是僅根據特徵點比對近程圖像來當作降落的標準，並不能精準的確認當前是否為正確的指. ‧. 定降落點。為了準確的標定所謂的指定降落點，假設降落區域可以是一片空地，. Nat. sit. y. 但是準確的降落點必須是空地上明確的單一地點，例如一塊凸起的平台。無人機. n. al. er. io. 依據視覺決定何時要開始降落及要降落的目標地點為何，以精準降落的目標為訴. i Un. v. 求，除了以特徵點比對圖像為視覺引導，需要在地面加上明確的降落標示，以影. Ch. engchi. 像鎖定降落點標示, 導航於定點降落。為了進一步評估精準降落的效能，另外進行了 10 次飛行，利用 AprilTag 標示降落點於降落平台上，當作評估實際飛行的指標。在地標建築平台上，距離建築物牆面 4 公尺處貼上 AprilTag，測量實際飛行後的降落點與 AprilTag 之間的距離誤差值。如圖 4.9 利用 AprilTag 當作降落的目標標記，根據其中心點的座標來讓無人機降落時做最後位置上的校正，為精準降落的最後一個步驟。. 43. DOI:10.6814/NCCU202100033.

(48) 圖 4.9 利用 AprilTag 當作降落的目標標記表 4-2 為 10 次實驗的結果顯示，其中能觀察到最大的距離誤差為 27.5 公分，. 政治大. 最小距離誤差為 8.6 公分，平均距離誤差為 15.2 公分，花費的平均時間為 3 分. 立. 37 秒。實驗中使用的目標標記的大小為 40 cm x 40 cm，從實驗數據來看除了兩. ‧ 國. 學. 次實驗中偏差距離分別為 22.5 cm 和 27.5 cm，沒有精準的降落於目標標記平台上，大部分的降落位置都位於 40 cm x 40 cm 標記區域上。實際飛行中發生特徵. ‧. 點匹配失敗的情形，或是降落階段，將鏡頭往下俯視後找尋不到目標標記，皆會. y. Nat. io. sit. 導致失去位置判斷的依據，我們加入了錯誤回復的機制，所以需要花費額外時間. n. al. er. 執行位置上的調整。如圖 4.10 所示為透過辨識目標標記(AprilTag)作為降落的最. Ch. i Un. v. 後步驟的整體飛行軌跡圖，左圖為錯誤回復中的其中一種情形，當辨識出近程的. engchi. 地標建築物圖像後，相機鏡頭會向下找尋 AprilTag 作為精準降落的依據，當找尋失敗時就啟動錯誤回復的動作，先讓無人機慢慢上升高度，提昇高度的同時向下俯瞰的視野同時也會擴大，直到找到 AprilTag 後再重新執行降落。而圖 4.13 是成功識別出 AprilTag 的飛行軌跡，整體飛行的時間在 3 分 04 秒和 4 分 22 秒之間，平均時間為 3 分 37 秒，加入精準降落標記的步驟並無嚴重影響整體時間。. 44. DOI:10.6814/NCCU202100033.

(49) 表 4-2:根據視覺特徵點匹配導航後，經過 AprilTag 進行小幅度校正後降落，記錄與降落點的偏差距離與耗費時間降落點誤差距離. 整體飛行時間. 1. 22.5cm. 3m51s. 2. 14.3cm. 4m22s. 3. 8.6cm. 3m23s. 4. 15.4cm. 3m44s. 5. 12.5m. 3m50s. 6. 27.5cm. 3m32s. 19.4cm. 3m18s. 立. io. y 15.2cm. al. n. 標準差. 3m42s. sit. 平均值. 3m04s. 11.8cm. Nat. 10. 10cm. 3m25s. ‧. 9. 10cm. 5.8cm. Ch. engchi. 3m37s. er. 8. 學. ‧ 國. 7. 政治大. i Un. v. 20.68s. 圖 4.10 透過辨識目標標記(AprilTag)降落的飛行軌跡圖. 45. DOI:10.6814/NCCU202100033.

(50) 4.2.3. 多種視覺導航依據:ORB-SLAM 的錯誤回復機制. 在上述所提到的視覺導航方式，兩種視覺辨識階段皆利用特徵點匹配的方式，透過圖像特徵點的分佈位置來決定無人機的移動方向。在實驗中發現單純利用特徵點匹配的方式，在大多數的情形適用，但無人機在地標建築物輪廓較少的區域，例如光滑平坦的外牆，無法產生足夠的特徵點，如圖 4.14 所示。任務中利用視覺導航所預設的飛行路徑，根據不同距離設定的索引圖片會挑選能夠產生足夠特徵點的場景圖像，但飛行途中可能因為位置上的偏差導致無人機偏離，此時若相機的影像所看到的為圖 4.11 的畫面，可能會因為無法成功的匹配而失去移動的依據。為了解決上述的情形，需要使用另外一種視覺的定位方式，在許多研究中皆. 治政有利用多種感測器提供的資訊，來進行飛行導航的嘗試大，像是視覺傳感器、LIDAR、立 LASER、熱像傳感器等等，都能夠提供初步的檢測和測距，以掃描環境中的幾何 ‧ 國. 學. 形狀進行目標檢測，透過多種資訊來源讓整體行為更穩固。. ‧. 本小節提出第二種視覺上的導航方式，在執行任務中即時建立周遭環境的點. sit. y. Nat. 雲資訊，主要應用於飛行任務中提供對於前方物體在視覺特徵點上的資訊，透過. io. er. ORB-SLAM 估計自身的位姿，達到本地端的無人機位置校正。基於 ORB-SLAM. al. 視覺導航的應用上，根據載入的 3D 場景地圖，並將自身位置映射在地圖中，已. n. iv n C 經有一些研究將其運用在躲避障礙物[40]。大多數都在室內進行操作，應用於室 hengchi U 外的場景中容易受到光線或是空曠的環境影響下，導致操作困難。本實驗的場景為大樓建築物周圍，能夠成功建立環境地圖資訊，為無人機在地標建築物前建立其外觀的點雲資訊，當無人機經過特徵點匹配的結果移動後，鎖定位置向前的同時感測點雲的分佈位置。此階段利用 ORB-SLAM 當作降落的最後步驟，對降落點的標記識別失敗的情形，提供另一種視覺的導航的資訊，根據 ORB-SLAM 對於距離的估計值，在降落之前的導航階段感測無人機前方的物體、感測前方障礙的應用。. 46. DOI:10.6814/NCCU202100033.

(51) 利用 ORB-SLAM 感測前方物體的方式如圖 4.15 所示，當無人機接近大樓外牆附近，透過初始 ORB-SLAM 階段時，上升一段垂直運動來獲得 ORB-SLAM 坐標與現實坐標之間的比例估計值，由此估計值我們得到映射地圖中的實際距離，預先設定無人機與前方建築物的臨界距離，無人機在接近建築物階段一旦超過臨界距離。圖 4.12 中位於臨界距離內的點雲以紅色標示，當點雲超過一定的數量就停止前進的動作。藉由第二種的視覺導航方式，在接近目標降落點階段直到確定著陸之間，提供最後步驟確保任務的安全性也讓視覺導航的系統更加穩固。. 立. 政治大. ‧. ‧ 國. 學 y. Nat. n. al. er. io. sit. 圖 4.11 表面相對光滑平坦的牆面，特徵檢測上不容易提取出明顯的特徵點. Ch. engchi. i Un. v. 圖 4.12 ORB-SLAM 地圖映射於地標建築物，建立其點雲資訊. 47. DOI:10.6814/NCCU202100033.