以影像辨識導引UAV 飛行之研究

行政院國家科學委員會補助專題研究計畫

█ 成 果 報 告

□期中進度報告

（計畫名稱）以影像辨識導引 UAV 飛行之研究

計畫類別：□ 個別型計畫

█ 整合型計畫

計畫編號：NSC

96－2221－E－006－039

執行期間：

86 年

8 月

1 日至

87 年 7 月 31 日

計畫主持人：陳世雄

共同主持人：張學斌 蕭飛賓 陳世雄

計畫參與人員：容丕達 楊一信

成果報告類型(依經費核定清單規定繳交)：█精簡報告

□完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查詢

執行單位：國立成功大學航學太空工程研究所

中

華

民

國

87 年

9 月

31 日

行政院國家科學委員會專題研究計畫成果報告

以影像辨識導引 UAV 飛行之研究

The Study of UAV Guidance using Image Recognition

計畫編號：NSC 96-2221-E-006-039

執行期限：86 年 8 月 1 日至 87 年 7 月 31 日

主持人：陳世雄

國立成功大學航空太空工程研究所

計畫參與人員：容丕達﹑楊一信

國立成功大學航空太空工程研究所

一、中文摘要 本研究計畫目標為發展無人飛行載具所使用之影像導引系統，通過機上攝影機尋 找及辨識一個已知顏色及形狀的任務目標，再導引無人飛行載具自動飛向該任務目標。 影像導引系統包含影像辨識及自動導引兩個子系統，影像辨識使用 HSV 色彩空間及不 變矩進行目標辨認，當任務目標被識別後，自動導引系統根據影像平面所獲得之資訊以 擴充卡爾曼濾波器估測無人飛行載具與目標間之相對位置及飛行姿態，再通過比例控制 導引無人飛行載具作自動導引飛行。飛行模擬及飛行實驗証明影像導引系統能有效運 作。 關鍵詞：無人飛行載具、影像辨識、自動導引 Abstract

The objective of this research project is to develop a vision guidance system for unmanned aerial vehicle (UAV). The mission objective with known color and shape is searched and identified by onboard camera. The UAV is then guided towards the mission objective. The vision guidance system is composed of image recognition subsystem and autonomous guidance subsystem. Image recognition subsystem utilized HSV color space and moment invariants to identify the mission objective. After the mission objective has been identified, the autonomous guidance subsystem utilized Extended Kalman Filter to estimate the relative positions and altitudes of the UAV. The UAV is controlled by proportional controller. Flight simulations and flight tests prove that the vision guidance system is effective.

Keywords: UAV, image recognition, autonomous guidance 二、研究目的 自從人類發明飛行器後，視覺就一直是飛行員駕駛飛行器時所最依賴的感官。飛行 員可以通過以肉眼尋找目標物而得知飛行器與目標物的相對位置，又可以通過以肉眼觀 察地平線而得知飛行器的姿態。人類在航空史上的多種航空儀器，其中大部份可以視為 飛行員視覺的延伸，例如無線電導航可以讓飛行員得知飛行器與視距外目標物的相對位 置，人工地平儀可以讓飛行員在無法目視地平線時得知地平線的狀態。 無人飛行載具與有人飛行載具相比較，具有體積較小、重量較輕、成本較低等特 點，此外由於沒有飛行員在載具上，所以適合執行高風險任務。無人飛行載具的操作一 般由地面站進行遙控或由自動駕駛進行控制，其中全球定位系統(Global Positioning

System，簡稱 GPS)及慣性導航系統(Inertia Navigation System，簡稱 INS)是目前無 人飛行載具進行自動飛行所主要使用的兩種感測器。這兩種感測器都與影像資訊無關， 因此目前無人飛行載具的自動飛行並非依賴視覺為主。若無人飛行載具需要進行收集外 界影像資訊的任務，需要額外掛載攝影機，攝影機是目前無人飛行載具最常見的酬載之 一，但攝影機所提供的影像資訊甚少直接使用於自動飛行。人類飛行員可以只依賴視覺 進行目視飛行，因此無人飛行載具也應該可以以類似方式進行自動飛行，而攝影機又已 經是無人飛行載具上最常見的酬載，所以本研究計畫的目的在於發展只使用影像資訊進 行無人飛行載具自動飛行的影像導引系統。 另外使用 GPS 或 INS 進行自動飛行需要事先得知目標之正確座標位置，GPS 或 INS 無法在飛行中收集外界環境的資訊，若目標物的位置無法事先得知或目標物會移動，GPS 或 INS 無法自動偵察目標並找出座標位置。但若以影像資訊進行自動飛行，若目標物的 外觀或顏色為已知，就可以通過比對飛行中所拍得之影像，尋找目標物之位置並導引飛 行。影像系統也能與 GPS 或 INS 整合，例如以 GPS 導引無人飛行載具飛至目標物可能所 在之區域，再由影像系統尋找目標物之確切位置並作終端導引。 本研究計畫為為期三年的研究計畫之第二年，第一年己完成影像辨識系統的設計， 並完成影像辨識系統的空中及地面實驗。第二年已完成影像導引系統的設計，並完成影 像導引系統的飛行模擬及空中測試。第三年預計整合全球定位系統及影像導引自動駕駛 系統，進行全球定位系統導引無人飛行載具至目標區，再由影像導引作終端導引之實驗。 三、文獻探討 視覺影像應用於無人飛行載具上己經有不少研究，其中因為無人旋翼機在停懸時更 容易拍得穩定影像之特性，較適合使用影像系統，因此已經有大量的研究是以無人旋翼 機作為開發平台，如在[1,2,3]中，影像系統用於偵察一個具I型圖案的特定停機坪，影像 系統使用不變矩偵測I型停機坪圖案，旋翼機對停機坪的平移及旋轉量會被計算出並用 以導引無人旋翼機自動降落。在[4,5]的研究中，攝影機裝設於Yamaha R-Max RPH無人 旋翼機上，其任務為Association for Unmanned Vehicle Systems International (AUVSI) 所舉辦之無人飛行載具比賽之課題，其影像系統需進行圖案比對找出特定建築物，再使 用窗戶邊緣偵測之運算決定該建築物窗戶之位置。 影像系統應用於無人定型機上之研究相對來說較無人旋翼機少，在[6,7]中，影像 系統用於偵測地平線並推算無人飛行載具的姿態，此系統用以取代陀螺儀以減少微型無 人飛行載具的負載，偵測地平線的方法為由學習樣本中決定分割天空及地面像素樣本的 臨界值，再從中求得無人飛行載具之滾轉角，但是無人飛行載具之俯仰角並非影響地平 線於影像平面之位置唯一因素，因此此系統無法求得無人飛行載具之俯仰角，故在縱向 飛行控制上尚需其他儀器之輔助。在[8,9]中，影像系統用於偵測一個窗戶並導引無人 滑翔機自行飛行穿越，由影像平面中所取得的窗戶位置、面積及滾轉角等資訊，經卡文 濾波器估測無人滑翔機之飛行狀態，用於自動飛行，但此系統在縱向狀態估測上忽略高 度差，因此不適用於無人飛行載具與目標物間具有一定高度差之狀況。 本研究群在相關領域的研究成果，包括全球定位系統導引無人飛行載具之設計[10] 及飛行實驗[11]，成功以單一全球定位系統導引無人飛行載具作多導航點間之自動飛 行，本研究計劃所使用之飛行模擬工具及飛行實驗平台為由此套無人飛行載具多導航點 飛行系統所發展出來，另外本研究群尚有全球定位系統導引炸彈飛行控制[12]及垂直起 降無人飛行載具設計[13]之研究。

四、影像辨認系統 影像辨認系統在應用上主要針對建築物或車輛等結構性目標，此類目標在影像平面 所形成之二維投影，影像辨認系統使用不變矩作為判別物件形狀的特徵，並採用 HSV 色 彩空間描述物件顏色的特徵。 本研究所使用之攝影機所拍得之影像為 320×240 解析度, 24 位元之 RGB 彩色影像， 由於 RGB 色彩空間無法直接與人類平常描述顏色之方式連結，因此先轉換成 HSV 色彩空 間，再由影像辨認系統對所拍得之影像之所有像素與已知目標顏色的色相(Hue)、飽和 度(Saturation)及明度(Value)範圍比較，過濾掉顏色不符合的像素。當符合目標物顏 色的像素被分離出來後，需先通過連接物件標記法(Connected Component Labeling)將 互相連結的獨立像素標記為同一物件。本研究使用 Rosenfeld 與 Pfaltz[14]所提出之兩 次 掃 描 連 接 物 件 標 記 法 。 當 各 連 接 物 件 標 記 後 ， 就 可 以 計 算 其 不 變 矩 (Moment Invariant)，不變矩是由 Hu[15]所提出，用以描述物體形狀，不受影像縮放、平移及旋 轉所影響，通過計算各符合目標物顏色之物件之不變矩，再與已知目標物之不變矩作比 較，其結果最接近之一組會被影像系統認定為目標物，其位置及面積等資訊會被記錄下 來供自動導引系統之用。 五、自動導引系統 當目標物被影像辨認系統辨認後，目標物在影像平面的位置及面積可以直接取得並 用以估算無人飛行載具與目標物間之相對距離及偏移量。由於大部份結構性目標均為水 平設置於地面上，因此由影像平面觀察得之目標物旋轉角度與無人飛行載具之滾轉角有 關，在[8，9]的研究中，以偵察窗戶的四個角落求取目標物之旋轉角，但此法一方面不 適用於矩形以外形狀之目標，另一方面角落之位置易受雜訊影響，本研究計劃所採用之 方法發展自 Signature Analysis Method，使用可調整大小的格線分割目標物（圖 1）， 再針對所切割之面積計算旋轉角： 當 ip A₁ > ip A₂ , ) ) ( ( 3 ( cos 1 2 1 4 3 3 1 1 ip x ip x ip y ip ip ip y ip x t w w w A A w w        ₍₁₎ 當 ip A₁ < ip A₂ , ) )) ( ( 3 ( cos 1 2 1 4 3 3 1 1 ip x ip x ip y ip ip ip y ip x t w w w A A w w       ₍₂₎ 由影像平面獲得之目標物位置、面積與旋轉角等資訊與無人飛行載具飛行狀態變數 之關係式即為觀察方程式: ) ( 1 k oc k k k unroll d h f x    (3) ) ( 2 k k k k unroll d e f y   (4) 2 2 2 1 ) (cos _oc k cc t k ip t d A f f A   (5) k k t   (6)

圖 1 目標物旋轉角偵測 無人飛行載具之飛行力學模組可以簡化為九個方程式： t V d d_k  _k1_Tk1 (7) t g V t g V V k k T k k T k T             1 1 1 1 sin (8) t t Q c Q Q trim elev elev elev k Q k k  1 1 (  ) (9) t Q_k k k     _1 _1 (10) t V h t V h h k k T t k k k T t k k               1 1 1 1sin (11) t P P trim ail ail ail k k  1 (  ) (12) t Pk k k     _1 _1 (13) t V g t V g k T k k k T k k k k                    1 1 1 1 1 1 1 cos tan (14) t V e ek k1Tk1k1 (15) 以上觀察方程式及簡化飛行力學模組被使用於擴充卡爾曼濾波器，用以估測無人飛 行載具之飛行姿態及與目標間之相對位置。自動導引系統再根據所估測得之資訊導引無 人飛行載具航向目標，在橫向控制方面，所需要修正之航向角為： ) ( ˆ tan ) ( ˆ sin ) ( ) ( ˆ tan ) ( ˆ ) ( ˆ cos ) ( ) ( ˆ tan 1                  k k k k k k k k command d e d e   (16) 而達成此修正航向角之滾轉角為：

)) ( ( ) ( ˆ         command k k T command t g V  (17) 橫向比例控制器之方程式為： )) ( ˆ ( 1     command k command ail K  (18) 在縱向控制方面，所需要修正之俯仰角為： ) ( ˆ ) ( ˆ tan 1       k k command d h (19) 縱向比例控制器之方程式為： )) ( ˆ ( 2     _{command k} command elev K  (20) 圖(2)顯示了整個影像導引系統之工作架構。 圖(2) 影像導引系統方塊圖 六、飛行模擬與飛行實驗結果 在[10,11]中發展的飛行模擬工具被用以測試影像導引系統，該飛行模擬工具使用 [16]中之飛行力學模組，並加入單孔照相機模組[17]處理影像平面資訊，後再以 Runge －Kutta Algorithm 進行積分，飛行模擬測試為無人飛行載具自距目標物 500 呎啟動， 而目標物偏離 50 呎，影像平面資訊並加入雜訊，另外在 2.0 秒至 2.8 秒間強制影像導

引系統失去目標，以測試影像導引系統在短暫失去目標後之回復能力，此飛行模擬之上 視圖及側視圖可見圖(3)及圖(4)，由圖中可見無人飛行載具被導引往目標並且未受短暫 失去目標嚴重影響，影像導引系統所估計的與高度差與横移量可見圖(5)及圖(6)，由圖 中可見兩者收歛的速度都十分迅速。 0 100 200 300 400 500 600 -300 -200 -100 0 100 200 300 East Axis (Feet)

N or th A xi s (F ee t)

UAV Flight Path Target 圖(3) 飛行模擬路徑上視圖 0 100 200 300 400 500 600 0 100 200 300 400 500 600 North Axis (Feet)

A lt it ud e (F ee t)

UAV Flight Path Target

-20 0 20 40 60 80 100 0 0.4 0.8 1.2 1.6 2 2.4 2.8 3.2 3.6 4 4.4 4.8 5.2 5.6 6 6.4 6.8 7.2 7.6 8 Time (Seconds) A lt it ud e (F ee t)

Estimated Relative Altitude True Relative Altitude

圖(5) 飛行模擬中高度差之估計值與真實值 -100 -80 -60 -40 -20 0 20 40 60 80 100 0 0.4 0.8 1.2 1.6 2 2.4 2.8 3.2 3.6 4 4.4 4.8 5.2 5.6 6 6.4 6.8 7.2 7.6 8 Time (Seconds) R el at iv e L at er al D is pl ac em en t (F ee t)

Estimated Relative Lateral Displacement True Relative Lateral Displacement

圖(6) 飛行模擬中橫移量之估計值與真實值

空中實驗使用之載具為 Senior Telemaster(圖 7)，搭載 Logitec CMOS 攝影機及 Kontron 的 speedMOPSlcdPM PC-104 CPU 模組，其作業系統為 Window XP，影像辨認程 式以 Visual C++自行撰寫，並使用 VideoOCX 函數庫輔助影像擷取及影像處理，任務目 標物為 1.8 公尺×5.4 公尺大小之布旗，其上印有紅色十字(圖 8)。

圖(7) 空中實驗載具 圖(8) 任務目標物 圖 9 顯示其中一次飛行實驗中影像導引系統辨認目標及導引無人飛行載具之飛行過 程，可見目標被辨認後，無人飛行載具被控制向著目標飛行，並在撞上目標前切回手動 控制由操作員帶離目標以免墮機，圖 10 顯示了飛行實驗中影像導引系統的運算時間， 可見運算時間大部份處於 0.2 秒至 0.4 秒間，圖 11 顯示了飛行實驗中影像導引系統所 估測的相對位置，可見隨著無人飛行載具接近目標，無人飛行載具保持對準目標。

Cycle 1 Cycle 2

Cycle 3 Cycle 4

Cycle 5 Cycle 6

Cycle 7 Cycle 8

Cycle 9 Cycle 10

Cycle 11 Cycle 12

Cycle 13 Cycle 14

Cycle 15

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Vision Guidance Cycles

T im e (S ec on ds )

State Estimation and Flight Control Shape Matching

Area Filtering

Connected Component Labeling Color Filtering

Color Space Transformation Image Capturing 圖(10) 飛行實驗中影像導引系統之運算時間 -750 -500 -250 0 250 500 750 1.613 1.893 2.214 2.504 2.814 3.115 3.435 3.716 4.066 4.337 4.837 5.288 5.578 5.909 6.219 Time (Seconds) D is ta nc e (F ee t)

Estimated Distance from Target Estimated Relative Altitude

Estimated Relative Lateral Displacement

七、結論及計劃成果自評 本研究計劃預期完成之工作項目包括影像導引系統之設計、飛行模擬之測試、空 中實驗平台之架設及空中實驗，以上工作在本年度己全部完成。影像導引系統結合影像 辨識及自動導引，經飛行模擬及空中實驗測試能夠成功導引無人飛行載具飛向目標，而 且在受照相機雜訊等變動因素影響下仍能辨認目標物，實驗用硬體之設置及軟體之撰寫 均完成，空中實驗平台具有成本低之優點且其實際運算速度在可接受之範圍內。本研究 計劃所完成之影像導引系統可供導引無人飛行載具所用，而且在整合全球定位系統後適 合於視距外飛行自動搜尋未知座標位置之目標。 八、參考文獻

[1] Saripalli S., Montgomery J. F., Sukhatme G. S., “Vision-based Autonomous Landing of an Unmanned Aerial Vehicle”, Proceedings of IEEE International Conference on Robotics and Automation, Washington D.C., USA, 2002.

[2] Saripalli S., “Visually Guided Landing of an Unmanned Aerial Vehicle”, IEEE Transactions on Robotics and

Automation, Vol. 19, No. 3, 2003.

[3] Saripalli S., Sukhatme G. S., “Landing on a Moving Target using an Autonomous Helicopter”, Proceedings

of the International Conference on Field and Service Robotics, Mt Fuji, Japan, 2003.

[4] Johnson E. N., Proctor A. A., Ha J., Tannenbaum A. R., “Visual Search Automation for Unmanned Aerial Vehicles”, IEEE Transactions on aerospace and electronics systems Vol. 41 No.1, 2005.

[5] Johnson E. N., Schrage D. P., “The Georgia Tech Unmanned Aerial Research Vehicle: GTMax”, AIAA

Guidance, Navigation and Control Conference, Austin, USA, 2003.

[6] Ettinger S. M., Nechyba M. C., Ifju P. G., Waszak M., “Vision-Guided Flight Stability and Control for Micro Air Vehicles”, Proceedings of the 2002 IEEE/RSJ International. Conference on Intelligent Robots and Systems

EPFL, Lausanne, Switzerland, 2002.

[7] Kehoe J. J., Causey R., Abdulrahim M., Lind R., “Waypoint Navigation for a Micro Air Vehicle using Vision-Based Attitude Estimation”, Proceedings of the 2005 AIAA Guidance, Navigation, and Control

Conference, San Francisco, USA, 2005.

[8] Wagter C. D., Proctor A. A., Johnson E. N., “Vision-only Aircraft Flight Control”, AIAA Digital Avionics

Conference, Indianapolis, USA, 2003.

[9] Proctor A. A., Johnson E. N., “Vision-only Aircraft Flight Control Methods and Test Results”, AIAA

Guidance, Navigation, and Control Conference and Exhibit, Providence, Rhode Island, 2004.

[10] 容丕達,“無人載具利用 GPS 信號作自動飛行的探討”,國立成功大學碩士論文, 1998 [11] 陳卓歆,“利用 GPS 導航的無人飛機之系統設計與測試”,國立成功大學碩士論文, 2000 [12] 戴銘伸,“GPS 導引炸彈之飛行模擬與模型測試”,國立成功大學碩士論文, 1999

[13] 楊一信,“電池驅動導管風扇式無人旋翼機概念設計之研究”,國立成功大學碩士論文, 2003

[14] Rosenfeld A., Pfaltz J. L., “Sequential Operations in Digital Picture Processing”, Journal of the Association

for Computing Machinery, Vol. 13, pp. 471-494, 1966.

[15] Hu M.K.,“Visual Pattern Recognition by Moment Invariants”,IRE Trans. Info. Theory, vol. IT-8,

pp.179-187, 1962.

[16] Heikkilä,J.,Silvén,O.,“A Four-step CameraCalibration Procedurewith ImplicitImageCorrection”,

Proceedings of IEEE Computer Vision and Pattern Recognition, Puerto Rico, 1997, pp. 1106-1112.

[17] Stevens, B. L., Lewis, F. L., Aircraft Control and Simulation 1st edition, John Wiley & Sons, Inc., New York, USA, 1992.