3.2 地標建築物圖像特徵點匹配
3.2.1 SIFT+RANSAC(RANdom SAmple Consensus)
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 3.5 顯示懸停點垂直位於著陸點的頂部，通過在 z 軸上提供恆定的負速度 以逐漸降低高度，進行下降操作
3.2 地標建築物圖像特徵點匹配
3.2.1 SIFT+RANSAC(RANdom SAmple Consensus)
為了以視覺導航達到精準降落，初始化的第一步為使用指定位置，已事先存 儲的圖像檢查正確的地標建築物，針對目標識別的功能需求採用圖像特徵點匹配 技術。本研究將 OpenCV 庫中的 SIFT（尺度不變特徵變換）特徵檢測器用於我 們的功能組件，SIFT 特徵具有多個優點，其對於圖像縮放、平移和旋轉具有尺 度不變性，因此 SIFT 對於檢測區域中小部分幾何變形的處理上具有相當的穩定 性。此外當與其他類型的特徵點檢測器相比，發現基於 SIFT 的表現相較之下效 果較好[36]。但是在某些區域紋理相似或是沒有清楚輪廓結構的情況下，導致特 徵點的檢測受到影響，進而產生錯誤的匹配，為了減少此種情況發生，進一步使 用 SIFT+RANSAC(RANdom SAmple Consensus)[37]特徵點匹配技術，為了使特 徵點匹配更加穩固，利用 RANSAC 算法來提高匹配的精度，該算法利用匹配點 的空間關係消除錯誤匹配，以進行增強[38]。如圖 3.6 為特徵點匹配的示意圖，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
形，通過 RANSAC 進行了增強後，從而獲得了更好的匹配結果。 對於目標圖像 匹配的功能是為了完成精確著陸過程的地標識別步驟。
(a)
(b)
圖 3.6 RANSAC 改進 SIFT 特徵點匹配(a)未加入 RANSAC，紅色圓圈標示特 徵點匹配錯誤的部份(b)加入 RANSAC
3.2.2 目標影像特徵點匹配方式
一旦圖像匹配結果成功，即確認了地標建築物的位置，精確著陸的下一步就 是將無人機的方向對正於目標降落區域，且位在安全飛行路徑的對中位置，圖像 特徵點匹配功能也提供關於無人機位置的資訊。假設事先儲存了包含地標建築物 的安全飛行路徑圖像，則無人機根據當前所視的圖像和地標建築物索引圖像
（query image）之間匹配的關鍵點的位置，將指示無人機應該往哪個方向移動。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
像，稱為索引圖像(query image)用來當作判斷的基準圖像，右圖為當前無人機相 機畫面的影像，特徵點匹配的影像分成兩種，如圖 3.7 以架構圖顯示圖像匹配的 情況分類。第一種為一般對地標建築物辨識的情形，無人機當前畫面的中心與索 引圖像做特徵點匹配;第二種為對地標建築物辨識失敗的情形，將圖像切割為 4 個區塊個別做特徵點的匹配。綠色線段表示經過匹配後得到的匹配點，紅色區域 代表地標的目標區域影像，由匹配點的座標計算當前與目標區域的相對位置，根 據相對位置資訊進行無人機位姿的調整與校正，將無人機導向目標區域後降落。
通過正確的移動方向和移動距離，下一輪圖像匹配將成功地將飛行路徑圖像與無 人機相機圖像的中央區域進行匹配，無人機的運動調整是通過導航控制功能執行 的，這樣就完成了定向無人機以建立正確飛行路徑的步驟。
圖 3.7 對地標建築物進行特徵點匹配的架構圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
對於任務中所產生特徵點匹配成功或失敗的情形，判斷的條件利用匹配點的 數量以及連續匹配次數作為判定的決策。在實際測試中，第一個條件預先設定成 功匹配點的數量為 10 個匹配點，若小於 10 個匹配點的話即判定為失敗的情況。
在無人機移動中進行特徵點匹配的同時，根據判定匹配點的數量，決定匹配成功 與否，若連續 5 次匹配皆為失敗的結果，則判定當下特徵點的匹配為失敗的情 形，進行分割圖像匹配的方式。
橫向及縱向的移動會依據當前無人機相機影像與目標影像匹配得到的 X,Y 像素座標值，假設算出成功匹配的點有 n 個，記為(Xi, Yi)，其中 i = 1, 2, 3 …, n . 經由估計匹配的點(Xi, Yi)與目標點(tx,ty)像素座標的差，記為(Δx,Δy)，利用 (Δx,Δy)判斷無人機與目標降落區域的相對位置，預設目標降落區域的像素座標 區間記為[dx,dx']及[dy,dy']，此預設的像素座標區間根據第 3.1.2 小節所提到的安 全飛行路徑，以此為基準預設一個圖像區間，此圖像為校準圖像(alignment image)，
用來將無人機校準到安全飛行路徑中，而此圖像的像素值與比例值以安全飛行路 徑為基準來設定。如下無人機相對於目標區域位置的表示方式:
1. Δx < (tx - dx) ---向右邊移動 2. Δx > (tx + dx') ---像左邊移動 3. Δy < (ty - dy) ---向下方移動 4. Δy > (ty + dy') ---像上方移動
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(b)
圖 3.8 特徵點匹配示意圖分為兩階段：(a)第一階段為一般對地標建築物辨識的 情形，綠色框框表示無人機當前畫面的中心，(b)第二階段為對地標建築物辨
識失敗的情形，將圖像切割為 4 個區塊分別做特徵點的匹配來重新判斷相對 位置
3.2.3 特徵點匹配實際比對結果
從遠處慢慢接近大樓平台降落的過程中，無人機根據不同距離下的地標圖像 進行位置的調整，如圖 3.9 所示為實驗中對地標圖像進行辨識，其中顯示當前無 人機透過特徵點匹配的結果平移的方向。由圖中可以看到左圖為地標建築物的圖 像，右圖為當前無人機畫面的中心影像，根據兩張圖的特徵點匹配結果，在圖中 以綠色的線顯示為匹配到的特徵點，經由計算全部特徵點的 X,Y 像素座標值的 平均值，以地標建築物圖像上的某區域當作目標區域，利用圖像的一段像素區間 當作基準值，計算平均值與基準值之間的像素差，來判斷目前無人機與目標區域 的相對位置。在飛行中無人機會慢慢移動位置直到當前匹配到特徵點的平均值在 目標區域的基準值內，代表當前無人機位置鎖定於正確飛行路徑上。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(a)
(b)
(c)
圖 3.9(a)、(b)、(c)分別顯示遠、中、近距做特徵點匹配結果，根據目前位置 與校準圖像(紅色框框部份)的像素差，進行水平及垂直的移動 對於圖像特徵點匹配錯誤的情形，代表無人機當前相機中心所看到影像無法
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
的位置偏差過大，導致畫面中心嚴重偏離。此時圖像特徵點匹配的方式進入第二 種階段，在 3.2.2 小節中有講述特徵點匹配的兩種階段。如圖 3.10 所示為無人機 位置發生偏離的情況時相機的影像，此種錯誤回復的機制是應對無人機本身位置 受到干擾，而產生大幅度的偏差位移時，透過較為全域的地標建築物圖像當作基 準，對個別分割出的圖像進行特徵點匹配，根據分割後的圖像索引來判斷目前無 人機相對於目標區域的位置，之後進行相對應的導航控制。如圖 3.11 所示為匹 配錯誤的情況與經過分割圖像的判斷方式後逐漸校正位置至能夠成功匹配。上圖 為特徵點匹配失敗的情形，因為無人機的位置偏向畫面的左側，此時無人機相機 的中心畫面無法成功匹配，導致特徵點過少進入錯誤回復的機制，下圖經過了分 割圖像的校正方式後，將無人機位置導向目標區域。由圖 3.12 中顯示 index = 1 的圖像和 index = 3 的圖像能夠成功與地標圖像匹配，而 index = 0 與 index = 2 的 圖像無法正確匹配，代表目前無人機的位置偏向地標建築物的左側，左邊圖像不 是位於地標建築物的範圍中，所以此時導航控制依據該結果向右邊移動做校正。
圖 3.10 左圖為無人機位置發生偏離的情況時相機的影像，右圖將當前影像 分割成 2x2 圖像，分別標示索引值
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 3.11 上圖為匹配錯誤的情況，下圖顯示經過分割圖像的校正後，直到當 前畫面特徵點匹配成功，將無人機導向目標區域
(a)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(b)
圖 3.12 分割後圖像分別做特徵點匹配的結果:(a)索引值為 1 的分割後圖像，代表 右下方向,(b)索引值 3 的分割後圖像，代表右上方向