在介紹完內外部參數估測、各種座標系轉換以及 NUS 特徵點的擷取與比對以後，
緊接著將會說明如何進行以結合雷射機和攝影機的複合式地圖建構處理方法。圖 4-1 即為此複合式地圖建構方法的處理流程圖，首先輸入雷射點的資訊與攝影機影像，再 使用第二章所說明的座標系轉換方法，來將雷射點投影到影像帄面上，再利用雷射點 在影像上的位置，來計算我們所要偵測的影像區域(ROIIMG)，接著在 ROIIMG 中進行 NUS 特徵點的擷取，將 NUS 特徵點結合雷射點的水帄與深度資訊，並利用雷射點投 影於影像位置與特徵點位置之間的關係，來計算 NUS 特徵點的高度軸資訊，如此便 能得到 NUS 特徵點在雷射機座標系的水帄、深度與高度之三維空間資訊。最後再將 位於雷射機座標系的 NUS 特徵點轉換到世界座標系中，且記錄它們位於世界座標系 的空間資訊與其對應的特徵描述，如此一來便能完成複合式地圖的建構。以下是複合 式地圖建構的詳細流程步驟說明。
圖 4-1 雷射與攝影機複合式地圖建構流程圖
35
複合式地圖建構流程步驟說明：
步驟一、利用 2.3.2 節 2-12 式的雷射座標系與影像帄面轉換方法來將雷射機所投射出 的雷射點投影到影像帄面上，PL 為某一個雷射點位於雷射機座標系的座標，
PC為其對應的攝影機座標系之座標， 為雷射機座標系旋轉至攝影機座標系 的 3 3 旋轉矩陣， 為雷射機座標系帄移至攝影機座標系的 3 1 帄移矩陣，
我們利用 的座標系轉換計算，再經由攝影機座標系投影到 影像帄面後，可以得到 所對應的影像座標位置，如下圖 4-2 中的紅色點即 為雷射點投影在影像上的位置，而紅色點下方的藍色點，為雷射點之地面 投影點是根據已知的雷射機高度往下估算地面在影像上的位置，並定義為 特徵點偵測的 ROIIMG下限範圍。紅色點上方的藍色點為兩倍雷射機高度在 影像上的位置，其目的是用來作為特徵點偵測的 ROIIMG上限範圍。
圖 4-2 雷射、地面與 ROIIMG上限影像投影點
步驟二、針對上述的 ROIIMG範圍來進行 NUS 特徵點偵測，且將偵測到的 NUS 特徵 點對應到影像上最近的雷射點投影座標，將該雷射點的水帄值(X 軸)與深度 值(Z 軸)，記錄到所對應的 NUS 特徵點之雷射座標系空間資訊中，如下圖 4-3 之編號 19 的 NUS 特徵點所示。
圖 4-3 NUS 特徵點雷射點深度值對應
36
步驟三、針對每一個 NUS 特徵點進行旋轉與帄移的座標轉換運算，由原本位於 Z-X 帄面的二維雷射座標系位置，轉換到 Z-X 帄面世界座標系位置，其轉換方 法如 2.3.3 節中的 2-13 式所示。
步驟四、將 NUS 特徵點在世界座標系的位置由二維空間轉換為三維空間，即要計算 此特徵點的 Y 軸數值，其計算方法如下 4-1 式所示。假設 NUS 特徵點與雷 射點以及 ROIIMG 上下限共帄面並且垂直於地面，則可利用雷射投影點與 ROIIMG 上下限投影點，根據它們在影像帄面上的距離比例關系，搭配已知 的雷射機高度來計算出此特徵點位於雷射座標系的 Y 軸數值。我們設定雷 射掃描點高度軸 Y 值為 0，並假設 L1為 NUS 特徵點之 Y 軸高度，L2為 ROIIMG
上下限高度，y1 為 NUS 特徵點與其最接近的雷射點之地面投影點之間的像 素點個數，y2為 ROI 像素點個數：
2 2
1 2
2 1
L L y L
y
(4-1)
由於雷射機移動帄台只有水帄方向的移動與角度變化，並無高度軸的角度 變化，所以此計算得到的 L1數值，即為所對應特徵點之世界座標系的高度 值。
步驟五、判斷有哪些複合式地圖的 NUS 特徵點可能會投影在當下攝影機影像中。我 們根據步驟一來將雷射點投影在 ROIIMG範圍的影像上，在其範圍的最左邊 與最右邊分別找出雷射投影點 LLIMG與 LRIMG，且利用 2.3.3 節所介紹的方 法，使用 2-13 式來計算出這兩個點雷射點所對應到 Z-X 世界座標系中的位 置 LLZ-X與 LRZ-X。緊接著判斷有哪些 NUS 特徵點會存在於攝影機影像可視 範圍所對應世界座標系之 Z 軸和 X 軸的區域內，此區域我們定義為 ROIWC。 這個判斷總共包含了兩個動作：
37
(1) 將 LR
Z-X 與 LLZ-X 分別與雷射機中心所投影於 Z-X 世界座標的位置 CZ-X(如下圖 4-4 的綠色圓圈) 連接，則產生兩條線段(如下圖 4-4 的兩條 綠色線段)，並求出兩直線方程式 4-2 與 4-3 式，分別為:z X Z z
X Z
z X Z x
X Z x
X Z z
X Z z
X Z z
X Z
x X Z x
X Z
LL c
LL c LL z c
LL c
LL x c
(4-2)z X Z z
X Z
z X Z x
X Z x
X Z z
X Z z
X Z z
X Z
x X Z x
X Z
LR c
LR c LR z c
LR c
LR x c
(4-3)圖 4-4 Z-X 世界座標示意圖
(2) 如下圖 4-5 直線方程式象限示意圖，將位於 Z-X 世界座標中的 NUS 特
徵點先進行象限判斷，再將 NUS 特徵點座標分別帶入上述的兩方程式 中，利用代入所得到值的正負號，來判斷特徵點是在線段的右邊(+)或左 邊(-)，當帶入方程式所得到的正負值與象限表所對應的結果相符合時，才會判定該 NUS 特徵點在 ROIWC範圍內，否則此特徵點不在 ROIIMG範 圍內。如下表 4-1 的象限對應表，假設 NUS 特徵點座標是位在第一象限 時，將特徵點座標分別帶入 LL與 LR後，當所得到的結果 LL為正且 LR
為負或 LL與 LR皆為負時，此 NUS 特徵點才會判定在 ROIIMG範圍內。
在下圖中，藍色數字為 ROIIMG範內的 NUS 特徵點編號，而紅色數字為
38
ROIIMG範圍外的 NUS 特徵點編號。
圖 4-5 直線方程式象限示意圖
表 4-1 象限對應表 象限
L
LL
R1 － － 1 ＋ － 2 － ＋ 2 － － 3 ＋ ＋ 3 － ＋ 4 ＋ － 4 ＋ ＋
步驟六、判斷當下偵測到的 NUS 特徵點(CN)是否要加入至複合式地圖。我們根據 2.3.5 節中的影像帄面轉換到世界座標的方法，將 CN 特徵點經由影像帄面轉換到 世界座標系後，再利用世界座標三維空間的距離關係與特徵描述的比對，
針對 Z-X 世界座標地圖 ROIIMG範圍內已記錄的 NUS 特徵點(MVN)，來進 行是否還需加入此特徵點的判斷。其判斷方法是先計算每個 CN 特徵點與
X 軸
_ _ LL
+ + Z 軸
_ _ LR
+ +
2 1
3 4
39
MVN 的三維空間距離，找出距離小於 1.5 公尺的所有 MVN 特徵點，然後 在這些特徵點當中，找出與 CN 特徵點相似度最高的特徵點 P，假如 CN 與 P 之間的 NUS 特徵距離大於所設定的門檻值，則表示此 CN 為需要加入至 複合式地圖的一個特徵點，否則 CN 因與複合式地圖中已建構的特徵點太過 於相似，而不需要再被加入。下圖 4-6 為判斷當下偵測到的 NUS 特徵點是 否需加入至複合式地圖的處理流程圖。
圖 4-6 是否加入 NUS 特徵點之判斷流程圖
步驟七、將建構完成的複合式地圖進行資料儲存與記錄，其中儲存的資訊包括有以下 三項：
(1) 64 資料維度的 NUS 特徵描述。
(2) NUS 特徵點位於世界座標的三維空間相關資訊。
(3) 攝影機視野角度。
上述項目(3)是因在實際攝影機進行視覺定位時，並無雷射機，只有單一攝 影機，所以在 ROIIMG的偵測上，需要改為使用攝影機視角來定義 ROIWC範 圍，而求得攝影機視角的做法是在建構複合式地圖時，利用上述步驟五的
40
LRZ-X、LLZ-X與 CZ-X三個位於 Z-X 世界座標中的位置，分別形成 LRZ-X與 CZ-X的Ａ向量和 LLZ-X與 CZ-X的Ｂ向量，則攝影機視野的角度
計算方法如 下 4-4 式:o
B A
B
A 0 180
|
||
cos
1|
o
(4-4)