2.1 特徵點線偵測及對應
2.1.1 Textured images 特徵點偵測
Cube0001 Cube0002 Cube0003
Cube0004 Cube0005
圖 2 Input：待建物之影像(concave box)
首先找出每張影像上的特徵點 (有紋路(texture)或有結構性(structure)的 point) ，本 論文使用 local intensity min/max 來偵測特徵點。
Cube0001 Cube0002 Cube0003
Cube0004 Cube0005
圖 3 待建物影像以及個別的特徵點
圖 3 中特徵點的擷取方式是以一點為中心的 11×11 的範圍中，若在此範圍中其他的 點的 intensity 皆比中心點的 intensity 大，則此中心點即為特徵點。
對應的方式是找離 epipolar line 較近的特徵點當特徵對應點，如果只用 2 張影像，
限制會不夠，因為 1 張影像上只有另 1 張影像畫過來的 epipolar line，這樣只能單純找到 離 epipolar line 近的點，但這些點很多。若使用 3 張影像，1 張影像上會有其他 2 張影像 畫過來的 epipolar lines，而這 2 條線通常會交於 1 點，這樣的話，只要找離此交點近的 點當特徵對應點就好了。
實際做法為將影像 i 的某特徵點 在影像 j, k 上各畫一條 epipolar line，分別為 與 ， 並在影像 j, k 中分別找出距離與 epipolar line 小於某門檻值的那些特徵點，並假設在影 像 j 上有nj個點離 很近，影像 k 上有nk個點離 很近。
將上述在影像 j 上的nj點取一點與在影像 k 上的n 點取一點，各畫一條 epipolar line 到影像 i 上，分別為 與 ，並算出 與 的交點，由於 有nj種情況， 有n 種情況，
所以會得到njn 個交點，這些交點與 的距離小於某個門檻值(因為最小值不一定會是正 確答案)，就可以找到在影像 j, k 上對應 的候選特徵點 及 。但往往不只一種情況。
為了解決這問題，將候選的 畫一條 epipolar line 到影像 k 上，候選的 畫一條 epipolar line 到影像 j 上，分別為 與 ，此時三張影像中，都離 epipolar line 交點最近 的點即為要找的特徵對應點。
Cube0004(影像 i) Cube0003(影像 j) Cube0005(影像 k)
圖 4 三張影像皆有的特徵對應點
圖 4 中紅點為 、藍點為 、綠點為 ，紅點在其他影像畫的 epipolar line 以紅線表 示，藍點在其他影像畫的 epipolar line 以藍線表示，綠點在其他影像畫的 epipolar line 以 綠線表示。若紅點與藍線和綠線的交點、藍點與紅線和綠線的交點與綠點與紅線和藍線 的交點皆很近的話，則此 3 點視為特徵對應點。
2.1.2 Structured images 特徵線偵測
至於 Structured images 特徵的偵測則是使用 canny edge detection。
原始影像 Canny edge segment map
圖 5 Canny edge segment map 而特徵線對應的方式，是參考[19]。
2.2 運用對應點或線產生世界座標的三維點或線
只要找出特徵對應點，就能得到這些對應點的三維座標。
由於相機已校正，所以投影矩陣已知，假設有 張影像，每張影像分別對應的 3×4 投影矩陣分別為 ，並設所有特徵對應點可以產生出 個 3D 點 。 設 為第 個 3D 點，投影到在第 張影像上的 2D 點，即 ，所以
為特徵對應點，其中 ，可以使用三角定位的公式計算出 第 組特徵對應點在世界座標下的三維座標。
找到特徵對應線 ( , 代表線方程式 )後，可以使用計算出這
些對應線在世界座標下線的參數式，而參數式是由線的方向向量及線上的某一點所組成 reference image 上畫格子，目的是希望一個格子能代表一個平面，但實際上這是不可能 的，因為這裡使用的是矩形格子，而欲求的目標平面往往是不規則的多邊形。
此外，格子的大小不好決定，格子不能太大，太大的話，一個格子會包含多個平面;
格子的也不能太小，太小的話，一個格子內所含的特徵點會太少。故要找到合適的格子，
是很困難的，故本論文在實作中，格子的大小可藉由調參數來改變。
Cube0004 (reference image)
14 18 16 14 15 21 24 15 16 19 20 20 0 11 13 1
(a) (b)
圖 6 對 reference image 畫格子及每個格子中的特徵點數
(a)對 reference image 畫格子。(b)算出每格子的特徵點數，以表格的形式表示，其中紅色 的數字代表目前此格子擁有最多特徵點。
畫完格子後，將每個格子個別視為目標平面，先從特徵點數最多的格子開始做，也 就是圖 6(b)中紅色的那格，原因是我們的目標只要從格子中取出 3 點，所以從越多點中 取 3 點，選到的 3 點共面的機會比較大。