(5) 對 MST 做分群(Clustering)，求各群 Covariance matrix 橢圓體之 eigen values 及
eigen vectors
(6) 對各群橢圓體細切，得到初解的改進(refinement)，直至橢圓體退化(至少一個 eigen value 為 0)。
(7) 啟用 Golden section search(GSS)搜尋相機外部參數的最佳解：(a)轉換 5D Camera parameter space 為 3D Rotation space 與 2D translation space，(b)進而 再用橢圓體eigen values 及 eignen vectors 定義三個參數空間:1D rotation eigenspace +2D rotation space +2D translation space，(c)使用 Golden section line search 連環搜尋相機外部參數的最佳解
images 1&2 LMedS 初
始解 38.2864 100.2244 -46.0169 84.3109 295.692 0.9855 GSS
最佳解 39.2183 100.9556 -46.4845 83.6060 296.0525 0.1874 images 1&5 LMedS 初
始解 55.0596 107.669 -126.655 60.1518 288.0642 1.2168 GSS
最佳解 55.1266 107.7122 -127.030 60.2959 288.0786 0.1760 images 2&3 LMedS 初
始解 44.6601 201.9872 134.9887 54.4521 31.6166 1.0863 GSS
始解 GSS
最佳解 23.2190 230.4899 153.5184 85.6849 78.3466 0.1788 images 3&6 LMedS 初
始解 23.4036 84.2441 -40.3432 111.7226 255.424 0.9571 GSS
最佳解 23.9809 83.8335 -39.7031 110.6983 255.0623 0.1509 images 3&9 LMedS 初
始解 21.2621 334.1008 15.2508 121.711 122.4845 2.1264 GSS
最佳解 20.6616 335.5764 13.3178 124.0658 123.3376 0.1844 images 4&5 LMedS 初
始解 50.7671 175.404 175.6947 104.7785 345.0398 0.7278 GSS
最佳解 49.4274 175.3367 175.4890 106.6220 344.7247 0.1408 images 5&7 LMedS 初
始解 26.9264 24.9996 44.651 64.3934 179.5356 0.634 GSS
最佳解 29.4911 22.8110 46.7993 63.8623 179.4504 0.1219 images 8&9 LMedS 初
始解 24.1242 271.1531 57.578 81.6355 82.4884 0.7026 GSS
最佳解 24.3687 270.8690 57.8441 81.0953 82.2922 0.1787 表5.4 全雜訊實驗(加入 3σ = 0.5%的雜訊)初始解及最佳解的誤差值紀錄
圖5.8 為表 5.4 的示意圖(x 軸為實驗編號，y 軸為誤差值)
images
全雜訊實驗重建3D
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
0 2 4 6 8 10
實驗1~9(noise=0.5%)
和原3D對應邊長差的絕對值平均(cm)
LMedS初始解 初步改進的解 最佳解
圖5.9 全雜訊實驗(加入 3σ = 0.5%的雜訊)重建 3D 後的 9 個邊長長度和原 3D 對 應邊長相差絕對值的平均(cm)
全雜訊實驗重建3D
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
0 2 4 6 8 10
實驗1~9(noise =0.5%)
和原3D對應邊長差的絕對值標準差
LMedS初始解 初步改進的解 最佳解
圖5.10 全雜訊實驗(加入 3σ = 0.5%的雜訊)重建 3D 後的 9 個邊長長度和原 3D 對 應邊長相差絕對值的標準差
全雜訊實驗重建3D
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5
0 2 4 6 8 10
實驗1~9(noise =0.5%)
和原3D對應角度差的絕對值平均(度)
LMedS初始解 初步改進的解 最佳解
圖5.11 全雜訊實驗(加入 3σ = 0.5%的雜訊)重建 3D 後的 12 個角度和原 3D 對應 角度相差絕對值的平均(度)
全雜訊實驗重建3D
0 0.5 1 1.5 2 2.5 3
0 2 4 6 8 10
實驗1~9(noise =0.5%)
和原3D對應角度差的絕對值標準差
LMedS初始解 初步改進的解 最佳解
圖5.12 全雜訊實驗(加入 3σ = 0.5%的雜訊)重建 3D 後的 12 個角度和原 3D 對應 角度相差絕對值的標準差
經過整理後，實驗 10~18(加入 3σ = 1.5%的雜訊)結果如下： images 1&2 LMedS
初始解 41.0432 101.7433 -47.2284 81.785 296.2667 1.0749 GSS
最佳解 39.4415 100.9974 -46.4480 83.0086 296.0619 0.1994 images 1&5 LMedS
初始解 51.2554 107.7762 -126.361 62.4283 288.239 1.6363 GSS
最佳解 54.9703 107.6817 -126.880
0 60.3850 288.0678 0.2104 images 2&3 LMedS
初始解 41.2275 201.5958 135.7413 55.8447 31.9223 1.352 GSS
最佳解 45.0535 202.4387 134.7242 54.6929 32.0760 0.2156 images 2&6 LMedS
初始解 23.6099 230.5039 153.6107 86.4122 77.854 0.7372 GSS
最佳解 23.4910 231.2050 153.1529 85.7900 78.6748 0.1701 images 3&6 LMedS
初始解 22.735 84.8957 -40.7925 114.0863 256.1069 1.2496 GSS
最佳解 23.1840 84.5221 -40.4231 112.8761 255.7375 0.1818 images 3&9 LMedS
初始解 19.8453 336.0125 12.451 127.1133 122.129 1.729 GSS
最佳解 20.3443 335.3311 13.4176 125.2439 122.1438 0.1864 images 4&5 LMedS
初始解 51.1639 175.2506 176.2544 104.8038 344.8208 2.7045 GSS
最佳解 48.0320 175.6700 174.7078 108.4851 344.9274 0.2991
GSS
最佳解 25.1409 45.0247 63.7385 179.0033 0.2449 0.2449 images 8&9 LMedS
初始解 23.6418 272.5348 56.269 82.6988 83.6064 1.7475 GSS
最佳解 24.1071 270.7522 58.0512 81.6361 82.0561 0.1962 表5.6 全雜訊實驗(加入 3σ = 1.5%的雜訊)初始解及最佳解的誤差值紀錄
全雜訊實驗各階段解的誤差值
0 0.5 1 1.5 2 2.5 3 3.5
10 11 12 13 14 15 16 17 18 19
實驗10~18(noise =1.5%)
誤差值median error(pixels)
LMedS初始解 初步改進的解 最佳解
圖5.13 為表 5.6 的示意圖(x 軸為實驗編號，y 軸為 median error)
重建3D 的結果如下：
5&7 初始解 GSS
最佳解 0.2059 0.1663 1.9915 1.3399 images
8&9
LMedS
初始解 0.1673 0.1639 0.805 0.6204 GSS
最佳解 0.1116 0.094 0.5699 0.3969 表5.7 全雜訊實驗(加入 3σ = 1.5%的雜訊)初始解及最佳解重建的 3D 和 ground
truth 的比較結果
全雜訊實驗重建3D
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8
10 11 12 13 14 15 16 17 18 19
實驗10~18(noise =1.5%)
和原3D對應邊長差的絕對值平均(cm)
LMedS初始解 初步改進的解 最佳解
圖5.14 全雜訊實驗(加入 3σ = 1.5%的雜訊)重建 3D 後的 9 個邊長長度和原 3D 對 應邊長相差絕對值的平均(cm)
全雜訊實驗重建3D
0 0.2 0.4 0.6 0.8 1 1.2 1.4
10 11 12 13 14 15 16 17 18 19
實驗10~18(noise =1.5%)
和原3D對應邊長差的絕對值標準差
LMedS初始解 初步改進的解 最佳解
圖5.15 全雜訊實驗(加入 3σ = 1.5%的雜訊)重建 3D 後的 9 個邊長長度和原 3D 對 應邊長相差絕對值的標準差
全雜訊實驗重建3D
0 1 2 3 4 5 6 7
10 11 12 13 14 15 16 17 18 19
實驗10~18(noise =1.5%)
和原3D對應角度差的絕對值平均(度)
LMedS初始解 初步改進的解 最佳解
圖5.16 全雜訊實驗(加入 3σ = 1.5%的雜訊)重建 3D 後的 12 個角度和原 3D 對應
全雜訊實驗重建3D
0 1 2 3 4 5 6
10 11 12 13 14 15 16 17 18 19
實驗10~18(noise =1.5%)
和原3D對應角度差的絕對值標準差
LMedS初始解 初步改進的解 最佳解
圖5.17 全雜訊實驗(加入 3σ = 1.5%的雜訊)重建 3D 後的 12 個角度和原 3D 對應 角度相差絕對值的標準差
由以上實驗圖表，可看出解的改進，其中用GSS 為基礎的 5D 最佳解搜尋法所找 出來的最佳解，誤差值已經達到一個很小的結果且比其它解好，同樣，觀察以最 佳解重建的3D 模型和原來 ground truth 的差異(邊長、角度)比其它解小且就絕對 數值而言也已改進到夠小的程度，可間接給我們的方法提出有力的支持。
5.3 實際影像實驗 實驗的主要步驟如下：
(1) 以人工方式取出 19 個對應點(以後可用自動化方法取點)。
(2) 在 19 組對應點中隨機選取 10 組對應點來計算出外部參數解，以 LMedS 的方 法產生4000 組相機外部參數解當作初解。
(3) 分析有前 50 個最小誤差值的解，建立其 Minimum Spanning Tree(MST) (4) 對 MST 做分群(Clustering)，求各群 Covariance matrix 橢圓體之 eigen values 及
eigen vectors
(5) 對各群橢圓體細切，得到初解的改進(refinement)，直至橢圓體退化(至少一個 eigen value 為 0)。
(6) 啟用 Golden section search(GSS)搜尋相機外部參數的最佳解：(a)轉換 5D Camera parameter space 為 3D Rotation space 與 2D translation space，(b)進而 再用橢圓體eigen values 及 eignen vectors 定義三個參數空間:1D rotation eigenspace +2D rotation space +2D translation space，(c)使用 Golden section line search 連環搜尋相機外部參數的最佳解。
(7) 以找到的最佳外部參數解重新建立 3D 點，計算重建 3D 後 cube 的邊長長度 和ground truth 對應邊長差的絕對值的平均及標準。
詳細過程如下：
輸入兩張解析度為1024x768 的影像 View1 及 View2，影像中各有 19 點特徵對應 點，如下圖所示。
View 1 View 2 以此19 點經過 data condtioning 所求出來的 R、T
ψR θR ωR ψT θT error
18.8942 7.7283 0.0052 78.5448 185.1759 64.49 利用LMEDS 計算後的最佳解資料如下：
ψR θR ωR ψT θT median err
17.8326 5.5213 2.4986 86.2127 185.6445 1.5533
LMEDS 初始解的最小值為 1.5533，對這 50 點進行細切割，先分別對 R, T 進行 計算橢圓體的長短軸相關資訊。如下所示：
R ψR θR ωR
mean 18.3419 5.1641 2.8716 eigenvalue 0.6297 0.3344 0.0747
軸1 軸2 軸3 eigenvector -0.967 -0.2548 -0.0031
0.1765 -0.6784 0.7132 -0.1838 0.6892 0.7009
T ψT θT
mean 85.2829 185.3607 eigenvalue 1.1875 0.2276
軸1 軸2
eigenvector -1 0.0079
0.0079 1
R 橢圓體最長軸的半長 = Cmax eigenvaluemax
= 3.5165 取最大切割單位 = ( 2 / 3 * half of 最長軸 * 1/2 ) = 1.1722 T 橢圓最長軸的半長 = Cmax eigenvaluemax
= 4.1492
取最大切割單位 = ( 2 / 3 * half of 最長軸 * 1/2 ) = 1.3831
18.7379 5.0305 3.0191 85.4955 185.1769 0.8093
以此結果為中心，在每一個dimension ± 4 度的範圍內用新方法找出一個最佳近
(cm)
LMedS
初解 11.0891 0.6168 0.4944 2.1394 1.5644 初步改進
後的解 5.1781 0.3075 0.2737 0.7011 0.6774 最佳解 1.4146 0.1331 0.1018 0.6439 0.5021
由實驗結果來看，以Golden section search(GSS)為基礎的搜尋方法能夠在初 步 refinement 結果的基礎上，搜尋到一個有極小 error 的改良解，同時以合成影 像為輸入的實驗可事先知道真正的解，拿來和改良解比較後也發現改良解在 5D 空間中和正解距離很接近，由此可知用此方法最後得到的是一個最佳近似解。
通過觀察error surface 可發現在 5D 空間中有許多的 local trap，想要 100%找到有 最小error 的解必需所有點都去計算比較，這方法明顯不可行，而以 Golden section search(GSS)為基礎的搜尋方法可以極大改善執行時間，由目前實驗結果來看又能 在一定程度上保證搜尋到最小值的準確性，找出最佳近似解，對需要極高準確度 的多張影像重建3D 的工作應該會有很大的幫助。
第 6 章 結論與未來發展方向
6.1 結論
本論文中大致可分為兩大課題，第一個是對外部參數error surface 的研究，其 變化非常的不規則，有許多的區域極值，若使用非線性(non-linear)的方法求出來 的解很容易陷入區域極值中，所以在論文的第三章我們採用LMedS 隨機取解，
先圈出一個會包含最佳解的大範圍區域，再經分群及細切找出有較小誤差值的小 區域；第二個是第四章全域最佳解的搜尋，根據以上找出來的區域最佳解為中 心，在某特定範圍裡用GSS 為基礎的最佳化搜尋法找出全域最佳解來。經由對 前者的研究，我們知道尋找最佳解的困難度，而後者是我們提出來的一個解決方 法，對於現今利用高解析度影像且需極高精準度的相關應用，本方法能大幅度減 少影像中對應點誤差(或雜訊)所帶來的影響。在本論文中還有許多可以改進的地 方，分列如下：
1. 目前利用 MST 對 LMedS 較佳解進行分群尚未能自動化，未來若能透過分 析得到較佳的自動化分群結果，將能有效提升執行效率。
2. 以 GSS 為基礎的最佳解搜尋法可增加從初步改進解到全域最佳解的搜尋效 率，但仍需大量的搜尋時間(≒155次)，若能對 5D 空間中各軸上搜尋的範 圍與最佳解之間的關係更了解，將有助於減少搜尋的範圍，進而加快執行的 速度
6.2 未來發展方向
未來將可能以外部參數解最佳化的方法搭配擷取特徵點的演算法(如：
MSER)，將 2 張影像之間的校正自動化，得到最佳的外部參數解，當應用在特徵 比對時，可以先將待比對影像經由最佳化的外部參數做最好的校正，減少其它因 素的影響，以獲得最佳的比對結果。
參考文獻
[1] Y. Furukawa, and J. Ponce,”Accurate Camera Calibration from Multi-View Stereo and Bundle Adjustment”, CVPR 2008.
[2] A. Ansar and K. Daniilidis, “Linear pose estimation from points or lines”, PAMI 2003.
[3] 劉嘉哲, “使用直交退火演算法解相機校正問題”, 逢甲大學資訊工程學系, 碩 士論文,民 92
[4] Richard I. Hartley and Fredrik Kahl ,“Global Optimization through Searching Rotation Space and Optimal Estimation of the Essential Matrix“,ICCV 2007.
[5]Yasutaka Furukawa and Jean Ponce , “Accurate Camera Calibration from Multi-View Stereo and Bundle Adjustment” ,CVPR 2008.
[6] Martin A. Fischler and Robert C. Bolles, “Random sample consensus_ a paradigm for model fitting with applications to image analysis and automated cartography“, CACM 1981.
[7] PETER J. ROUSSEEUW , “Least Median of Squares Regression” , Journal of the American Statistical Association, December 1984.