實驗的主要步驟如下：
(1) 選取要實驗的 2 張影像
(2) 參考第 2 張影像中 cube 的最大邊長(取 3%為 3σ 的雜訊)，分別產生 9 個 x、y 座標的高斯雜訊(mean = 0, 標準差= σ)，並隨機加入第 2 張影像中的 9 個對應 點。
(3) 在 19 組對應點中隨機選取 10 組對應點來計算出外部參數解，以 LMedS 的方 法產生4000 組相機外部參數解當作初解。
(4) 分析有前 50 個最小誤差值的解，建立其 Minimum Spanning Tree(MST) (5) 對 MST 做分群(Clustering)，求各群 Covariance matrix 橢圓體之 eigen values 及
eigen vectors
(6) 對各群橢圓體細切，得到初解的改進(refinement)，直至橢圓體退化(至少一個 eigen value 為 0)。
(7) 啟用 Golden section search(GSS)搜尋相機外部參數的最佳解：(a)轉換 5D Camera parameter space 為 3D Rotation space 與 2D translation space，(b)進而 再用橢圓體eigen values 及 eignen vectors 定義三個參數空間:1D rotation eigenspace +2D rotation space +2D translation space，(c)使用 Golden section line search 連環搜尋相機外部參數的最佳解
(8) 以找到的最佳外部參數解重新建立 3D 點，計算重建 3D 後 cube 的邊長長度 和ground truth 對應邊長差的絕對值的平均及標準。
以下為實驗詳細過程及結果：
實驗一：使用合成影像資料，並於部份特徵對應點加入雜訊。
輸入兩張解析度為1024(水平)x768(垂直)的影像 Imgae1 及 Image2，影像中各有 19 點特徵對應點，如下圖所示。其中對 View2 的特徵點中的 9 點加入雜訊。
View 1 (Imgae1) View 2(Image2) View 1 及 View 2 之間正確的外部參數設定如下：
R T
0.6124 -0.7803 -0.1268 0.4411
0.6597 0.416 0.6258 -0.8894 -0.4356 -0.4669 0.7696 0.1203 將正確的外部參數轉成以5D 的表示法：
ψR θR ω ψT θT
39.6843 101.4559 -46.9876 83.0882 296.3790
在此實驗中，設定雜訊為normal distribution (mean = 0, 標準差= σ)，雜訊的 大小是以cube 在影像中投影的最大邊長(約 300 pixels)的 3%為三個標準差 (3σ 約等於 9.8324 個 pixels)。View 2 的 19 個特徵點當中加入雜訊後的結果如下表 所示。
特徵點編號在X 軸方向的雜訊大小在 X 軸方向的雜訊大小
1 -3.72704 -4.4568
2 0 0
3 0 0
4 0 0
5 0.424926 2.168381 6 -0.86687 -4.00717
7 0 0
8 0.037143 -2.13098 9 -3.26928 4.424792
10 3.759026 -2.25978
11 0 0
12 0 0
13 0 0
14 0 0
15 -1.092 -2.78659
16 -1.80507 -2.79693
17 0 0
18 -2.8215 -3.96807
19 0 0
利用LMEDS 計算後的最佳 50 個的解資料如下：
n distance 1 37.5531 99.8379 -45.9876 84.8507 295.4805 3.7591 3.4748 2 36.0189 98.1725 -44.4523 84.5594 294.7667 3.9509 5.9504 3 34.2524 98.9948 -44.8329 88.6701 295.9604 4.1066 8.4581 4 34.2524 98.9948 -44.8329 88.6701 295.9604 4.1066 8.4581 5 41.2622 101.9975 -46.919 82.9204 296.2237 4.2725 1.6853 6 34.297 99.0591 -44.8852 88.7017 295.9782 4.4058 8.4178 7 38.4302 100.2002 -46.0319 82.9454 295.7285 4.7959 2.1229 8 42.6694 102.7989 -48.2871 81.3871 296.8592 4.9876 3.9405 9 37.9832 100.8055 -46.1263 85.7353 296.3444 5.1658 3.3267 10 37.9856 101.4448 -46.9422 85.262 296.6763 5.2509 2.7752 11 39.0285 102.4825 -47.6271 85.1247 297.2173 6.3983 2.5968 12 37.1346 98.3514 -44.7518 83.4899 294.4052 6.4641 5.0195 13 36.7468 100.8538 -46.1187 87.6357 296.6693 6.8248 5.5237 14 40.9361 101.3863 -46.3703 83.1226 295.6708 6.83 1.5671 15 37.9234 100.0645 -45.4888 86.5125 295.7134 7.3285 4.4105 16 41.836 99.0254 -45.587 81.7029 293.4182 7.704 4.815 17 33.7608 101.5377 -45.7873 84.3183 298.3971 7.7908 6.4901 18 37.7916 100.6108 -46.0085 81.8255 296.3045 7.9153 2.6182 19 40.2755 101.4804 -46.5675 79.43 296.0941 7.9743 3.7403 20 39.034 102.1562 -47.1281 85.59 296.9954 8.0272 2.7517 21 43.0691 105.5251 -49.7908 81.4445 299.102 8.0621 6.7815 22 43.7877 101.4997 -47.5225 79.625 295.1069 8.1503 5.5442 23 35.3524 101.5015 -45.9431 82.5251 297.7128 8.26 4.6856 24 38.7429 98.4797 -45.5841 83.59 294.1984 8.3243 4.0891 25 38.0458 103.2024 -47.4385 84.4089 298.4583 8.4548 3.465 26 40.3055 101.4212 -46.8773 79.5141 296.0962 8.461 3.6405 27 40.4335 102.1987 -47.1764 84.4869 296.8915 8.8006 1.8352 28 39.1469 98.6854 -45.8275 84.2113 294.2206 9.0006 3.9026 29 39.2479 102.6772 -47.6295 85.8929 297.5577 9.1633 3.369 30 38.4597 100.6116 -46.405 82.8523 296.2495 9.2038 1.62 31 41.1537 100.7348 -46.0954 79.4781 295.3784 9.3482 4.1844 32 40.4995 100.0858 -45.2736 79.661 294.933 9.3832 4.395
33 37.8155 99.4717 -45.4176 81.8303 295.3497 9.4327 3.5406 34 40.3305 101.4924 -46.6713 81.1709 296.5068 9.617 2.0521 35 39.7327 99.2624 -46.3051 84.7055 294.5661 9.799 3.344 36 35.7458 101.6899 -46.2794 88.629 297.6977 9.9243 6.9648 37 43.52 103.6721 -48.8987 80.9707 297.532 10.1068 5.3934 38 38.1212 100.6823 -45.5551 87.3407 295.9162 10.2978 4.8365 39 36.1849 100.4142 -46.2364 86.0084 296.2496 10.3609 4.7371 40 41.4011 101.8832 -47.0462 80.0084 296.5861 10.498 3.5582 41 38.611 102.1176 -46.8123 86.9478 297.2641 10.591 4.1594 42 40.6352 101.7184 -46.7316 79.3856 296.346 10.6395 3.8404 43 39.9681 102.0977 -47.3653 85.8105 296.649 10.7301 2.8494 44 42.2912 102.8843 -48.4694 84.4834 297.0423 10.7593 3.6631 45 40.2495 99.0221 -46.7412 84.3908 293.9635 10.804 3.7196 46 39.6722 98.4493 -46.0531 83.5563 293.5848 10.8583 4.2356 47 39.4335 102.2773 -47.2754 83.3435 297.4144 10.9246 1.3991 48 37.9033 103.3648 -47.8614 86.2076 298.3001 11.0188 4.5827 49 39.7422 102.4623 -47.7064 86.5921 296.9656 11.0297 3.7622 50 40.2511 101.8242 -47.812 81.3859 296.2698 11.1722 2.0115 其中的median error 定義如下：
median error = median of 19 對應特徵點的 error
以LMEDS 的 median error 前 50 名所建立的 MST 如下圖所示：
LMEDS 初始解的最小值為 3.7591，對這 50 點進行細切割，先分別對 R, T 進行 計算橢圓體的長短軸相關資訊。如下所示：
R ψR θR ωR
mean 39.7412 101.3659 -46.6089 eigenvalue 1.1996 0.9086 0.2333
軸1 軸2 軸3 eigenvector -0.6952 -0.6875 0.21
0.5798 -0.3635 0.7292 -0.425 0.6287 0.6513
T ψT θT
mean 83.7217 296.6401 eigenvalue 2.951 0.5204
軸1 軸2
eigenvector -0.9922 -0.1244
-0.1244 0.9922
R 橢圓體最長軸的半長 = Cmax eigenvaluemax = 2.8900 取最大切割單位 = ( 2 / 3 * half of 最長軸 * 1/2 ) = 0.9633 T 橢圓最長軸的半長 = Cmax eigenvaluemax
= 6.2600 取最大切割單位 = ( 2 / 3 * half of 最長軸 * 1/2 ) = 2.0867 其它軸切割單位依cluster 的 eigenvalue 的比例設定
Æ對 Cluster 1 R 細切的切割間隔設為 = (0.9633 0.7296 0.1873) T 細切的切割間隔設為 = (2.0867 0.3680)
對橢圓體細切後，可得到一個初步的refinement 結果
ψR θR ω ψT θT medi err
38.9598 101.2675 -46.6782 83.5729 296.3703 2.1176
以此解為中心，在每一個dimension ± 4 度的範圍內用新方法找出一個最佳近似 解最佳近似解. 搜尋過程中所觀察之 2D error surface contour (水平軸為 ωR , 垂 直軸為θR)如下圖所示：
用GSS 方法找到的最佳解的離散值如下：
ψR θR ωR ψT θT medi err
39.6869 101.4677 -46.9934 83.0828 296.3891 0.0676
對照以下所附正解而言，各相機角度參數誤差約在0.01 度， media error = 0.0676 pixels.
ψR θR ω ψT θT
39.6843 101.4559 -46.9876 83.0882 296.3790 以找到的最佳解的離散值所重建後的3D 結果如下：
初步改進後
的解 1.9021 0.3281 0.2656 0.6307 0.3877
最佳解 0.0676 0.0012 0.0009 0.0055 0.0036
實驗二：使用合成影像資料，並於部份特徵對應點加入雜訊。
輸入兩張解析度為1024x768 的影像 Image1 及 Image3，影像中各有 19 點特徵對 應點，如下圖所示。其中對View2 的特徵點中的 9 點加入雜訊。
View 1(Image1) View 2(Image3) View 1 及 View 2 之間正確的外部參數設定如下：
R T
0.8627 -0.1846 -0.4708 0.6826 0.3878 0.839 0.3816 -0.6314 0.3245 -0.5118 0.7955 0.368 將正確的外部參數轉成以5D 的表示法：
ψR θR ω ψT θT
37.3003 140.9711 -122.3799 68.4080 317.2328
在此實驗中，設定雜訊為normal distribution(mean = 0, 標準差= σ)，雜訊的 大小是以cube 在影像中投影的最大邊長的 3%為三個標準差 (3σ 約等於 9.452 個pixels)。View 2 的 19 個特徵點當中加入雜訊後的結果如下表所示。
特徵點編號在X 軸方向的雜訊大小在 X 軸方向的雜訊大小
1 0 0
2 -3.72704 -4.4568
3 0 0
4 0.424926 2.168381
5 0 0
6 -0.86687 -4.00717
7 0 0
10 -3.26928 4.424792
11 0 0
12 3.759026 -2.25978
13 0 0 1 29.6682 141.4966 -121.405 74.1991 317.2275 6.6906 9.6442 2 32.7053 142.2839 -123.827 71.7361 317.8237 6.8135 6.0297 3 28.8298 143.0459 -124.37 69.4278 317.8257 7.8483 9.0224 4 27.6632 137.5118 -117.67 72.2759 313.0297 9.4849 12.6352 5 42.9453 141.0924 -123.253 69.5353 317.7244 9.4916 5.8443 6 36.0949 142.4432 -123.678 66.3573 317.6953 10.5248 3.1184 7 36.1698 141.7338 -122.765 70.313 318.3048 10.5706 2.605 8 41.2414 139.2393 -121.476 67.8386 315.594 13.5777 4.7286 9 39.5726 139.5241 -121.497 65.219 315.1695 14.2116 4.7397 10 40.441 139.1832 -121.745 72.2206 316.3319 16.9895 5.3676 11 26.8339 141.8992 -122.442 65.9585 316.4764 17.4494 10.8159 12 35.952 140.8474 -122.268 70.2366 316.5295 18.3644 2.3842 13 36.1866 139.7995 -121.099 68.0759 316.4651 19.4008 2.2254 14 40.1426 138.9176 -121.799 73.4008 315.8542 20.5001 6.2819 15 41.1813 138.0518 -120.737 72.0803 315.7656 21.2277 6.4749 16 38.5412 140.4795 -122.203 72.246 317.9028 23.5363 4.1221 17 42.0116 138.916 -121.46 59.9859 313.762 23.9649 10.4997 18 31.2562 140.4504 -123.067 82.2089 316.9913 26.2528 15.0929 19 27.7324 138.1323 -121.695 84.0006 314.6408 26.7347 18.7062
20 44.0845 138.0402 -121.22 69.1971 314.5459 27.0404 7.9877 21 39.2174 139.7523 -122.002 65.7418 314.9225 28.2056 4.2131 22 34.1051 144.5874 -124.428 79.2075 321.6133 28.7583 12.7789 23 39.7403 138.4553 -121.839 72.982 314.6609 28.9436 6.3335 24 40.3016 137.4462 -120.388 74.8545 315.675 30.5953 8.3298 25 37.5271 140.8688 -122.647 79.4313 318.0791 30.6358 11.0618 26 38.5522 136.7595 -119.898 77.9604 315.1862 30.8471 10.9956 27 36.5342 144.2826 -126.074 62.7031 318.0967 32.9034 7.6481 28 33.0913 137.455 -120.328 82.0094 314.8837 33.2035 14.9936 29 30.3879 143.2053 -124.89 75.1401 317.5832 33.9414 10.2232 30 37.9135 139.0839 -120.574 71.2325 316.901 34.4179 3.9101 31 36.6619 141.0545 -123.984 76.6479 316.8203 35.0664 8.4294 32 36.5823 139.7174 -121.091 68.635 317.0821 35.1031 1.9552 33 32.7626 141.1524 -125.432 57.9692 315.6235 35.1527 11.8952 34 36.1102 141.4645 -123.204 63.0327 315.4508 36.0942 5.8658 35 41.574 140.6714 -122.425 73.6503 318.8567 36.4867 6.9624 36 35.6502 139.8613 -122.237 61.0371 316.0397 36.9253 7.7284 37 41.6971 137.9025 -121.734 73.2427 314.1947 38.0765 7.8595 38 43.509 136.4972 -121.111 75.9487 313.9754 38.1183 11.2981 39 36.6372 137.454 -119.779 65.4183 314.4691 38.6548 6.0128 40 41.8516 135.1086 -119.111 73.3729 311.6951 39.1149 11.0038 41 28.8276 140.0757 -120.71 70.9901 316.8792 40.0534 9.0647 42 33.8341 138.2457 -122.813 86.4725 315.5252 40.202 18.6781 43 38.6968 132.1669 -118.152 79.2233 309.5387 40.6239 16.5381 44 39.2984 137.5257 -122.517 81.5958 314.5076 41.1943 14.0438 45 39.4081 141.5816 -123.476 78.4222 317.7742 42.6323 10.3245 46 39.925 133.0681 -119.809 79.712 310.2415 42.6791 15.894 47 32.8718 141.3361 -128.416 55.1156 315.3274 44.0129 15.3785 48 26.8601 140.9493 -122.368 61.3312 316.2955 44.4691 12.6475 49 38.3801 134.2182 -119.886 81.7184 313.1246 46.231 15.7173 50 21.7216 148.5722 -133.452 57.1188 315.7457 46.3699 23.5099 其中的median error 定義如下：
median error = median of 19 對應特徵點的 error
LMEDS 初始解的最小值為 6.69，對這 50 點進行細切割，先分別對 R, T 進行計 算橢圓體的長短軸相關資訊。如下所示：
R ψR θR ωR
mean 37.8616 139.3263 -121.8653 eigenvalue 4.2152 2.4175 0.6472
軸1 軸2 軸3 eigenvector -0.8384 -0.5411 0.066
0.4893 -0.6937 0.5286 -0.2403 0.4754 0.8463
T ψT θT
mean 71.9678 315.8556 eigenvalue 5.2282 1.9846
軸1 軸2
eigenvector -0.9888 0.1491
0.1491 0.9888
R 橢圓體最長軸的半長 = Cmax eigenvaluemax
= 11.5022 取最大切割單位 = ( 2 / 3 * half of 最長軸 * 1/2 ) = 3.8341
T 橢圓最長軸的半長 = Cmax eigenvaluemax = 11.1957 取最大切割單位 = ( 2 / 3 * half of 最長軸 * 1/2 ) = 3.7319 其它軸切割單位依cluster 的 eigenvalue 的比例設定
Æ對 Cluster 1 R 細切的切割間隔設為 = (3.8341 2.1989 0.5887) T 細切的切割間隔設為 = (3.7319 1.4166)
對橢圓體細切後，可得到一個初步的refinement 結果
ψR θR ωR ψT θT error Euclidean distance 38.1682 140.1457 -122.879 68.4415 316.3348 2.534 1.5783
以此解為中心，在每一個dimension ± 4 度的範圍內用新方法找出一個最佳近似 解最佳近似解. 搜尋過程中所觀察之 2D error surface contour (水平軸為 θR ,垂直 軸為ωR)如下圖所示：.
用GSS 方法找到的最佳解的離散值如下：
ψR θR ωR ψT θT medi err Euclidean distance 37.2582 140.9757 -122.3790 68.4315 317.2348 0.0442 0.0485
pixels.
ψR θR ω ψT θT
37.3003 140.9711 -122.3799 68.4080 317.2328 以找到的最佳解的離散值所重建後的3D 結果如下：
以上為詳細實驗過程，經過整理後，實驗 1~19 結果如下：
始解 37.5531 99.8379 -45.9876 84.8507 295.4805 3.7591 GSS
最佳解 39.6869 101.4677 -46.9934 83.0828 296.3891 0.0676 images
1&3
LMedS 初
始解 29.6682 141.4966 -121.405 74.1991 317.2275 6.6925 GSS
最佳解 37.2582 140.9757 -122.3790 68.4315 317.2348 0.0442 images
1&4
LMedS 初
始解 50.9025 76.9001 -64.2945 29.2644 288.8508 2.5201 GSS
最佳解 52.2282 77.5192 -64.7788 29.8661 288.5809 0.0418 images
1&5
LMedS 初
始解 47.0098 108.2753 -127.509 66.6885 288.6372 4.8487 GSS
最佳解 54.7283 107.8104 -127.0540 60.5426 288.1821 0.1693 images
1&6
LMedS 初
始解 35.7604 154.3874 -83.9399 86.3699 347.8431 6.486 GSS
最佳解 39.3920 154.5617 -83.9459 80.3840 347.2128 0.0717 images
2&3
LMedS 初
始解 50.9605 204.1271 132.0258 53.0413 33.0186 2.1762 GSS
最佳解 44.7943 202.2840 134.8863 54.7014 31.9388 0.0392 images
2&4
LMedS 初
始解 18.5634 120.9478 -157.271 24.4312 10.7084 1.9314 GSS
最佳解 17.7845 117.1356 -153.5830 23.3266 11.5420 0.0447 images
2&5
LMedS 初
始解 51.2426 153.598 153.223 56.9278 339.9053 8.1266
最佳解 images
2&6
LMedS 初
始解 23.021 230.4622 153.4481 85.7817 78.6782 3.5255 GSS
最佳解 23.3048 230.7912 153.4066 85.7621 78.4690 0.0597 images
3&6
LMedS 初
始解 24.6063 83.9314 -39.6374 108.7896 255.6295 2.4538 GSS
最佳解 23.6399 84.7011 -40.5268 111.6313 256.2478 0.0261 images
3&7
LMedS 初
始解 14.0856 34.7308 -1.1258 63.6679 160.5272 3.4166 GSS
最佳解 12.6773 47.2263 -12.8468 58.9076 160.8481 0.0336 images
3&9
LMedS 初
始解 20.7431 334.8354 14.3752 123.6564 122.4046 1.8583 GSS
最佳解 20.2031 335.9454 13.0152 125.6764 122.7646 0.0461 images
4&5
LMedS 初
始解 49.5414 175.2605 175.3909 105.9571 344.6044 3.1185 GSS
最佳解 49.0912 175.3749 175.3507 107.1031 344.7095 0.0762 images
4&6
LMedS 初
始解 17.6805 277.2706 145.4917 163.6558 99.6707 2.1124 GSS
最佳解 18.6922 280.4251 143.1172 161.4150 104.4640 0.055 images
4&7
LMedS 初
始解 31.2001 271.4527 139.7784 122.3644 102.0664 2.5704 GSS
最佳解 32.1901 273.3327 138.7784 120.0944 103.6064 0.0291 images
5&6
LMedS 初
始解 36.2054 54.8846 22.2981 86.5464 225.3883 1.6083 GSS
最佳解 34.3254 55.0246 22.0981 88.0664 225.0083 0.0585 images
5&7
LMedS 初
始解 24.4627 26.6426 43.0487 59.3842 178.1706 7.3168
GSS
最佳解 28.7266 23.6014 45.9030 64.1224 179.6060 0.0286 images
5&8
LMedS 初
始解 26.7789 35.5965 12.7753 102.1559 215.8369 2.1219 GSS
最佳解 31.4340 36.0747 12.8124 96.0507 216.2270 0.0368 images
5&10
LMedS 初
始解 47.8706 330.1409 71.4509 50.6197 141.9956 8.2137 GSS
最佳解 43.2313 330.2478 72.3773 48.6049 141.0610 0.037 表5.2 半雜訊實驗(加入 3σ = 3%的雜訊)初始解及最佳解的誤差值紀錄
圖5.3 為表 5.2 的示意圖(x 軸為實驗編號，y 軸為 median error)
實驗影像組的編號
GSS
5&7 始解 GSS
最佳解 0.4267 0.4529 0.8445 1.0054 images
5&8
LMedS 初
始解 1.1425 0.9055 3.7654 2.2685 GSS
最佳解 0.177 0.1435 0.313 0.3395 images
5&10
LMedS 初
始解 1.7762 1.3451 3.5386 2.6974 GSS
最佳解 0.2722 0.2551 0.4747 0.3205 表5.3 半雜訊實驗(加入 3σ = 3%的雜訊)初始解及最佳解重建的 3D 和 ground truth
的比較結果
圖5.4 半雜訊實驗(加入 3σ = 3%的雜訊)重建 3D 後的 9 個邊長長度和原 3D 對應 邊長相差絕對值的平均(cm)
圖5.5 半雜訊實驗(加入 3σ = 3%的雜訊)重建 3D 後的 9 個邊長長度和原 3D 對應 邊長相差絕對值的標準差
圖5.7 半雜訊實驗(加入 3σ = 3%的雜訊)重建 3D 後的 12 個角度和原 3D 對應角度 相差絕對值的標準差