第五章 結論與討論
5.2 未來方向
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
57
5.2 未來方向
我們的實驗是以三焦張量來進行對應點的過濾，但是怎樣在這麼多特徵點中 找出比較理想的對應點記算出三焦張量就是一個很大的問題。在本篇論文中使用 最小中值平方法進行選點，此方法在本篇相關研究中可以發現，它是一個精確度 很高的演算法，但卻需要花費較多的時間。可是如果使用其他演算法計算三焦張 量是不是可以得到等同甚至更好的結果，並且改善花費的時間，往後是可以陸續 作更深入的研究。
另外，從我們以三焦張量過濾對應點的每一回合中可以發現，實驗誤差情況 不是像我們想像中可以逐回降低的。據我們的猜測，在刪除的實驗中，每一回合 中的每三張影像都會互相遷就使得結果會有很大的變化。但是，我們會想要知道 是不是有一個方法可以將誤差的變動情形是可以逐步降低的，也就是讓對應點的 整體組成會維持，不讓三焦張量過濾掉可能是準確對應點的情況。
再者，是否有別於權重觀念刪除對應點的方法以加強過濾的選擇，也就是可 能存在另一種刪除對應點的指標可能可以使對應點的刪除更加準確，這些都是未 來可以更進一步探討的方向。
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
58
參考文獻
[1] 丁彥弘，"從未校正影像序列做三維建築物重建"，華梵大學資訊管理學系碩 士論文，台北，民國 94 年 5 月。
[2] 吳坤信，"從多視角已校正影像改善三維粗略模型"，政治大學資訊科學系碩 士論文，台北，民國 97 年 7 月。
[3] 林志偉，"以影像為基礎之新景合成"，清華大學電機工程學系碩士論文，新 竹，民國 95 年 7 月。
[4] 張庭慈，"谷歌街景圖之長場景全景視覺化"，台灣大學資訊工程系碩士論文，
台北，民國 99 年 7 月。
[5] 彭騏，"用於路線規劃的整合式平滑谷歌街景影片與地圖"，台灣大學資訊網 路與多媒體所碩士論文，台北，民國 99 年 7 月。
[6] 楊子頤，"一個利用影像組的共同主平面之強健 Fundamental Matrix 計算法"，
清華大學電機工程學系碩士論文，新竹，民國 94 年 10 月。
[7] 廖怡儂，"應用在電腦視覺強健式估測之研究"，華梵大學資訊管理學系碩士 論文，台北，民國 94 年 5 月。
[8] 蔡瑞陽，"從多視角影像萃取密集影像對應"，政治大學資訊科學系碩士論文，
台北，民國 98 年 7 月。
[9] 蔡政君，"使用光束調整法與多張影像做相機效正與三維模型重建"，政治大 學資訊科學系碩士論文，台北，民國 97 年 7 月。
[10] A. Alzati and A. Tortora, "A geometric approach to the trifocal tensor," Journal of Mathematical Imaging and Vision, vol. 38, pp. 159-170, 2010.
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
59
[11] X. Armangue and J. Salvi, "Overall view regarding fundamental matrix estimation," Image and vision computing, vol. 21, pp. 205-220, 2003.
[12] Y. Furukawa and J. Ponce, "Accurate, dense, and robust multi-view stereopsis,"
IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2007.
[13] Y. Furukawa and J. Ponce, "Accurate camera calibration from multi-view stereo and bundle adjustment," International Journal of Computer Vision, vol. 84, pp.
257-268, 2009.
[14] C. Harris and M. Stephens, "A combined corner and edge detector," Proceedings of The Fourth Alvey Vision Conference Manchester, pp. 147-151, 1988.
[15] R. Hartley and A. Zisserman, Multiple view geometry in computer vision, Cambridge University Press, 2003.
[16] R. I. Hartley, "Lines and points in three views and the trifocal tensor,"
International Journal of Computer Vision, vol. 22, pp. 125-140, 1997.
[17] D. Lowe, "Distinctive image features from scale-invariant keypoints,"
International Journal of Computer Vision, vol. 60, pp. 91-110, 2004.
[18] M. I. A. Lourakis and A. A. Argyros, "SBA: A software package for generic sparse bundle adjustment," ACM Transactions on Mathematical Software, vol.
36, pp. 1-30, 2009.
[19] E. Mouragnon, et al., "Generic and real-time structure from motion using local bundle adjustment," Image and vision computing, vol. 27, pp. 1178-1193, 2009.
[20] D. Nister, "Reconstruction from uncalibrated sequences with a hierarchy of trifocal tensors," Proceedings of European Conference on Computer Vision, pp.
649-663, 2000.
[21] D. Nister, "Preemptive RANSAC for live structure and motion estimation,"
Proceedings Ninth IEEE International Conference on Computer Vision, vol. 16,
pp. 199-206, 2003.
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
60
[22] P. J. Rousseeuw, "Least median of squares regression," Journal of the American Statistical Association, vol. 79, pp. 871-880, 1984.
[23] N. Snavely, et al., "Photo tourism: exploring photo collections in 3D," ACM Transactions on Graphics, vol. 25, pp. 835-846, 2006.
[24] N. Snavely, S. M. Seitz, and R. Szeliski, "Modeling the World from Internet Photo Collections," International Journal of Computer Vision, vol. 80, no. 2, pp.
189-210, 2007.
[25] L. Taehee, "Multithreaded hybrid feature tracking for markerless augmented reality," IEEE Transactions on Visualization and Computer Graphics, vol. 15, pp.
355-368, 2009.
[26] P. H. S. Torr and A. Zisserman, "Robust parameterization and computation of the trifocal tensor," Image and Vision Computing, vol. 15, pp. 591-605, 1997.
[27] Z. Zhang, "Parameter estimation techniques: A tutorial with application to conic fitting," Image and Vision Computing, vol. 15, pp. 59-76, 1997.
[28] http://vision.middlebury.edu/mview/
[29] http://en.wikipedia.org/wiki/Epipolar_geometry [30] http://phototour.cs.washington.edu/
[31] http://phototour.cs.washington.edu/bundler/
[32] http://cvlab.epfl.ch/~strecha/multiview/denseMVS.html
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
61
實驗附錄
附件一 最小中值平方誤差：15.6223 像素
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
62
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
63
附件二 最小中值平方誤差：4.3940 像素
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
64
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
65
附件三 最小中值平方誤差：18.6205 像素
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
66
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
67
附件四 Bundler 對應點與 ground truth 對應點評估結果比較 實驗影像(二)
Bundler 對應點評估結果
第一回合刪除 9 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.3828 19.3956 17.9403
第二張 0.3585 436.7024 257.5527
第三張 0.2036 38.4980 36.5599
第四張 0.2612 12.6299 8.9851
第五張 0.3585 7.2708 3.9554
第六張 0.4585 11.7426 15.4442
第七張 0.7131 25.3792 29.1174
單位：像素(pixel)
第二回合刪除 5 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.3828 19.3956 17.9403
第二張 0.3585 436.7024 257.5527
第三張 0.2036 38.4980 36.5599
第四張 0.2612 12.6299 8.9851
第五張 0.3585 7.2708 3.9554
第六張 0.4585 11.7426 15.4442
第七張 0.7131 25.3792 29.1174
單位：像素(pixel)
第三回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4027 19.4871 4.2147
第二張 0.3875 354.1590 3.1022
第三張 0.1954 37.9407 2.2477
第四張 0.2797 13.4139 1.4053
第五張 0.3875 7.5024 4.8433
第六張 0.5085 12.3724 3.5700
第七張 0.7916 26.8968 8.0483
單位：像素(pixel)
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
68
第四回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4064 19.6755 25.9012
第二張 0.3958 351.6481 237.2835
第三張 0.1951 37.7892 45.7245
第四張 0.2809 13.7488 31.3470
第五張 0.3958 7.6530 14.5524
第六張 0.5201 12.6666 2.5435
第七張 0.8078 27.5602 17.3603
單位：像素(pixel)
第五回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4105 19.6043 574.8717
第二張 0.4017 353.7229 1153.2495
第三張 0.1951 37.8060 359.3880
第四張 0.2833 13.8646 402.3884
第五張 0.4017 7.6405 6.7425
第六張 0.5290 12.7520 62.9712
第七張 0.8220 27.7544 198.4148
單位：像素(pixel)
第六回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4267 19.3926 193.0658
第二張 0.4200 332.7202 175.5940
第三張 0.1980 36.6671 939.2086
第四張 0.2938 14.6325 9461.0129
第五張 0.4200 7.6265 52.3130
第六張 0.5630 13.4161 2.6152
第七張 0.8726 29.0380 32.5645
單位：像素(pixel)
第七回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4287 19.4743 25.5962
第二張 0.4233 334.2748 192.8345
第三張 0.1973 36.7380 45.9920
第四張 0.2954 14.7832 31.6542
第五張 0.4233 7.6981 15.2659
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
第六張 0.5675 13.5497 0.9966
第七張 0.8798 29.3315 25.4858
單位：像素(pixel)
第八回合刪除次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4312 19.3870 25.5472
第二張 0.4266 336.2798 193.7315
第三張 0.1975 36.6796 46.0047
第四張 0.2981 14.8958 31.5865
第五張 0.4266 7.7034 15.3966
第六張 0.5719 13.6559 1.0048
第七張 0.8850 29.5338 25.5723
單位：像素(pixel)
第九回合刪除次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4312 19.3870 26.1606
第二張 0.4266 336.2798 195.1646
第三張 0.1975 36.6796 46.7720
第四張 0.2981 14.8958 32.6934
第五張 0.4266 7.7034 16.9322
第六張 0.5719 13.6559 1.3106
第七張 0.8850 29.5338 18.3284
單位：像素(pixel)
第十回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4312 19.3870 3.3019
第二張 0.4266 336.2798 2.3902
第三張 0.1975 36.6796 1.7969
第四張 0.2981 14.8958 4.6707
第五張 0.4266 7.7034 2.0533
第六張 0.5719 13.6559 3.9909
第七張 0.8850 29.5338 7.9067
單位：像素(pixel)
第十一回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4312 19.3870 31.2735
第二張 0.4266 336.2798 231.8765
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
70
第三張 0.1975 36.6796 56.7974
第四張 0.2981 14.8958 44.6047
第五張 0.4266 7.7034 31.2475
第六張 0.5719 13.6559 14.6382
第七張 0.8850 29.5338 4.6771
單位：像素(pixel)
第十二回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4333 19.4392 3.3797
第二張 0.4284 336.1928 2.4735
第三張 0.1981 36.6296 1.8785
第四張 0.2993 14.9654 4.7530
第五張 0.4284 7.7373 2.1248
第六張 0.5747 13.7189 4.0379
第七張 0.8896 29.6806 7.9784
單位：像素(pixel)
第十三回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4346 19.5021 20.5724
第二張 0.4299 336.9217 203.4238
第三張 0.1980 36.7215 37.7112
第四張 0.3005 15.0391 21.6215
第五張 0.4299 7.7697 5.3054
第六張 0.5773 13.7834 12.7831
第七張 0.8937 29.8234 31.9829
單位：像素(pixel)
第十四回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4358 19.5730 23.0011
第二張 0.4317 338.4812 214.1687
第三張 0.1979 36.8842 42.3290
第四張 0.3019 15.1022 27.8917
第五張 0.4317 7.7697 10.6948
第六張 0.5788 13.8357 7.4105
第七張 0.8982 29.9225 25.2623
單位：像素(pixel)
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71
第十五回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4377 19.6931 6.6818
第二張 0.4350 342.1929 5.9540
第三張 0.1985 36.9648 10.4555
第四張 0.3037 15.2422 9.4407
第五張 0.4350 7.8067 1042.1139
第六張 0.5847 13.9578 3.3573
第七張 0.9066 30.1809 7.2851
單位：像素(pixel)
第十六回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4420 19.6082 20.8943
第二張 0.4384 336.1078 313.9268
第三張 0.2005 36.5736 38.9271
第四張 0.3049 15.3982 19.0963
第五張 0.4384 7.8695 10.8283
第六張 0.5909 14.0989 10.9666
第七張 0.9143 30.4830 27.3276
單位：像素(pixel)
第十七回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4440 19.6644 246.1494
第二張 0.4408 335.7783 2578.5196
第三張 0.2005 36.5538 281.4085
第四張 0.3059 15.4867 3.3085
第五張 0.4408 7.9077 9.2264
第六張 0.5937 14.1799 11.2256
第七張 0.9183 30.6519 28.5202
單位：像素(pixel)
第十八回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.4517 19.6176 188.5700
第二張 0.4498 343.0642 392.1995
第三張 0.2029 36.1116 946.4041
第四張 0.3101 14.9926 180.2303
第五張 0.4498 7.7160 114.9881
‧
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
73
過濾前 第十一回
刪除 3 次
第十二回 刪除 3 次
第十三回 刪除 3 次
第十四回 刪除 3 次
第十五回 刪除 3 次 第一張 68.5385 118.2771 29.5514 77.2249 84.7002 51.8021 第二張 1082.6246 822.6266 22.1881 197.5455 197.4367 43.5006 第三張 69.3088 133.8330 17.7690 77.1480 86.6449 74.3622 第四張 37.0621 102.7748 43.9606 60.4839 75.4048 51.7078 第五張 21.0513 80.2616 17.6884 12.7834 25.9639 2355.3618 第六張 42.2828 34.2685 33.6806 37.4508 23.7226 16.5671 第七張 84.2408 12.9680 71.4916 89.2934 67.6587 53.6201 單位：像素(pixel)
過濾前 第十六回
刪除 4 次
第十七回 刪除 4 次
第十八回 刪除 4 次
第十九回 刪除 3 次 第一張 68.5385 73.9768 6231.3658 492.0824 50.0576 第二張 1082.6246 1279.8466 5024.3532 340.9687 54.7468 第三張 69.3088 76.2858 2231.7987 733.2742 26.5739 第四張 37.0621 46.2980 45.0230 140.6673 7.4296 第五張 21.0513 25.1482 114.1391 58.8401 17.8595 第六張 42.2828 33.7946 164.7786 2.9843 45.2649 第七張 84.2408 75.9623 206.6512 49.6588 71.7923
單位：像素(pixel)
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
74
附件五 Bundler 對應點與 ground truth 對應點評估結果比較 實驗影像(三)
Bundler 對應點評估結果
第一回合刪除 10 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 14.6246 10.3003 10.3003
第二張 23.8207 12.6167 12.6167
第三張 6.1878 12.6810 12.6810
第四張 12.5898 15.0786 15.0786
第五張 23.8207 21.7888 21.7888
第六張 15.5186 30.0981 30.0981
第七張 7.7229 34.3251 34.3251
第八張 3.2940 41.2045 41.2045
單位：像素(pixel)
第二回合刪除 7 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 14.6246 10.3003 10.6750
第二張 23.8207 12.6167 9.3982
第三張 6.1878 12.6810 8.8679
第四張 12.5898 15.0786 13.7872
第五張 23.8207 21.7888 22.9308
第六張 15.5186 30.0981 20.1453
第七張 7.7229 34.3251 15.1174
第八張 3.2940 41.2045 93.1450
單位：像素(pixel)
第三回合刪除 5 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 14.6246 10.3003 13.0101
第二張 23.8207 12.6167 15.7768
第三張 6.1878 12.6810 13.9056
第四張 12.5898 15.0786 15.1475
第五張 23.8207 21.7888 96.3745
第六張 15.5186 30.0981 31.8327
第七張 7.7229 34.3251 33.1075
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
75
第八張 3.2940 41.2045 42.4077
單位：像素(pixel)
第四回合刪除 4 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 14.6246 10.3003 16.4022
第二張 23.8207 12.6167 18.6423
第三張 6.1878 12.6810 13.7156
第四張 12.5898 15.0786 13.8812
第五張 23.8207 21.7888 75.7610
第六張 15.5186 30.0981 22.6604
第七張 7.7229 34.3251 27.9082
第八張 3.2940 41.2045 46.0203
單位：像素(pixel)
第五回合刪除 3 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.3681 3.6478 21.6326
第二張 0.1979 4.0701 13.7820
第三張 0.2569 2.5492 8.0091
第四張 0.2365 2.0033 4.7762
第五張 0.1979 2.7097 1.3628
第六張 0.2442 4.5044 5.0801
第七張 0.2813 5.9596 7.4511
第八張 0.3633 9.1976 13.3818
單位：像素(pixel)
第六回合刪除 3 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.3681 3.6478 20.7908
第二張 0.1979 4.0701 14.6911
第三張 0.2569 2.5492 8.7393
第四張 0.2365 2.0033 5.2955
第五張 0.1979 2.7097 1.8092
第六張 0.2442 4.5044 4.7894
第七張 0.2813 5.9596 8.3677
第八張 0.3633 9.1976 13.5400
單位：像素(pixel)
‧
國立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
76
第七回合刪除 2 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.3611 3.7136 1.2930
第二張 0.1734 4.1455 1.4193
第三張 0.2493 2.6014 0.8904
第四張 0.2267 2.0202 0.6829
第五張 0.1734 2.7325 0.7155
第六張 0.2260 4.5696 1.0388
第七張 0.2750 6.0653 1.7500
第八張 0.3268 9.3049 8.0963
單位：像素(pixel)
第八回合刪除 2 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.3647 3.5568 8.3081
第二張 0.1765 3.9554 9.8199
第三張 0.2519 2.5101 19.9677
第四張 0.2225 1.9745 5.3862
第五張 0.1765 5.3457 6.3568
第六張 0.2195 4.4135 4.8026
第七張 0.2697 5.3457 6.3568
第八張 0.3120 8.7636 13.8517
單位：像素(pixel)
第九回合刪除 2 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
第一張 0.3647 3.5568 13.4266
第二張 0.1765 3.9554 14.8114
第三張 0.2519 2.5101 9.8004
第四張 0.2225 1.9745 6.4819
第五張 0.1765 5.3457 3.2874
第六張 0.2195 4.4135 3.4433
第七張 0.2697 5.3457 6.8911
第八張 0.3120 8.7636 11.2278
單位：像素(pixel)
第十回合刪除 2 次以上的對應點
正確投影矩陣 原始投影矩陣 過濾投影矩陣
正確投影矩陣 原始投影矩陣 過濾投影矩陣