第四章 以粒子群最佳化演算法估測基礎矩陣
4.2 研究方法與流程
4.2.2 評估基礎矩陣
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
32
影像上特徵點在第二張影像上的對應點，由這個對應點，和極線計算距離誤差，
同理，將第二張影像上的特徵點，經由同樣的方法，也可以在第一張相片上畫出 極線，由對應在第一張影像上的點進行計算距離誤差，若是同一組對應點時，可 以取平均值當作最後的一組誤差，當我們統計的點數越多時，越可以清楚知道我 們估測基礎矩陣的好壞。圖 4.3 是計算誤差的示意圖，計算公式如式 4.6。
2 2
( , ) ax by c d m L
a b
(4.6)m 為對應點的座標，L 為 m 在另外一張相片畫出的極線方程式
ax by c 0
， 公式帶入後求出的 d 值即為誤差值。圖 4.4：計算基礎矩陣誤差示意圖
‧
fitness 值的制訂如式子 4.1，每次實驗我們會列出初始分佈和結束時的數據表格，
並列出每經過 100 次疊代後粒子移動後的圖形。
‧
值為 0.657727。其餘粒子我們也將記錄初始 fitness 值，實驗停止條件為所有粒 子的 fitness 值皆要小於 0.1，實驗即停止，同時我們也記錄了初始 Gbest 和實驗‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
35
粒子 18 392.376 0.93267 粒子 19 495.773 0.172525 粒子 20 844.203 0.894932 Gbest 103.793 0.172525
平均值 555.49 0.631088
標準差 226.697 0.211664
疊代次數 526
在圖 5.1(a)中，是實驗初始 20 個粒子的分佈圖，我們採取了影像處理的座標 模式，將 X 座標置於圖的上方，Y 座標維持在圖的左方，可以看出，初始的隨 機分佈在圖中相當分散。
(a)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
36
經過 100 次疊代計算後，可以看出 20 個粒子已經漸漸收斂至我們假定的最 佳座標點，但是因為尚未達到實驗停止條件，因此實驗繼續進行，在 200 次疊代 計算後，其實粒子群變動的幅度已經不明顯，都收斂在最佳座標點附近，直到最 後實驗停止條件達成後，我們將實驗停止，並且列出最後結果。
(b)
(c)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
37
(d)
(e)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
38
(f)
(g)
圖 5.1：速度未正規化第一次實驗 (a)初始分佈 (b)疊代 100 次後 (c)疊代 200 次 後 (d)疊代 300 次後 (e)疊代 400 次後 (f)疊代 500 次後 (g) 實驗停止
‧
Gbest 149.632 0.106686 平均值 507.419 0.608242 標準差 193.873 0.269995
疊代次數 345
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
40
(a)
(b)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
41
(c)
(d)
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
43
粒子 14 648.885 0.276665 粒子 15 342.906 0.575668 粒子 16 317.728 0.928936 粒子 17 849.757 0.600338 粒子 18 828.211 0.687454 粒子 19 642.811 0.854468 粒子 20 644.612 0.321167 Gbest 164.403 0.035626 平均值 510.881 0.684448 標準差 191.859 0.261441
疊代次數 430
(a)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
44
(b)
(c)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
45
(d)
(e)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
46
(f)
圖 5.3：速度未正規化第三次實驗 (a)初始分佈 (b)疊代 100 次後 (c)疊代 200 次 後 (d)疊代 300 次後 (e)疊代 400 次後 (f)實驗停止
平均疊代次數：433.67
5.1.2 速度經過正規化
在速度經過正規化的實驗中，我們同樣列出三次實驗結果，實驗數據放在表 6、7、8，初始化採取隨機分佈 20 組粒子，以表 6 為例，粒子 1 初始 fitness 值 經過計算為 103.793，經過 526 次疊代計算後，停止的 fitness 值為 442.915。其 餘粒子我們也將記錄初始 fitness 值，實驗停止條件為所有粒子的 fitness 值皆要 小於 0.1，實驗即停止，同時我們也記錄了初始 Gbest 和實驗停止後的 Gbest，受 限於篇幅，我們無法列出所有座標點的詳細(x,y)座標，但可由圖 5.4~圖 5.6 看出 實驗進行的過程，可以看出，平均花費的疊代次數減少。
‧
Gbest 27.3446 0.266683 平均值 503.867 0.646745 標準差 239.743 0.224104疊代次數 172
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
48
(a)
(b)
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
50
粒子 16 678.823 0.097698 粒子 17 512.375 0.811489 粒子 18 241.005 0.927598 粒子 19 519.15 0.4073 粒子 20 233.833 0.907129
Gbest 58.9923 0.097698 平均值 484.576 0.567664 標準差 205.052 0.267629
疊代次數 180
(a)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
51
(b)
(c)
圖 5.5：速度正規化第二次實驗 (a)初始分佈 (b)疊代 100 次後 (c)實驗停止
‧
Gbest 192.907 0.203654 平均值 560.994 0.634178 標準差 196.626 0.209261
疊代次數 247
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
53
(a)
(b)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
54
(c)
(d)
圖 5.6：速度正規化第三次實驗 (a)初始分佈 (b)疊代 100 次後 (c)疊代 200 次後 (d) 實驗停止
平均疊代次數：199.67
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
56
(a)
(b)
‧
convergence Particle Gbest
(5.1)其中 Particlei表示第幾個粒子個體，N 表示第幾個點編號，c 表示我們計算 出的收斂值，接著我們將收斂值 convergence 值調整後，有以下的幾次實驗。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
58
convergence 值<12.25
(a)
(b)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
59
(c)
圖 5.8：convergence 值<12.25 為停止條件(a)第一次(b)第二次(c)第三次 實驗結果
convergence 值<9.8
(a)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
60
(b)
(c)
圖 5.9：convergence 值<9.8 為停止條件(a)第一次(b)第二次(c)第三次 實驗結果
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
61
convergence 值<7.35
\
(a)
(b)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
62
(c)
圖 5.10：convergence 值<7.35 為停止條件(a)第一次(b)第二次(c)第三次 實驗結果
convergence 值<6.12
(a)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
63
(b)
圖 5.11：convergence 值<6.12 為停止條件(a)第一次(b)第二次 實驗結果
convergence 值<4.9
圖 5.12：convergence 值<4.9 為停止條件第一次實驗結果
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
64
5.2.3 限制 fitness 值和對 Gbest 收斂
在本節實驗停止條件是限制 Gbest 的 fitness 值小於一定的門檻值，再利用收 斂當作我們的停止條件，因為在 5.2.2 節中只用收斂到 Gbest 這組粒子個體當作 停止條件，會發現很有可能還沒有近似到一定的準確率時就已達停止條件，因此 我們再修改了停止條件，目前先進行了幾次實驗如下。
Gbest
fitness< 0.1 和 convergence 值<12.25
圖 5.12：Gbestfitness < 0.1 和 convergence 值<12.25 為停止條件第一次實驗結果
5.2.4 討論與分析
在 5.2.1、5.2.2 和 5.2.3 節中我們將三個不同實驗停止條件放在圓錐近似的實 驗中，得到的結果也不盡然相同，但目前仍有再改善的空間，目前幾個可能的問 題如下，在 5.2.1 節中，只單純的限制疊代次數是風險較大的做法，因為我們沒
‧
得 ground truth 資料，第二組資料是由 Christoph[20]提供多視角影像和光達點雲 資料，也可以由投影矩陣計算出多視角相片中的 ground truth 資料幫助計算誤差，我們將透過三種方法比較實驗結果，分別是 PSO、LMedS_PSO、LMedS，最後 做討論與分析。
5.3.1 第一組實驗(3DMAX)資料
我們用 3DMAX 建模並且假設兩台相機拍攝兩張相片(圖 5.13)，圖 5.14 顯示 我們的實驗場景，相片解析度為 800x600，籃子大小為 80x60，共有 100 個，初
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
66
始找尋對應點時採用 SIFT 演算法，共可以找到 2494 組對應點，而用來驗證的 ground truth 資料，則有 1306 組對應點。
圖 5.13：3DMAX 實驗相片
圖 5.14：3DMAX 拍攝場景
我們採用較接近的疊代次數來比較實驗結果，PSO 實驗採用 10 組隨機取樣 的粒子個體經過疊代計算 117 次，共進行 1170 次疊代，而 LMedS_PSO 方法先 計算成功取樣機率為 80%，正確資料為 50%的一組結果，套用隨機取樣公式需
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
68
圖 5.15：3DMAX 實驗直方圖比較
圖 5.16：3DMAX 實驗折線圖比較
從圖表中我們看出，PSO 的方法在接近的疊代次數中，時間成本和平均誤差 值皆是表現最好的，接著下一節我們將列出第二組實驗結果。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
5.3.2 第二組實驗(LIDAR)資料
第一組 LIDAR 資料
光達資料是一種雷射成像系統，可以將三維模型中的座標記錄下來，相機對 物體拍攝相片後，只要透過投影矩陣，即可計算出三維物體在相片上的座標，我 們可以透過這個步驟獲得 ground truth 資料，圖 5.17 是實驗用的兩張相片。
圖 5.17：LIDAR 第一組實驗相片
相片解析度為 3072x2048，籃子大小為 256x256，共有 96 個，初始找尋對應 點時採用 SIFT 演算法，由於電腦記憶體不足以處理較大的相片解析度，因此我 們在找尋對應點時，會先將相片解析度縮小一半為 1536x1024，找到後的對應點 座標在乘上兩倍，便可以獲得對應點資訊，共可以找到 1336 組對應點，而用來 驗證的 ground truth 資料，則有 2121 組對應點。
採用 5.3.1 小節的三種方法和接近的疊代次數，我們可以有以下的實驗結果，
如表 11、12。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
70
表 11：LIDAR 場景估測基礎矩陣第一組結果
方法 1000 組平均誤差 1000 組標準差 1000 組需要時間 PSO 0.237 像素 0.1056 像素 8 小時 LMedS_PSO 0.247 像素 0.1056 像素 29 小時
LMedS 0.278 像素 0.1057 像素 70 小時
表 12：LIDAR 場景估測基礎矩陣第一組結果標準差分佈 方法 小於平均標準差 小於 0~1 倍 小於 1~2 倍
PSO 673 個 633 個 40 個
LMedS_PSO 642 個 599 個 43 個
LMedS 564 個 541 個 23 個
從表 11、12 可以發現，當我們資料量越多，花費的時間成本也相對增多，
不過 PSO 的方法仍是誤差最小，且時間花費最少的，接著我們統計三種方法的 一千組結果，計算總平均、標準差，繪製出直方圖和累積的折線圖，如圖 5.18、
5.19。
圖 5.18：LIDAR 第一組實驗直方圖比較
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71
圖 5.19：LIDAR 第一組實驗折線圖比較
第二組 LIDAR 資料
第二組資料的兩張照片如圖 5.20。
圖 5.20：LIDAR 第二組實驗相片
相片解析度為 3072x2048，籃子大小為 256x256，共有 96 個，共可以找到 1157 組對應點，而用來驗證的 ground truth 資料，則有 1733 組對應點，實驗結 果如表 13、14。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
72
表 13：LIDAR 場景估測基礎矩陣第二組結果
方法 1000 組平均誤差 1000 組標準差 1000 組需要時間 PSO 0.385 像素 0.1683 像素 6 小時 LMedS_PSO 0.386 像素 0.1684 像素 23 小時
LMedS 0.431 像素 0.1685 像素 56 小時
表 14：LIDAR 場景估測基礎矩陣第二組結果標準差分佈 方法 小於平均標準差 小於 0~1 倍 小於 1~2 倍
PSO 638 個 520 個 118 個
LMedS_PSO 627 個 492 個 135 個
LMedS 515 個 420 個 95 個
PSO 的方法仍是誤差最小，且時間花費最少的，接著我們統計三種方法的一 千組結果，計算總平均、標準差，繪製出直方圖和累積的折線圖，如圖 5.21、5.22。
圖 5.21：LIDAR 第二組實驗直方圖比較
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
73
圖 5.22：LIDAR 第二組實驗折線圖比較
5.3.3 討論與分析
從 5.3.1 和 5.3.2 共三組實驗結果看出來，三種方法用接近的疊代計算次數比 較，使用 PSO 的方法比過去使用強健式方法 LMedS 快上不少，平均誤差值也較 小，而我們另外結合兩種方法的 LMedS_PSO 則是在時間成本、平均誤差值皆介 於中間，這是可以預期的，第一組 3DMAX 資料因為是我們用電腦模擬，包括相 機的參數皆有的情況下，算出來的誤差值較小，而第二組 LIDAR 資料因為在找 對應點時遇到記憶體不足的問題，調整後已經造成些誤差，再來利用投影矩陣投 影回相片上時，需要做正規化，這部份也產生了誤差，因此整體比較下來，誤差 比 3DMAX 資料大，但是就 LIDAR 資料來說，我們提出的方法是有效率且誤差 值較小的，有了這些資訊後，適合未來繼續進行相關研究。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
75
6.2 未來工作
未來我們可以考慮在演算法初始化步驟中加入挑選點的方法，田口方法是有 機會加入並且結合的，由於粒子群最佳化演算法是會根據過去經驗不斷更新疊代 的演算法，因此第一次挑選扮演著重要的角色，若初始選點可以分散並且具有規 則，或許有機會在搜尋空間中做比較完整的搜尋，雖然我們已經利用分群與隨機 取樣的方法儘可能將初始化的對應點分散和避免共平面問題，但仍是採用隨機取 樣，並沒有一套機制分配初始化的點，這部份是我們未來可以更加探討的。
有了準確的基礎矩陣後，後續可以應用在找尋密集的對應點，過去有許多學 者長期研究在找尋精確度高的對應點，本研究中曾提到，在幾何關係下，多視角 影像的對應點是可以由準確的基礎矩陣計算出座標。
接著過濾誤差較大的雜訊點後，便可以建出三維模型空間，有了精確的三維 模型空間後，進一步可以加入材質敷貼，就形成了完整的三維模型，有機會可以 應用在地理資訊系統(Geographic Information System)、數位典藏(Digital archive)、
電影製作(filmmaking)。
‧
[8]. C. Tang, Y. Wu, and Y. Lai, “Fundamental Matrix Estimation using Evolutionary Algorithms with Multi-Objective Functions”, Journal of Information Science
and Engineering , 2008, pp.785-800.
[9]. F. Frenzel, “Genetic algorithms,” Potentials, IEEE , vol.12, no.3, pp.21-24, Oct 1993.
[10]. L. George. 2004. Artificial Intelligence: Structures and Strategies for Complex
Problem Solving (5th Edition). Pearson Addison Wesley.
[11]. M. Lhuillier, Q. Long, “Match propagation for image-based modeling and rendering,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol.24, no.8, pp. 1140- 1146, Aug 2002.
‧
[12]. G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”,
International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004.
[13]. J. Kennedy, R. Eberhart, “Particle swarm optimization,” Neural Networks, 1995.
Proceedings., IEEE International Conference on, vol.4, no., pp.1942-1948 vol.4,
Nov/Dec 1995.
[14]. J. Phillip, “Taguchi Techniques for Quality Engineering”, McGraw-Hill Professional, 2nd edition, 1995.
[15]. A. Ratnaweera, K. Halgamuge, C.Watson, “Self-organizing hierarchical particle swarm optimizer with time-varying acceleration coefficients,” Evolutionary
Computation, IEEE Transactions on, vol.8, no.3, pp. 240- 255, June 2004.
[16]. H. Richard, Z. Andrew. 2003. Multiple View Geometry in Computer Vision (2 ed.). Cambridge University Press, New York, NY, USA.
[17]. H. Thomas, S. Clifford, L. Ronald, and E. Charles. 2001. Introduction to
Algorithms (2nd ed.). McGraw-Hill Higher Education.
[18]. A. Xavier, S. Joaquim, “Overall view regarding fundamental matrix estimation”
Image and Vision Computing, vol. 21, no. 2, pp. 205-220, 2003
[19]. Z. Zhengyou, “Parameter Estimation Technique: A Tutorial with Application to
[19]. Z. Zhengyou, “Parameter Estimation Technique: A Tutorial with Application to