三焦張量在多視角幾何中的計算與應用 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學. 三焦張量在多視角幾何中的計算與應用. ‧. Computation and Applications of Trifocal Tensor in. y. Nat. n. al. er. io. sit. Multiple View Geometry. Ch. engchi. i n U. 研究生：李紹暐指導教授：何瑁鎧. 中華民國一百年七月 July 2011. v.

(2) 三焦張量在多視角幾何中的計算與應用 Computation and Applications of Trifocal Tensor in Multiple View Geometry. 研究生：李紹暐 Student：Shau-Wei Li 指導教授：何瑁鎧 Advisor：Maw-Kae Hor. 國立政治大學資訊科學系. Nat. sit. y. ‧. 碩士論文. 學. ‧ 國. 立. 政治大. n. er. io. A Thesis submitted to a lDepartment of Computer v Science i National n C hChengchi University U e n gofcthe h i Requirements in partial fulfillment for the degree of Master in Computer Science. 中華民國一百年七月 July 2011.

(3) 致謝. 首先要感謝的是細心指導我們的何瑁鎧教授，在這兩年裡熱心的關心我們研究生生活，並且也嚴謹的督促我們論文的進度與寫作。不但分享生活中的點滴，同時也給予我們很多的教導與建議，可以說是亦師亦友。也要感謝口詴委員唐政. 政治大時也要謝謝系上所有老師在我修課期間教導我資訊科學中不同領域的知識，也讓立元老師與吳怡樂老師給予我論文修改的寶貴建議，使我的論文能夠更加完備。同. 我在做研究時能更具創造力。. ‧ 國. 學 ‧. 感謝 IS-Lab 博士班的凱軒學長耐心的指引我研究的方法與實驗方向，以及. y. Nat. 逸帆學長、淑怡學姊、恭良學長給予我論文寶貴的建議，也謝謝研究生生活中陪. er. io. sit. 我同甘共苦的瑞鴻、明龍、姿旻、柏諺，祝福大家在下一個人生階段能夠順心。我們實驗室也與和碩聯合科技公司進行產學合作，特別感謝閻立剛博士讓我們有. n. al. Ch. 這樣的機會體驗實務的運作。. engchi. i n U. v. 課程學習之外，非常感謝教發中心的心慧讓我有擔任兼任助理工讀的機會，教導我許多業務執行與未來規劃的知識。嘉惠、晨帆、展億、彥嵩以及其他中心成員都讓我在做研究之外學習到了許多，讓我的求學生涯更添色彩。還有網球校隊教練杜錦豊、全體隊員讓我有一個舞台可以發揮並獲得成就感，謝謝你們。. 最後，謝謝我的爸爸、媽媽和姊姊，沒有你們一路的支持，我也無法順利畢業取得學位。在這階段碰到所有的人，謝謝與祝福你們。. i.

(4) 三焦張量在多視角幾何中的計算與應用. 摘要. 電腦視覺三維建模的精確度，仰賴影像中對應點的準確性。以前的研究大多採取兩張影像，透過極線轉換(epipolar transfer)取得影像間基礎矩陣(fundamental matrix)的關係，然後進行比對或過濾不良的對應點以求取精確的對應點。然極線. 政治大積，成為求取精確三維建模中極待解決的課題。立. 轉換存在退化的問題，如何避免此退化問題以及降低兩張影像之間轉換錯誤的累. ‧ 國. 學. 本論文中，我們提出一套機制，透過三焦張量(trifocal tensor)的觀念來過濾. ‧. 影像間不良的對應點，提高整體對應點的準確度，從而能計算較精確的投影矩陣. y. Nat. 進行三維建模。我們由多視角影像出發，先透過 Bundler 求取對應點，然後採用. er. io. sit. 三焦張量過濾 Bundler 產生的對應點，並輔以最小中值平方法(LMedS)提升選點之準確率，再透過權重以及重複過濾等機制來調節並過濾對應點，從而取得精確. al. n. v i n 度較高的對應點組合，最後求取投影矩陣進行電腦視覺中的各項應用。 Ch engchi U. 實作中，我們測詴了三組資料，包含一組以 3ds Max 自行建置的資料與兩組網路中取得的資料。我們先從三張影像驗證三焦張量的幾何特性與其過濾對應點的可行性，再將此方法延伸至多張影像，同樣也能證實透過三焦張量確實能提升對應點的準確度，甚至可以過濾出輸入資料中較不符合彼此間幾何性的影像。. 關鍵詞：三焦張量，多視角影像，極線轉換，最小中值平方法，投影矩陣. ii.

(5) Computation and Applications of Trifocal Tensor in Multiple View Geometry. Abstract. The accuracy of 3D model constructions in computer vision depends on the accuracy of the corresponding points extracted from the images. Previous studies in. 政治大. this area mostly use two images and compute the fundamental matrix through the use. 立. of the epipolar geometry and then proceed for corresponding point matching and. ‧ 國. 學. filtering out the outliers in order to get accurate corresponding points. However, the epipoler transform suffers from the degenerate problems and, also, the accumulated. ‧. conversion errors during the corresponding matches both will degrade the model. y. Nat. Solving these problems become crucial in reconstructing accurate 3D. io. sit. accuracy.. n. al. er. models from multiple images.. Ch. engchi. i n U. v. In this thesis, we proposed a mechanism to obtain accurate corresponding points for 3D model reconstruction from multiple images.. The concept of trifocal tensor is. used to remove the outliers in order to improve the overall accuracy of the corresponding points.. We first use Bundler to search the corresponding points in the. feature points extracted from multiple view images.. Then we use trifocal tensor to. determine and remove the outliers in the corresponding points generated by Bundler. LMedS is used in these processes to improve the accuracy of the selected points. One can also improve the accuracy of the corresponding points through the use of weighting function as well as repeated filtering mechanism. iii. With these high.

(6) precision corresponding points, we can compute more accurate fundamental matrix in order to reconstruct the 3D models and other applications in computer vision.. We have tested three sets of data, one of that is self-constructed data using the 3ds Max and the other two are downloaded from the internet.. We started by. demonstrating the geometric properties of trifocal tensor associated with three images and showed that it can be used to filter out the bad corresponding points.. Then, we. successfully extended this mechanism to more images and successfully improved the. 政治大. accuracy of the corresponding points among these images.. 立. Keywords: trifocal tensor, multiple view images, epipolar transfer, LMedS,. ‧ 國. 學. projection matrix.. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. iv. i n U. v.

(7) 目錄第一章緒論.................................................................................................................. 1 1.1 研究動機與目的 ................................................................................................. 1 1.2 問題描述 ............................................................................................................. 4 第二章相關研究.......................................................................................................... 5 2.1 相關論文 ............................................................................................................. 5 2.1.1 兩張影像 ...................................................................................................... 5. 政治大. 2.1.2 多視角影像 ................................................................................................... 6. 立. 2.1.3 三焦張量 ...................................................................................................... 9. ‧ 國. 學. 2.1.4 三維建模 .................................................................................................... 14. ‧. 2.2 背景知識 ........................................................................................................... 15. Nat. io. sit. y. 2.2.1 極線轉換 .................................................................................................... 15. n. al. er. 2.2.2 Bundler：從運動恢復結構 ........................................................................ 17. Ch. i n U. v. 2.2.3 特徵不變量轉換 ........................................................................................ 17. engchi. 2.2.4 最小中值平方法 ........................................................................................ 18 2.2.5 投影幾何 .................................................................................................... 20 第三章三焦張量特性與流程.................................................................................... 21 3.1 三焦張量特性探討 ........................................................................................... 21 3.1.1 三焦張量幾何特性 .................................................................................... 22 3.1.2 最小中值平方法計算三焦張量 ................................................................ 27 3.1.3 二維影像投影的校正 ................................................................................ 30 v.

(8) 3.1.4 分析三焦張量的選點 ................................................................................ 32 3.2 三焦張量流程 ................................................................................................... 33 3.2.1 驗證 Bundler 可用性 ................................................................................. 35 3.2.2 引入 Bundler 執行三焦張量實驗 ............................................................. 38 3.2.3 多張影像執行三焦張量 ............................................................................ 43 第四章實驗結果........................................................................................................ 46 4.1 三焦張量過濾前後的評估 ............................................................................... 46. 政治大. 4.2 三焦張量過濾終止條件 ................................................................................... 51. 立. 4.3 過濾影像機制 ................................................................................................... 53. ‧ 國. 學. 第五章結論與討論.................................................................................................... 55. ‧. 5.1 結論 ................................................................................................................... 55. sit. y. Nat. 5.2 未來方向 ............................................................................................................ 57. io. n. al. er. 參考文獻...................................................................................................................... 58. v. 實驗附錄...................................................................................................................... 61. Ch. engchi. vi. i n U.

(9) 圖目錄圖 1：19 種計算基礎矩陣準確性評估....................................................................... 6 圖 2：19 種計算基礎矩陣效率評估........................................................................... 6 圖 3：以 Bundler 建置新穎瀏覽圖片的網站 ............................................................. 8 圖 4：影像相關連線圖................................................................................................ 8 圖 5：三焦張量 line-line-line 對應示意圖 ............................................................... 10 圖 6：三焦張量 point-line-point 對應示意圖 .......................................................... 13 圖 7：極線轉換示意圖.............................................................................................. 16. 政治大圖 9：Bundler 實作示意圖，出自[31] ..................................................................... 17 立圖 8：極線轉換退化問題示意圖.............................................................................. 16. ‧ 國. 學. 圖 10：特徵不變量轉換示意圖................................................................................ 18 圖 11：最小中值平方法評估示意圖 ........................................................................ 19. ‧. 圖 12：投影幾何示意圖............................................................................................ 20. sit. y. Nat. 圖 13：三焦張量實驗資料截圖................................................................................ 21. al. er. io. 圖 14：三焦張量評估示意圖.................................................................................... 22. v. n. 圖 15：均勻選點(實)和選取 1~15 號點(虛)折線圖分析 ........................................ 26. Ch. engchi. i n U. 圖 16：最小中值平方法流程圖................................................................................ 27 圖 17：均勻選點(實)與亂數 100 組找誤差最小選點(虛)折線圖分析 .................. 29 圖 18：投影圖像校正演算法，出自 Hartley [15] ................................................... 30 圖 19：二維影像投影校正........................................................................................ 31 圖 20：校正前後同樣選點折線圖分析.................................................................... 31 圖 21：相機參數計算流程........................................................................................ 33 圖 22：三焦張量過濾對應點計算相機參數流程.................................................... 34 圖 23：驗證 Bundler 可用性第一張影像 ................................................................. 35 圖 24：驗證 Bundler 可用性第二張影像 ................................................................. 36 vii.

(10) 圖 25：驗證 Bundler 可用性第一張放大影像 ......................................................... 36 圖 26：驗證 Bundler 可用性第二張放大影像 ......................................................... 37 圖 27：Bundler 執行三焦張量 3ds Max 場景 .......................................................... 38 圖 28：Bundler 執行三焦張量 3ds Max 場景影像一 .............................................. 39 圖 29：Bundler 執行三焦張量 3ds Max 場景影像二 .............................................. 40 圖 30：Bundler 執行三焦張量 3ds Max 場景影像三 .............................................. 40 圖 31：從運動中恢復結構計算相機參數................................................................ 41 圖 32：重投影評估投影矩陣.................................................................................... 42. 政治大圖 34：過濾對應點機制............................................................................................ 44 立圖 33：3ds Max 場景八張實驗影像，實驗影像(一) .............................................. 43. 圖 35：網路 ground truth 資料八張實驗影像，實驗影像(二) ............................... 45. ‧ 國. 學. 圖 36：網路 ground truth 資料八張實驗影像，實驗影像(三) ............................... 45. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. viii. i n U. v.

(11) 表目錄表 1：最小中值平方法示意圖.................................................................................. 19 表 2：計算三張影像對應點...................................................................................... 39 表 3：三焦張量三張影像過濾前後評估結果.......................................................... 42 表 4：實驗影像(一)執行三焦張量結果 ................................................................... 47 表 5：實驗影像(二)執行三焦張量結果 ................................................................... 47 表 6：實驗影像(三)執行三焦張量結果 ................................................................... 48 表 7：Bundler 與 ground truth 評估對照(第一回合刪除 9 次以上對應點) ........... 51. 政治大表 9：Bundler 與 ground 立 truth 評估對照(第九回合刪除 3 次以上對應點) ........... 53 表 8：Bundler 與 ground truth 評估對照(第三回合刪除 4 次以上對應點) ........... 52. ‧. ‧ 國. 學. 表 10：Bundler 與 ground truth 評估對照(第十一回合刪除 3 次以上對應點) ..... 54. n. er. io. sit. y. Nat. al. Ch. engchi. ix. i n U. v.

(12) 第一章緒論. 1.1 研究動機與目的. 由於資訊的發展相當快速，曾經認定為人工處理的工作，現在都可以交給機. 政治大計算測量都可以透過機器得到更加優化的結果，電腦視覺中的各種應用也應運而立. 器去做更精密的計算及處理。尤其電腦視覺在軟硬體不斷的進步下，各種影像的. ‧ 國. 學. 生。例如醫學影像的分析、天氣或地理圖的觀察、虛擬實境和三維模型建模的應用。在醫學上，觀察身體內部資訊的斷層掃描或是核磁共振都是以電腦視覺做視. ‧. 覺化的呈現使醫生獲得想要的資訊，並且做出更精確的診斷以及治療。天氣圖或. sit. y. Nat. 是地理圖也可以利用影像的分割和影像的辨識重建三維地理深度圖。另外，虛擬. al. er. io. 實境(augmented reality (AR))[25]，也就是在真實的環境中加入虛擬的物體，像是. v. n. 現在很流行的 kinect 就是讓玩家單純揮動手臂就好像拿著棒子打棒球一樣與虛. Ch. engchi. i n U. 擬世界融為一體。最後，三維模型建模則為本篇研究的重點，下面章節會對三維建模加以詳述。上面所提到的應用都必頇建立在準確的辨識以及對應下才能做最好的呈現，我們的研究就是在對這個環節進行深入的探討。. 三維模型建模在這一二十年都持續有利用光達(LiDAR)或雷達(RaDAR)來進行測量以及研究，但這必頇要有非常精密的儀器與投入較高的財力。我們則是期望以較簡單的方法取得相同資訊以降低成本，並且達成同樣甚至更好的效果，例如一般的相機或是衛星影像。要從二維影像中建置出三維的物體，這觀念就好比人的眼睛，必頇要有一對才能看到立體的事物，而且能觀察出物體的遠近。也就 1.

(13) 是說，至少要有兩張影像的資訊才能建模出三維的物體。先前的研究多半單就兩張影像之間的關係做探討，在 Armangue[11]就分析了許多種兩張影像之間計算的演算法以及其準確性與計算速率。但是，由於相機的普及，我們對同一場景或建築的多視角拍攝影像取得越來越容易，不管是自己拍攝或是從網路中下載。所以我們的研究是以多視角影像進行處理以改善單就兩張影像的實驗結果。也由於我們影像的來源是不知道任一台相機拍攝的位置以及拍攝焦距，所以本研究中引用了 Bundler 軟體幫助我們做相機的校正，計算出任兩張影像的對應點以及在同一座標系統下相對的位置也就是投影矩陣。Bundler 在這領域中被普遍使用，許多. 政治大瑞陽[8]中提出的三維建模方法都是在多視角影像環境下完成，但是首先都必頇立. 具權威的作者也推薦它是自動產生相機參數非常好的軟體。在 Furukawa[12]和蔡. 要找出特徵點以及各張影像中特徵點的對應關係即稱為對應點。對應點的好壞關. ‧ 國. 學. 係著建構出三維模型的完整性與準確性。本研究就是針對對應點選取的準確程度. ‧. 做分析與研究，使最後在電腦視覺應用的呈現能夠更完整與精確。. y. Nat. er. io. sit. 本篇論文透過一個名為三焦張量(trifocal tensor)[3][10][20][26][15][16]的數學模型進行對應點過濾的實驗。三焦張量就是三張影像之間的幾何關係，它存在. al. n. v i n 一個基礎的推導就是以某兩張影像的對應點或是對應線計算出第三張影像上的 Ch engchi U. 對應點或對應線。在先前的許多研究中，大部分都是以兩兩張影像之間的幾何關係進行對應點的篩選，像是 Furukawa[12]與蔡瑞陽[8]甚至本研究使用到的 Bundler 都是依賴存在兩張影像之間基礎矩陣(fundamental matrix)的轉換關係。而我們的研究就是以三焦張量在三張影像之間的幾何關係改善以兩兩張影像轉換時可能存在錯誤累積的狀況。. 為了能實現建構三維模型或更多的應用使其準確的呈現，三焦張量的準確度變成這些應用的基石。對應點的選取攸關三焦張量的好壞，三焦張量計算後誤差. 2.

(14) 值越低，相對這些應用的精準度就會越高，效果越好。無庸置疑，設計一個好的三焦張量過濾機制使對應點準確度得以提升就是這項研究的目的。也因為是透過三焦張量的幾何關係判斷對應點的準確性，不用大範圍的比對相似度以降低計算量，提升效率同時也是這項研究的附加價值。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 3. i n U. v.

(15) 1.2 問題描述. 影像之間對應點的準確性為本篇論文最大訴求，利用三焦張量幾何關係修正多張影像拍攝相同物體較偏差的對應點即是我們解決問題的方向。電腦視覺中許多應用都建立在兩張影像或是多張影像之間的關係上，而影像之間的聯繫就在於特徵點與特徵線的對應，假使對應點準確度相當高，在應用中理所當然就可以更準確地呈現。. 政治大 (epipolar transfer)去找出更密集的對應點，而極線轉換在電腦視覺中扮演非常重立在蔡瑞陽[8]、丁彥弘[1]或其他的參考論文中，大部分是利用極線轉換. ‧ 國. 學. 要的角色。但論文中使用極線轉換可能存在退化的問題，在相關研究會加以詳述。這個影響因素會造成部分對應點找不到的問題，甚至在最後在三維建模會造成偏. ‧. 差。另外，極線轉換的優劣程度是仰賴基礎矩陣的準確性，如同前一節所說，它. sit. y. Nat. 是以兩張影像之間的關係為基礎，而我們則以每三張影像之間的幾何關係來加強. al. n. 後以網路上的資料進行實驗與數據分析。. Ch. engchi. 4. er. io. 影像之間轉換的準確性。本研究就是希望解決上述問題改善對應點的準確性，最. i n U. v.

(16) 第二章相關研究. 2.1 相關論文. 在三維建模的技術中必頇結合各項細節的研究並且更加精進，包括圖片特徵. 政治大. 點的尋找、特徵點的對應以及三維建模的方法。在這一節將詳述這些相關的研究. 立. 與論文。. ‧ 國. 學. 2.1.1 兩張影像. ‧ y. Nat. sit. 在電腦視覺中極線轉換對於對應點的篩選扮演著很重要的角色，而計算極線. n. al. er. io. 轉換的唯一方法就是要透過基礎矩陣。基礎矩陣的優劣影響到兩張影像之間對應. i n U. v. 點轉換的準確性。在 Armangue[11]這篇論文中，將網路中 19 種計算基礎矩陣的. Ch. engchi. 演算法在相同且真實的影像下進行準確性以及執行效率的評估，如下面圖 1 和圖 2。在我們的研究中也使用到該篇論文中提到的演算法，圖中虛線框起來第 16 種最小中值平方法(Least Median of Squares, LMedS)。在下面圖 1 中也可以發現最小中值平方法的各種評估結果都比其它演算法優異許多，因為他在計算基礎矩陣時可以準確的偵測與過濾掉不好的對應點得到較好的結果。然而在圖 2 中可以看出該方法花費的時間相對於其它演算法卻也高出許多，這也是所必頇付出的代價。我們論文依賴最小中值平方法其演算法的設計計算三焦張量，期望有一個較準確的三焦張量過濾掉不好的對應點。. 5.

(17) 圖 1：19 種計算基礎矩陣準確性評估. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2：19 種計算基礎矩陣效率評估. 2.1.2 多視角影像. 由於我們的研究是在多視角影像的情況下進行，也稱為未校正的序列影像。這些影像我們是不知道拍攝相機內外部參數的，就好比不知道各台相機拍攝的相對位置以及使用幾倍焦距進行拍攝的。在我們研究使用到從運動恢復結構 6.

(18) (structure from motion)[4][5][21][19]的方法，而這個方法即是在做校正的動作，將所有二維影像旋轉矩陣、位移矩陣及相對拍攝位置計算出來，並且在同一座標系統下求得影像中特徵點的三維座標。從運動恢復結構是從單一影像開始計算，先找出所有影像最多特徵點的其中一張，逐步加入其他影像進行特徵點對應以及過濾。過濾時使用到重投影(reprojection)的方法，我們研究中最後評估方法也是使用重投影計算誤差以判斷是否改善，研究方法中會詳述其過程。從運動恢復結構此方法也包裝在 Bundler 這項工具中，許多研究在多視角影像的環境下為了搜尋出所有影像特徵點對應關係都會使用到 Bundler，而且在電腦視覺擁有豐富資歷. 政治大. 的 Yasutaka Furukawa 也推薦它是一個自動產生相機參數很好的軟體。. 立. Snavely[23][24]兩篇研究都使用到這個軟體，Snavely[23]利用它建置一個非. ‧ 國. 學. 常新穎瀏覽圖片的互動網站以及建構稀疏的點雲模型，如下圖 3。首先由網路中. ‧. 蒐集了某個建築物相關的圖片，經由 Bundler 的處理將每一張照片相機拍攝位置. y. Nat. 設置於立體空間中，並且將準確的三維點以稀疏點雲方式呈現。另外，提供使用. er. io. sit. 者可以在畫面中選擇某一台相機或是在建築物上框取以展示該位置的圖片，並且可以克服遮蔽的情況。Snavely[24]算是延伸上述網站的研究，同樣為了使網路使. al. n. v i n 用者可以輕鬆透過該網站觀看著名的景點。處理方式大多與前篇研究雷同，在網 Ch engchi U. 路中取得幾百張以關鍵字搜尋出的影像，以 Bundler 處理過後取得相機參數。但是為了使點雲模型可以更精確地呈現以利使用者搜尋最想要觀看角度的影像，研究中將相片有特徵點對應的相機做連線，如圖 4。由連線圖可以判斷該建築或風景大部分影像拍攝的位置，將外圍較不密集的相機濾除再將結果放置於網站。. 7.

(19) 圖 3：以 Bundler 建置新穎瀏覽圖片的網站. 立. 政治大. ‧. ‧ 國. 學. Nat. al. er. io. sit. y. 圖 4：影像相關連線圖. v. n. 在丁彥弘[1]於 2005 年提出的論文中，與本篇研究方向有幾點非常類似。論. Ch. engchi. i n U. 文中同樣是在處理未經校正的影像，也就是不知道相機內部狀況下進行拍攝與處理。另外，其研究也是為了找出最理想對應點的選點，剃除會造成較大誤差的選點。在我們的實驗碰到該篇論文一樣的問題。如果在同樣的三維座標點下，以不同內部參數的相機拍攝會有座標系統不一致的情況。首先必頇算出在(1.1)式中轉換座標系統的 T 矩陣，(Xc,Yc,Zc,w)和(Xp,Yp,Zp,1)分別表示將要被轉換座標系統的三維座標以及轉換後對應點的三維座標，繼續推導可以得出(1.2)式。由此式可以發現 T11~ T43 總共有 15 個未知數，然而一組對應點會有三行方程式，所以至少需要五組以上的對應點才能解出轉換座標系統的 T 矩陣。但在這邊會碰到該選擇哪些對應點的問題，抑或是選擇對應點的數量都會影響到兩個座標系統間轉 8.

(20) 換的準確性。由於我們的實驗可以透過 Bundler 計算出每台相機在同一座標系統下相對的投影矩陣，所以可以將所有投影矩陣計算出三維座標點再以重投影做誤差評估，避免掉計算座標系統轉換 T 矩陣的誤差問題。. T11 X p  T Y   p   s  21 T31 Zp      1  T41. T12 T13 T22 T23 T32 T33 T42 T43. T14   X c  T24   Yc    T34   Z c    T44   w . (1.1). 0 0 0 0 X c1 Yc1. 0 0 Z c1. 0 0 w1.  X c1 X p1  X c1Yp1  X c1Z p1. Yc1 X p1 Yc1Yp1 Yc1Z p1.  Z c1 X p1  Z c1Yp1  Z c1Z p1. 0 0 X cn Ycn 0 0. 0 Z cn 0. 0 wn 0. 0 0 0 0 X cn Ycn. 0 0 Z cn. 0 0 wn.  X cn X pn  X cnYpn  X cn Z pn. Ycn X pn YcnYpn Ycn Z pn.  Z cn X pn  Z cnYpn  Z cn Z pn. io. n. al. y. 0 w1 0. sit. wn 0 0. 0 Z c1 0. er. Z cn 0 0. 0 0 X c1 Yc1 0 0. ‧. w1 0 0. Ch. e n(1.2) gchi.  T11  T   12  T13    T14  T21   X p1w1    0 T22  0 Yp1w1  T    23    Z p1w1  0  T24     T      31  0  X pn wn   T32    Ypn wn    0 T 33   0  Z pn wn    3n1 3 n16  T34    T41  T   42  T43  1  161. 學. Z c1 0 0. Nat.  X c1 Yc1  0 0   0 0    X cn Ycn  0  0  0 0 . ‧ 國. 立. 政治大. i n U. v. 2.1.3 三焦張量. 上面提到關於多視角影像的研究可以使用 Bundler 計算多張影像在同一個座標系統下的相機參數，但在此之前必頇有每兩張影像之間特徵點的對應關係。所以對應點的對應狀況一定會影響相機參數計算的結果。Bundler 雖然被許多研究廣為使用，但仍有對應點錯誤的情況。Bundler 對應點的比對必頇依賴基礎矩陣. 9.

(21) 的準確性，所以它在過濾對應點的方法也是以兩張影像為基礎，而我們研究加入三焦張量(Trifocal Tensor)數學模型以三張影像幾何關係改善對應點的準確度。. 在 Hartley[15]書中說明三焦張量是一個三維物體分別投影在三個不同相機拍攝角度而產生三張影像的幾何關係，如下圖。基本的研究原理就是在三張不同視角的影像選取相對應的特徵點或對應線，以下為例， l 、 l ' 、 l '' 分別為三張影像中的對應線，利用第一、二張影像對應線 l 、 l ' 的關係輸出一個關係矩陣，也就是三焦張量， l 、 l ' 就可以和三焦張量做運算產生第三張影像上對應線 l '' ，即. 政治大個誤差的分析就可以探討我們計算出三焦張量的優劣程度，這也是本篇研究討論立可以以這條直線與實際位置計算誤差，判斷是否符合三焦張量的幾何關係。由這. 的核心。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 5：三焦張量 line-line-line 對應示意圖. 在 Hartley [15]書中也推導出幾種三焦張量的轉換，根據圖 5 三維空間一條直線投影在三張影像上產生對應線可以用下列式子表示：. l T T1 , T2 , T3 l   l T. (2.1). 10.

(22) 由於直線與直線本身之外積為零( la  la  la x la  0 )，則可以將上式表示為下列式子：. l T , T , T ll  T. 1. 2. x. 3.  0T. (2.2). . 1 根據 Hartley 書中 Result 2.1.，當點 x  x. x2. . x3 落在 l  l1 l2 l3 T 直線 T. 上，則會滿足. l T x  xT l   x i li  0 i. 立. 政治大. ‧ 國. i. T. i. i. i. i. ‧.  x l T l   x l. 學. 將此式代入(2.1)中可以得出下列式子：. (2.3). 0. i. Nat. sit. y. (2.4). n. al. er. io. 即可以得到為 point-line-line correspondence 限制式：. l  ( x Ti )l   0 T. i. Ch. engchi. i n U. v. (2.5). i. 由於上式為 0，我們可以將上式轉置而得到下列式子：. l T ( x iT T i )l   0. (2.6). i. 我們可以將式子(2.3)的關係代入式子(2.6)得到：. x  ( x iT T i )l . (2.7). i. 11.

(23) 根據 Hartley[15]書中 Result 2.4.，當直線 l  l1 l2. . x  x1 x 2. . . x3 與 x  x1 x2 T. l3  經過兩點 T. . x3 會滿足下列式子： T. l  x  x. (2.8). 若 x 與 x 為同一座標點，則會滿足：. l  x  x  x  x  0. 立. (2.9). 政治大. 因此 xT xx  0T ，將此式子代入式子(2.7)則可以得到下列 point-line-point. ‧ 國. 學. correspondence 限制式：. ‧. l T ( x iTi )xx  0T. (2.10). io. sit. y. Nat. i. al. er. 根據式子(2.8)，我們可以得知 l   x  y  xx y，其中 x 與 y 皆是 l ' 上的點，. n. v i n 因此我們代入式子(2.10)則可以得到 C h y x ( x T U )x  0 engchi T. i. x. i. 要任何通過 x ' 之 l ' 直線，都可以滿足此式子。. 12. T. i. x. ，如圖 6 所示，只.

(24) 圖 6：三焦張量 point-line-point 對應示意圖. 因此我們可以得到下列 point-point-point correspondence 限制式：. xx ( xiTi )xx  033T. (2.11). ‧ 國. 學. i. 立. 政治大. ‧. 上述的推導，最後得到三張影像對應點 point-point-point 的關係式。由於我. y. Nat. 們使用 Bundler 可以取得影像中的對應點，所以我們接下來的實驗皆參考此幾何. er. io. sit. 關係式進行我們的研究。實驗流程類似於 Furukawa[12]，該篇論文首先透過哈里斯特徵偵測(Harris corner detector)[15][14]找出特徵點，再透過周圍的點擴大相似. al. n. v i n 點的數量，增加對應點數量後再進行過濾，最後以 middlebury 網站[28]上的模擬 Ch engchi U. 資料作為結果的分析。我們的研究主要探討過濾的階段，該篇論文用到一個三維補綴面的觀念，也就是相當於三維空間很小很小的平面透過多視角一致性 (photometric consistency)以及極線轉換的幾何關係進行過濾與比較。而我們的實. 驗是利用上述提到的三焦張量，找出不符合三張影像幾何關係的對應點進行逐步的刪除。. 13.

(25) 2.1.4 三維建模. 在三維建模方面，我們參考到 Furukawa[12]和瑞陽[8]的論文，他們在建模的運作流程皆分為下面三個階段：對應(matching)、擴展(expansion)和過濾(filtering)。在這兩篇論文都使用到極線轉換的觀念，Furukawa[12]是使用在對應點的擴展上，將符合幾何關係的對應點擴展取得更密集的對應。而瑞陽[8]則以極線轉換的幾何關係進行對應點的過濾，但在我們下一節會描述極線轉換的問題。在瑞陽[8] 的論文中，找出特徵點後使用極線轉換的原理以零平均正規劃相關匹配. 政治大相似性，將相似度太低的對應點做移除。最後的結果也改善了 Furukawa[12]論文立 (Zero-mean Normalized Cross-Correlation, ZNCC)做對應點的比對，判斷對應點的. ‧. ‧ 國. 學. 中對應點的精確度。. n. er. io. sit. y. Nat. al. Ch. engchi. 14. i n U. v.

(26) 2.2 背景知識. 下面將介紹本篇研究在實驗時所使用到的各項技術以及背景觀念。. 2.2.1 極線轉換. 極線轉換(epipolar transfer) [6][8][29]主要就是利用兩個相機照到同一個物體上，利用針孔成像的原理搜尋對應點。經過投影的物體應該會是上下顛到的，但. 政治大. 為了計算方便將影像投影回來變成一樣大小的虛擬影像，若跟物體是同方向在計. 立. 算的時候就不用再旋轉了。圖 7 中 C 和 C ' 為兩個照相機的相機中心(camara. ‧ 國. 學. center)，C 和 C ' 以及 X 組成極線平面(epipolar plane)。C-C ' 連線在平面上產生 e 和 e ' 這兩個點，稱為極點(epipolar point)。如果想要在右邊影像找出 X 投影到左. ‧. 邊圖像上 x 的對應點，我們會利用 X 和 C 的連線推導出右邊影像上的一條直線 l ，. y. Nat. sit. 稱為極線(epipolar line)，而三維點 X 投影到右邊圖像上的位置就會落在 l 這極線. n. al. er. io. 上。利用這樣的對應關係讓建模可以更快速，不用將特徵點與整張圖做相似性的. i n U. v. 比對，提高找對應點的效率。在這轉換過程中就是以基礎矩陣作為媒介進行，轉換式子如下：. Ch. engchi. l =Fx ，其中 F 為基本矩陣. (3.1). 當 x ' 位於 l 極線上時，x ' 的座標會與 l 的方向向量內積為零，故：. x ' l =x ' Fx =0. (3.2). 15.

(27) 立. 政治大圖 7：極線轉換示意圖. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 8：極線轉換退化問題示意圖. 由上面觀念繼續延伸，只要再取第三張影像找同一個特徵點的對應點就可再畫出一條極線，隨後即可在兩條極線交叉區塊附近比對對應點，如上圖 8。在瑞陽[8]這篇論文也使用到這個觀念將不符合此幾何關係的對應點濾除。但其中可能會產生退化的問題，如果右邊第三張影像計算出的極線為 l '，我們則可以在 l 與. l ' 焦點的周圍找出對應點。但第三張影像計算出的極線卻可能與 l 平行，如圖中 l '' 16.

(28) 的情況，由於沒有交點將會不知道如何在極線間尋找對應點，我們則利用三焦張量去避免掉這個問題。. 2.2.2 Bundler：從運動恢復結構. Bundler[18][23][24][13]是將沒有順序以及結構下的影像做校正取得相機參數的方法，圖 9。Bundler 的輸入是一組拍攝同樣物體的圖片以及使用特徵不變量轉換(SIFT)找出兩兩相對應的特徵點。輸出則是物體相對於每張影像相機中心. 政治大被實做在 Snavely[23]論文中，且設有網站[30]供人觀賞，另外也提供幾個不同的立. 的投影矩陣。這個方法已經在許多網路相簿集或是各類網站架構下執行，並且也. ‧. ‧ 國. 學. 資料集供選擇。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 9：Bundler 實作示意圖，出自[31]. 2.2.3 特徵不變量轉換. 本篇論文使用到 Bundler 幫助特徵點的搜尋。而 Bundler 是參考到 David G. Lowe 在 2004 年提出的特徵不變量轉換(Scale-Invariant Feature Transform,. 17.

(29) SIFT)[17]。特徵不變量轉換是電腦視覺中偵測圖片特徵點的演算法。它可以取得圖片中各個點提供辨識相關的訊息，包含點的座標位置、尺度(強度)和旋轉角度，並且以梯度向量表示，如圖 10。隨後需要比對特徵點相似性就必頇依賴這些訊息。另外，此方法可以使不同角度或是不同焦距拍攝的圖片具有尺寸不變性的特性，而且也考量到光亮程度的問題，論文中提出的方法也使其維持很好的不變性，所以可以找出很好的對應點。特徵不變量轉換的處理流程分為下面四個步驟，偵測尺度空間極值(scale-space extrema detection)、特徵點定位(keypoint localization)、特徵點方向性(orientation assignment)以及特徵點描述(keypoint descriptor)。特徵. 政治大. 不變量轉換的應用相當廣泛，像是影像辨識、影像追蹤和三維模型的重建。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 10：特徵不變量轉換示意圖. 2.2.4 最小中值平方法. 最小中值平方法(Least Median of Squares, LMedS)[7][22][11]我們參考在廖怡儂[7]論文，它是一種強健式的估測法。在沒有雜訊的狀況下，最小平方法(least squares)就可以估測出很好的結果，但大多都會存在一些較偏差的資訊，所以可以使用最小中值平方法進行選擇與評估，而我們論文中就是將此方法用來挑選三 18.

(30) 焦張量最好一組的選點。我們使用簡單的評估例子以說明最小中值平方法的運作，如下圖 11。假設我們在七個點(X1,Y1)到(X7,Y7)中任取兩個點連成 l 、 l ' 、 l '' 三條直線，預期找出最符合以下七個點的直線，我們則將七個點分別使用(4.1)式與三條直線計算距離，計算的結果表示如表 1。首先將每個點到直線的距離做排序，排序完取中間值當作代表，其值最小我們就把它認定為三條直線之中最符合這七個點的一條直線。在使用最小中值平方法有一個重要的限制，就是在資料中不能存在一半以上的雜訊，否則在比較中間值時會無法做正確的評估。最小中值平方法在許多研究裡普遍被使用，而且被當作各種演算法比較的基準，在上面相關研. 政治大. 究中 Armangue[11]也提到最小中值法具有準確度極高的價值。. 立. n. a 2  b2. al. sit. er. io ax  by  c. y. ‧. ‧ 國. 學. Nat. d. 圖 11：最小中值平方法評估示意圖. Ch. ，點到直線距離公式. engchi. i n U. v. 表 1：最小中值平方法示意圖. 直線 l. 直線 l '. 直線 l ''. d1(0.1). d1 ' (0.2). d1 '' (0.18). …. …. …. d3(0.6). d3 ' (0.8). d3 '' (0.7). …. …. …. d5(1.2). d5 ' (1.5). d5 '' (1.3). 誤差排序取中間值. 19. (4.1).

(31) 2.2.5 投影幾何. 在論文中會提到二維影像和三維座標點的轉換，其中我們參考吳坤信[2]說明投影幾何的關係來進行。如圖 12 所示，P 和 P ' 分別表示兩張二維影像對於三維物體的投影矩陣。X 為三維空間中某一座標點，該點就可以透過 P 和 P ' 投影到二維影像上，分別形成 x 和 x ' 。而 x 相對於 x ' 也就是這兩張影像上所謂的對應點。. 政治大在二維影像上的投影座標。相反的，在得知兩張圖片的投影矩陣後，也可以推導立接下來論文實驗中，我們如果知道了三維的座標點就可以乘上投影矩陣算出. ‧. ‧ 國. io. sit. y. Nat. n. al. er. 意。. 學. 回三維座標點。但利用不同的投影矩陣在轉換時，座標系統的不一致就要特別注. Ch. engchi. i n U. 圖 12：投影幾何示意圖. 20. v.

(32) 第三章三焦張量特性與流程. 在本章節中主要分成兩個部分，首先會進行三焦張量的實驗並且探討三焦張量的特性，接下來介紹我們實驗的流程並且引用 Bundler 執行三焦張量過濾對應點的實驗。. 立. 3.1 三焦張量特性探討. 政治大. ‧ 國. 學. 第一步我們會先對三焦張量幾何特性進行實驗，接下來依序對三焦張量選點. ‧. 演算法以及選點特性做深入探討。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 13：三焦張量實驗資料截圖. 21. v.

(33) 3.1.1 三焦張量幾何特性. 首先，我們知道三焦張量為三張影像之間的幾何關係，所以先以 3ds Max 建構三維物體並在同一場景拍攝三張不同角度的影像進行實驗，如上圖 13。圖中總共有 71 個經過編號且三張影像皆能看到的三維座標點。由於我們可以透過 3ds Max 取得三維座標點投影在三張影像對應點的座標值，所以我們是參考到三焦張量三張影像對應點 point-point-point 的幾何關係進行實驗。而我們要如何評估三焦張量幾何關係的可靠性？我們以下面圖 14 進行說明，一開始假設下面第三張. 政治大的第 3 張座標點，接下來與實際第立 3 張影像座標點做距離計算，其值越小代表此. 影像對應點 x1 '' 和 x2 '' 是不知道的，第 1、2 張影像對應點和三焦張量計算出預測. ‧. ‧ 國. 學. 三焦張量可靠性與準確性越高。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 14：三焦張量評估示意圖. 22. v.

(34) 我們也將第二章中的(2.11)式轉成線性矩陣，以最小平方法來求上述評估方法解。首先我們將公式中各符號以完整型式表示：.  x1    其中 x   x2   x 3   .  0 x x   x  3  x 2 . . x 3 0  x 1.  x 2   x 1  ， 0 .  x1   x1  Ti11 Ti12 Ti13        x   x 2  ， x   x 2  ，及 Ti  Ti 21 Ti 22 Ti 23  ，  x3   x3  Ti 31 Ti 32 Ti 33       . 立. x iTi13   x iTi 23  ， x iTi 33 . y. Nat. n. al. Ch. x1T112  x 2T212  x 3T312 x1T122  x 2T222  x 3T322 x1T132  x 2T232  x 3T332. x1T113  x 2T213  x 3T313   x1T123  x 2T223  x 3T323  x1T133  x 2T233  x 3T333 . sit. io.  x1T111  x 2T211  x 3T311   ( x iTi )   x1T121  x 2T221  x 3T321 i  x1T131  x 2T231  x 3T331 . er. ‧ 國. ‧. x iTi12 x iTi 22 x iTi 32. 學.  x iTi11  則 x iTi   x iTi 21  x iTi 31 . 政治大. engchi. i n U. v. 因此我們可以將(2.11)式展開如下：.  0  3   x  x 2 . x 3 0  x1.  0  x 2    x1  ( x iTi )  x3 i  x2 0  . x3 0  x1. 23.  x2  0 0 0  x1   0 0 0 0  0 0 0 33. (5.1).

(35) ，我們持續將式子(5.1)左半部假設我們已知 x 與 x ' ，目的是求得 x ''（未知）展開如下：.  0  3   x  x 2 . x3 0  x1.  L11  x 2    x1  ( x iTi )   L21 i  L31 0  . L12 L22 L32. L13   L23  L33 .  L11  x3 x1T121  x3 x 2T221  x3 x 3T321  x2 x1T131  x2 x 2T231  x2 x 3T331  12 3 1 22 3 2 22 3 3 22 2 1 32 2 2 32 2 3 32  L  x x T1  x x T2  x x T3  x x T1  x x T2  x x T3  L13  x3 x1T 23  x3 x 2T 23  x3 x 3T 23  x2 x1T 33  x2 x 2T 33  x2 x 3T 33 1 2 3 1 2 3   L21   x3 x1T111  x3 x 2T211  x3 x 3T311  x1 x1T131  x1 x 2T231  x1 x 3T331   其中  L22   x3 x1T112  x3 x 2T212  x3 x 3T312  x1 x1T132  x1 x 2T232  x1 x 3T332  23 3 1 13 3 2 13 3 3 13 1 1 33 1 2 33 1 3 33  L   x x T1  x x T2  x x T3  x x T1  x x T2  x x T3  L31  x2 x1T 11  x2 x 2T 11  x2 x 3T 11  x1 x1T 21  x1 x 2T 21  x1 x 3T 21 1 2 3 1 2 3  32 2 1 12 2 2 12 2 3 12 1 1 22 1 2 22 1 3 22  L  x x T1  x x T2  x x T3  x x T1  x x T2  x x T3  33 2 1 13 2 2 13 2 3 13 1 1 23 1 2 23 1 3 23   L  x x T1  x x T2  x x T3  x x T1  x x T2  x x T3. 政治大. 立. ‧. ‧ 國. 學. n. al.   L12 x3  L13 x2  22 3 23 2   L x  L x   L32 x3  L33 x2 . L13   0  L23   x3 L33   x2. Ch. L11x3  L13 x1 L21x3  L23 x1 L31x3  L33 x1. x3 0  x1. engchi. er. io. sit. y. Nat  L11 L12   xx ( x iTi )xx   L21 L22 i  L31 L32 .  x2  0 0 0  x1   0 0 0 0  0 0 0 33. i n U. v.  L11x2  L12 x1  0 0 0   L21x2  L22 x1   0 0 0  L31x2  L32 x1  0 0 0 33. 24. (5.2).

(36)  x1   x1      由於 x '' 為二維 homogeneous 點座標，所以 x   x2    x2 ，我們可以將(5.2)  x3   1      式線性化為下列式子：. y. sit. n. al. er. io.  AT AX  AT L. ‧.  L12  L13    22  L23   L  33   L32  L   11  0  1  L      x 0   2    L21    x   31  0   L  11   0  L     0   L21      L31   0  91 A X  L. Nat.  0   0  0  13  L  L23   33  L  L12   L22  32  L. ‧ 國. 立. 政治大. 學.  0 L13  L12  0    0  L23  L22   0   33 32   0 0  L L  13    1 0 L11   x  0  L  2  L23 0 L21   x   0  33    0 L31   1  0  L  L12  L11 0  0       L22  L21 0  0   32  0  31 L 0    91  L. . Ch. . T X  A A. 1. engchi. i n U. v. AT L. 最後式子中 X 及為我們預測的第三張影像的座標點，從此運算式可以看出三焦張量在運算時的整體過程。然而三焦張量是一個 3  3  3 的矩陣，矩陣內總 25.

(37) 共會有 27 個值，經過正規化後會有 26 個變數需要解。如果我們將 L11 ~ L33 所代表的式子代回最後的式子，經過整理會剩下 4 組方程式，也就是一組對應點可以計算出 4 組方程式，所以在執行三焦張量時至少需要 7 組以上的對應點才能求得所有解。. 初步的實驗透過手動的方式均勻選取了圖 13 中的 15 個點，經由上述的評估方式透過三焦張量計算出在第三張影像的一組座標點誤差值。這樣的結果看不出它產生的三焦張量是好是壞。所以利用手動的方式選取 1~15 號的座標點，來. 政治大標點，Y 軸為誤差像素(pixel)值。實線折線為均勻選取的結果，由此可看出好壞立. 做數據的比較。圖 15 是利用 excel 畫出的誤差值分析折線圖，X 軸為 1~71 號座. 程度在 31~52 號點相差非常大，最大相差到 15 倍之多。實驗中可以發現，不同. ‧ 國. 學. 對應點的選取會對三焦張量準確度產生嚴重的影響。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 15：均勻選點(實)和選取 1~15 號點(虛)折線圖分析. 26.

(38) 3.1.2 最小中值平方法計算三焦張量. 前面章節提到三焦張量這個數學模型必頇在兩張圖片中選取至少 7 組互相對應的特徵點。在我們研究中採用最小中值平方法進行特徵點的選點，下面圖 16 為最小中值平方法的流程：. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 16：最小中值平方法流程圖. 27. v.

(39) 我們同樣在圖 13 環境下進行實驗，一開始輸入兩張影像對應點，接著從 71 個特徵點隨機選取 15 個點計算三焦張量，但在這個步驟會發現一個問題，亂數要取多少次才能找出精確的選點？我們參考 Zhang[27]論文評估選點參數的方法，使用下列(5.1)式進行計算。 P 、  、 p 分別為實驗期望選點的準確率、誤差較大的資料比例以及選點次數，而 m 為最後預期選點次數，所以可以推導出(5.2)式：. p P  1  1  1      . (5.1). log 1  P . 立. p log 1  1      . 政治大. (5.2). 學. ‧ 國. m. m. 在我們實驗將準確率假設 99.9%，選點次數為 7，由於使用最小中值平方法，. ‧. 至少要有 50%資料是正確的，所以誤差較大的資料比例設定為 50%，最後得到. y. Nat. sit. 至少要亂數 881 次以上的選點。在最後的實驗方法我們將亂數次數提高到 1000. n. al. er. io. 次來提升選點的準確性，以下我們研究先以亂數跑一百次進行測詴，選取一百組. i n U. v. 不同的 15 個點計算三焦張量。利用圖 13 的 1、2 張影像所有座標點與三焦張量. Ch. engchi. 計算出預測的第 3 張影像所有 71 個點。將這 71 個點與 3ds Max 投影後的座標算出誤差並且排序，選擇排序的中間第 35 或 36 的值當作一百組的比較，最小的我們就可以說這一組選點計算出的三焦張量是最好的，即是我們想要的選點。圖 17 為均勻選點和隨機一百組選點的折線圖比較。我們可以看出隨機一組(紅)相較於均勻選點(藍)在各個編號的座標點誤差都有大幅的改善，改善將近 10 倍。. 由實驗圖 15 和圖 17 可以看出均勻選點優於選取 1~15 號點的結果，亂數選點(虛線)的方法又更加減低整體誤差值。所以接下來的實驗也會以類似的方式不斷改進選點的方法與結果，來找出最佳的三焦張量。 28.

(40) 政治大. 立. ‧ 國. 學. 圖 17：均勻選點(實)與亂數 100 組找誤差最小選點(虛)折線圖分析. ‧. 結果分析分為以下幾點:. sit. y. Nat. al. er. io. 1. 選點結果在折線的起伏上相當類似，尤其在圖 13 的紅白長方體會產生較大. v. n. 的誤差。由於其他物體皆為圓形，所以可以分析物體的形狀以及落在該物體. Ch. engchi. i n U. 特徵點的數量是不是會對選點的結果造成影響。. 2. 隨機一百組裡取排序第 35 的最小誤差值變動從 0.0089~0.02，所以要利用更好的方法使結果浮動降低，改善每次的結果。 3. 改選成 7 個點而不是 15 個點，觀測選點的多少是不是也會對結果造成落差。 4. 改變物體的位置，更進一步改變成不同的物體，判斷物體的幾何關係是不是會影響三焦張量的準確性。. 29.

(41) 3.1.3 二維影像投影的校正. 在三焦張量的實驗發現，透過三焦張量計算的結果誤差較大的會落在圖 13 的紅白長方體上，但其他球體上的誤差值就相對低了許多。從圖上發現，可能的原因是紅白長方體在三張影像可以觀察到的角度變動幅度較大，抑或是紅白長方體的點都落在同一平面的關係。所以我們假設圖像上的座標點必頇經過某些處理才能繼續三焦張量的分析。. 政治大需要校正的問題。因為 3ds 立Max 在計算二維影像投影座標時是擷取螢幕座標位置，由於上述的原因，我們考量到是不是在使用 3ds Max 投影到二維影像上會有. ‧ 國. 學. 所以會被螢幕解析度影響，將特徵點投影回三維空間會產生幾何誤差。要使三張影像有相對應的幾何關係，我們參考到 Hartley[15]書中解決的演算法，圖 18。. ‧. 演算法可以計算出三張影像三維座標點對相機中心的投影矩陣 P、P ' 和 P '' ，有. sit. y. Nat. 了投影矩陣可以推導出三維座標點，如下圖 19。接下來只要將投影矩陣與三維. n. al. er. io. 座標點相乘投影回二維影像上就可以得到校正後的結果了。. Ch. engchi. i n U. v. 圖 18：投影圖像校正演算法，出自 Hartley [15]. 30.

(42) 立. 政治大. 圖 19：二維影像投影校正. ‧ 國. 學. 將上述演算法套用進三焦張量的測詴，圖 20。同樣的均勻選點，校正後的. ‧. 結果(虛線)將誤差降了非常多，將近幾十倍，並且誤差都可以在 0.01 個像素之下。. n. al. er. io. sit. y. Nat. 同時也解決了紅白長方體誤差變化較大的結果。. Ch. engchi. i n U. v. 圖 20：校正前後同樣選點折線圖分析 31.

(43) 3.1.4 分析三焦張量的選點. 從前面的實驗結果可以發現誤差狀況都可以在 1 個像素值以下，但是怎樣的情況會造成較大的誤差。我們目的是希望能透過最好的選點機制使經由三焦張量計算後的誤差降到最低，同時避免掉這樣的選點。這一節的實驗同樣使用最小中值平方法從壞的選點分佈來分析。分析的項目如下：. 1. 計算三焦張量中選 7 到 15 個點對結果有什麼影響。. 政治大. 2. 改變圖 13 的實驗圖形，觀察圖形的位置或大小對結果的影響。. 立. ‧ 國. 學. 附件一、二和三分別是原來的圖形和移動紅白長方體位置以及縮小藍色球體的三種情形。Figure1、Figure2 和 Figure3 圖是由不同角度拍攝的圖片，Figure1、. ‧. Figure2 中的綠色打叉記號代表特徵點，紅色框起來的點代表執行三焦張量選擇. sit. y. Nat. 輸入的特徵點(三個附件皆選 7 個特徵點)。Figure3 可以觀察出特徵點誤差的情形。. al. er. io. 三個附件透過最小中值平方法計算後的誤差值皆大於一個像素到十幾個像素，都. v. n. 是會讓特徵點很明顯產生偏離且是三維建模所不被容許的誤差範圍，所以我們也. Ch. engchi. i n U. 就是要避開這類的選點來產生較精確的三焦張量。從結果可以觀察出下列幾點：. 1. 三種狀況下較差的選點都會落在紅白長方體上，並且有落在同一直線上的狀況。推測有可能在同一平面以及同一直線上的選點會造成較差的結果。 2. 改變圖形的位置或是大小對選點結果影響並不大。 3. 在測詴選 7 到 15 個點時，發現在選 9 個點以上的時候就很難產生大於 1 個像素誤差值的現象。推測三焦張量的選點數量會影響誤差的範圍。. 32.

(44) 3.2 三焦張量流程. 我們已經對三焦張量有了比較深入的了解，接下來將其幾何關係以及特性實做在我們的研究中，以下為本篇論文加入三焦張量過濾前後流程圖的比較：. 立. 政治大. y. ‧. ‧ 國. 學. Nat. n. er. io. al. sit. 圖 21：相機參數計算流程. Ch. engchi. 33. i n U. v.

(45) 輸入影像. 束集計算對應點. 基礎矩陣過濾重複多次. 三張影像對應. 三焦張量過濾. 立. 政治大. Structure From Motion 計算投影矩陣. ‧ 國. 學. 結束. ‧. 圖 22：三焦張量過濾對應點計算相機參數流程. y. Nat. er. io. sit. 本篇論文主要目的是在多視角影像的環境下過濾對應點並取得該影像的相機參數。所以會先輸入多張未校正的影像，接著計算每一張影像的特徵點與特徵. al. n. v i n 點之間的對應關係，隨後加入基礎矩陣的幾何關係過濾掉部分對應點，最後以從 Ch engchi U 運動中恢復結構的方法計算相機參數，如圖 21。而我們的流程是使基礎矩陣過. 濾後的對應點加入三焦張量重覆過濾，使任三張影像都滿足三焦張量的幾何關係，使對應點的對應關係能夠更精確。由於在取得多視角影像特徵點以及對應點使用到 Bundler，接下來章節中首先驗證 Bundler 可用性，以及將三焦張量用於過濾對應點，最後擴展到多張影像進行實驗以達到最終目的。. 34.

(46) 3.2.1 驗證 Bundler 可用性. 由於在計算三焦張量時使用到最小中值平方法進行選點，此演算法在做評估時會參考到資料的中間值，所以會有 50%資料必頇是正確的限制。而實驗中是經由 Bundler 取得對應點，所以就要驗證其對應點比對的正確性。首先我們使用 3ds Max 建構場景任取角度拍攝兩張影像，分別在影像上顯示亂數取 50 個 Bundler 計算對應點的位置和編號，如圖 23、圖 24、圖 25 及圖 26。分別放上第一、二張影像完整影像以及放大局部的影像。實驗方法是比照第一張影像特徵點位置. 政治大在第二張影像上對應點的位置計算誤差。這組實驗 50 個特徵點平均誤差為 5.57，立在第二張影像上以滑鼠點擊相對應的位置，也就是以人工判斷的座標與 Bundler. ‧ 國. 學. 而且我們將誤差大於 5 個像素值的對應點認定為不正確的，總共有 4 組對應點超過此門檻值，都在圖片中房子的部分，可以猜測是房子窗戶部分非常相似所以會. ‧. 有錯誤選取的狀況。但是我們同時也已經可以肯定其對應點超過 50%的準確性，. n. al. er. io. sit. y. Nat. 並且將它用在三焦張量的實驗中。. Ch. engchi. i n U. v. 圖 23：驗證 Bundler 可用性第一張影像 35.

(47) 立. 政治大. 圖 24：驗證 Bundler 可用性第二張影像. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 25：驗證 Bundler 可用性第一張放大影像. 36.

(48) 立. 政治大. 圖 26：驗證 Bundler 可用性第二張放大影像. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 37. i n U. v.

(49) 3.2.2 引入 Bundler 執行三焦張量實驗. 實驗流程參考到圖 22，有以下幾個步驟。首先在多視角影像中以 Bundler 計算出任兩張影像對應點，再計算三焦張量過濾掉對應點，最後評估結果。. 我們實驗影像來源先以 3ds Max 建構場景架設攝影機進行拍攝，如圖 27。我們先取前三台攝影機拍攝影像進行實驗，先簡化實驗確定對應點符合三焦張量幾何關係能降低對應點的錯誤情況。所以我們實驗輸入是三張影像，最後評估輸. 政治大係，但是三焦張量是三張影像之間的幾何關係，所以必頇設定一個規則表示三張立. 入則是 ground truth 二維座標點。接下來 Bundler 可以計算出任兩張影像對應關. ‧ 國. 學. 影像的對應關係，如下表 2。假設第一、二張影像 1、2 號特徵點有對應，第二、三張影像 2、3 號特徵點有對應，我們實驗就將第一、二、三張影像 1、2、3 號. ‧. 特徵點設定成三張影像相互對應的特徵點。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 27：Bundler 執行三焦張量 3ds Max 場景. 38.

(50) 表 2：計算三張影像對應點第一張影像. 第二張影像. 1. 2. 特徵點編號 1. 第三張影像. 2. 3. 2. 3. 有了對應點就可以計算三焦張量，同樣使用三焦張量 point-point-point 的幾何關係，在一、二張影像上選點計算三焦張量推導第三張影像上的對應點，如下面三張影像。圖 28、圖 29 綠色打叉的部分為特徵點位置，藍色框起來的特徵點為三焦張量的選點，圖 30 紅色圈起來代表推導的位置並且以藍色線段表示偏. 政治大. 移情形。從圖 30 可以發現大部分特徵點推導位置都相當接近，只有 1 個像素值. 立. 以下的差距，但是在中間房子的部分卻有幾十個像素值的偏離。而這些對應關係. ‧ 國. 學. 就是不符合幾何關係的對應點，也就是需要被過濾的對應點，在我們的實驗中是以較不符合幾何關係百分比的狀況進行刪除。刪除的方法也同表 2 取得三張影. ‧. 像特徵點對應關係的方式，以反向將其拆解刪除兩兩張影像的對應點。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 28：Bundler 執行三焦張量 3ds Max 場景影像一 39.

(51) 立. 政治大. ‧ 國. 學. 圖 29：Bundler 執行三焦張量 3ds Max 場景影像二. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 30：Bundler 執行三焦張量 3ds Max 場景影像三. 40.

(52) 最後就是對刪除前後的對應點進行評估，相關研究介紹到從運動中恢復結構可以藉由所有影像之間對應點的關係計算相機參數及投影矩陣，我們使用此方法產生三張影像投影矩陣分別為 P、P ' 、P '' ，如下圖 31。前面的章節也有提到投影矩陣是判斷三維空間座標點與二維影像上座標點轉換情形的指標，評估方式我們參考蔡政君[9]和 Snavely [23]論文中提到重投影(reprojection error)的方法，下圖 32。評估的時候是使用 ground truth 的二維影像對應點，先計算出三維座標位置再投影回二維影像計算所有特徵點的平均誤差，例如左上角第一張影像 ground. 政治大是我們判斷的依據。利用這樣的誤差大小即可以判定投影矩陣對二維影像對應點立. truth 對應點 x1 與投影回影像上預測的 x1 計算誤差，再做整體對應點平均誤差即. 矩陣，連帶驗證對應點過濾後是否得到更精確的組合。. 學. ‧ 國. 與三維空間座標點轉換的準確程度，實驗結果皆是以此方式評估過濾前後的投影. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 31：從運動中恢復結構計算相機參數. 41.

(53) 政治大. 圖 32：重投影評估投影矩陣. 立. ‧ 國. 學. 實驗結果如下表，雖然第一張影像誤差過濾後並未降低，但過濾掉對應點之後將誤差平均整體狀況是降低的，例如第二張影像過濾前誤差為 5.0133 像素，. ‧. 過濾後為 0.0228 像素，降低幅度非常大，所以我們由此也驗證三焦張量幾何關. al. er. io. sit. y. Nat. 係的確是可以過濾掉較偏差對應點的情形。. n. 表 3：三焦張量三張影像過濾前後評估結果. 第一張影像. Ch. 過濾前. i n U. i e n g c h0.0001. v. 過濾後 0.0225. 第二張影像. 5.0133. 0.0228. 第三張影像. 16.8157. 0.0323 單位：像素(pixel). 42.

(54) 3.2.3 多張影像執行三焦張量. 從上述實驗可以發現，三焦張量的幾何關係可以限制對應點之間的關係。所以我們就可以將實驗擴展到多張影像上，實驗影像來源為圖 27 中八台攝影機所拍攝的影像，拍攝影像為圖 33。. 立. 政治大. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 圖 33：3ds Max 場景八張實驗影像，實驗影像(一). Ch. engchi. i n U. v. 我們要將實驗由三張影像移植到多張影像上就必頇有幾項機制加以處理，實驗流程如下圖 34。由於實驗影像有八張，第一個碰到的問題就是要如何取三張影像計算三焦張量進行過濾。在我們程式中是將所有組合都計算一次三焦張量，也就是 C38 共56 種組合，期望任三張影像都具有三焦張量的幾何關係。在先前的實驗只要不符合三焦張量的對應點就可以直接刪除，但在多張影像上一定會碰到重覆存取到同一組對應點的情況，例如計算第一、二和三影像的三焦張量以及計算第一、二和四影像的三焦張量，就會重覆刪除第一、二張影像的對應點。在此我們使用權重的觀念，將三焦張量選擇過濾掉的對應點進行累加計數，在圖 34. 43.

(55) 第一個框起來的部分，如果全部組合關係都做完以後，就將權重大的對應點刪除。另外一個機制是重覆過濾，從我們實驗中發現，對應點刪除後不僅影響兩張影像對應關係也對最後整體投影矩陣的結果有嚴重影響。所以我們以重覆過濾的機制使對應點計算的結果期望會趨於一個收斂的狀態，並且穩定的降低對應點錯誤的情況。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 34：過濾對應點機制. 多張影像對應點過濾後就要進行評估，評估方式也如同 3.2.2 節中重投影的方式，只是改以八張影像計算出三維座標點在投影回八張影像上。 44.

(56) 另外，本篇論文也以網路中 ground truth 資料進行上述實驗加以比較，資料如圖 35。它出自參考文獻[32]非常著名 benchmark 的網站，且以光達掃描出的 ground truth 資料，被許多論文參考研究，所以具有一定的公信力。3ds Max 場景與網路 ground truth 資料實驗結果皆在第四章進行說明與呈現。. 立. 政治大. ‧. ‧ 國. 學. Nat. n. al. er. io. sit. y. 圖 35：網路 ground truth 資料八張實驗影像，實驗影像(二). Ch. engchi. i n U. v. 圖 36：網路 ground truth 資料八張實驗影像，實驗影像(三). 45.

(57) 第四章實驗結果. 4.1 三焦張量過濾前後的評估. 在本篇論文研究流程中先將三焦張量的幾何關係在三張影像進行實驗，從. 政治大此我們將三焦張量的幾何特性擴增到多張影像上，刪除不符合的對應點，使任三立. 3.2.2 節的結果可以發現三焦張量確實可以將 Bundler 對應點的準確性提升。也因. ‧ 國. 學. 張影像皆具有此關係。在我們實驗中總共有三組實驗影像，分別為使用 3ds Max 建構場景拍攝八張不同角度的影像，如圖 33，論文中將其命名為實驗影像(一)；. ‧. 另外兩組為網路中具有公信力 benchmark 網站的實驗資料，同樣對某一建築物在. sit. y. Nat. 八個角度拍攝的影像，如圖 35 和圖 36，論文中將其命名實驗影像(二)和實驗影. al. er. io. 像(三)。首先我們先以實驗影像(一)3ds Max 建構的場景進行實驗，觀察其結果，. v. n. 如表 4。表中最左邊的一欄代表任一張影像，第一列分別表示每一回合過濾對應. Ch. engchi. i n U. 點後的結果，而次數代表該回合刪除權重多大以上的對應點，並且與過濾前的平均誤差情形做比照，例如第三回刪除權重 3 次以上的對應點其第一張影像所有對應點平均誤差為 28.7322 像素，而過濾前為 44.2164 像素。以下數據表示方式皆以此形式做呈現。. 46.

(58) 表 4：實驗影像(一)執行三焦張量結果過濾前. 第一回. 第二回. 第三回. 第四回. 第五回. 刪除 6 次. 刪除 2 次. 刪除 3 次. 刪除 3 次. 刪除 3 次. 第一張. 44.2164. 266.3991. 278.5557. 28.7322. 14.8567. 14.3988. 第二張. 39.5290. 60.0114. 211.3661. 18.3409. 9.4240. 7.7970. 第三張. 40.5555. 5.4985. 1.6619. 19.3123. 6.6805. 6.7829. 第四張. 0.0004. 4.2169. 1.4334. 6.1651. 6.8105. 7.1356. 第五張. 41.5414. 12.7370. 12.3918. 23.9551. 7.6107. 7.8341. 第六張. 41.7884. 13.8570. 10.8801. 35.8001. 7.3347. 7.5739. 第七張. 46.6887. 8.1734. 6.9890. 38.8356. 0.0005. 0.0004. 第八張. 59.3014. 8.2430. 58.5521. 8.7466. 45.3742. 45.6331. 單位：像素(pixel). 政治大影像上誤差狀況會非常低，逐漸向周圍擴大。另外一點就是每一回合刪除結果誤立從上表結果可以發現，重投影的方法似乎會以某一張影像作為基準點，在該. ‧ 國. 學. 差變化很大，在第一回合第一張影像誤差上升到兩百多，雖然如此，其他影像誤差結果卻有所降低。而在第五回合也將整體誤差狀況都降低下來。. ‧ sit. y. Nat. 下面表 5 為圖 35 實驗影像(二)網路資料經由三焦張量過濾後的結果，從表. io. er. 中可以發現數值變化情形相對於 3ds Max 影像穩定了許多，我們將其猜測為 3ds. al. n. Max 影像中房子的部分會產生共平面的現象，所以會有這樣的差異。在五回合中. i n C 同樣也降低了平均的誤差情形，但幅度並不顯著。 hengchi U. v. 表 5：實驗影像(二)執行三焦張量結果. 過濾前. 第一回. 第二回. 第三回. 第四回. 第五回. 刪除 6 次. 刪除 2 次. 刪除 3 次. 刪除 3 次. 刪除 3 次. 第一張. 75.2271. 71.4205. 42.4903. 39.7103. 41.9366. 41.9365. 第二張. 85.0172. 63.3570. 39.4974. 38.3344. 40.9929. 40.9928. 第三張. 62.5601. 55.8390. 36.8018. 37.1456. 40.1475. 40.1482. 第四張. 46.5834. 39.9158. 32.0573. 33.8763. 36.8429. 36.8434. 第五張. 28.5431. 25.9614. 28.9005. 46.7922. 48.8798. 48.8797. 第六張. 0.0006. 0.0007. 0.0001. 0.0001. 0.0001. 0.0001. 第七張. 39.3117. 43.5582. 51.7507. 48.4785. 44.7728. 44.7727. 第八張. 55.3645. 59.1289. 92.5954. 89.2177. 86.1317. 86.1317. 單位：像素(pixel) 47.

(59) 從上面兩組數據可以看出三焦張量在過濾對應點時平均誤差的變化情形，所以我們也希望再將實驗方法移植到其他影像上進行評估。下圖為實驗影像(三)網路資料的截圖以及實驗刪除對應點平均誤差的變化情形。. 表 6：實驗影像(三)執行三焦張量結果過濾前. 第一回. 第二回. 第三回. 第四回. 第五回. 刪除 14 次. 刪除 11 次. 刪除 9 次. 刪除 8 次. 刪除 6 次. 第一張. 12.2410. 6.5550. 6.5550. 6.5550. 6.5550. 14.1620. 第二張. 13.6996. 7.3422. 7.3422. 7.3422. 7.3422. 15.9262. 第三張. 7.2655. 4.0601. 4.0601. 4.0601. 4.0601. 9.0483. 第四張. 4.2760. 2.0216. 第五張. 6.0430. 2.5117. 第六張. 11.0635. 第七張. 15.8990. 第八張. 19.0726. 2.0216. 4.6195. 2.5117. 2.5117. 2.5117. 38.1275. 5.3114. 5.3114. 5.3114. 9.7979. 8.1208. 8.1208. 8.1208. 8.1208. 15.4186. 35.7268. 35.7268. 35.7268. 35.7268. 22.7811. 單位：像素(pixel). 第七回. 第八回. 第九回. 第十回. 刪除 5 次. 刪除 5 次. 刪除 4 次. 刪除 4 次. 刪除 4 次. 12.2411. 第二張. 13.6997. 第三張. 7.2656. 第四張. 4.2761. 第五張. 6.0431. 4.8764. 第六張. 11.0636. 14.2453. 第七張. 15.8990. 第八張. 19.0727. 23.8971. 26.7397. 26.7397. 45.9186. 45.9186. 6.8449. 6.8449. 3.4804. 18.7344. 18.7344. 10.6228. 6.1857. 16.3958. 16.3958. 23.6772. 15.4309. 21.2021. 17.8866. 17.8866. 34.9873. 34.9196. 12.3131. 36.1225. 36.1225. io. 23.8971. 27.6638. n. al. 51.5343. Ch. 7.4734. 23.1428. 7.4349. 25.7019. 8.0897. 50.9100. i n 2.4602 U. er. 24.7362. sit. 第一張. y. 第六回. ‧. ‧ 國. 5.3114. 學. 2.0216. 立. Nat. 過濾前. 政治大 2.0216. 4.2152. e n6.1358 gchi 9.4369. v. 單位：像素(pixel). 過濾前. 第十一回. 第十二回. 第十三回. 第十四回. 第十五回. 刪除 4 次. 刪除 4 次. 刪除 3 次. 刪除 4 次. 刪除 4 次. 第一張. 12.2411. 22.9649. 54.5727. 6.4760. 54.6786. 54.6788. 第二張. 13.6997. 25.6473. 31.9964. 7.3123. 31.4927. 31.4934. 第三張. 7.2656. 50.7260. 19.3543. 3.6435. 18.9863. 18.9871. 第四張. 4.2761. 6.0839. 11.1386. 2.2092. 10.8186. 10.8195. 48.

(60) 第五張. 6.0431. 9.2567. 2.8167. 3.0013. 2.6790. 2.6785. 第六張. 11.0636. 10.7795. 12.3393. 4.8596. 12.4603. 12.4587. 第七張. 15.8990. 15.6093. 14.9944. 28.8898. 14.8415. 14.8403. 第八張. 19.0727. 35.1052. 31.3568. 9.7690. 31.1439. 31.1495. 單位：像素(pixel). 過濾前. 第十六回. 第十七回. 第十八回. 第十九回. 第二十回. 刪除 3 次. 刪除 3 次. 刪除 3 次. 刪除 3 次. 刪除 3 次. 第一張. 12.2411. 5.9056. 12.9899. 50.6744. 30.6845. 12.8267. 第二張. 13.6997. 6.6407. 14.5168. 31.6077. 78.8600. 14.2672. 第三張. 7.2656. 3.3272. 7.6999. 18.0734. 21.7845. 7.4376. 第四張. 4.2761. 2.0211. 4.3993. 9.4843. 13.5908. 4.1510. 第五張. 6.0431. 2.9325. 第六張. 11.0636. 4.7142. 第七張. 15.8990. 32.8698. 第八張. 19.0727. 9.0576. 6.2532. 17.8350. 16.2002. 6.1684. 11.7403. 8.0238. 12.2154. 12.0178. 18.3032. 19.7721. 19.1402. 17.4140. 20.7616. 37.6612. 33.7816. 21.5600. 學. ‧ 國. 立. 政治大. ‧. 第二十一回. 0.1675. 第二張. 13.6997. 0.0808. 第三張. 7.2656. 第四張. 4.2761. 第五張. 6.0431. 第六張. 11.0636. 0.1590. 第七張. 15.8990. 0.2590. 第八張. 19.0727. 0.3665. io. 12.2411. sit. Nat. 第一張. y. 刪除 3 次. er. 過濾前. 0.1581. n. a0.1250 l C 0.1102 h. 單位：像素(pixel). engchi. i n U. v. 單位：像素(pixel). 以這組實驗與上一組網路資料比較起來整體誤差情況是降低許多的。而實驗影像(三)與先前刪除對應點不同的地方在於加入從最高次數開始刪除的機制。這樣的方式才能真正發揮重覆執行三焦張量的優勢，若對應點數量不夠多的情況下一次刪除掉太多對應點會將好的組合也刪除，導致最後刪除的狀況不盡理想。然而，在我們這組實驗中第二十一回的結果比預想中降低的幅度還要更大，每一張 49.

(61) 影像平均誤差都在 1 個像素以下。從這邊我們也可以很清楚的了解對應點的組合狀況會很強烈影響投影矩陣的產生結果。另外，也同時發現三焦張量的幾何特性確實能夠使影像間對應點準確率大大的提升。. 在這幾組的實驗中，我們也在刪除對應點的情況中發現一些特性以及問題。. 1. 對應點刪除的狀況可能存在互補的特性。也就是當某一張影像誤差降低很多將會使其他張影像誤差則整體上升，反之亦然。. 政治大網路影像是沒有這些資料的，所以無法判斷第幾回合會產生較好的結果，立. 2. 終止條件不知該如何設定。因為我們是以正確的資料進行評估，但實際執行. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 50. i n U. v.