基於多視角幾何萃取精確影像對應之研究 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學. 基於多視角幾何萃取精確影像對應之研究. ‧. Nat. y. Accurate Image Matching based on Multiple View. n. er. io. al. sit. Geometry Ch. engchi. i Un. 研究生：謝明龍指導教授：何瑁鎧. 中華民國一百年七月 July 2011. v.

(2) 基於多視角幾何萃取精確影像對應之研究 Accurate Image Matching based on Multiple View Geometry. 研究生：謝明龍. Student：Ming-Lung Hsieh. 指導教授：何瑁鎧. Advisor：Maw-Kae Hor. 資訊科學系. 學. ‧ 國. 立. 政治大國立政治大學碩士論文. ‧ er. io. sit. y. Nat. A Thesis. submitted to Department of Computer Science. n. al. iv. National C hChengchi University Un. en chi. in partial fulfillmentgof the Requirements for the degree of Master in Computer Science. 中華民國一百年七月 July 2011.

(3) 致謝. 在這兩年的研究所生涯，首先要感謝指導教授何瑁鎧老師的悉心指導，無論是在生活上、做研究的態度與方法上、以及論文的寫作上，何老師皆與我們分享了非常多寶貴的經驗與想法，同時也要感謝口詴委員唐政元老師與吳怡樂老師，. 政治大督促，學生才得以順利完成論文。立. 在口詴時給予學生許多誠心的建議，使得論文得以更加完善，有老師們的關心與. ‧ 國. 學. 感謝政治大學資科系，系上老師認真的教學態度與豐富的學問，讓學生在修. ‧. 課期間，學習到許多專業領域上的知識，感謝政治大學課務組，提供優良的工讀. sit. y. Nat. 環境，讓學生在課業之餘有工讀的機會，在經濟上不至於匱乏，感謝和碩聯合科. n. al. er. io. 技公司的閻立剛博士，提供學生參加產學合作專案與實習的機會，讓學生在求學階段獲得不少實務上的經驗。. Ch. engchi. i Un. v. 感謝 IS-Lab 博士班的凱軒學長、逸帆學長、淑怡學姐，總是在我們最需要幫助的時候，耐心的協助我們解決問題，碩士班的澤毅學長、振寰學長、元彰學長、恭良學長，在學業上的勉勵與生活上的照顧，以及一起修課與做研究的瑞鴻、紹暐、姿旻、柏諺，在此祝福所有 IS-Lab 成員。. 最後要感謝我的父母、表哥建帄、表弟建文，有家人在背後一直默默的支持，我才能夠順利完成碩士學位，僅以此文獻給一路走來所有幫助過我的人。. i.

(4) 基於多視角幾何萃取精確影像對應之研究. 摘要. 近年來諸多學者專家致力於從多視角影像獲取精確的點雲資訊，並藉由點雲資訊進行三維模型重建等研究，然而透過多視角影像求取三維資訊的精確度仍然有待提升，其中萃取影像對應與重建三維資訊方法，是多視角影像重建三維資訊. 政治大. 的關鍵核心，決定點雲資訊的形成方式與成效。. 立. ‧ 國. 學. 本論文中，我們提出了一套新的方法，由多視角影像之間的幾何關係出發，. ‧. 萃取多視角影像對應與重建三維點，可以有效地改善對應點與三維點的精確度。首先，在萃取多視角影像對應的部份，我們以相互支持轉換、動態高斯濾波法與. y. Nat. io. sit. 綜合性相似度評估函數，改善補綴面為基礎的比對方法，提高相似度測量值的辨. n. al. er. 識力與可信度，可從多視角影像中獲得精確的對應點。其次，在重建三維點的部. Ch. i Un. v. 份，我們使用 K 均值分群演算法與線性內插法發掘潛在的三維點，讓求出的三. engchi. 維點更貼近三維空間真實物體表面，能在多視角影像中獲得更精確的三維點。. 實驗結果顯示，採用本研究所提出的方法進行改善後，在對應點精確度的提升上有很好的成效，所獲得的點雲資訊存在數萬個精確的三維點，而且僅有少數的離群點。. 關鍵詞：多視角影像、對應點匹配、補綴面、點雲、多視角幾何、三維模型重建。. ii.

(5) Accurate Image Matching based on Multiple View Geometry. Abstract. Recently, many researchers pay attentions in obtaining accurate point cloud data from multi-view images and use these data in 3D model reconstruction. accuracy still needs to be improved.. However, this. Among these researches, the methods in. 政治大 These methods practically affect the final results of the point 立. extracting the corresponding points as well as computing the 3D point information are the most critical ones.. ‧. ‧ 國. 學. cloud data and the 3D models so constructed.. In this thesis, we propose new approaches, based on multi-view geometry, to improve Mutual support transformation,. sit. y. Nat. the accuracy of corresponding points and 3D points.. er. io. dynamic Gaussian filtering, and similarity evaluation function were used to improve. n. al. v ni. the patch-based matching methods in multi-view image correspondence.. Ch. engchi U. Using. these mechanisms, the discrimination ability and reliability of the similarity function and, hence, the accuracy of the extracted corresponding points can be greatly improved.. We also used K-mean algorithms and linear interpolations to find the. better 3D point candidates.. The 3D point so computed will be much closer to the. surface of the actual 3D object.. Thus, this mechanism will produce highly accurate. 3D points.. Experimental results show that our mechanism can improve the accuracy of corresponding points as well as the 3D point cloud data. We successfully generated iii.

(6) accurate point cloud data that contains tens of thousands 3D points, and, moreover, only has a few outliers.. Keywords：multi-view images, corresponding point matching, patch, point cloud, multiple view geometry, 3D model reconstruction.. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. iv. i Un. v.

(7) 目錄第 1 章緒論...............................................................................................1 1.1 研究動機與目的 ................................................................................................. 1 1.2 問題描述 ............................................................................................................. 8 1.3 系統架構與流程 ............................................................................................... 10 1.4 論文貢獻 ........................................................................................................... 12 1.5 章節架構 ........................................................................................................... 13. 政治大. 第 2 章相關研究 ....................................................................................14. 立. 2.1 文獻探討 ........................................................................................................... 14. ‧ 國. 學. 2.2 比對方法 ........................................................................................................... 21. ‧. 2.3 相機參數 ........................................................................................................... 28 2.4 直接線性轉換 ................................................................................................... 32. sit. y. Nat. n. al. er. io. 第 3 章萃取多視角影像對應與重建三維點方法 ................................33. Ch. i Un. v. 3.1 相互支持轉換 ................................................................................................... 34. engchi. 3.2 動態高斯濾波法 ............................................................................................... 35 3.3 綜合性相似度評估函數 ................................................................................... 37 3.4 K 均值分群演算法與線性內插法 .................................................................... 38. 第 4 章建立實驗環境與取得相機參數 ................................................41 4.1 建立實驗環境 ................................................................................................... 41 4.2 取得相機參數 ................................................................................................... 44. 第 5 章實驗結果 ....................................................................................50 v.

(8) 5.1 不同比對方法的相似度測量實驗 ................................................................... 50 5.2 萃取精確影像對應與重建三維點實驗 ........................................................... 55. 第 6 章結論.............................................................................................60 6.1 研究成果 ........................................................................................................... 60 6.2 未來發展 ........................................................................................................... 61. 參考文獻...................................................................................................62 附件 A 相似度測量實驗數據表 ............................................................66. 政治大附件 B 暴龍實驗結果圖集 .....................................................................69 立. ‧ 國. 學. B.1 暴龍多視角影像圖集 ....................................................................................... 69 B.2 暴龍特徵點影像圖集 ....................................................................................... 72. ‧. B.3 暴龍點雲影像圖集 ........................................................................................... 74. sit. y. Nat. io. n. al. er. 附件 C 翼龍實驗結果圖集 .....................................................................76. i Un. v. C.1 翼龍多視角影像圖集 ....................................................................................... 76. Ch. engchi. C.2 翼龍特徵點影像圖集 ....................................................................................... 78 C.3 翼龍點雲影像圖集 ........................................................................................... 80. vi.

(9) 圖目錄圖 1：三維資訊與研究領域關聯圖 ............................................................................ 2 圖 2：電磁波頻譜圖 .................................................................................................... 3 圖 3：MICROSOFT KINECT 感應器圖........................................................................... 4 圖 4：LEICA HDS3000 雷射掃描儀圖 ........................................................................ 5 圖 5：從多視角影像獲得點雲資訊流程圖 ................................................................ 6 圖 6：拓展點雲資訊至應用層面流程圖 .................................................................... 7 圖 7：多視角影像進行三維立體重建流程圖 ............................................................ 9. 政治大圖 9：恐龍與神殿資料集影像圖 .............................................................................. 15 立圖 8：系統架構與流程圖 .......................................................................................... 11. ‧ 國. 學. 圖 10：MIDDLEBURY COMPUTER VISION WEB PAGES 成效排名圖 ........................... 15 圖 11：STANFORD SPHERICAL GANTRY 實體圖.......................................................... 16. ‧. 圖 12：實驗場景相機分佈示意圖 ............................................................................ 16. sit. y. Nat. 圖 13：FOUNTAIN-P11 與 HERZ-JESU-P8 資料集影像圖 .......................................... 17. n. al. er. io. 圖 14：DENSE MVS TEST IMAGES WEB PAGES 成效排名圖 ..................................... 17. i Un. v. 圖 15：LARGE-SCALE MULTI-VIEW STEREO 成果圖 .................................................. 20. Ch. engchi. 圖 16：區塊比對方法示意圖 .................................................................................... 21 圖 17：比對區塊像素群組不相同示意圖 ................................................................ 22 圖 18：區塊比對旋轉問題示意圖(A) ....................................................................... 23 圖 19：區塊比對旋轉問題示意圖(B) ....................................................................... 23 圖 20：區塊比對縮放問題示意圖(A) ....................................................................... 24 圖 21：區塊比對縮放問題示意圖(B) ....................................................................... 24 圖 22：補綴面為基礎比對方法示意圖(A) ............................................................... 25 圖 23：補綴面為基礎比對方法示意圖(B) ............................................................... 25 圖 24：補綴面為基礎比對方法示意圖(C) ............................................................... 25 vii.

(10) 圖 25：依投影順序重新排列比對區塊示意圖 ........................................................ 26 圖 26：投影點集中示意圖 ........................................................................................ 27 圖 27：投影點分散示意圖 ........................................................................................ 27 圖 28：針孔成像原理示意圖 .................................................................................... 29 圖 29：相似三角形對應邊成比例示意圖 ................................................................ 29 圖 30：主點示意圖 .................................................................................................... 30 圖 31：3DS MAX 相機外部參數示意圖 .................................................................... 31 圖 32：直接線性轉換說明圖 .................................................................................... 32 圖 33：系統架構與流程階段 1 分解圖 .................................................................... 33. 治政圖 34：相互支持轉換示意圖 .................................................................................... 34 大立圖 35：動態高斯濾波法示意圖( ) ........................................................................... 36 A. ‧ 國. 學. 圖 36：動態高斯濾波法示意圖(B) ........................................................................... 36. ‧. 圖 37：動態高斯濾波法示意圖(C) ........................................................................... 36. sit. y. Nat. 圖 38：動態高斯濾波法示意圖(D) ........................................................................... 36. io. er. 圖 39：潛在對應候選點示意圖 ................................................................................ 38 圖 40：對應候選點的三維點分佈示意圖 ................................................................ 39. al. n. iv n C 圖 41：K-MEANS 演算法分群示意圖 39 h e........................................................................ ngchi U 圖 42：群集中心代表示意圖 .................................................................................... 39 圖 43：線性內插潛在三維點示意圖 ........................................................................ 39 圖 44：遞迴 K-MEANS 分群示意圖 .......................................................................... 40 圖 45：3DS MAX 實驗場景側視圖 ............................................................................ 41 圖 46：3DS MAX 實驗場景俯視圖 ............................................................................ 42 圖 47：垂直夾角示意圖 ............................................................................................ 42 圖 48：水帄夾角示意圖 ............................................................................................ 42 圖 49：相機編號分佈俯視示意圖 ............................................................................ 43 圖 50：透視投影中的焦距與 FOV 示意圖 .............................................................. 44 viii.

(11) 圖 51：3DS MAX 物體旋轉圖 .................................................................................... 45 圖 52：3DS MAX 物體位移圖 .................................................................................... 45 圖 53：3DS MAX 相機座標系統圖 ............................................................................ 46 圖 54：擺設黑白棋盤格校正板於實驗場景圖 ........................................................ 48 圖 55：黑白棋盤格校正板之多視角影像圖 ............................................................ 48 圖 56：使用 MATLAB TOOLBOX 求相機內部參數圖 ................................................ 49 圖 57：使用 MATLAB TOOLBOX 求相機外部參數圖 ................................................ 49 圖 58：相似度測量實驗場景介紹圖 ........................................................................ 51 圖 59：實驗場景三維點分佈圖 ................................................................................ 51. 治政圖 60：相似度量測實驗折線圖 ................................................................................ 53 大立圖 61：三維點重建實驗場景介紹圖 ........................................................................ 55 ‧ 國. 學. 圖 62：暴龍多視角影像圖 ........................................................................................ 56. ‧. 圖 63：翼龍多視角影像圖 ........................................................................................ 56. sit. y. Nat. 圖 64：暴龍特徵點影像圖 ........................................................................................ 56. io. er. 圖 65：翼龍特徵點影像圖 ........................................................................................ 56 圖 66：暴龍點雲影像圖 ............................................................................................ 57. al. n. iv n C 圖 67：翼龍點雲影像圖 ............................................................................................ 57 hengchi U 圖 68：MESHLAB 暴龍點雲分佈圖 ........................................................................... 59 圖 69：MESHLAB 翼龍點雲分佈圖 ........................................................................... 59. ix.

(12) 表目錄表 1：相機分佈參數表 .............................................................................................. 43 表 2：三維點編號與座標分佈表 .............................................................................. 52. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. x. i Un. v.

(13) 第1章緒論. 1.1 研究動機與目的近年來在電腦科學的領域中有諸多熱門的研究與應用，例如電腦視覺. 政治大. (computer vision)中的多視角三維立體重建(multi-view stereo)與影像追蹤，地理資. 立. 訊系統(Geographic Information System，GIS)中的數碼城市與三維電子地圖，數. ‧ 國. 學. 位典藏(digital archive)與數位博物館(digital museum)，以及虛擬實境(Virtual Reality， VR)、擴增實境(Augmented Reality，AR)與電腦動畫(computer animation)。. ‧ y. Nat. io. sit. 多視角三維立體重建將多視角影像(multi-view images)，透過影像處理與幾. n. al. er. 何運算，計算出真實三維空間資訊，進而重建出多視角影像中物件與場景的三維. Ch. i Un. v. 立體模型；影像追蹤加上時間軸的概念，利用位於相同時間軸上的兩個相異畫格. engchi. (image frame)，計算三維空間資訊，幫助做物體移動時的動態估測；在地理資訊系統中的數碼城市與三維電子地圖，希望將傳統以手繪在圖紙上的記錄方式，轉變為自動化和三維數位化的方式儲存與呈現圖資，以更生動、擬真的方式表達真實世界的地貌與空間感；數位典藏與虛擬博物館希望將教育機構和實體博物館中的館藏物件，以擬真三維立體模型製作的方式數位化儲存，並透過網際網路提供互動性的服務，讓大眾自由瀏覽與學習；在虛擬實境、擴增實境與電腦動畫中需要物件、場景的製作，若能夠將真實世界之物件與場景，轉成數位化的擬真三維立體模型，再以人工的方式進行修編，將會節省不少時間與資源。. 1.

(14) 如圖 1 三維資訊與研究領域關聯圖所示，若我們能夠有效率的將人類肉眼所能看到的真實世界，數位化成電腦能夠認知的三維空間資訊，將對上述之研究領域，以及娛樂產業、地球科學、文化遺產數位化等相關應用層面，產生實質上的貢獻與助益。. Computer Vision. Digital Archive. 學. ‧ 國. 立. 政治大. Geographic Information System. 3D Information. Computer Animation. ‧. Augmented Reality. n. er. io. sit. y. Nat. aVirtual l C Reality h. i Un. Others. engchi. v. 圖 1：三維資訊與研究領域關聯圖. 2.

(15) 人類之所以具有視覺能力，是因為透過人類視覺系統中的外部器官─眼睛，去接收環境中波長380至780奈米(nanometer)的電磁波，即電磁波譜中的可見光 (visible spectrum)，圖2為電磁波頻譜圖，這些可見光大約有150多種顏色，眼睛接收到可見光之後會在視網膜上成像，這些影像經由視神經傳到大腦視覺中樞神經，經過處理、分析後產生視覺；相同的概念，電腦要產生視覺，可以藉由針孔成像原理(pinhole camera geometry)，透過光學數位相機當作接收可見光的眼睛，讓可見光在二維的影像上成像，這些影像資訊經由電腦的計算與分析，建構成數位化的三維空間資訊，讓電腦產生視覺。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 2：電磁波頻譜圖. 人類視覺與電腦視覺相異的是，人類即使透過單隻眼睛看環境，也會認為所見到的是三維立體空間，而不是二維帄面影像，這是因為人類視覺實際上是感官認知與心理認知兩種層面的綜合產物；電腦可以透過光學儀器做為感官認知，所能夠偵測到的電磁波也不僅限於可見光的範圍，但是電腦並不具有人類高度複雜的心理認知，因此透過單張影像並不足以讓電腦產生視覺，至少必需要兩張或兩張以上彼此具有相異位移的影像，才能讓電腦產生彩色三維立體空間的視覺。 3.

(16) 要讓電腦產生彩色三維立體空間的視覺，關鍵在於如何讓電腦知道正確的顏色與三維資訊，光學儀器感測顏色與三維資訊的技術，會受限於感測物體表面的物理特性，光學技術必頇面對高反射率表面造成的反光問題，而雷射技術必頇額外考量到功率密度 W m 2  ，以及表面材質對於能量吸收的程度，才能避免對感測物體表面造成質變與破壞；接收可見光產生彩色影像的光學數位相機，是普遍被使用來獲得顏色資訊的光學儀器，目前透過光學儀器獲得三維資訊的方式可分為下列三種，分別敘述如下：. 政治大藉由偵測、接收環境中的特定光源產生三維空間資訊，像是接收特立. (1) 主動式立體重建(Active Stereo). ‧ 國. 學. 定頻率紅外線(Infrared Rays，IR)，產生灰階深度影像的紅外線攝影機，太陽輻射是以可見光居多，紅外線的光源並不像可見光穩定存在環境之. ‧. 中，因此必頇有發射特定頻率的紅外線發射器，透過鏡頭前的散光器. sit. y. Nat. (diffuser)，將紅外線均勻的投射在測量空間中，圖3為Microsoft Kinect. n. al. er. io. 感應器圖，Microsoft Kinect 感應器上俱備了攝影機、紅外線發射器與紅外線攝影機。. Ch. engchi. i Un. v. 圖 3：Microsoft Kinect 感應器圖. 4.

(17) (2) 被動式立體重建(Passive Stereo) 藉由將能量直接投射至感測物體，並透過時差測距(Time of Flight， TOF)或三角測距(triangulation)方法，計算多次能量脈衝往返的距離，得到感測物體表面稱為點雲(point cloud)的三維空間資訊，在特定領域的研究與應用中較為常見，如[1][3][4][8]，圖4為Leica HDS3000 雷射掃描儀圖。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 4：Leica HDS3000 雷射掃描儀圖. (3) 多視角三維立體重建(Multi-View Stereo) 使用光學數位相機對特定的物件與場景，從不同的位置及視角拍攝一系列多視角影像，藉由將多視角影像經過三維立體重建 (3D reconstruction)的過程，得到多視角影像中物件與場景在真實空間的三維資訊，進而將這些三維資訊經過網格化(meshing)、材質敷貼(texture mapping)等處理程序，重建出多視角影像中物件與場景的三維立體模型。 5.

(18) 主動式立體重建成本低廉，所獲得的三維資訊精確度高且即時(real-time)，但基於紅外線的物理特性，僅適用於封閉性的室內環境，被動式立體重建可以產生大量密集且高精確度的三維空間資訊，適用於開放式的戶外環境，但是成本昂貴，而且龐大的點雲資料會造成後續處理時，必頇耗費大量的儲存空間與運算時間，因此，過去有研究學者探討如何從龐大的點雲資料中找出關鍵點雲資訊，如詹凱軒於2007年發表的利用地面光達資料自動重建建物模型之研究[5]。. 多視角影像重建三維立體模型成本低廉，而且適用於室內環境與戶外空間，近年來光學數位相機已經普遍存在我們的日常生活之中，諸多消費性電子產品也. 展至戶外空間大場景重建[9][13][16][19][24][25]。. 學. ‧ 國. 治政兼具了光學數位相機的功能，經由眾多研究學者的努力，透過多視角影像重建三大立維立體模型的相關研究，正逐漸從室內環境的物體重建[10][11][12][20][26]，發 ‧. sit. y. Nat. 本論文之研究考量建置成本、適用空間、應用層面等面向，如圖5從多視角. io. er. 影像獲得點雲資訊流程圖所示，希望藉由從不同視角與位置所拍攝的一系列多視角影像，基於多視角影像之間的幾何關係，發展萃取多視角影像對應與重建三維. al. n. iv n C 點的方法，以獲得高精確度的三維空間資訊─點雲，讓電腦產生三維空間的深度 hengchi U 感知。. Multi-View Images. 3D Reconstruction. Point Cloud 圖 5：從多視角影像獲得點雲資訊流程圖 6.

(19) 如圖6拓展點雲資訊至應用層面流程圖所示，未來這些高精確度的點雲資訊經過網格化、材質敷貼等程序處理後，將對上述相關之研究領域與應用層面，產生實質上的貢獻與助益。. Point Cloud. Meshing. 政治大. Texture Mapping. 立. ‧ 國. 學. Application. 圖 6：拓展點雲資訊至應用層面流程圖. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 7. i Un. v.

(20) 1.2 問題描述本研究探討如何基於多視角影像之間的幾何關係，對關鍵影像資訊進行相似度量測，並在多視角影像中萃取影像對應與進行三維點重建，以獲得高精確度的點雲資訊。. 從過去學者的研究中，我們將多視角影像進行三維立體重建的流程，歸納成 5 個關鍵步驟，如圖 7 多視角影像進行三維立體重建流程圖所示，其中步驟 1 至步驟 3 是整個三維立體重建流程中最為核心的部份，關係著點雲資訊的形成方式. 政治大行後續的處理與調整，詴圖得到更理想的成果，不同的研究學者會依照自身方法立與成效，步驟 4 與步驟 5 是為了確保點雲資訊的密集度與精確度，對點雲資訊進. ‧. ‧ 國. 學. 之實際成效，對步驟 4 與步驟 5 的部份有所取捨。. 本研究所探討的議題將著重於步驟 1 至步驟 3 的核心部份，其中在步驟 2. sit. y. Nat. 配對相異影像對應點的階段，過去的諸多研究中，對應點的候選點是以影像上的. n. al. er. io. 特徵點為主，事實上除了這些特徵點之外，仍然有其他更好的潛在候選點，在相. i Un. v. 似度量測(similarity measurement)的部份，許多研究學者是以區塊比對(block. Ch. engchi. matching)的方式，從影像中截取影像資訊進行相似度量測，藉由相似度測量值的大小，在對應候選點之間選出對應點，但是區塊比對的方式在多視角影像的環境下，容易受到多視角影像之間拍攝視角旋轉與拍攝距離差異的影響，產生相似度測量上的問題，後來有研究學者提出補綴面為基礎比對方法 (patch-based matching)，此方法較不容易受到多視角影像間拍攝視角旋轉的影響，但是仍然會受到多視角影像間拍攝距離差異的影響，造成相似度測量值的不準確，另外，在相似度測量函數的部分，在過去的諸多研究中，是以兩張影像做為相似度測量時的依據，其相似度測量結果，容易偏重少數影像的局部資訊，我們將對這些部份所產生的問題，皆提出改善的方法。 8.

(21) 多視角影像進行三維立體重建的關鍵步驟：步驟 1. 萃取出單張影像中的特徵點(feature point)。步驟 2. 配對相異的影像的對應點(corresponding point)。步驟 3. 透過對應點進行三維點重建。步驟 4. 擴展三維點，增加點雲的密集度。步驟 5. 過濾三維點中的離群點(outlier)，增加點雲的精確度。. Multi-View Images. 政治大. 學. 2. Corresponding Point Matching. Kernel. ‧. 3. 3D Point Reconstruction. io. sit. y. Nat. 4. 3D Point Expansion. n. al. er. ‧ 國. 1. Feature Point Extraction 立. Ch. 5. 3D Point Filtering. engchi. Dense and Accurate?. i Un. v. No. Yes. Point Cloud 圖 7：多視角影像進行三維立體重建流程圖. 9. Option.

(22) 1.3 系統架構與流程我們將系統架構與流程分為三個階段，如圖 8 系統架構與流程圖所示，我們的研究核心在階段 1 的部份，從多視角影像中萃取影像對應與進行三維點重建，經過階段 1 的程序，獲得精確的點雲資訊後，可以依照實際成效的情況，進行階段 2 及階段 3 的部份，將系統架構與流程各個階段之內容分別敘述如下：. 階段1. 萃取多視角影像對應與重建三維點. 我們先對特定的物件與場景，從不同的視角及位置拍攝一系列多視角影像. 政治大接著我們在多視角影像中萃取影像特徵點、配對影像對應點、進行三維點重建，立. ，並且透過相機校正取得相機參數，此部份之詳細內容我們將於第 4 章中說明，. ‧ 國. 學. 在這過程中，我們以相互支持轉換、動態高斯濾波法，改善補綴面為基礎比對方法，在多視角影像中截取關鍵影像資訊，以綜合性相似度評估函數進行相似度量. ‧. 測，並且使用 K 均值分群演算法(K-means algorithm)與線性內插法發掘潛在的三. sit. n. al. er. io. 階段2. y. Nat. 維點，獲得高精確度的點雲資訊，此部份之詳細內容我們將於第 3 章中說明。. 三維點的擴展與過濾. Ch. engchi. i Un. v. 經過階段 1 的程序，初步的點雲資訊已經形成，可將點雲資訊透過擴展及過濾的步驟找到更多的三維點，並且過濾掉點雲資訊中的離群點，增加點雲的密集度與精確度。. 階段3. 網格化與影像敷貼. 經過階段 2 的程序，最終的點雲資訊已經形成，可將點雲資訊透過網格化、影像敷貼等程序的處理，建出三維立體模型，完成物件與場景三維立體模型的最終樣貌。. 10.

(23) Phase 1 Multi-View Images. Feature Point Extraction. Calibration. Corresponding Point Matching Camera Parameter 3D Point Reconstruction. 3D Point Expansion. 立. Phase 2. 政治大. 3D Point Filtering. ‧ 國. 學 ‧. Point Cloud. y. Nat. n. al. er. io. sit. Meshing. Texture Mapping. Ch. engchi. i Un. 3D Model 圖 8：系統架構與流程圖. 11. v. Phase 3.

(24) 1.4 論文貢獻本論文之研究可以歸納出以下三項貢獻： (1) 以相互支持轉換與動態高斯濾波法改善補綴面為基礎比對方法我們提出相互支持轉換與動態高斯濾波法，改善補綴面為基礎比對方法，在多視角影像中截取關鍵影像資訊，進行相似度量測，藉由提高相似度測量值的辨識度，提升對應點的精確度。. (2) 使用綜合性相似度評估函數. 政治大據兩張影像的影像資訊來尋找對應點，我們使用綜合性相似度評估函數，在多視立. 過去在影像之間尋找影像對應的方法與相關研究之中，許多學者的研究是依. ‧ 國. 學. 角影像的環境下，依據多視角影像資訊的光度一致性、多視角影像之間的幾何強健性，進行相似度量測，藉由綜合性評估提高相似度測量值的可信度，提升對應. ‧. 點的精確度。. sit. y. Nat. n. al. er. io. (3) 以 K 均值分群演算法與線性內插法發掘潛在的三維點. i Un. v. 在許多過去的許多研究中，對應點的候選點是以影像中的特徵點為主，事實. Ch. engchi. 上在這些特徵點的周遭，可能會有其他更理想的潛在候選點，不僅在相似度測量值上有更好結果，所求出的三維點也更加貼近三維空間真實物體表面，我們使用 K 均值分群演算法與線性內插法，發掘這些潛在的三維點，進行三維點重建，提升三維點的精確度。. 12.

(25) 1.5 章節架構本論文共分成六章，第 1 章緒論：介紹本論文的研究動機與目的、所涉及的相關研究領域與應用層面，並說明本研究所探討議題為，如何基於多視角影像之間的幾何關係，萃取多視角影像對應與進行三維點重建，獲得高精確度的點雲資訊，第 2 章相關研究：介紹與本論文相關的知識與研究，第 3 章萃取多視角影像對應與重建三維點方法：介紹我們如何改善補綴面為基礎比對方法，以及進行三維點重建，提升對應點與三維點的精確度，第 4 章建立實驗環境與取得相機參數：介紹我們如何建立實驗環境與取得相機參數，第 5 章實驗結果：介紹我們所進行. 政治大. 之實驗與結果，第 6 章結論：敘述本論文之研究成果，以及未來可以持續深入探. 立. 討之方向。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 13. i Un. v.

(26) 第2章相關研究. 2.1 文獻探討過去在影像之間尋找影像對應的方法與相關研究之中，許多學者的研究是在兩張影像之間，依據影像資訊尋找對應點，如 David G. Lowe 所發表的尺度不變. 政治大. 特徵轉換(Scale-Invariant Feature Transform，SIFT)[21]，而本論文之研究，是希. 立. 望透過多視角影像，提升對應點與三維點的精確度，最近幾年在多視角三維立體. ‧ 國. 學. 重建的研究領域中，有許多與我們論文相關的研究，分別敘述如下：. ‧. Benchmark Algorithm. y. Nat. io. sit. 過去的研究學者曾經發表過一些基準測量演算方法(benchmark algorithm)，. n. al. er. 如 Steven M. Seitz、Brian Curless、James Diebel、 Daniel Scharstein、Richard Szeliski. Ch. i Un. v. 等學者於 2006 年發表的 A Comparison and Evaluation of Multi-View Stereo. engchi. Reconstruction Algorithms[23]論文中，提出了一個基準測量的演算方法，可以對不同的多視角三維立體重建方法作出評比，依據點雲資訊與實況空間資料 (ground-truth data)間的完整度(completeness)及精確度(accuracy)兩項指標，評估多視角三維立體重建方法的成效，他們在網站[32]上提供恐龍(dino)與神殿(temple)，兩組多視角影像與相機參數的資料集(data set)，讓研究學者下載使用，圖 9 為恐龍與神殿資料集影像圖，並提供提交(submit)成果的服務，在網站上公佈成效的排名，圖 10 為 Middlebury Computer Vision Web Pages 成效排名圖。. 14.

(27) 圖 9：恐龍與神殿資料集影像圖. 立. 政治大. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 圖 10：Middlebury Computer Vision Web Pages 成效排名圖. Ch. engchi. i Un. v. 他們以Stanford Spherical Gantry[29]建立實驗環境，架設相機從不同的位置及視角拍攝實體物件，取得一系列多視角影像，如圖11 Stanford Spherical Gantry 實體圖所示，Stanford Spherical Gantry共有四個轉軸，可以在中心帄台擺上實體物件，透過機械手臂架設相機(camera)及燈光(lamp)，並經由轉動四個轉軸，拍攝出一系列多視角影像，依據轉軸上經度(longitude)與緯度(latitude)的刻度，記錄整個實驗場景，描述相機與實體物件在真實三維空間中的幾何關係，接著，他們以雷射掃描(laser scanning)的方式，取得實體物件的實況空間資料。. 15.

(28) 政治大圖 11：Stanford Spherical Gantry 實體圖立. ‧ 國. 學. 相機參數的部份，他們在Stanford Spherical Gantry中心帄台上擺放黑白棋盤. ‧. 格的校正板，並拍攝多視角影像，透過這些多視角影像與Jean-Yves Bouguet在網. sit. y. Nat. 站[33]上所提供的Matlab Toolbox求得相機參數，如圖12實驗場景相機分佈示意圖. io. er. 所示，所有的相機分布大致成半圓球狀，半圓球的中間會出現一些區域性的空洞，是因為Stanford Spherical Gantry的機械手臂會在實體物件上產生陰影，而半圓球. al. n. iv n C 的底部並不是完整的環形，是由於Jean-Yves h e n g c hBouguet在網站上所提供的Matlab i U. Toolbox，對於某些低角度拍攝的影像經過校正取得的相機參數，會有誤差值過大的情形，他們最後會將這些產生問題的影像及相機參數一併移除。. 圖 12：實驗場景相機分佈示意圖 16.

(29) C. Strecha、W. von Hansen、L. Van Gool、P. Fua、U. Thoennessen 等學者於 2008 年發表的 On Benchmarking Camera Calibration and Multi-View Stereo for High Resolution Imagery[27] 論文中，分別以累積錯誤分佈 (cumulative error distribution)與完整度(compleatness)兩項指標，評估多視角三維立體重建方法的成效，他們在網站[28]上提供 Fountain-P11 與 Herz-Jesu-P8 兩組多視角影像，以及相機參數與實況空間資料的資料集，讓研究學者下載使用，圖 13 為 Fountain-P11 與 Herz-Jesu-P8 資料集影像圖，並提供提交成果的服務，在網站上公佈成效的排名，圖 14 為 Dense MVS Test Images Web Pages 成效排名圖。. 立. 政治大. ‧. ‧ 國. 學. Nat. n. al. er. io. sit. y. 圖 13：Fountain-P11 與 Herz-Jesu-P8 資料集影像圖. Ch. engchi. i Un. v. 圖 14：Dense MVS Test Images Web Pages 成效排名圖 17.

(30) Multi-View Stereo Methods 我們透過上述發表基準測量演算方法作者網站所公佈的成效排名中，發現最近 5 年內，有些研究學者提出的多視角三維立體重建方法成效顯著，在兩個網站的排名皆名列前三名，這些研究學者在所提出的方法中，皆運用了補綴面為基礎的概念(patch-based concept)，將最近幾年的相關研究分別敘述如下。. Y. Furukawa 與 Jean Ponce 於 2007 年所發表的 Accurate、Dense、and Robust Multi-View Stereopsis[14]論文中，先對真實三維空間中的物體拍攝一系列多視角影像，利用海利斯角隅偵測(Harris corner detector)[17]與高斯差分(Difference of. 治政 Gaussian，DoG)方法，在多視角影像中萃取出特徵點，透過極線幾何(epipolar 大立 geometry)[18]的幾何特性，在影像中縮小對應點配對的範圍，以補綴面為基礎的 ‧ 國. 學. 比對方法，在三維空間中建立三維補綴面(patch)，並以投影的方式重新排列在多. ‧. 視角影像中的像素資訊，再進行相似度量測，透過幾何關係改善多視角影像間因. sit. y. Nat. 為拍攝視角旋轉，造成比對區塊內之像素群組及其相對位置不一致的問題，使用. io. er. 正規化相關匹配法(Normalized Cross-Correlation，NCC)所構成的相似度測量函數，在對應侯選點之中選出對應點，並透過共軛梯度方法(conjugate gradient method). al. n. iv n C 求得最大化相似度測量函數的參數，旋轉與帄移三維補綴面，對三維點進行評估 hengchi U 與調整。. 但是如果相機參數不夠精確，產生投影計算上的誤差，會造成有些應該被找到的對應點在影像中沒有被找到，因此，Y. Furukawa 與 Jean Ponce 於 2008 年發表的 Accurate Camera Calibration from Multi-View Stereo and Bundle Adjustment[15]論文中，提出以光束調整法(bundle adjustment)的方式，藉由不同解析度的影像金字塔最小化投影誤差，改善校正後的相機參數，希望透過最佳化後的相機參數，提高三維立體模型之精細度。. 18.

(31) Vu Hoang Hiep 、 Renaud Keriven 、Patrick Labatut、Jean-Philippe Pons 等學者於 2009 年發表的 Towards High-resolution Large-scale Multi-view Stereo[19] 論文中，利用海利斯角隅偵測與高斯差分方法，在多視角影像中萃取出特徵點，以尺度不變特徵轉換與正規化相關匹配法，在多視角影像中進行相似度量測，並提出 variational refinement 程序，運用補綴面為基礎的概念改善三維點之座標。. 蔡瑞陽於 2009 年發表的從多視角萃取密集影像對應[6]論文中，利用海利斯角隅偵測與高斯差分方法，在多視角影像中萃取出特徵點，並藉由對應點會出現在極線(epipolar line)附近的幾何特性，在影像中縮小對應點配對的範圍，以補綴. 治政面為基礎的比對方法，在多視角影像中截取比對區塊的影像資訊，以零帄均正規大立化相關匹配方法(Zero-mean Normalized Cross-Correlation，ZNCC)及色彩直方圖 ‧ 國. 學. (color histogram)進行相似度量測，透過旋轉及帄移三維補綴面，進行三維補綴面. ‧. 之最佳化，並提出以極線轉換法(epipolar transfer)過濾及改善對應點。. sit. y. Nat. io. er. 蔡政君於 2009 年發表的使用光束調整法與多張影像做相機校正與三維模型重建 [7] 論文中，先藉由多視角影像定義出重投影誤差期望值 (expected. al. n. iv n C reprojection error)，並以 PMVS(Patch-based Stereo)軟體得到初始三維 h e n g cMulti-View hi U 點，以及看的到這些三維點的多視角影像集合，接著使用正規化相關匹配法進行相似度量測，以隨機取樣的方式改善對應點與三維點位置，最後使用稀疏光束調整法(Sparse Bundle Adjustment，SBA)與計算重投影誤差改善相機參數。. 吳坤信於 2009 年發表的從多視角已校正影像改善三維粗略模型[2]論文中，先利用視覺外廓(visual hull)的方式建立粗略的三維立體模型，以差值帄方和(Sum of Squared Differences，SSD)與色彩直方圖進行相似度量測，並以多視角幾何與極線轉換法改善對應點。. 19.

(32) Toward Large-scale and High-resolution Image 從 Noah Snavely、Steven M. Seitz、Richard Szeliski 等研究學者，於 2008 年發表的 Modeling the World from Internet Photo Collections[25]論文，Vu Hoang Hiep、 Renaud Keriven、Patrick Labatut、Jean-Philippe Pons 等研究學者，於 2009 年發表的 Towards High-resolution Large-scale Multi-view Stereo[19]論文，Sameer Agarwal、 Yasutaka Furukawa、Noah Snavely、Brian Curless、Steven M. Seitz、Richard Szeliski 等研究學者，於 2010 發表的 Reconstructing Rome[9]論文，以及 Yasutaka Furukawa、 Brian Curless、Steven M. Seitz、Richard Szeliski 等研究學者，於 2010 發表的 Towards Internet-scale Multi-view Stereo[13]論文中，可以發現目前這些頂尖的研. 治政究學者在多視角三維立體重建的領域，正朝向大使用大場景高解析度影像立 (large-scale and high-resolution image) 的方向做努力，圖 15 為 Large-scale ‧ 國. 學. Multi-view Stereo 成果圖。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 15：Large-scale Multi-view Stereo 成果圖. 20.

(33) 2.2 比對方法在過去的諸多研究中，許多研究學者是以區塊比對的方式，在影像中截取影像區塊，做為相似度量測時的依據，後來有研究學者提出以補綴面為基礎比對方法，透過幾何關係在多視角影像中截取影像資訊，再進行相似度量測，此小節將分別介紹區塊比對方法與補綴面為基礎比對方法，以及這兩種比對方法在多視角影像環境下，進行相似度測量會產生的問題。. 區塊比對方法(Block Matching). 政治大點的候選點，區塊比對方法會以影像 I 特徵點及影像 I 對應候選點周遭，固定大立. 如圖 16 區塊比對方法示意圖所示，在影像 I 2 中有 f1 、 f 2 、 f3 、 f 4 四個對應 1. 2. ‧ 國. 學. 小的方形像素區塊進行相似度量測，此以比對區塊大小為 5 x 5 的方形像素區塊為例，其中影像 I1 特徵點 f0 的比對區塊為 B1 ，影像 I 2 對應候選點 f1 的比對區塊. ‧. 為 B2 ，在相似度測量的部分，較常見的作法是以差值帄方和、正規化相關匹配. sit. y. Nat. 法、零帄均正規化相關匹配方法、尺度不變特徵轉換、色彩直方圖等方法進行相. n. al. er. io. 似度的量測，藉由相似度測量值的高低從對應候選點中選出對應點。. Ch. engchi. i Un. 圖 16：區塊比對方法示意圖. 21. v.

(34) 區塊比對方法產生的問題(Block Matching Problem) 多視角影像的環境下，區塊比對方法在進行相似度測量的比對區塊，容易受到多視角影像間拍攝視角旋轉及拍攝距離差異的影響，產生比對區塊內進行相似度測量的像素群組不相同及其相對位置不一致的問題，如圖 17 比對區塊像素群組不相同示意圖所示，影像 I1 比對區塊 B1 中的像素資訊，不完全在影像 I 2 對應候選點 f1 的比對區塊 B2 範圍內，在進行相似度量測時，比對區塊像素群組不相同及其相對位置皆不一致的情況，容易造成相似度測量值的不準確。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i Un. v. 圖 17：比對區塊像素群組不相同示意圖. Ch. engchi. 比對區塊內的像素群組不相同及其相對位置不一致的程度，會受到多視角影像間拍攝視角的旋轉角度與拍攝位置的距離差異所影響，其中受到多視角影像間拍攝視角旋轉產生的問題，我們稱之為區塊比對旋轉問題(block matching rotation problem)，如圖 18 區塊比對旋轉問題示意圖(a)所示，以相異視角的 1 號相機 C1 與 2 號相機 C2 ，對貼有彩色數字的九宮格圖樣帄面拍攝影像，此以比對區塊大小為 3 x 3 的方形像素區塊為例，如圖 19 區塊比對旋轉問題示意圖(b)所示，比對區塊. Block1 與比對區塊 Block2 的影像資訊，受到拍攝視角的影響旋轉了 180 度，拍攝視角旋轉造成兩者比對區塊內的影像資訊相對位置不一致。 22.

(35) 圖 18：區塊比對旋轉問題示意圖(a). 學圖 19：區塊比對旋轉問題示意圖(b). Nat. sit. y. ‧. ‧ 國. 立. 政治大. io. er. 受到多視角影像間拍攝距離差異產生的問題，我們稱之為區塊比對縮放問題 (block matching scale problem)，如圖 20 區塊比對縮放問題示意圖(a)所示，以相. al. n. iv n C 異距離的 1 號相機 C 與 2 號相機hC ，在相同焦距的情況下，對貼有彩色數字的 engchi U 1. 2. 九宮格圖樣帄面拍攝影像，此以比對區塊大小為 3 x 3 的方形像素區塊為例，如圖 21 區塊比對旋轉問題示意圖(b)所示，由於 1 號相機距離貼有彩色數字的九宮格圖樣帄面比較遠，2 號相機距離貼有彩色數字的九宮格圖樣帄面比較近，比對區塊 Block1 與比對區塊 Block2 的影像資訊，受到拍攝距離的影響，比對區塊. Block2 的 9 個像素所記錄的資訊，實際上是比對區塊 Block1 中的 1 個像素放大之後的結果，拍攝距離差異造成兩者比對區塊內的影像資訊像素群組不相同。. 23.

(36) 圖 20：區塊比對縮放問題示意圖(a). 學圖 21：區塊比對縮放問題示意圖(b). Nat. io. er. 補綴面為基礎比對方法(Patch-based Matching). sit. y. ‧. ‧ 國. 立. 政治大. 參照圖 22 補綴面為基礎比對方法示意圖(a)所示，影像 I1 為參照影像，影像. al. n. iv n C 中的 1 組對應點，可推算出相對於三維空間中的三維點 h e n g c h i U X，利用三維點 X 與 1. 號相機中心 C1 可求得法向量，接著透過三維點 X 以及求得的法向量，可以在三維空間中唯一決定 1 個帄面，我們稱之為補綴面，此以比對區塊大小為 5 x 5 像素區塊為例，如圖 23 補綴面為基礎比對方法示意圖(b)所示，從 1 號相機中心 C1 對參照影像的比對區塊射出 25 條射線，這 25 條射線會與補綴面交會出 25 個三維點，如圖 24 補綴面為基礎比對方法示意圖(c)所示，將補綴面上這 25 個三維點，投影到影像 I 2 上形成 25 個投影點，投影點所在的像素資訊，依照投影順序重新排列為 5 x 5 方形比對區塊後，與參照影像 I1 上的 5 x 5 比對區塊進行相似度量測。. 24.

(37) 圖 22：補綴面為基礎比對方法示意圖(a). 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. al. v. n. 圖 23：補綴面為基礎比對方法示意圖(b). Ch. engchi. i Un. 圖 24：補綴面為基礎比對方法示意圖(c) 25.

(38) 補綴面為基礎比對方法產生的問題(Patch-based Matching Problem) 補綴面為基礎比對方法藉由多視角影像之間的幾何關係，將投影點所在的像素資訊，依照投影順序重新排列為方形比對區塊後，再進行相似度量測，較不易受到多視角影像間拍攝視角旋轉造成的影響，如圖 25 依投影順序重新排列比對區塊示意圖所示，經過重新排列比對區塊後，比對區塊 Block1 與比對區塊為. Block2 內的像素群組及其相對位置皆一致，但是補綴面為基礎比對方法在相似度測量的準確程度，仍然會受到多視角影像間拍攝距離差異的影響，我們稱之為補綴面為基礎比對縮放問題(Patch-based Matching Scale Problem)。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i Un. v. 圖 25：依投影順序重新排列比對區塊示意圖. Ch. engchi. 補綴面為基礎比對縮放問題，是由於補綴面三維點投影至多視角影像時，若兩台相機的影像投影面與補綴面三維點的距離差異過大，則會造成投影點過於集中或是過於分散兩種情況，如圖 26 投影點集中示意圖與圖 27 投影點分散示意圖所示，此以比對區塊大小為 3 x 3 像素區塊為例，當投影點過於集中時，投影點所涵蓋的像素區塊量變少而且重複性高，當投影點過於分散時，雖然投影點所涵蓋的像素區塊數量與投影點的數量相同，但是會因為縮放的比例造成像素資訊程度性的失真，補綴面為基礎比對方法當出現其中一種情況時，皆容易在相似度的測量上發生不準確的情形。 26.

(39) 圖 26：投影點集中示意圖. 立. 圖 27：投影點分散示意圖. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 27. i Un. v.

(40) 2.3 相機參數相機參數可以分為內部參數與外部參數兩個部分，其中內部參數所表達的是相機內部針孔成像的幾何關係，外部參數所表達的是世界座標系統與相機座標系統之間的轉換關係，結合相機的內部參數與外部參數即可求得相機的投影矩陣，分別將相機的內部參數、外部參數與投影矩陣敘述如下。. 內部參數(Intrinsic Parameters)：參照圖 28 針孔成像原理示意圖所示， CO 為相機中心，當我們已知三維點 X. 政治大. 在相機座標系統下之座標為 X  X C1 , YC1 , ZC1  ，其投影於影像帄面 I 之座標為. 立. p  xI 1 , yI 1 ， f 為相機的焦距(focal length)， uO , vO  為相機的主點(principal point)，. ‧ 國. 學. 欲求三維點 X 投影於影像帄面 I 上之座標 p  xI 1 , yI 1 ，如圖 29 相似三角形對應邊. ‧. 成比例示意圖所示， f 與 ZC1 的比例跟 xI 1 與 X C1 的比例相同，透過相似三角形對. sit. y. Nat. 應邊成比例的特性，可得到公式(2-1)，由於影像帄面座標系之原點座標位於影像. n. al. er. io. 左上角，而投影後的二維座標系原點  uO , vO  位於影像中央，因此投影後的座標. i Un. v. 必頇加上主點座標的水帄位移量 uO 與垂直位移量 vO ，其中  uO , vO  = (width/2+0.5,. Ch. engchi. height/2+0.5)，如圖 30 主點示意圖所示，此以 800 x 600 的影像為例，所以  uO , vO  = (399.5, 299.5)，因此，相機內部針孔成像的幾何關係可以用公式(2-2)表示之，其中，相機之內部參數即為公式(2-3)中的 K 矩陣。. f  X C1 xI 1  f  Z  X  xI 1  Z  C1 C1 C1   f  yI 1  y  f  YC1 I1  ZC1 YC1 Z C1. (2-1). 28.

(41)  xI 1   f p   yI 1    0  1   0. (2-2). 0 uO   X C1  f    f vO   YC1  ， K   0  0 0 1   ZC1 . 立. 0 uO  f vO  0 1 . (2-3). 政治大. 學 ‧. ‧ 國 io. sit. y. Nat. er. f KX C   0  0. 0 uO   X C1 ZC1  f vO   YC1 ZC1  0 1   1 . n. a圖l 28：針孔成像原理示意圖i v n Ch engchi U. 圖 29：相似三角形對應邊成比例示意圖. 29.

(42) 圖 30：主點示意圖. 治政外部參數(Extrinsic Parameters)：大立由於相機中心不一定恰好為世界座標中心，必頇先將三維物體之座標透過旋 ‧ 國. 學. 轉矩陣 R 與位移矩陣 T 進行座標轉換，將三維物體之座標系由世界座標系轉換. ‧. 為相機座標系的座標後，才可以透過相機內部參數進行針孔投影在影像上成像，. sit. y. Nat. 如圖 31 3ds Max 相機外部參數示意圖所示，  X W , YW , ZW  為世界座標系統，. n. al. er. io.  X C1 , YC1 , ZC1  、  X C 2 , YC 2 , ZC 2  、  X C 3 , YC 3 , ZC 3  分別為 C1 、 C2 、 C3 的相機座標系. Ch. i Un. v. 統，每部相機都有自己的相機座標系統，透過各別的旋轉矩陣 R 與位移矩陣 T，. engchi. 就可以將三維物體於世界座標系的座標，轉換至每部相機的座標系統。. 投影矩陣(Projection Matrix)：最後結合相機內部參數 K 矩陣，以及外部參數的旋轉矩陣 R 與位移矩陣 T，即可得到投影矩陣 P，其關係式如公式(2-4)所示。. f 內部參數 K   0  0. 0 uO   r11 r12  f vO  ，旋轉矩陣 R   r21 r22  r31 r32 0 1 . 投影矩陣： P  K  R | T . r13   t1   r23  ，位移矩陣 T  t2  t3  r33  (2-4). 30.

(43) 政治大. 圖 31：3ds Max 相機外部參數示意圖. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 31. i Un. v.

(44) 2.4 直接線性轉換透過直接線性轉換(direct linear transformation)，可以幫助我們推算出影像中對應點相對於三維空間中的位置，參照圖 32 直接線性轉換說明圖所示，假設已知影像 I1 與 I 2 中的對應點 f1   x1 , y1  與 f 2   x2 , y2  ，及其各自的投影矩陣 P1 與 T. T. P2 、相機中心 C1 與 C2 ，假設空間中三維點為 X   X1 , Y1 , Z1  ，則我們可以得到 T. 兩組投影關係式  x1 , y1 ,1  P1 X 與  x2 , y2 ,1  P2 X ，對投影關係式通式 fi  Pi X T. T. 進行外積運算，可得到 fi  Pi X  0 的關係式，將關係式展開可以得到三個運算式，. 政治大成線性系統 AX  0 ，如公式(2-6)所示，最後對線性系統 AX  0 進行奇異質分解立如公式(2-5)所示，將兩組投影關係式各取 2 個進行外積運算後的運算式，可以組. ‧ 國.  .    . 學. (Single Value Decomposition，SVD)，即可求解三維點 X 的座標  X 1 , Y1 , Z1  。.  . y. . io. al. n.  x1 P13r  P11r    y1 P13r  P12 r   AX  X 0  x2 P23r  P21r   3r 2r   y2 P2  P2 . sit. . (2-5). er. . ‧. . Nat.  xi Pi 3r X  Pi1r X  0   3r 2r Kr  yi Pi X  Pi X  0 ,其中 Pi 為投影矩陣 Pi 的第 K 列(row)  2r 1r  xi Pi X  yi Pi X  0. T. Ch. engchi. i Un. 圖 32：直接線性轉換說明圖 32. v. (2-6).

(45) 第3章萃取多視角影像對應與重建三維點方法. 我們的研究核心在系統架構與流程中第 1 階段的範圍，如圖 33 系統架構與流程階段 1 分解圖所示，系統架構與流程的第 1 階段可以區分為 3 個部分，第 1. 政治大影像對應與進行三維點重建，本章將介紹系統架構與流程階段 1 的第 3 部份，包立個部分是建立實驗環境，第 2 個部分是取得相機參數，第 3 個部分是萃取多視角. ‧ 國. 學. 括在配對相異影像的對應點時，為了改善補綴面為基礎比對縮放問題，所使用的相互支持轉換、動態高斯濾波法與綜合性相似度評估函數，以及透過對應點進行. ‧. 三維點重建時，為了發掘潛在的三維點，讓三維點更加貼近三維空間真實物體表. sit. y. Nat. 面，所使用的 K 均值分群演算法與線性內插法，系統架構與流程階段 1 的第 1. n. al. er. io. 部份與第 2 部份將於第 4 章做說明。. 1. Ch. engchi. i Un. v. Multi-View Images 3. 2 Feature Point Extraction. Calibration. Corresponding Point Matching Camera Parameter 3D Point Reconstruction 圖 33：系統架構與流程階段 1 分解圖 33.

(46) 3.1 相互支持轉換本論文於前述章節中，介紹過補綴面為基礎比對方法，當中的補綴面為基礎比對方法縮放問題，會在投影補綴面三維點至多視角影像時，產生投影點過於集中或是投影點過於分散兩種情形，造成相似度測量值的不準確，其中投影點過於集中造成的影響尤其嚴重，在比對區塊像素資訊高重複性的情況下，相似度測量結果容易出現不合理的情況，即使是正確的對應點，但是相似度測量值卻明顯偏低，這將會導致未來在對應點選取上的失誤。. 政治大影像與投影影像的角色互換，將投影點過於集中的情況，皆轉為投影點過於分散立. 資訊量過少的情況並不容易處理，因此，我們提出相互支持轉換，透過參照. ‧ 國. 學. 的情況，如圖 34 相互支持轉換示意圖所示， I1 為參照影像，在三維空間中建立三維補綴面，當投影補綴面三維點至影像 I 2 ，產生投影點過於集中的情況時，將. ‧. 參照影像改為 I 2 ，重新計算補綴面三維點，並且投影補綴面三維點到 I1 影像上，. y. sit. n. al. er. io. 行後續的處理。. Nat. 透過相互支持轉換的過程，將投影點集中的情況皆轉為投影點分散的情況，再進. Ch. engchi. i Un. 圖 34：相互支持轉換示意圖 34. v.

(47) 3.2 動態高斯濾波法透過上述相互支持轉換的處理，我們將補綴面三維點投影到多視角影像時，投影點過於集中的情況皆轉為投影點過於分散的情況，因此，加入相互支持轉換的補綴面為基礎比對方法，在投影補綴面三維點至多視角影像時，只會產生投影點分散的情況，接著我們使用動態高斯濾波法，改善因為縮放比例造成像素資訊程度性失真的問題。. 如圖 35 動態高斯濾波法示意圖(a)所示，補綴面三維點投影到多視角影像時. 政治大 4 個角點與其對角相鄰點，以二分之一的距離向外延伸，可以得到動態高斯濾波立. 投影點過於分散，此以比對區塊大小為 3 x 3 像素區塊為例，我們先將投影點的. ‧ 國. 學. 網格的 4 個角點座標，如圖 36 動態高斯濾波法示意圖(b)所示，接著對動態高斯濾波網格的 4 個角點，進行雙線性內插法，可以內插出動態高斯濾波網格的格點，. ‧. 如圖 37 動態高斯濾波法示意圖(c)所示，將格點連線即可得到高斯濾波網格，最. sit. y. Nat. 後分別將投影點周遭像素中心位於動態高斯濾波網格內的像素，計算像素中心位. n. al. er. io. 置與投影點位置的水帄與垂直位移量，將水帄與垂直位移量分別代入公式(3-1). i Un. v. 的高斯函數得到高斯係數，對投影點周遭像素做動態的高斯濾波，如圖 38 動態. Ch. engchi. 高斯濾波法示意圖(d)所示，投影點的影像資訊即為周遭所有像素中心位於動態高斯濾波網格內的像素，其像素灰階值乘上高斯係數的加權帄均值。公式(3-2) 為我們所使用的動態高斯濾波函數，其中 Bij 代表經過動態高斯濾波處理後，比對區塊列索引 i 與行索引 j 的影像資訊，此以比對區塊大小為 3 x 3 像素區塊為例，所以 i 與 j 值的範圍皆為 1 到 3， IN 代表所有像素中心在動態高斯網格內的像素所形成之集合， gray  pixelx , pixel y  代表像素中心坐標  pixelx , pixel y  的影像灰階. . . 值，其值的範圍為 0 到 255， G pixelx  projxij , pixel y  proj y ij 為高斯係數，其中 projx ij 與 proj y ij 分別代表列索引 i 與行索引 j 投影點的 X 與 Y 座標。 35.

(48) G  u, v  . Bij . . 1 2. pixelIN. e 2. .  u 2  v2.   2  2. (3-1).  gray  pixel , pixel   G  pixel  proj x. . y. x. ij x. , pixel y  proj y ij. pixelIN G pixelx  projxij , pixel y  projyij. 立. . . (3-2). 政治大. ‧ 國. 學. 圖 35：動態高斯濾波法示意圖(a). 圖 36：動態高斯濾波法示意圖(b). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 圖 37：動態高斯濾波法示意圖(c). i Un. v. 圖 38：動態高斯濾波法示意圖(d). 36.

(49) 3.3 綜合性相似度評估函數過去在影像之間尋找影像對應的方法與相關研究之中，許多學者的研究是依據兩張影像的影像資訊尋找對應點，我們使用綜合性相似度評估函數，在多視角影像的環境中，依據多視角影像資訊的光度一致性與多視角幾何強健性，進行相似度量測，提升萃取多視角影像對應的精確度，此小節將介紹我們所提出的綜合性相似度評估函數。. 我們所使用的綜合性相似度評估函數為，參照影像比對區塊與多視角影像比. 政治大的相機中心與三維點所形成的夾角越大，其幾何強健性係數值越大，代表影像拍立對區塊之相似度測量值，乘上幾何強健性係數後的加權帄均值，因此，兩張影像. ‧. ‧ 國. 學. 攝角度愈大，若相似程度愈高則給予較高的可信度。. 公式(3-3)為我們所使用的相似度評估函數，其中 PSCORE 代表三維點 P 經過綜. sit. y. Nat. 合性相似度評估函數計算後的分數，其值的範圍為-1 到 1，r 代表參照影像，M. n. al. er. io. 代表所有多視角影像扣除參照影像 r 所形成的集合，m 代表 M 集合中的一個元. v. 素， S  rb , mb  為光度一致性函數，我們使用零帄均正規化相關匹配方法，因此值. Ch. engchi. i Un. 的範圍為-1 至 1，值越大代表相似程度越高，其中 rb 與 mb 分別代表參照影像與多視角影像進行相似度量測的比對區塊， sin 1  P  rC , mC   代表幾何強健性係數，其值的範圍為 0 到 1，值越大代表幾何強健性越強，其中  P  rC , mC  代表參照影像 r 的相機中心 rC 、多視角影像 m 的相機中心 mC 與三維點 P 所形成的夾角。. PSCORE.  .  S  r , m   sin   r , m   sin   r , m  1. mM. b. b. P. C. C. 1. mM. P. C. C. 37. (3-3).

(50) 3.4 K 均值分群演算法與線性內插法在許多過去的諸多研究中，對應點的候選點是以影像中的特徵點為主，透過極線幾何中，對應點會出現在極線周遭的幾何特性，可以在影像中縮小對應點配對的範圍，避免以暴力法的方式，對多視角影像中所有特徵點進行相似度量測，如圖 39 潛在對應候選點示意圖所示，在影像 I 2 中有許多特徵點，透過極線幾何的幾何特性，可以將對應點配對的範圍，縮小在極線 L 周遭 2 個像素的範圍內( L1 與 L2 中間的區域)， f1 、 f 2 、 f3 、 f 4 為在此範圍內的對應候選點，但是 f1 、 f 2 、. f3 、 f4 等對應候選點不一定會剛好落在極線 L 上。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 39：潛在對應候選點示意圖. 參照影像中的特徵點 f0 與其他多視角影像中的對應候選點，可以透過直接線性轉換，計算出各個對應候選點相對的三維點座標，如圖 40 對應候選點的三維點分佈示意圖所示，所求得的三維點，會分佈於參照影像相機中心 C1 與特徵點 f0 射線的線上或周遭，事實上在這些三維點的周圍，可能存在著其他更理想的三維點，在相似度測量上有更好結果，並且更貼近三維空間真實物體的表面，這也代表著除了多視角影像中的對應候選點之外，存在著更理想的潛在對應點。 38.

(51) 圖 40：對應候選點的三維點分佈示意圖. 立. 圖 41：K-means 演算法分群示意圖. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 圖 42：群集中心代表示意圖. i Un. v. 圖 43：線性內插潛在三維點示意圖. 由於這些對應候選點相對的三維點座標，不一定會剛好落在三維空間真實物體的表面上，因此，我們使用 K 均值分群演算法[22]與線性內插法，發掘這些三維點周圍更理想的潛在三維點，並透過前一小節介紹的綜合性相似度評估函數，對這些三維點進行相似度量測，以相似度測量值做為評估與選取的依據，找到對應候選點周圍的區域中，更精確的潛在對應點，以及更貼近三維空間真實物體的表面的三維點。 39.

(52) 如圖 41 K-means 演算法分群示意圖所示，此以分為 3 群為例，依據三維點與參照影像相機中心 C1 的距離，對這些三維點進行分群，透過 K 均值分群演算法除了可以將三維點分群，還可以得到各個群集的群集中心，如圖 42 群集中心代表示意圖所示，在各個群集之中，取最接近群集中心的三維點作為群集中心代表，並透過綜合性相似度評估函數，計算每一個群集中心代表的分數，如圖 43 線性內插潛在三維點示意圖所示，接著對群集中心代表分數最高的群集進行線性內插，此以 Cluster2 為群集中心代表中分數最高的群集為例，透過群集之中與參照影像相機中心 C1 ，距離最近的三維點 Pn 與距離最遠的三維點 Pf ，以 1 公厘. 政治大. (millimeter)的間距做線性內插，在該群集之中內插出潛在的三維點。. 立. ‧ 國. 學. 由於 K 均值分群演算法與線性內插法發掘的潛在三維點數量，與三維點 Pn 及三維點 Pf 的距離成正相關，為了避免三維點 Pn 與三維點 Pf 的距離過大，內插出. ‧. 的潛在三維點數量過多，造成三維點評估與選取上的效率降低，我們對內插出的. y. Nat. io. sit. 潛在三維點以持續遞迴的方式，進行上述所介紹的分群方法，降低計算上的時間. n. al. er. 複雜度，如圖 44 遞迴 K-means 分群示意圖所示，此以分 3 群為例，持續對潛在. Ch. 三維點進行分群，直到找到最理想的三維點。. engchi. i Un. v. 圖 44：遞迴 K-means 分群示意圖 40.

(53) 第4章建立實驗環境與取得相機參數. 本章將分別介紹系統架構與流程階段 1 的第 1 部份與第 2 部份，包括我們如何使用 3ds Max 軟體建立實驗環境，在實驗場景中取得多視角影像與實況空間資料，以及如何取得校正過的相機參數。. 立. 4.1 建立實驗環境. 政治大. ‧ 國. 學. 我們的實驗環境是由實驗場景、多視角影像、實況空間資料三個元件所構成，我們使用 3ds Max 軟體架設出實驗場景，如圖 45 3ds Max 實驗場景側視圖與圖. ‧. 46 3ds Max 實驗場景俯視圖所示，總共在實驗場景中架設了 109 台相機，並透過. y. Nat. n. al. Ch. engchi. er. io. 層(level)，由高至低分別是第 1 階層至第 6 階層。. sit. 這些相機拍攝出一系列的多視角影像，相機的分佈大致呈半圓球狀，共有 6 個階. i Un. v. 圖 45：3ds Max 實驗場景側視圖. 41.

(54) 圖 46：3ds Max 實驗場景俯視圖各階層中相機的垂直夾角、水帄夾角、相機數量與相機編號等參數，參照表. 治政 1 相機分佈參數表，如圖 47 垂直夾角示意圖所示，垂直夾角代表的是相機相對大立於世界座標中心水帄面的夾角，相鄰階層之間的垂直夾角皆差異 10 度，此以階 ‧ 國. 學. 層 6 為例，階層 6 中的相機與世界座標中心水帄面的夾角皆為 40 度；如圖 48. ‧. 水帄夾角示意圖所示，水帄夾角代表的是同階層中相機與相鄰相機之間的水帄角. sit. y. Nat. 度，同階層中相機與相鄰相機之間的水帄夾角皆相同，此以階層 2 中 3 號相機與. io. er. 4 號相機為例，3 號相機與 4 號相機之間的水帄夾角為 60 度；相機總數量代表同階層中相機的總數量，相機編號代表同階層中相機編號的範圍，其中相機編號的. al. n. iv n C 分佈，如圖 49 相機編號分佈俯視示意圖所示，相機編號分佈呈逆時針遞增的順 hengchi U 序排列，於實驗場景中，109 台相機的相機中心皆距離世界座標中心 1.5 公尺，模擬我們以半徑 1.5 公尺的距離，對一個物體進行多視角三維立體重建的實驗場景，我們藉由這 109 台相機拍攝出一系列多視角影像，並且透過 3ds Max 實驗場景中的世界座標系，我們可以取得物件與場景的實況空間資料。. 圖 47：垂直夾角示意圖. 圖 48：水帄夾角示意圖 42.

(55) 表 1：相機分佈參數表 Level. 垂直夾角. 水帄夾角. 相機數量. 相機編號. Level 1. 90. 0. 1. 1. Level 2. 80. 60. 6. 2~7. Level 3. 70. 30. 12. 8 ~ 19. Level 4. 60. 15. 24. 20 ~ 43. Level 5. 50. 12. 30. 44 ~ 73. Level 6. 40. 10. 36. 74 ~ 109. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i Un. v. 圖 49：相機編號分佈俯視示意圖. 43.

(56) 4.2 取得相機參數我們透過兩種方式取得相機參數，第 1 種方式使用 3ds Max 實驗場景中的焦距、旋轉矩陣、帄移矩陣等相機資訊，依據相機針孔成像原理計算出相機參數，第 2 種方式在實驗場景中擺設黑白棋盤格的校正板拍攝多視角影像，並使用 Jean-Yves Bouguet 所提供的 Matlab Toolbox 得到相機參數，此小節將分別對此兩種方式做介紹，另外，也可以透過束集(bundler)軟體[24][25][31]求得相機參數。. (1) 使用相機針孔成像原理與 3ds Max 實驗場景中的相機資訊計算出相機參數. 政治大矩陣 K 中的焦距單位為像素，為了將 3ds Max 焦距單位由公厘轉為像素，我們立我們先求得相機的焦距，3ds Max 相機焦距之單位為公厘，而相機內部參數. ‧ 國. 學. 可以利用相機的 FOV 角度求得，如圖 50 透視投影中的焦距與 FOV 示意圖所示， FOV 角度與相機底片及相機焦距有關，其關係式如公式(4-1)所示，FOV 角度值. ‧. 可以在 3ds Max 中透過 3ds Max Script Language 取得，其精確度到小數點後 4 位，. n. al. er. io.  0.5  width  FOV  2 tan 1    focal length  width focal length =  FOV  2 tan    2 . sit. y. Nat. 在 3ds Max 環境取得 FOV 角度值，即可透過公式(4-2)得到相機的焦距。. Ch. engchi U. v ni. (4-1) (4-2). width (FOV). 圖 50：透視投影中的焦距與 FOV 示意圖 44.

(57) 接著我們藉由 3ds Max 實驗場景中的相機資訊，推導出相機的投影矩陣，在 3ds Max 環境中物體的旋轉，如圖 51 3ds Max 物體旋轉圖所示，其旋轉矩陣是由公式(4-3)的 3 個旋轉矩陣組合而成，分別代表對相機座標系 X 軸、Y 軸與 Z 軸的旋轉，3ds Max 環境中，旋轉的順序依序為 X 軸、Y 軸與 Z 軸，因此旋轉矩陣的順序為 Z-Y-X，其轉換關係如公式(4-4)所示，當我們旋轉的是相機時，則物體之座標相對於相機則是旋轉相反的方向，因此物體的座標經過相機旋轉後，可以由公式(4-5)式求得，在 3ds Max 環境中物體的位移，如圖 52 3ds Max 物體位移圖所示，其位移向量分別存在 X、Y、Z 三個位移量，分別代表對世界座標系 X 軸、Y 軸與 Z 軸方向的位移，與旋轉同理，當我們位移的是相機時，則物體之座. 治政標相對於相機則是位移相反的方向，因此物體的座標經過相機位移後，可以由公大立式(4-6)求得，當我們同時處理相機的旋轉與位移，可以將上述公式合併推導成 ‧ 國. 學. (4-7)，然而，3ds Max 環境中之相機預設座標系統，如圖 53 3ds Max 相機座標系. ‧. 統圖所示，圖中下方的綠色座標系為 3ds Max 相機預設座標系統，圖中上方的紅. sit. y. Nat. 色座標系為世界座標系統，兩者的 Y 軸與 Z 軸剛好相差一個負號，因此，物體. io. al. er. 的座標轉換公式必頇為公式(4-8)，最後加入相機內部參數的 K 矩陣，根據公式. n. (2-3)與公式(4-8)，將物體之世界座標投影至影像上，其關係式如公式(4-9)所示。. Ch. engchi. 圖 51：3ds Max 物體旋轉圖. i Un. v. 圖 52：3ds Max 物體位移圖 45.

(58) Zw Yw. Xw Xc. Yc Zc. 圖 53：3ds Max 相機座標系統圖. 0. ‧ 國. 立. 0. l. y. (4-3). sit er. n. cos  za. 0 0  1C h. ‧.  sin  z. io. cos  z Rz  z    sin  z  0. (4-3). 0 sin  y   1 0  0 cos  y . Nat.  cos  y  Ry  y    0   sin  y .  sin  x  cos  x . 學. 0 1 Rx  x   0 cos  x 0 sin  x. 政治大 . engchi U. v ni. (4-3).  X C' 0   XC0   XC0   '       YC 0   Rz  z  Ry  y  Rx  x   YC 0   R  YC 0   Z C' 0   Z C 0   Z C 0   . (4-4).  XC   XW   XW   Y  =R  R  R   Y   R 1  Y   C  x  x  y  y  z  z  W   W   ZC   ZW   ZW . (4-5). 46.