室內球形全景影像定位定向之研究 - 政大學術集成
109
0
0
全文
(2) 謝誌 終於到了寫謝誌的這一天，歷經兩年在政大、工作兩邊跑的日子，首先 要感謝的是我的指導教授邱式鴻老師，謝謝老師的耐心指導，總是在我遇 到瓶頸的時候，指引我到正確的方向，也體諒我不是一般的全職學生，總是 配合我的時間。感謝黃金聰老師、趙鍵哲老師以及研究所的所有老師們，在 口試與每次報告給予寶貴的意見與提點，讓這個研究更加完整。謝謝研究 所的大家，我沒辦法常常到研究室晃晃，在我抽不出身的時候，幫忙處理各 種事情，恭喜我們都如期畢業了，未來步入職場，祝福大家能夠順順利利。. 政 治 大. 特別感謝桃園市政府地政局航空城開發科、蘆竹地政事務所測量課及. 立. 桃園地政事務所測量課的主管及同事們的支持，讓我能夠無後顧之憂的在. ‧ 國. 學. 兩年的時間完成碩士學位。. ‧. 最後，感謝我的家人與朋友們，在我不停崩潰、碎念的日子裡，包容我. y. sit. io. n. al. er. 你們。. Nat. 的脾氣，謝謝你們的諒解與支持，沒有你們的陪伴，就沒有現在的我，我愛. Ch. engchi. i n U. v. I. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(3) 摘要 隨著數位三維城市模型的興起，房屋內部結構逐漸受到重視，而球形 全景影像(Spherical Panoramic Image, SPI)擁有水平 360 度與垂直 180 度的 拍攝視角，相較於一般近景影像，可減少拍攝影像數量，降低作業成本，適 合作為室內模型建置的資料來源。為重建室內模型，須先以光束法平差完 成影像方位求解，然市面上的球形全景影像，並沒有公開球半徑等資訊、且 無從獲得拼接前原始影像。 本研究基於像點、球心及物點之攝影測量共線條件，提出以上述球形. 政 治 大. 全景影像之定位定向流程、平差解算及精度評估方法論，結合影像匹配演. 立. 算法提高自動化程度，並藉由像點變形改正模式改善系統誤差。經理論及. ‧ 國. 學. 實驗顯示，本研究可使用少量球形全景影像定位定向並建構室內模型，其 成果精度符合 CityGML(City Geographic Markup Language)所定義的 LOD4. ‧. 室內模型的規範。. er. io. sit. y. Nat. 關鍵字：三維城市模型、球形全景影像、室內模型、光束法平差. n. al. Ch. engchi. i n U. v. II. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(4) Abstract The process of capturing and modeling indoor buildings has gained increased focus in recent years with the rise of the Digital City Model. As Spherical Panoramic Images (SPIs) have a 360-degree coverage in horizontal direction and a large vertical field of view, the whole scene can be covered by few panoramic images. It is therefore different from traditional central perspective images that need to cover the whole scene with many more images. Therefore, SPI has been considered more popular in recent years. This study will use this. 政 治 大 (LOD4) model reconstruction in order to reduce the costs and increase shooting 立. advantage of SPIs and use them as the data source of the fourth levels of detail. ‧ 國. 學. efficiency. However, before using SPIs to reconstruct the indoor model, bundle. adjustment should be implemented in order to orient these SPIs. Camera. ‧. parameters of the consumer SPIs are confidentiality. Moreover, original images. sit. y. Nat. stitching become SPIs are unable to acquisition. Therefore, the purpose of this. io. er. study is to develop the work flow and the mathematical model for orientation determination of consumer SPIs. Improving the automation by image matching. al. n. v i n C hby correcting SPIs algorithms and the accuracy e n g c h i U distortion in the process of. orientation determination. The experiments show that following the work flow can obtain an acceptable accuracy for the orientation determination of SPIs. Keywords: Digital City Model, Spherical Panoramic Image, LOD4 model reconstruction, Bundle Adjustment. III. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(5) 目錄 謝誌 ............................................................................................................... I 摘要 ............................................................................................................. II Abstract....................................................................................................... III 目錄 ............................................................................................................ IV 圖目錄 ........................................................................................................ VI 表目錄 ......................................................................................................... X 第一章 緒論 ................................................................................................ 1. 政 治 大. 第一節 研究背景 ................................................................................ 1. 立. 第二節 研究動機與目的 .................................................................... 3. ‧ 國. 學. 第三節 論文架構 ................................................................................ 7. ‧. 第二章 文獻回顧 ........................................................................................ 8 第一節 球形全景影像的特性 ............................................................ 8. 二、. 球形全景影像成像原理 ................................................ 10. n. al. er. sit. y. Nat. 全景影像種類介紹 .......................................................... 8. io. 一、. i n U. v. 第二節 影像匹配 .............................................................................. 12. Ch. engchi. 第三節 球形全景影像定位定向方法 .............................................. 14 第四節 像點變形改正方法 .............................................................. 16 第五節 球形全景影像應用於攝影測量精度探討 .......................... 19 第三章 研究方法與理論基礎 .................................................................. 21 第一節 影像匹配 .............................................................................. 22 第二節 初始值給定 .......................................................................... 25 第三節 定位定向平差解算模式 ...................................................... 28 IV. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(6) 第四節 像點變形改正方法 .............................................................. 33 第五節 精度評估 .............................................................................. 36 第四章 實驗成果與分析 .......................................................................... 39 第一節 實驗設計 .............................................................................. 39 一、. 拍攝器材介紹 ................................................................ 39. 二、. 拍攝方式 ........................................................................ 39. 三、. 場景介紹 ........................................................................ 41. 第二節 模擬實驗 .............................................................................. 44. 治 政 二、 控制點數量的影響 ........................................................ 50 大 立 第三節 匹配演算法的影響 .............................................................. 55 一、. 拍攝方式實驗 ................................................................ 44. ‧ 國. 學. 第四節 實地實驗 .............................................................................. 58. 二、. 像點變形改正的影響 .................................................... 70. 三、. Nat. 控制點數的影響 ............................................................ 79. 四、. 先驗精度給定方式的影響 ............................................ 82. er. sit. y. ‧. 連結點分布的影響 ........................................................ 62. io. 一、. n. aLOD4 85 iv l C 室內模型成果 ..................................................... n hengchi U 第五章 結論與建議 .................................................................................. 90 五、. 第一節 結論 ...................................................................................... 90 第二節 建議 ...................................................................................... 92 參考文獻 .................................................................................................... 93. V. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(7) 圖目錄 圖 1-1 投影示意圖 (a)圓柱 (b)球形 ............................................................. 1 圖 1-2 CityGML 模型細緻度等級(Gröger et al., 2008) ................................. 3 圖 2-1 全景相機(a) EyeScan M3 (b) Ladybug 5 (c) Samsung Gear 360 ........ 8 圖 2-2 圓柱全景影像(Luhmann, 2010) .......................................................... 9 圖 2-3 球形全景影像 ...................................................................................... 9 圖 2-4 全景影像經緯度坐標系 .................................................................... 10 圖 2-5 投影後二維影像示意圖 .................................................................... 11. 政 治 大. 圖 2-6 球形全景影像物像對應關係(林冠穎，2014) ................................. 14. 立. 圖 2-7 每台相機的投影中心與球心不重合(Shi et al., 2013) ..................... 17. ‧ 國. 學. 圖 2-8 物點的絕對誤差橢圓 (a)圓柱全景影像拍攝 8 站成果 (b)圓柱全 景影像拍攝 8 站加上 12 張傳統消費型相機拍攝之影像之成果 ...... 20. ‧. 圖 3-1 實驗流程圖 ........................................................................................ 21. Nat. sit. y. 圖 3-2 匹配流程圖 ........................................................................................ 22. n. al. er. io. 圖 3-3 正確、錯誤匹配出現機率與距離比值的關聯 (Lowe, 2004) ........ 23. i n U. v. 圖 3-4 多張影像匹配示意圖 ........................................................................ 24. Ch. engchi. 圖 3-5 各組初始值之間的距離示意圖 ........................................................ 24 圖 3-6 測站平面坐標初始值計算圖示 ........................................................ 25 圖 3-7 物點平面坐標初始值計算圖示 ........................................................ 27 圖 3-8 像點依據其所在位置給予不同的先驗精度 ..................................... 32 圖 3-9 所有影像疊合成參考影像示意圖 .................................................... 33 圖 3-10 Masson d’Autume(1972)劃分出 9 個 4cm×4cm 的網格示意圖 .... 33. VI. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(8) 圖 4-1 影像上、下方投影變形 .................................................................... 40 圖 4-2 測站與牆面的距離 ............................................................................ 40 圖 4-3 兩測站之間最大距離 ........................................................................ 41 圖 4-4 模擬場景(a)正方形場景 (b)長方形場景 ......................................... 42 圖 4-5 地理資訊系統教室 ............................................................................ 42 圖 4-6 遙測實驗室 ........................................................................................ 43 圖 4-7 人造標示意圖 .................................................................................... 43 圖 4-8 測站位置 (a)正方形場景 (b)長方形場景 ....................................... 44. 政 治 大. 圖 4-9 正方形場景檢核點、控制點及連結點分布 .................................... 45. 立. 圖 4-10 長方形場景檢核點、控制點及連結點分布 .................................. 45. ‧ 國. 學. 圖 4-11 正方形場景檢核點較差的最大、最小及平均值 .......................... 46. ‧. 圖 4-12 長方形場景檢核點較差的最大、最小及平均值 .......................... 46 圖 4-13 檢核點較差的 RMSE ...................................................................... 47. y. Nat. er. io. sit. 圖 4-14 正方形場景物點誤差範圍上視示意圖 .......................................... 48 圖 4-15 長方形場景物點誤差範圍上視示意圖 .......................................... 48. al. n. v i n Ch 圖 4-16 正方形場景物點誤差橢圓(放大 e n g c h i100U倍) ....................................... 49 圖 4-17 長方形場景物點誤差橢圓(放大 100 倍) ....................................... 50 圖 4-18 正方形場景 8 個控制點點位分布圖 .............................................. 51 圖 4-19 長方形場景 8 個控制點點位分布圖 .............................................. 51 圖 4-20 正方形場景檢核點較差的最大、最小及平均值 .......................... 52 圖 4-21 長方形場景檢核點較差的最大、最小及平均值 .......................... 52 圖 4-22 正方形場景檢核點較差的 RMSE .................................................. 53 圖 4-23 長方形場景檢核點較差的 RMSE .................................................. 53 VII. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(9) 圖 4-24 GIS 教室 3 張影像 ........................................................................... 55 圖 4-25 SIFT 匹配成果.................................................................................. 56 圖 4-26 SURF 匹配成果 ................................................................................ 56 圖 4-27 ASIFT 匹配成果 ............................................................................... 57 圖 4-28 GIS 教室 4 張影像 ........................................................................... 58 圖 4-29 RS 教室 6 張影像 ............................................................................. 58 圖 4-30 GIS 教室控制點、檢核點及測站分布 ........................................... 59 圖 4-31 RS 教室控制點、檢核點及測站分布 ............................................. 59. 政 治 大. 圖 4-32 GIS 教室匹配結果 ........................................................................... 60. 立. 圖 4-33 RS 教室匹配結果 ............................................................................. 61. ‧ 國. 學. 圖 4-34(a)~(d) 匹配及人工的連結點分布................................................... 63. ‧. 圖 4-35 匹配連結點定位定向成果檢核較差的最大、最小及平均值 ...... 64 圖 4-36 加人工連結點定位定向成果檢核較差的最大、最小及平均值 .. 64. y. Nat. er. io. sit. 圖 4-37 檢核點較差的均方根誤差 .............................................................. 65 圖 4-38(a)~(f) 匹配及人工的連結點分布 ................................................... 67. al. n. v i n Ch 圖 4-39 匹配連結點定位定向成果檢核較差的最大、最小及平均值 ...... 68 engchi U 圖 4-40 加人工連結點定位定向成果檢核較差的最大、最小及平均值 .. 68 圖 4-41 檢核點較差的均方根誤差 .............................................................. 69 圖 4-42 兩個鏡頭成像位置 .......................................................................... 70 圖 4-43 劃分為 8 個網格示意圖 .................................................................. 71 圖 4-44 像點分布圖 ...................................................................................... 72 圖 4-45 改正次數與檢驗值之關係圖 .......................................................... 72 圖 4-46 平差次數與後驗中誤差之關係圖 .................................................. 73 VIII. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(10) 圖 4-47 像點變形向量圖(放大 100 倍) ....................................................... 73 圖 4-48 未改正像點變形定位定向成果檢核較差最大、最小及平均值 .. 73 圖 4-49 已改正像點變形定向成果檢核較差的最大、最小及平均值 ...... 74 圖 4-50 檢核點較差的均方根誤差 .............................................................. 74 圖 4-51 像點分布圖 ...................................................................................... 75 圖 4-52 改正次數與檢驗值之關係圖 .......................................................... 76 圖 4-53 平差次數與後驗中誤差之關係圖 .................................................. 76 圖 4-54 像點變形向量圖(放大 100 倍) ....................................................... 76. 政 治 大. 圖 4-55 未改正像點變形定位定向成果檢核較差最大、最小及平均值 .. 77. 立. 圖 4-56 已改正像點變形定向成果檢核較差的最大、最小及平均值 ...... 77. ‧ 國. 學. 圖 4-57 檢核點較差的均方根誤差 .............................................................. 78. ‧. 圖 4-58 檢核點較差的均方根誤差 .............................................................. 80 圖 4-59 檢核點較差的均方根誤差 .............................................................. 81. y. Nat. er. io. sit. 圖 4-60 不同先驗精度定向成果檢核點較差的最大、最小及平均值 ...... 83 圖 4-61 檢核點較差的均方根誤差 .............................................................. 83. al. n. v i n Ch 圖 4-62 不同先驗精度定向成果檢核點較差的最大、最小及平均值 ...... 84 engchi U 圖 4-63 檢核點較差的均方根誤差 .............................................................. 84 圖 4-64 GIS 教室 LOD4 模型 ....................................................................... 86 圖 4-65 RS 教室 LOD4 模型 ......................................................................... 86 圖 4-66 GIS 教室量測位置 ........................................................................... 87 圖 4-67 RS 教室量測位置 ............................................................................. 87 圖 4-68 距離較差的最大、最小及平均值 .................................................. 88. IX. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(11) 表目錄 表 4-1 Ricoh Theta S 規格 ............................................................................. 39 表 4-2 假說檢定結果 .................................................................................... 54 表 4-3 匹配剔錯結果 .................................................................................... 56 表 4-4 匹配剔錯結果 .................................................................................... 60 表 4-5 假說檢定結果 .................................................................................... 65 表 4-6 假說檢定結果 .................................................................................... 69 表 4-7 假說檢定結果 .................................................................................... 74. 政 治 大. 表 4-8 假說檢定結果 .................................................................................... 78. 立. 表 4-9 假說檢定結果 .................................................................................... 80. ‧ 國. 學. 表 4-10 假說檢定結果 .................................................................................. 81. ‧. 表 4-11 假說檢定結果 .................................................................................. 83 表 4-12 假說檢定結果 .................................................................................. 85. y. Nat. n. al. er. io. sit. 表 4-13 距離較差 .......................................................................................... 88. Ch. engchi. i n U. v. X. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(12) 第一章. 緒論. 第一節 研究背景 全景影像是由多張影像投影至圓柱或球形上所得，如圖 1-1，分別稱為 圓柱全景影像(Cylindrical Panoramic Image)及球形全景影像，兩者皆具水平 360 度視角，但圓柱全景影像的垂直視角未達 180 度；球形全景影像則具 180 度的垂直視角。. 立. 政 治 大. sit. y. ‧. ‧ 國. 學. Nat. (b). (a). er. io. n. a l圖 1-1 投影示意圖 (a)圓柱 i (b)球形 v n Ch engchi U 數位三維城市模型隨著電腦軟硬體及技術的演進，人們對於細緻程度 要求越趨嚴格，內部細節逐漸受到重視，因此房屋室內資料獲取方式成為 一大課題。基於球形全景影像視場角廣大的優勢，用於建置室內模型，相較 傳統二維影像，可減少拍攝影像數量，能夠降低作業成本，進而提升效率。 建置室內模型，須先進行球形全景影像的定位定向，如透過攝影測量 共線條件進行影像方位重建(Fangi and Nardinocchi., 2013；季順平、史云， 2013；林冠穎，2014；Liu et al., 2016)，再以密匹配技術(dense matching)產 製三維點雲後，進行模型重建及紋理敷貼(D’Annibale, 2013；Lee and Tsai, 1. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(13) 2015)。 但因球形全景影像係經過拼接處理，拼接後影像與物空間的關係尚須 進一步的驗證，早期研究方向主要集中在影像拼接(Szeliski and Shum, 1997； Brown and Lowe, 2007)及全景相機的製作(Driscoll et al., 2002)，並且僅應用 在視覺展示上，例如景點導覽、google 街景等。近年來相關研究與日俱增， 使用的影像多為自行設計拍攝製作的，然消費型球形全景影像並未公開球 半徑等資訊，且無從獲得拼接前原始影像。因此，本研究將以消費型球形全 景影像拍攝室內場景，引入攝影測量原理，重建影像在拍攝當時的位置及. 政 治 大 度(Levels of Detail, LOD)的 立 LOD4 的室內模型，期能降低成本並提升作業效 姿態，透過視角廣大的優勢，以降低作業複雜度，進一步建置三維模型細緻. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 益。. Ch. engchi. i n U. v. 2. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(14) 第二節 研究動機與目的 相較於傳統二維地圖，數位三維城市模型以更接近現實視覺方式描述 空間資訊，目前已廣泛應用在防災、環境監測、不動產管理、環境影響評估 及都市規劃等領域。為使各領域資料能相互流通利用，避免資源重覆浪費 並提升三維城市模型之實用價值，CityGML 依資料複雜度與應用需求，規 範三維模型細緻度(LOD)為 4 個等級，第一級(LOD1)為平頂房屋模型，第 二級(LOD2)則增加屋頂幾何結構及紋理敷貼，第三級(LOD3)加入房屋外部 (如屋頂、牆面等)附屬結構物件，第四級(LOD4)則以 LOD3 模型再加入房. 政 治 大. 屋的內部結構，如室內隔間、家具等，模型細緻度等級示意如圖 1-2(Grögeret et al., 2008)。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 1-2 CityGML 模型細緻度等級(Gröger et al., 2008) 目前 LOD4 等級之室內模型多利用既有圖資、光達或近景攝影影像等 方式建構，既有圖資如江渾欽及馮怡婕(2012)以建物測量成果圖為建置基礎， 並依成果圖所載位置結合地籍，供政府單位管理使用；涂仁瑋、王聖鐸(2014) 使用平面圖為基礎，實際量測建物高度後建立三維模型；Budroni and Boehm (2009)則是使用光達掃描獲取室內三維點雲資料，先以垂直掃描方式確定天 3. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(15) 花板、地板位置，再旋轉掃描得到牆面位置後，可自動化重建室內模型；除 了靜態掃描外，另可將光達裝載在自走車或手推車上，快速蒐集點雲資料， 重建室內三維模型(楊雄壹，2011；Thomson et al.,2013)；近景攝影影像包含 傳統二維影像及 RGB-D 感測器等，蔡富安、張智安、陳良健、黃智遠(2015) 使用一般影像，透過環景拍攝方式，以運動探知結構演算法(Structure from Motion, SfM) 計 算 外 方 位 參 數 後 ， 再 以 群 集 觀 點 多 視 角 立 體 演 算 法 (Clustering Views for Multi-view Stereo, CMVS)執行密匹配，得到室內三維 點雲資料；RGB-D 感測器能夠同時取得景物二維彩色影像及深度資訊，. 治 政 大 較低，吳姿璇(2015)再加入單眼相機，能夠提高室內三維點雲的精度及可靠 立. Henry et al.(2012)用其形成室內三維點雲資料，但因 RGB-D 感測器解析度. 性。. ‧ 國. 學. 相較於拍攝時僅能拍攝到某一視角景物之一般影像，全景影像有視場. ‧. 角廣大之優勢，除了早期視覺展示應用之外，近年來逐漸應用於攝影測量，. sit. y. Nat. 因此球形全景影像相關研究，如自動匹配連結點(Pagani and Stricker, 2011;. al. er. io. Cruz-Mota et al., 2012;Taira et al. ,2015;黃聰哲，2016)、像點變形改正(Ikeda. v. n. et al., 2003;Scaramuzza et al., 2006;Shi et al., 2013;王彬權，2012; Aghayari et. Ch. engchi. i n U. al., 2017)、方位重建(Fangi et al., 2013;季順平等人，2013;林冠穎，2014;Liu et al., 2016)及紋理敷貼(D’Annibale, 2013;Lee et al., 2015)等；亦有學者使用 圓柱全景影像進行研究，如自動匹配連結點(Kang, 2008)及像點變形改正 (Bosch et al., 2015)，Luhmann(2010)則是進行方位重建及建模，實驗歸納出 適合用於室內，且有使用極少數連結點即可建模的優點。本研究期能透過 全景影像的優勢，將其應用於室內建模，而球形全景影像相較於圓柱全景 影像，有更加廣大之視場角，故研究對象選用球形全景影像。 上述有關球形全景影像之研究，其研究對象大都是以自行設計拍攝製 4. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(16) 作之影像。目前市面上推出許多全景相機，可免除使用者自行影像拼接的 步驟，直接獲得球形全景影像，如 Ladybug、Ricoh Theta S、Samsung Gear 360 及 Luna 360 VR Camera，但缺點是官方並未公開球半徑等資訊及無從 獲得拼接前原始影像。為使室內模型能利用此種消費型球形全景影像進行 建置，並以 LOD4 室內模型在平面及高程精度 20 公分為目標(Gröger et al., 2008)，本研究將發展適用於前述影像的定位定向光束法平差模式及像點變 形改正方法，以解決無從得知球半徑等資訊的困境，且利用視場角廣大的 優勢，減少近景攝影測量作業所需拍攝之影像數量，以降低作業複雜度，並. 治 政 大 可供未來引入密匹配技術(dense matching)產製三維點雲資料，進而建置 立 同時重建球形全景影像之物像對應關係，建構其定位定向平差解算模式，. LOD4 室內模型，以達降低成本並提升作業效益之目標。. ‧ 國. 學. 綜上所述，本研究目的即是將市面上容易取得之消費型球形全景影像. ‧. 應用於室內建模，且精度符合 LOD4 規範。為達到室內建模之目的，本研. y. sit. n. al. er. io. 進行討論：. Nat. 究將建立定位定向流程及方法論，並為確保精度符合規範，針對以下問題. (1) 提供拍攝方式；. Ch. engchi. i n U. v. (2) 探討影像匹配演算法的合適性；. (3) 提供適用於消費型球形全景影像的定位定向光束法平差模式及像點變 形改正方法； (4) 連結點分布、控制點數量及像點先驗精度給定方式對光束法平差之影 響。. 5. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(17) 藉由上述(1)至(4)探討消費型球形全景影像採用攝影測量原理，結合影 像匹配演算法獲取連結點，配合適當的測站及控制點分布，利用最小二乘 法進行定位定向解算，並改正像點變形，以及藉由討論連結點分布、控制點 數量及像點先驗精度給定方式對光束法平差之影響，期能提升定位定向精 度。. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 6. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(18) 第三節 論文架構 本文共分為五個章節，各章內容簡述如下： 第一章. 緒論. 本章闡述本研究的研究背景、動機與目的，並介紹球形全景影像的優 勢。 第二章. 文獻回顧. 本章分為五個部分，先介紹球形全景影像的特性及其成像原理，接著 介紹影像匹配、球形全景影像定位定向及像點變形改正之方法，最後回顧. 政 治 大. 影響近景攝影測量精度的相關文獻，了解影響球形全景影像應用於攝影測. 立. 量精度之可能因素。. ‧ 國. 學. 第三章. 研究方法與理論基礎. ‧. 本章分為五個部分，將說明本研究所使用的理論，包含影像匹配、初始. y. sit. n. al. er. 實驗成果與分析. io. 第四章. Nat. 值給定、全景影像定位定向、像點變形改正，以及精度評估之方法。. i n U. v. 本章將分為四個部分，第一節先介紹本研究使用的拍攝器材、拍攝方. Ch. engchi. 式以及場景，第二節為模擬實驗之成果，分別為拍攝方式實驗及控制點數 的影響，第三節比較不同影像匹配演算法的影響，第四節則為實地實驗的 成果，將分為不同連結點分布、有無改正像點變形、控制點數量、先驗精度 給定方式的影響以及 LOD4 模型建置成果。 第五章. 結論與建議. 本章將說明實驗成果之結論及建議事項。. 7. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(19) 第二章. 文獻回顧. 第一節 球形全景影像的特性 全景影像的應用日益普及，除市面上可購置的全景相機，如 Ladybug、 Ricoh Theta S 等可得全景影像之外，亦有 University of Applied Sciences Oldenburg 的 EyeScan M3(Luhmann, 2010)及成功大學的可攜式移動測繪系 統可自行產製全景影像。然全景影像在拍攝方式及影像成像上各有差異， 因此，以下將介紹全景影像種類及成像原理。 一、. 全景影像種類介紹. 政 治 大. 全景影像依拍攝方式可分為兩大類，第一類是由單台相機裝載在可 360. 立. 度旋轉的雲台上，旋轉拍攝後，將拍攝的影像拼接成一張全景影像，此種拍. ‧ 國. 學. 攝方式所需的拍攝時間將視雲台旋轉速度而定 ，例如圖 2-1(a)所示的 EyeScan M3 (Luhmann, 2010)。第二類是由多台相機搭載廣角鏡頭或魚眼鏡. ‧. 頭，將同時拍攝的影像拼接成一張全景影像，例如圖 2-1(b)所示的 Ladybug. Nat. sit. y. 由多台相機搭載廣角鏡頭所組成；由兩台魚眼組合成的相機 Samsung Gear. n. al. er. io. 360(圖 2-1(c))、Ricoh Theta S 及 Luna 360 VR Camera 球形相機等等。. Ch. engchi. (a). (b). i n U. v. (c). 圖 2-1 全景相機(a) EyeScan M3 (b) Ladybug 5 (c) Samsung Gear 360 全景影像依投影方式可區分為圓柱全景影像及球形全景影像，兩者皆. 8. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(20) 擁有 360 的水平視角特性，但在垂直視角方面，圓柱全景影像的垂直視角 未達 180 度(如圖 2-2)；球形全景影像則具 180 度的垂直視角(如圖 2-3)，球 形全景影像相較於圓柱全景影像，有視場角廣大之優勢。本研究為減少近 景攝影測量作業所需拍攝之影像數量，研究對象選用視場角廣大的球形全 景影像，因此以下將回顧其成像原理及定位定向方法。. 立. 政 治 大. ‧. ‧ 國. 學. 圖 2-2 圓柱全景影像(Luhmann, 2010). n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2-3 球形全景影像. 9. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(21) 二、. 球形全景影像成像原理. 球形全景影像是將相機搭載廣角或魚眼鏡頭拍攝得的多張影像，投影 到一固定半徑的球面上，像點可透過球坐標系(經度𝜆,緯度𝜑,球半徑𝑅𝑆𝑃𝐼 )或 卡式直角坐標系(𝑥𝑝 , 𝑦𝑝 , 𝑧𝑝 )描述其在影像上的位置，如圖 2-4，球坐標系及 卡式直角坐標系可透過式(1)公式轉換。. (𝑥𝑝 , 𝑦𝑝 , 𝑧𝑝 ). 立. ‧. ‧ 國. 學 y. √𝑥𝑝 2 + 𝑦𝑝 2. sit. io. 𝑧𝑝. 𝜑 = tan−1 (. (1). ). er. 𝑦𝑝 𝑥𝑝. 圖 2-4 全景影像經緯度坐標系. Nat. 𝜆 = tan−1. 政 治 大. al. n. v i n Ch 但為了方便觀看及像點量測，常再將球面投影如圖 2-5 的二維平面，最 engchi U. 常見的投影方式為等距長方投影(equirectangular)，又稱為等距圓柱投影. (equidistant cylindrical projection)，經過此方式投影後經線及緯線皆是直線 且互相正交，投影公式如式(2) (Snyder et al., 1987)，式中(c,r)為影像坐標系 的行列坐標、RSPI 為球半徑，單位皆是像元，(λ,φ)為像點在球坐標系的經 緯度，單位是弧度。投影後影像示意圖如圖 2-5，坐標系的原點位於影像右 側中間處，c 方向指向影像左方、r 方向指向影像上方。. 10. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(22) (2). c = 𝑅𝑆𝑃𝐼 ∙ 𝜆 r = 𝑅𝑆𝑃𝐼 ∙ 𝜑. 政 治 大. 圖 2-5 投影後二維影像示意圖. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 11. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(23) 第二節 影像匹配 共軛點在影像定位定向扮演很重要的角色，而為求操作簡便，快速且 自動地獲取是相當重要的工作。影像匹配能夠以自動化方式找出兩張以上 影像共軛點位置，又可分為區域匹配(Area-based matching)及特徵匹配 (Feature-based matching)。區域匹配是在影像中選定一小塊區域，與另一張 影像比較兩者灰度值的相關性，從而找出共軛像點，例如標準化互相關法 (Normalized Cross-Correlation, NCC)及最小二乘匹配法(Least Squares Image Matching, LSIM)等。特徵匹配相對於區域匹配較為複雜，是以運算元萃取. 政 治 大 徵 轉 換 (Scale Invariant Feature Transform, SIFT) 演 算 法 、 加 速 穩 健 特 徵 立. 特徵及其特徵的描述後，再進行匹配，例如 Lowe(2004)提出的尺度不變特. ‧ 國. 學. (Speeded Up Robust Features, SURF)演算法(Bay et al., 2008)等。SIFT 演算法 擁有尺度、旋轉保持不變的特性，但視角變化時，其效能迅速降低，因此有. ‧. 仿射不變的 ASIFT(Affine-SIFT)演算法出現(Morel and Yu, 2009)。. sit. y. Nat. 前人亦將影像匹配用於全景影像，如 Kang(2008)在圓柱全景影像上使. n. al. er. io. 用 SIFT 演算法自動匹配共軛點；球形全景影像方面；Taira et al. (2015)使用. v. SIFT 演算法找出特徵點後，將已知相機旋轉角度作為約制條件進行匹配；. Ch. engchi. i n U. Cruz-Mota et al.(2012)則是基於 SIFT 演算法的精神，提出改良後的 Local Spherical Descriptor(LSD)特徵偵測方法，可有效提升特徵點數量，另為將全 景影像應用在影像定位上；黃聰哲(2016)使用 SURF 演算法快速獲得共軛 點，並提出將本質矩陣作為 RANSAC 偵錯中之轉換模型，偵測並刪除錯誤 的共軛點對；Pagani 等人(2011)則是看中 ASIFT 演算法擁有仿射不變的特 性，以 ASIFT 演算法匹配共軛點。 綜上所述，前人多使用 SIFT、SURF 及 ASIFT 演算法匹配共軛點，然 並未對其合適性加以探討，因此本研究將使用前述演算法進行影像匹配， 12. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(24) 比較球形全景影像在使用時，何種是最適合的匹配方法。. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 13. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(25) 第三節 球形全景影像定位定向方法 在光線沿直線方向前進的前提下，球形全景影像之成像幾何係由球心 (SPI center)、物點 P 及其對應像點 p 之共線條件建構物、像對應關係，如 圖 2-6 所示，並藉由共同連結像點搭配最小二乘平差解算求得影像方位及 球心坐標等資訊，以進行定位定向。. 立. 政 治 大. ‧. ‧ 國. 學 sit. y. Nat. 圖 2-6 球形全景影像物像對應關係(林冠穎，2014). io. er. Fangi 等人(2013)使用的共線條件式如式(3)。式中的θ、φ為像點在球坐. al. 標系上的各點坐標；(𝑋0 , 𝑌0 , 𝑍0 )為球心在地面坐標系的坐標；(𝑋, 𝑌, 𝑍)為物. n. v i n Ch 點在地面坐標系的各點坐標；𝑑為物點到球心的距離；(𝛼 𝑥 , 𝛼𝑦 )則為球坐標 engchi U 系與地面坐標系的旋轉角：. (𝑋−𝑋0 )−𝑑𝛼𝑦 (𝑍−𝑍0 ). θ = 𝜃0 + tan−1 ( (𝑌−𝑌 )−𝑑𝛼 0. 𝑥 (𝑍−𝑍0 ). (3). ). −𝑑𝛼𝑦 (𝑋−𝑋0 )+𝑑𝛼𝑥 (𝑌−𝑌0 )+(𝑍−𝑍0 ). φ = cos −1 (. 𝑑. ). 季順平等人(2013)使用的共線條件式如式(4)。式中的(𝑥 ′ , 𝑦 ′ , 𝑧 ′ )為像點 在卡式直角坐標系上的各點坐標；(𝑋𝑆 , 𝑌𝑆 , 𝑍𝑆 )為球心在地面坐標系的坐標； (𝑋𝐴 , 𝑌𝐴 , 𝑍𝐴 )為物點在地面坐標系的各點坐標；𝑎1、𝑎2 …𝑐3 則為地面坐標系至 卡式直角坐標系的旋轉矩陣參數： 14. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(26) 𝑥′ = 𝑧′. 𝑎1 (𝑋𝐴 −𝑋𝑆 )+𝑏1 (𝑌𝐴 −𝑌𝑆 )+𝑐1 (𝑍𝐴 −𝑍𝑆 ) 𝑎3 (𝑋𝐴 −𝑋𝑆 )+𝑏3 (𝑌𝐴 −𝑌𝑆 )+𝑐3 (𝑍𝐴 −𝑍𝑆 ). 𝑦′ = 𝑧′. 𝑎2 (𝑋𝐴 −𝑋𝑆 )+𝑏2 (𝑌𝐴 −𝑌𝑆 )+𝑐2 (𝑍𝐴 −𝑍𝑆 ) 𝑎3 (𝑋𝐴 −𝑋𝑆 )+𝑏3 (𝑌𝐴 −𝑌𝑆 )+𝑐3 (𝑍𝐴 −𝑍𝑆 ). (4). 林冠穎(2014)使用的共線條件式如式(5)。式中(𝑥𝑝 , 𝑦𝑝 , 𝑧𝑝 )為像點在卡式 直角坐標系上的各點坐標；(𝑋𝑆𝑃𝐼 , 𝑌𝑆𝑃𝐼 , 𝑍𝑆𝑃𝐼 )為球心在地面坐標系的坐標； (𝑋𝑝 , 𝑌𝑝 , 𝑍𝑝 )為物點在地面坐標系的各點坐標；𝑅𝑆𝑃𝐼 為球半徑；𝑚11、𝑚12 …𝑚33 則為地面坐標系至卡式直角坐標系的旋轉矩陣參數： 𝑥𝑝 𝑚11 1 𝑦 𝑚 [ 𝑝 ] = 𝜆 ⋅ [ 21 𝑧𝑝 𝑚31 𝜆=. 𝑚12 𝑚22 𝑚32. 𝑋𝑝 − 𝑋𝑆𝑃𝐼 𝑚13 𝑚23 ] ⋅ [ 𝑌𝑝 − 𝑌𝑆𝑃𝐼 ] 𝑚33 𝑍𝑝 − 𝑍𝑆𝑃𝐼. (5). 政 治 大. √(𝑋𝑝 −𝑋𝑆𝑃𝐼 )2 +(𝑌𝑝 −𝑌𝑆𝑃𝐼 )2 +(𝑍𝑝 −𝑍𝑆𝑃𝐼 )2. 立. 𝑅𝑆𝑃𝐼. ‧ 國. 學. 前人基於前述球心、物、像共線關係建構共線條件式，惟像點採用之坐 標系略有不同，Fangi 等人(2013)使用球坐標系，而季順平等人(2013)及林冠. ‧. 穎(2014)則採用卡式直角坐標系。. y. Nat. sit. 上述研究使用器材多為自行製作的全景相機或 Ladybug，製作者能充. n. al. er. io. 分掌握相機資訊，且 Ladybug 製造商提供相機資訊。然而市面上大部分的. i n U. v. 全景相機並無公開球半徑等資訊，若能發展適用於無球半徑資訊之影像的. Ch. engchi. 定位定向方法，將可提升全景影像於測繪領域之應用。本研究將發展適用 於消費型球形全景影像的定位定向光束法平差模式，以最小二乘法解算， 同時解算球半徑、位置及姿態參數。. 15. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(27) 第四節 像點變形改正方法 在傳統近景攝影測量中，系統誤差包含像主點偏移、透鏡畸變差。像主 點為透視中心與像平面的交點，而影像常以長、寬之半的交會處指定為像 坐標系原點，理想中像坐標系原點應與像主點重合，但實際上通常不在同 一位置，此情形稱作像主點偏移；透鏡畸變差則是在成像過程中，光線通過 鏡頭產生折射現象，導致像點相對於理想位置有所偏差。前述系統誤差的 求定方法可歸納成率定場率定法及自率光束法等。率定場率定法是在拍攝 作業前，預先於布滿人造標的率定場拍攝，以相機率定得到透鏡畸變、焦距. 政 治 大 述參數帶入共線式執行預改正；自率光束法是以附加參數描述系統誤差， 立 及像主點坐標等參數，在後續執行拍攝影像之位置及姿態求解時，先將上. 在光束法平差過程中加入附加參數同時求解，目前常見的附加參數模式如. ‧ 國. 學. Brown(1971)等。. ‧. 而全景影像應用於攝影測量時，由於影像是由相機搭載廣角鏡頭或魚. sit. y. Nat. 眼鏡頭，將拍攝的多張影像拼接成一張全景影像。即使拼接成的全景影像，. n. al. er. io. 除拼接誤差之外，仍可能存在上述之系統誤差，進而影響全景影像的應用。. v. 因此，前人在拼接成全景影像前，為原始影像提出相關改正方式，在廣角鏡. Ch. engchi. i n U. 頭方面，王彬權(2012)使用率定旋轉圓盤、黃光群等人(2016)則是在全景率 定場，以 Australis 模式得到各台相機的像主點坐標、透鏡畸變差，再進一 步求得相機間的位置方位關係後，進行影像改正，並將改正後影像組成全 景影像；Ikeda et al.(2003)使用率定板(Calibration Board)以 Tsai’s 模式對每 張影像進行預改正。在魚眼鏡頭方面，Bosch et al.(2015)在拼接前先對魚眼 影像預先改正，改正模式如 Kannala and Brandt(2006)模式；Scaramuzza et al.(2006)提出以 checker board 格點對每台魚眼鏡頭拍攝之影像自動化改正 流程。Aghayari et al.(2017)則是在布滿率定標的全景率定場拍攝後，將每一 16. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(28) 顆魚眼鏡頭所拍攝的影像劃分為 4 乘 4 個節點，上、下各 4 個節點像點行 或列坐標視為相同改正參數，中間 8 個節點像點行或列坐標各有不同改正 參數，共 20 個改正參數，在定位定向時，以雙線性內插模式計算每個像點 之改正量，並同時解算節點上之改正參數，實驗以不同控制點數量證明可 有效降低像點觀測量的殘差。 全景影像除了上述常見的系統誤差之外，因每台相機的投影中心與球 心並不重合，如圖 2-7 所示，Ts 為球心、Tc 為相機的投影中心，將導致共 線條件式是有偏差的。季順平、史云(2014)亦指出投影中心與球心的偏移量. 政 治 大 統誤差。因此， Shi立 et al.(2013)提出嚴格成像模型改善前述狀況所致之系統 在平面方面可達 10 公分甚至更大，若使用理想共線條件式將導致較大的系. ‧ 國. 學. 誤差；林冠穎(2014)則透過理想共線條件式得到粗略物點及球心坐標後，以 幾何關係計算觀測量的改正值，改正觀測量後再次平差。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2-7 每台相機的投影中心與球心不重合(Shi et al., 2013) 前述像點改正方法，是在能夠取得拼接前原始影像的前提之下進行， 然消費型球形全景相機大都未提供拼接前的影像，難以在拼接之前改正影 像之像主點偏移及透鏡畸變差等系統誤差，更無法確認每台相機的投影中 心與球心個別位置。. 17. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(29) 而 Masson d’Autume 在 1972 年提出驗後補償法，該方法是在完成大量 精確影像定位定向，對影像內密集分布之像點改正數進行分析，將落在影 像面上某特定網格位置內的所有改正數視為具有相同的系統誤差，對其求 平均執行 Masson d'Autume 法(Masson d’Autume, 1972)之像點坐標改正。該 方法不改變原有平差程序，能使結果獲得可靠的改善，且易於加入到現有 的平差程序中，是一種簡便易行、補償效果好的方法(李德仁，1981；毛可 標等人，1985)；Lee et al.(2014)則在一般影像執行預改正後，以此方法計算 影像的變形量，確認預改正成果是否已無系統誤差。故本研究將引進驗後. 治 政 大 系統誤差時，將以此方法改正像點坐標。 立. 補償法的概念，在全景影像定位定向後，對連結點改正數進行分析，若存在. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 18. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(30) 第五節 球形全景影像應用於攝影測量精度探討 本研究將探討近景拍攝球形全景影像解算之精度，因此藉由歸納近景 攝影測量影響精度的因素，作為球形全景影像的參考。影響近景攝影測量 精度的因素包含以下幾點：(Wolf et al, 2000；簡鈺珊，2011) (1) 影像品質：包含解析度及景深等。解析度十分重要，所有需要的資訊在 影像上應清晰可見，且必須滿足影像量測所需的精度要求；景深是在 影像上能清楚成像的範圍，因近景攝影測量物距較短，無法同時對所 有景物對焦，容易造成影像有模糊的情形。. 政 治 大. (2) 拍攝幾何：包含攝影距離、攝影站數量及交會角度等。謝嘉聲(2011)探. 立. 討攝影距離及攝影站數量對模型精度的影響，結果表明，攝影距離較. ‧ 國. 學. 短時，精度較高；在攝影站數量增多，且加入比原來拍攝交會角度大的 攝影站時，精度有提升的趨勢。另交會角度將影響物空間坐標解算精. ‧. 度，當交會角 90 度時，物空間坐標解算精度較高。. sit. y. Nat. io. er. (3) 控制點及連結點的數量以及其分布：林汝晏(2013)探討控制分布對精度 的影響，結果證明，當控制點或線幾何分布不佳時，光束法區域平差精. al. n. v i n Ch 度皆不理想，即使使用自率光束法區域平差，仍無法提升解算精度。 engchi U. Parina and Gruen(2005)比較圓柱全景影像攝影站數量對精度的影響，當 攝影站數量從垂直 2 站、水平分布 4 站到增加至 8 站時，精度除了隨著攝 影站數量提升，更因物點光線交會數量從 2 條光線、增加至 8 條，故 8 站 的成果較可靠。但不論攝影站數量多寡，在工作區角落的誤差橢圓呈現狹 長型，如圖 2-8(a)，因此，Parina 等人(2005)除了使用圓柱全景影像拍攝 8 站外，再加入 12 張傳統消費型相機拍攝之影像，可以有效解決在工作區角 落的誤差橢圓呈現狹長型的狀況，如圖 2-8(b)。 19. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(31) (b). (a). 圖 2-8 物點的絕對誤差橢圓 (a)圓柱全景影像拍攝 8 站成果 (b)圓柱全 景影像拍攝 8 站加上 12 張傳統消費型相機拍攝之影像之成果. 政 治 大. 參考近景攝影測量影響精度的因子，影像品質受限於相機規格，且前. 立. 人已探討攝影站數量對精度的影響，因此，本研究將探討連結點分布及控. ‧ 國. 學. 制點數量對全景影像光束法平差的影響，期能提升定位定向的成果。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 20. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(32) 第三章. 研究方法與理論基礎. 本章將分為五節，第一節為影像匹配，第二節為初始值給定方法，第三 節為球形全景影像定位定向平差解算模式，第四節介紹像點變形改正方法， 第五節則是精度評估方式，包含內部、外部精度及假說檢定。本研究流程圖 見下圖 3-1。. 控制點、檢核點 坐標量測. 影像拍攝. 政 治 大 連結點自動匹配 立. ‧ 國. 學. 初始值計算. ‧ y. Nat. n. er. io. al. sit. 定位定向. i n U. Ch. v. e n g c不通過 hi 像點系統差 像點變形改正 的統計檢定 通過 精度評估 圖 3-1 實驗流程圖. 21. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(33) 第一節 影像匹配 本研究使用 SIFT、SURF 及 ASIFT 演算法進行影像匹配，匹配流程如 圖 3-2，首先，以運算元萃取特徵及其特徵的描述後，進行兩張影像之匹配， 此部分使用 Open Source Computer Vision Library(OpenCV)程式庫進行，搭 配 FLANN 演算法(Fast Library for Approximate Nearest Neighbors)快速地找 出最接近的特徵(Muja and Lowe , 2009)。在兩張影像匹配後，利用最小距離 與次小距離計算比值進行第一次錯誤匹配點刪除的動作，執行多張影像匹 配，之後進入第二至四次刪除錯誤匹配點的流程。第二次剔錯是比較同張. 政 治 大 計算得到的初始值距離，最後將匹配點展繪於影像上，由人工剔除錯誤。 立. 影像上匹配點兩兩之間的距離，第三次是在計算物點初始值後，比較各組. ‧ 國. 學. 特徵萃取. io. sit. 第一次剔錯：最小與次小距離比值. n. al. Ch. 多張影像匹配. engchi. er. Nat. y. ‧. FLANN演算法. i n U. v. 第二次剔錯：比較匹配點間的距離. 第三次剔錯：比較各組初始值距離. 第四次剔錯：人工剔錯. 匹配完成. 圖 3-2 匹配流程圖 22. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(34) 為利後續定位定向解算，將多張影像匹配及刪除錯誤之匹配點是很重 要的工作，以下將介紹多張影像匹配及第一至三次刪除錯誤匹配點的流程。 第一次刪除匹配點是參考 Lowe (2004)的實驗，實驗中測試 40,000 個特徵點 後，歸納出正確、錯誤匹配出現的機率與最小距離及次小距離比值的關聯， 如圖 3-3，可發現在比值大於 0.8 之後，錯誤匹配的機率將快速增加，且遠 大於正確匹配的機率。本研究將參考其實驗結果，採用 0.75 作為門檻值， 當比值小於 0.75 時，將該匹配點保留，當比值大於 0.75，則被視為錯誤匹 配點予以刪除。. 立. 政 治 大. ‧. ‧ 國. 學 er. io. sit. y. Nat. al. n. v i n 圖 3-3 正確、錯誤匹配出現機率與距離比值的關聯 (Lowe, 2004) Ch engchi U. 多張影像匹配是在運算元萃取特徵時，即對特徵點編號，透過此編號 進行之，如圖 3-4 所示，若有三張影像，影像 1、2 匹配及影像 1、3 匹配 後，影像 1 皆匹配出編號 231 之點位，即可找出對應的影像 2、3 之共軛點 位。. 23. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(35) 圖 3-4 多張影像匹配示意圖 第二次剔除錯誤點位是比較同張影像上匹配點兩兩之間的距離，若距 離非常接近，則只取一點，本研究將此距離門檻值設定為 2 像元。. 政 治 大 第三次是在物點能被三個測站以上拍攝到的前提之下進行，本研究透 立. ‧ 國. 學. 過兩兩測站計算物點初始值，比較各組初始值之間的距離，若距離大於 5 公 尺，即視為錯誤匹配予以刪除，例如測站 1、2、3 皆拍攝到物點 P1 及 P2，. ‧. 其中測站 1、2 可計算一組初始值，且測站 1、3 以及 2、3 分別可計算一組. sit. y. Nat. 初始值，如圖 3-5，若初始值之間距離大於 5 公尺則被刪除，如物點 P1，物. io. n. al. er. 點 P2 小於門檻值即被保留。. Ch. engchi. i n U. v. 圖 3-5 各組初始值之間的距離示意圖. 24. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(36) 第二節 初始值給定 觀測方程式為非線性，依泰勒級數展開，需給予未知參數近似值，將觀 測方程式線性化。本研究提出適用於全景影像的初始值給定方法，而為了 減少計算複雜度，拍攝時相機保持水平，因此可以給定姿態參數中 ω,φ 參 數初始值等於零；此外，因本研究場景為室內，經由全測站建立一局部坐標 系量測控制點三維坐標，故可得知坐標系大略方向，κ參數可由相機的 x 軸 與 X 方向的夾角得到。 球心初始值計算方法是將平面(X,Y)和高程 Z 分開求得，因球形全景影. 政 治 大. 像視場角廣大的優勢，若不受遮蔽，室內場景中的控制點或檢核點等已知. 立. 點位能夠出現在每張影像上。每張影像有 3 個已知點時，如圖 3-6，因已知. ‧ 國. 學. 控制點坐標，可由坐標計算夾角𝜃1 及控制點間的距離𝑑1 、𝑑2 ，控制點在測 站 1 影像中的經度計算得到夾角𝜃2 、𝜃3 ，因四邊形內角和為 360 度及正弦. ‧. 關係計算出測站到控制點的距離𝑑3 及夾角𝜃6 後，依式(6.1)及(6.2)計算可得. sit. y. Nat. 1 1 1 測站平面坐標(𝑋𝑆𝑃𝐼 , 𝑌𝑆𝑃𝐼 )；高程𝑍𝑆𝑃𝐼 方面則依式(6.3)使用測站 1 至控制點 2. n. al. er. io. 之距離𝑑3 及控制點 2 在第一張影像上的緯度𝜑𝐶𝑃2 進行計算。. Ch. engchi. i n U. v. 圖 3-6 測站平面坐標初始值計算圖示 25. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(37) 1 𝑋𝑆𝑃𝐼 = 𝑋𝐶𝑃2 + 𝑑3 ∙ sin(𝜃6 + 𝛼1 ). (6.1). 1 𝑌𝑆𝑃𝐼 = 𝑌𝐶𝑃2 + 𝑑3 ∙ cos(𝜃6 + 𝛼1 ). (6.2). 1 𝑍𝑆𝑃𝐼 = 𝑍𝐶𝑃2 + 𝑑3 ∙ tan 𝜑𝐶𝑃2. (6.3). 由前述方法可計算出球心位置，以球心坐標為基礎，計算物點初始值。 物點初始值計算方法同樣是將平面(X,Y)和高程 Z 分開求得，如圖 3-7，由 前述成果取其中兩個球心坐標，可依兩平面位置計算出距離𝑑4，如式(7.1)， 1 1 2 2 式中(𝑋𝑆𝑃𝐼 ,𝑌𝑆𝑃𝐼 )及(𝑋𝑆𝑃𝐼 ,𝑌𝑆𝑃𝐼 )為測站 1、2 在地面坐標系的平面位置。得到兩. 測站距離𝑑4 後，再以三角函數正弦關係計算出測站 1 至物點 P 點距離𝑑5 ，. 治 政 如式(7.2)，式中𝜃 為測站 1 中物點 P 與測站 2大 的夾角、𝜃 則為測站 2 中物 立 點 P 與測站 1 的夾角。透過 Y 方向在測站 1 影像中的經度𝜆 與物點 P 的經 7. 8. 𝑌. ‧ 國. 學. 度𝜆𝑝 可計算物點 P 的方位角𝛼2，如式(7.3)，再依式(7.4)及(7.5)便可由測站 1. ‧. 至物點 P 之距離𝑑5 及方位角𝛼2 計算出 P 點平面坐標(Xp,Yp)；P 點高程 Zp 方. y. sit. io. er. 進行計算。. Nat. 面則依式(7.6)使用測站 1 至物點 P 之距離 Sp 及物點 P 於測站 1 中的緯度𝜑𝑃. 2 1 )2 2 1 )2 𝑑4 = √(𝑋𝑆𝑃𝐼 − 𝑋𝑆𝑃𝐼 + (𝑌𝑆𝑃𝐼 − 𝑌𝑆𝑃𝐼. n. al. 𝑑5 = 𝑑4 ×. 𝑠𝑖𝑛𝜃8. 𝑠𝑖𝑛(180−𝜃7 −𝜃8 ). Ch. engchi U. v ni. (7.1) (7.2). 𝛼2 = 𝜆𝑌 − 𝜆𝑝. (7.3). 𝑋𝑃 = 𝑋1 + 𝛥𝑋 = 𝑋1 + 𝑑5 ∙ 𝑠𝑖𝑛 𝛼2. (7.4). 𝑌𝑃 = 𝑌1 + 𝛥𝑌 = 𝑌1 + 𝑑5 ∙ 𝑐𝑜𝑠 𝛼2. (7.5). 𝑍𝑃 = 𝑍1 + 𝛥𝑍 = 𝑍1 + 𝑑5 ∙ 𝑠𝑖𝑛 𝜑𝑃. (7.6). 26. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(38) 治 政 大 圖 3-7 物點平面坐標初始值計算圖示 立 ‧ 國. 學. 因交會角度將影響物空間坐標解算成果，當交會角 90 度時，物空間坐. io. sit. y. Nat. n. al. er. 計算。. ‧. 標解算精度較高，故將挑選交會角最接近 90 度的兩個測站進行物點初始值. Ch. engchi. i n U. v. 27. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(39) 第三節 定位定向平差解算模式 球形全景影像在成像過程中，將景物成像在一固定半徑的球面上，球 半徑可以用式(8)方式概略計算，式中(W,H)為影像的長寬、RSPI 為球半徑。 以影像長度 W 為 5376 像元為例，球半徑 RSPI 則約為 855 像元。然而，與 中心透視投影的消費型相機的內方位較不穩定相同情形，例如此類相機在 製造時的誤差，造成率定得到的焦距和理論焦距存在些微的差距，像主點 位置也易受鏡頭拆裝時影響，導致像主點偏移量與前次拆裝前之率定結果 不一致，若仍以理論值或前次率定結果進行物空間坐標解算，將會導致解. 政 治 大 程中，球半徑同樣也可能與理論值存在差異，定位定向解算時若不一併考 立. 算精度降低。同樣地，球形全景影像是經由多張影像拼接而得，在組合的過. 慮，將影響物空間坐標解算成果。. ‧ 國. 學. W = 2π ∙ 𝑅𝑆𝑃𝐼. (8). ‧. H = π ∙ 𝑅𝑆𝑃𝐼. sit. y. Nat. 本研究為解決市面上許多消費型球形全景影像並未揭露球半徑資訊之. al. er. io. 問題，同時求得影像的球半徑及外方位參數，基於共線關係，提出像點採用. v. n. 影像坐標系的行列坐標(c,r)與球心(𝑋𝑆𝑃𝐼 , 𝑌𝑆𝑃𝐼 , 𝑍𝑆𝑃𝐼 )、物點(𝑋𝑝 , 𝑌𝑝 , 𝑍𝑝 )之共線. Ch. engchi. i n U. 條件式，如式(9)所示，式中𝑅𝑆𝑃𝐼 為球半徑；𝑚11、𝑚12 …𝑚33 則為地面坐標系 至卡式直角坐標系的旋轉矩陣參數。 c = 𝑅𝑆𝑃𝐼 ∙ tan−1 r = R SPI ∙ tan−1 (. 𝑚21 (𝑋𝑝 −𝑋𝑆𝑃𝐼 )+𝑚22 (𝑌𝑝 −𝑌𝑆𝑃𝐼 )+𝑚23 (𝑍𝑝 −𝑍𝑆𝑃𝐼 ). (9). 𝑚11 (𝑋𝑝 −𝑋𝑆𝑃𝐼 )+𝑚12 (𝑌𝑝 −𝑌𝑆𝑃𝐼 )+𝑚13 (𝑍𝑝 −𝑍𝑆𝑃𝐼 ) m31 (Xp −XSPI )+m22 (Yp −YSPI )+m23 (Zp −ZSPI ) 2. √[m11 (Xp −XSPI )+m12 (Yp −YSPI )+m13 (Zp −ZSPI )] +[m21 (Xp −XSPI )+m22 (Yp −YSPI )+m23 (Zp −ZSPI )]. 2. ). 由式(9)出發可列球形全景影像像點觀測方程式，如式(10)，式中(𝑐𝑖𝑗 , 𝑟𝑖𝑗 ) 為第 i 張影像上第 j 個像點觀測量的坐標；(𝑣𝑐 𝑖𝑗 , 𝑣𝑟 𝑖𝑗 )為像點觀測量的改正 數 ； 𝑅𝑆𝑃𝐼 為 球 半 徑 ； (𝑋𝑃 𝑗 , 𝑌𝑃 𝑗 , 𝑍𝑃 𝑗 ) 為 第 j 個 物 點 的 地 面 坐 標 ； 28. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(40) (𝑋𝑆𝑃𝐼 𝑖 , 𝑌𝑆𝑃𝐼 𝑖 , 𝑍𝑆𝑃𝐼 𝑖 ) 為第 i 張影像的球心地面坐標；𝑚11 𝑖 、𝑚12 𝑖 …𝑚33 𝑖 則為 第 i 張影像地面坐標系至卡式直角坐標系的旋轉矩陣參數。 c𝑖𝑗 + 𝑣𝑐𝑖𝑗 = 𝑅𝑆𝑃𝐼 ∙ tan−1. 𝑚21 𝑖 (𝑋𝑝 −𝑋𝑆𝑃𝐼 𝑖 )+𝑚22 𝑖 (𝑌𝑝 −𝑌𝑆𝑃𝐼 𝑖 )+𝑚23 𝑖 (𝑍𝑝 −𝑍𝑆𝑃𝐼 𝑖 ) 𝑗. 𝑗. 𝑗. (10). 𝑚11 𝑖 (𝑋𝑝 −𝑋𝑆𝑃𝐼 𝑖 )+𝑚12 𝑖 (𝑌𝑝 −𝑌𝑆𝑃𝐼 𝑖 )+𝑚13 𝑖 (𝑍𝑝 −𝑍𝑆𝑃𝐼 𝑖 ) 𝑗 𝑗 𝑗. r𝑖𝑗 + 𝑣𝑟 𝑖𝑗 = R SPI ∙ tan−1 (. m31 𝑖 (𝑋𝑝 −𝑋𝑆𝑃𝐼 𝑖 )+m32 𝑖 (𝑌𝑝 −𝑌𝑆𝑃𝐼 𝑖 )+m33 𝑖 (𝑍𝑝 −𝑍𝑆𝑃𝐼 𝑖 ) 𝑗. 𝑗 2. 𝑗. √[𝑚11 𝑖 (𝑋𝑝 −𝑋𝑆𝑃𝐼 𝑖 )+𝑚12 𝑖 (𝑌𝑝 −𝑌𝑆𝑃𝐼 𝑖 )+𝑚13 𝑖 (𝑍𝑝 −𝑍𝑆𝑃𝐼 𝑖 )] +[𝑚21 𝑖 (𝑋𝑝 −𝑋𝑆𝑃𝐼 𝑖 )+𝑚22 𝑖 (𝑌𝑝 −𝑌𝑆𝑃𝐼 𝑖 )+𝑚23 𝑖 (𝑍𝑝 −𝑍𝑆𝑃𝐼 𝑖 )] 𝑗 𝑗 𝑗 𝑗 𝑗 𝑗. 2. ). 在觀測方程式中，觀測量為影像坐標系的行列坐標(c,r)，未知數包含球 半徑𝑅𝑆𝑃𝐼 、球心在地面坐標系的坐標(𝑋𝑆𝑃𝐼 , 𝑌𝑆𝑃𝐼 , 𝑍𝑆𝑃𝐼 )、姿態參數(ω,φ,κ)及物. 政 治 大 權，以最小二乘法進行全景影像定位定向。 立. 點坐標(𝑋𝑃 , 𝑌𝑃 , 𝑍𝑃 )，配合適當的控制點與連結點分布，以及給觀測量適當的. ‧ 國. 學. 而在平差 過程中 ， 可將控制 點列 為虛 擬觀測方 程式，如 式 (11) ，. ‧. (𝑋𝐶𝑃 𝑗 , 𝑌𝐶𝑃 𝑗 , 𝑍𝐶𝑃 𝑗 )為第 j 個控制點在地面坐標系的坐標；(𝑣𝑋𝐶𝑃 , 𝑣𝑌𝐶𝑃 , 𝑣𝑍𝐶𝑃 ) 𝑗. 𝑗. 𝑗. sit. y. Nat. 0 為第 j 個控制點的改正數；(XCP , Y 0 , Z 0 )為第 j 個控制點的初始值坐標； j CP j CP j. al. er. io. (𝑑𝑋𝐶𝑃𝑗 , 𝑑𝑌𝐶𝑃𝑗 , 𝑑𝑍𝐶𝑃𝑗 )為未知參數的增量。. n. 0 𝑋𝐶𝑃 𝑗 + 𝑣𝑋𝐶𝑃 = 𝑋𝐶𝑃 + 𝑑𝑋𝐶𝑃 𝑗 𝑗 𝑗. Ch. 0 𝑌𝐶𝑃 𝑗 + 𝑣𝑌𝐶𝑃 = 𝑌𝐶𝑃 + 𝑑𝑌𝐶𝑃 𝑗 𝑗 𝑗. engchi. i n U. v. (11). 0 𝑍𝐶𝑃 𝑗 + 𝑣𝑍𝐶𝑃 = 𝑍𝐶𝑃 + 𝑑𝑍𝐶𝑃 𝑗 𝑗 𝑗. 因此，在球形全景影像定位定向平差解算中，觀測量分為 2 種，包含 影像坐標系的行列坐標(c,r)及控制點的地面坐標(𝑋𝐶𝑃 , 𝑌𝐶𝑃 , 𝑍𝐶𝑃 )，未知數則包 含球半徑 RSPI、球心在地面坐標系的坐標(𝑋𝑆𝑃𝐼 , 𝑌𝑆𝑃𝐼 , 𝑍𝑆𝑃𝐼 )、姿態參數(ω,φ,κ) 及物點坐標(𝑋𝑃 , 𝑌𝑃 , 𝑍𝑃 )等 4 種。假設使用三張全景影像進行定位定向，每張 影像上皆可看到 4 個控制點、9 個連結點，共有 13 點，因此像點觀測量有 13 × 3 × 2 = 78個(每個像點可列兩條觀測方程式)，控制點的觀測量有4 × 29. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(41) 3 = 12個，2 種觀測量總共為78 + 12 = 90個；未知數方面，有 1 個球半徑， 球心未知數有3 × 3 = 9個，姿態未知數3 × 3 = 9個，物點未知數有13 × 3 = 39個，4 種未知數總共為1 + 9 + 9 + 39 = 58 個，多餘觀測數為90 − 58 = 32個。 由於式(10)觀測方程式為非線性，給予未知參數近似值依泰勒級數展開 並寫成矩陣式，如式(12)，以求解各未知參數的增量dω、dφ ⋯ 、d𝑅𝑆𝑃𝐼。式 中(𝑐𝑖𝑗 , 𝑟𝑖𝑗 )為第 i 張影像上第 j 個像點觀測量的坐標；(𝑣𝑐 𝑖𝑗 , 𝑣𝑟 𝑖𝑗 )為像點觀測 量的改正數；𝑅𝑆𝑃𝐼 為球半徑；(𝑋𝑃 𝑗 , 𝑌𝑃 𝑗 , 𝑍𝑃 𝑗 )為第 j 個物點的地面坐標；. 政 治 大. (𝑋𝑆𝑃𝐼 𝑖 , 𝑌𝑆𝑃𝐼 𝑖 , 𝑍𝑆𝑃𝐼 𝑖 ) 為第 i 張影像的球心地面坐標；(𝜔𝑖 , 𝜑𝑖 , 𝜅𝑖 )則為第 i 張影. 立. 像的姿態參數；(𝐹𝑐0 𝑖𝑗 , 𝐹𝑟0 𝑖𝑗 )為未知參數初始值代入式(9)所產生的行列坐標近. ‧ 國. 學. 似值；𝑃𝑖𝑗 為像點的權矩陣。. y. Nat. 𝑣𝑐 𝑖𝑗 𝑉𝑖𝑗 = [𝑣 ] 𝑟 𝑖𝑗. n. al. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝜔𝑖. 𝜕𝜑𝑖 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝜅𝑖. 𝜕𝑋𝑆𝑃𝐼 𝑖. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝜑𝑖. 𝜕𝜅𝑖. 𝐴𝑖𝑗 = [𝜕𝐹. 𝑟 𝑖𝑗. 𝜕𝜔𝑖. 𝜕𝐹𝑐 𝑖𝑗. Ch. 𝜕𝑋𝑆𝑃𝐼 𝑖. sit. io. 𝑐𝑖𝑗 − 𝐹𝑐0 𝑖𝑗 𝐿𝑖𝑗 = [ ] 𝑟𝑖𝑗 − 𝐹𝑟0 𝑖𝑗. er. 其中. (12). ‧. 𝐿𝑖𝑗 + 𝑉𝑖𝑗 = 𝐴𝑖𝑗 𝑋𝑖𝑗 ~ 𝑃𝑖𝑗. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝑌𝑆𝑃𝐼 𝑖. 𝜕𝑍𝑆𝑃𝐼 𝑖. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝑌𝑆𝑃𝐼 𝑖. 𝜕𝑍𝑆𝑃𝐼 𝑖. engchi. i n U 𝜕𝐹𝑐 𝑖𝑗. v. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝐹𝑐 𝑖𝑗. 𝜕𝑋𝑃 𝑗. 𝜕𝑌𝑃 𝑗. 𝜕𝑍𝑃 𝑗. 𝜕𝑅𝑆𝑃𝐼. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝐹𝑟 𝑖𝑗. 𝜕𝑋𝑃 𝑗. 𝜕𝑌𝑃 𝑗. 𝜕𝑍𝑃 𝑗. 𝜕𝑅𝑆𝑃𝐼. ]. 𝑑𝜔𝑖 𝑑𝜑𝑖 𝑑𝜅𝑖 𝑑𝑋𝑆𝑃𝐼 𝑖 𝑑𝑌𝑆𝑃𝐼 𝑖 𝑋𝑖𝑗 = 𝑑𝑍𝑆𝑃𝐼 𝑖 𝑑𝑋𝑃 𝑗 𝑑𝑌𝑃 𝑗 𝑑𝑍𝑃 𝑗 [ 𝑑𝑅𝑆𝑃𝐼 ]. 而式(11)虛擬觀測方程式雖為線性，仍可依泰勒級數展開並寫成矩陣式， 30. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(42) 如 式 (13) ， (𝑋𝐶𝑃 𝑗 , 𝑌𝐶𝑃 𝑗 , 𝑍𝐶𝑃 𝑗 ) 為 第 j 個 控 制 點 在 地 面 坐 標 系 的 坐 標 ； 0 (𝑣𝑋𝐶𝑃 , 𝑣𝑌𝐶𝑃 , 𝑣𝑍𝐶𝑃 )為第 j 個控制點的改正數；(𝑋𝐶𝑃 , 𝑌 0 , 𝑍 0 )為第 j 個控 𝑗 𝐶𝑃 𝑗 𝐶𝑃 𝑗 𝑗. 𝑗. 𝑗. 制點的初始值坐標；(𝑑𝑋𝐶𝑃𝑗 , 𝑑𝑌𝐶𝑃𝑗 , 𝑑𝑍𝐶𝑃𝑗 )為未知參數的增量；𝑃𝐶𝑃 𝑗 為控制點 的權矩陣。最後將式(12)及式(13)組合可寫作式(14)，由式(15.1)至式(15.4)依 最小二乘平差以迭代方式求解未知參數，直到兩次後驗單位權中誤差的變 化率小於 0.001 時停止迭代，其中 n 為觀測量數量、u 為未知數數量。 (13). 𝐿𝐶𝑃 𝑗 + 𝑉𝐶𝑃 𝑗 = 𝐴𝐶𝑃 𝑗 𝑋𝐶𝑃 𝑗 ~ 𝑃𝐶𝑃 𝑗. 其中 𝑋𝐶𝑃 𝑗 − 𝑋0𝐶𝑃 𝑗. 立. 𝑉𝐶𝑃 𝑗. 0 0] 1. 𝑋𝐶𝑃 𝑗. 𝑑𝑋𝐶𝑃 𝑗 = [𝑑𝑌𝐶𝑃 𝑗 ] 𝑑 𝑍𝐶𝑃 𝑗. ‧. 1 0 = [0 1 0 0. = [𝑣𝑌𝐶𝑃 𝑗 ] 𝑣𝑍𝐶𝑃 𝑗. 學. 𝐴𝐶𝑃 𝑗. 𝑋𝐶𝑃 𝑗. 𝑌𝐶𝑃 𝑗 − 𝑌0𝐶𝑃 𝑗 0 [ 𝑍𝐶𝑃 𝑗 − 𝑍𝐶𝑃 𝑗 ]. ‧ 國. 𝐿𝐶𝑃 𝑗 =. 政 𝑣治 大. sit. y. Nat. al. n. 其中. Ch. 𝐿𝑖𝑗 𝐿 = [𝐿 ] 𝐶𝑃 𝑗. 𝑉𝑖𝑗 𝑉 = [𝑉 ] 𝐶𝑃 𝑗. 𝐴𝑖𝑗 𝐴 = [𝐴 ]. 𝑋𝑖𝑗 𝑋 = [𝑋 ] 𝐶𝑃 𝑗. 𝐶𝑃 𝑗. (14). er. io. L + V = AX ~ P. engchi. i n U. v. 𝑃𝑖𝑗 𝑃 = [𝑃 ] 𝐶𝑃 𝑗. 未知參數估值𝑋 = (𝐴𝑇 𝑃𝐴)−1 𝐴𝑇 𝑃𝐿. (15.1). 觀測量改正數V = AX − L. (15.2) 𝑉 𝑇 𝑃𝑉. 後驗單位權中誤差𝜎̂0 = √. (15.3). 𝑛−𝑢. 未知數後驗變方協變方矩陣Σ̂𝑥̂ = 𝜎̂02 (𝐴𝑇 𝑃𝐴)−1. (15.4). 31. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(43) 權矩陣為先驗精度平方之倒數，像點先驗精度給定方式有二，第一是 整張影像給予相同的先驗精度，人工量測之像點先驗精度設定為 1.2 像元， 匹配之像點則視縮小比例而定，例如匹配時將影像縮小 0.5 倍，匹配之像點 先驗精度設定為 2 像元；第二則是因全景影像係透過等距長方投影，影像 上、下方在 c 方向將因投影放大，如圖 3-8，依照像點(紅點)在影像上的位 置，透過式(16)及式(17)分別給定人工及匹配之先驗精度。. 政 治 大. 立. ‧ 國. 學. 圖 3-8 像點依據其所在位置給予不同的先驗精度. ‧. 𝜎人工 = 1.2 + |𝑟| × 係數. (17). sit. y. Nat. 𝜎匹配 = 2 + |𝑟| × 係數. (16). n. al. er. io. 控制點先驗精度則由全測站的測角測距誤差推估，例如 Leica TCR805. i n U. v. 全測站的測距精度為±2.0mm+2ppm×D，其中 D 為觀測距離，單位為毫米. Ch. engchi. (mm)，測角精度為±5”。. 若觀測距離約為 10 公尺： 2. 測距精度為±√(2.0𝑚𝑚)2 + (. 1000000. 測角精度為± (. 5" 206265". 2. × 10000𝑚𝑚) ≅ ±2𝑚𝑚，. ) × 10000𝑚𝑚 ≅ ±0.24𝑚𝑚，. 由誤差傳播得到精度為±√(2𝑚𝑚)2 + (0.24𝑚𝑚)2 ≅ ±2.01𝑚𝑚，因此先驗精 度設定為 0.002 公尺。 32. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(44) 第四節 像點變形改正方法 驗後補償法是 Masson d’Autume 於 1972 年提出，在完成大量精確影像 定位定向，對影像內密集分布之像點改正數進行分析。該方法假設 r、c 坐 標互不相關，且在相機同個位置拍攝到的誤差是一致的，因此將所有影像 疊合起來，可以想像成有一參考影像，把每張影像的像點全都投影至參考 影像上，如圖 3-9，並將參考影像劃分成 k 個網格，落在網格內的所有像點 改正數視為具有相同的系統誤差。. 立. 政 治 大. ‧ 國. 學. 圖 3-9 所有影像疊合成參考影像示意圖. ‧. 在網格劃分的方式中，Masson d’Autume(1972)是劃分出 9 個 4cm×4cm. sit. y. Nat. 的網格，如圖 3-10；Jacobsen(1982)則是劃分出 9 個、25 個及 121 個等 3 種. io. n. al. er. 網格；Wang et al.(2013)將整張影像劃分為 3.7mm×3.7mm 的規則棋盤網格。. Ch. engchi. i n U. v. 圖 3-10 Masson d’Autume(1972)劃分出 9 個 4cm×4cm 的網格示意圖. 33. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(45) 又因假設 r、c 坐標互不相關，分別對 r、c 坐標改正數以式(18)計算檢 驗值 T，式中 k 為網格數、𝑛𝑖 為第 i 個網格中的像點數、|𝐴𝑖 |為第 i 個網格 殘差均值的絕對值、RMSE 為相應殘差的均方根誤差(Root Mean Squared Error)。. 𝑇=. |𝐴𝑖 |√𝑛𝑖 ∑𝑘 ) 𝑖=1( 𝑅𝑀𝑆𝐸. (18). 𝑘. 當參考影像上像點總數大於 60 時，若檢驗值 T 小於 1 表示已不存在顯 著的系統誤差。若檢驗值 T 大於 1 時，則將網格內殘差均值視為網格中心 的系統誤差改正值，以網格中心的系統誤差改正值透過內插方式得到各像. 政 治 大. 點系統誤差改正值，將各像點系統誤差改正值加回像坐標後重新平差，並. 立. 再次計算檢驗值 T，重複前述動作，直至檢驗值 T 小於 1 為止。而在內插. ‧ 國. 學. 方面，Masson d’Autume(1972)及涂辛茹等人(2013)是使用多項式內插法；毛. ‧. 可標等人(1985)則是使用多項式內插法及距離反比權重法(Inverse distance weighted, IDW)。. sit. y. Nat. io. er. 本研究在定位定向後，以式(18)分別對像點的 r、c 方向改正數進行統. al. 計檢定，若任一方向改正數統計檢定結果顯示存在顯著的系統誤差，參考. n. v i n Ch Wang et al.(2013)將影像劃分為規則棋盤網格的方式，對顯示存在系統誤差 engchi U 之方向改正像點坐標。. 內插方法則是參考前人使用經驗，以距離反比權重法得到各像點系統 誤差改正值。距離反比權重法是由網格中心系統誤差改正值(𝑣̅𝑐0 , 𝑣̅𝑟0 )及網格 中心到像點的距離𝑑𝑖 推估出每個像點的系統誤差改正值(𝑣̅𝑐 , 𝑣̅𝑟 )，該改正值 與網格中心的距離𝑑𝑖 的次方成反比，當距離越遠時，受影響程度越小，公式 如式(19)，式中𝑑𝑖 = √(𝑐0 − 𝑐)2 + (𝑟0 − 𝑟)2 、w 為權重，本研究將參考毛可 標等人(1985)經驗權重使用 2。 34. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(46) (19). ̅𝑟0 𝑣 ∑𝑚 𝑖=1 𝑤 𝑑𝑖 1 𝑚 ∑𝑖=1 𝑤 𝑑𝑖. 立. 政 治 大. 學 ‧. io. sit. y. Nat. n. al. er. 𝑣̅𝑟 =. 𝑑𝑖 1 𝑚 ∑𝑖=1 𝑤 𝑑𝑖. ‧ 國. 𝑣̅𝑐 =. ̅ 𝑐0 𝑣 ∑𝑚 𝑖=1 𝑤. Ch. engchi. i n U. v. 35. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(47) 第五節 精度評估 球形全景影像經前述方法定位定向及像點變形改正得到球心地面坐標 (𝑋𝑆𝑃𝐼 , 𝑌𝑆𝑃𝐼 , 𝑍𝑆𝑃𝐼 )、姿態參數(ω,φ,κ)及球半徑 RSPI 後，精度評估方式有三，分 別為內、外部精度及假說檢定。內部精度包含後驗單位權中誤差，如式(15.3)。 外部精度則是以人工方式量測檢核點之影像坐標，再透過式(20)前方交會觀 測方程式平差計算檢核點地面坐標，並與全測站量測資料計算較差及均方 根誤差，以評估不同配置對精度的影響。 式(20)中(𝑥𝑝 𝑖𝑗 , 𝑦𝑝 𝑖𝑗 , 𝑧𝑝 𝑖𝑗 )為第 i 張影像上第 j 個像點在卡式直角坐標系. 政 治 大. 上的坐標；(𝑣𝑥𝑝 , 𝑣𝑥𝑝 , 𝑣𝑥𝑝 )為像點觀測量的改正數；(𝑋𝑆𝑃𝐼 𝑖 , 𝑌𝑆𝑃𝐼 𝑖 , 𝑍𝑆𝑃𝐼 𝑖 )為 𝑖𝑗. 立 𝑖𝑗. 𝑖𝑗. ‧ 國. 學. 第 i 張影像的球心在地面坐標系的坐標；(𝑋𝑝 𝑗 , 𝑌𝑝 𝑗 , 𝑍𝑝 𝑗 )為第 j 個物點在地面 坐標系的坐標；𝑆𝑖𝑗 為地面坐標系至卡式直角坐標系的尺度因子；𝑚11 𝑖 、. ‧. 𝑚12 𝑖 …𝑚33 𝑖 則為地面坐標系至第 i 張影像卡式直角坐標系的旋轉矩陣參數。. y. 𝑝𝑗. n. al. 𝑋𝑝 𝑗 − 𝑋𝑆𝑃𝐼 𝑖 𝑚13 𝑖 𝑚23 𝑖 ] ⋅ [ 𝑌𝑝 𝑗 − 𝑌𝑆𝑃𝐼 𝑖 ] 𝑚33 𝑖 𝑍 −𝑍. sit. io. 𝑖𝑗. 𝑚12 𝑖 𝑚22 𝑖 𝑚32 𝑖. Ch. (20). er. Nat. 𝑣𝑥𝑝 𝑥𝑝 𝑖𝑗 𝑚11 𝑖 𝑖𝑗 𝑣 𝑦 [ 𝑝 𝑖𝑗 ] + [ 𝑦𝑝 𝑖𝑗 ] = 𝑆𝑖𝑗 ⋅ [𝑚21 𝑖 𝑚31 𝑖 𝑧𝑝 𝑖𝑗 𝑣𝑧𝑝. n U engchi. iv. 𝑆𝑃𝐼 𝑖. 在前方交會平差解算中，觀測量為像點在卡式直角坐標系上的坐標 (𝑥𝑝 , 𝑦𝑝 , 𝑧𝑝 )，未知數則包含尺度因子 S 及物點坐標(𝑋𝑃 , 𝑌𝑃 , 𝑍𝑃 )等 2 種。假設 使用兩張全景影像進行前方交會，共軛像點像點觀測量有2 × 3 = 6個(每個 像點可列三條方程式)；未知數方面，尺度因子有2個，物點未知數有3個， 2 種未知數總共為2 + 3 = 5 個，多餘觀測數為6 − 5 = 1個。若是 n 個對應 點前交時，觀測量有 n× 2 × 3 = 6n個(每個像點可列三條方程式)；未知數 方面，尺度因子有 n× 2 = 2n個，物點未知數有 n× 3 = 3n個，2 種未知數 總共為 5n，多餘觀測數為6n − 5n = n個。. 36. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
(48) 但式(20)觀測方程式為非線性，依泰勒級數展開，並給予未知參數近似 值，可寫成矩陣式如式(21)，求解各未知參數的增量𝑑𝑋𝑃 𝑗 、𝑑𝑌𝑃 𝑗 ⋯ 、𝑑𝑆𝑖𝑗 ， 式 中 (𝑥𝑝 𝑖𝑗 , 𝑦𝑝 𝑖𝑗 , 𝑧𝑝 𝑖𝑗 ) 為 第 i 張 影 像 上 第 j 個 像 點 觀 測 量 的 坐 標 ； (𝑣𝑥𝑝 , 𝑣𝑥𝑝 , 𝑣𝑥𝑝 )為像點觀測量的改正數；(𝐹𝑥0𝑝 , 𝐹𝑦0𝑝 , 𝐹𝑧0𝑝 )為未知參數初始 𝑖𝑗. 𝑖𝑗. 𝑖𝑗. 𝑖𝑗. 𝑖𝑗. 𝑖𝑗. 值代入前方交會方程式所產生的卡式直角坐標近似值。 (21). L + V = 𝐴𝑋. 其中. 𝜕𝐹𝑥𝑝. 立. 𝑖𝑗. 𝜕𝐹𝑥𝑝. 𝑧𝑝. 𝜕𝑋𝑃 𝑗. 𝜕𝑌𝑃 𝑗. 𝜕𝑍𝑃 𝑗. 𝜕𝐹𝑦𝑝. 𝜕𝐹𝑦𝑝. 𝜕𝐹𝑦𝑝. 𝜕𝑋𝑃 𝑗. 𝑖𝑗. 𝜕𝐹𝑧𝑝. 𝑖𝑗. 𝜕𝑌𝑃 𝑗. io. [ 𝜕𝑋𝑃 𝑗. 𝜕𝑌𝑃 𝑗. Nat. 𝜕𝐹𝑧𝑝. 𝑖𝑗. 𝜕𝐹𝑦𝑝. 𝑖𝑗. 𝑖𝑗. 𝑖𝑗. 𝑖𝑗. 𝜕𝑆𝑖𝑗 𝜕𝐹𝑧𝑝. 𝑖𝑗. 𝜕𝑍𝑃 𝑗. 𝜕𝑆𝑖𝑗 ]. n. al. [ 𝑑𝑆𝑖𝑗 ]. 𝜕𝑆𝑖𝑗. 𝜕𝑍𝑃 𝑗 𝜕𝐹𝑧𝑝. 𝑃𝑗. 𝑖𝑗. er. 𝑖𝑗. 𝜕𝐹𝑥𝑝. 𝑖𝑗. 𝑃𝑗. ‧. 𝐴=. 𝑖𝑗. V = [𝑣𝑦𝑝 𝑖𝑗 ]. 學. 𝜕𝐹𝑥𝑝. 𝑖𝑗 ]. ‧ 國. [. 𝑧𝑝 𝑖𝑗 − 𝐹𝑧0𝑝. 𝑖𝑗. y. 0 𝐿 = 𝑦𝑝 𝑖𝑗 − 𝐹𝑦𝑝 𝑖𝑗. 𝑑𝑋𝑃 𝑗. 𝑑𝑌 政 治 𝑋大 = 𝑑𝑍 𝑣. 𝑣𝑥𝑝. 𝑖𝑗. sit. 𝑥𝑝 𝑖𝑗 − 𝐹𝑥0𝑝. Ch. engchi. 未知參數估值𝑋 = (𝐴𝑇 𝐴)−1 𝐴𝑇 𝐿. i n U. v. (22.1) (22.2). 觀測量改正數V = AX − L 𝑉 𝑇 𝑃𝑉. 後驗單位權中誤差𝜎̂0 = √. (22.3). 𝑛−𝑢. 由式(22.1)至式(22.3)以迭代方式計算未知參數估值，直到兩次的後驗 單位權中誤差的變化率小於 0.001 時停止迭代，得到檢核點地面坐標，再與 使用全測站測量所得坐標進行精度指標計算，可得檢核點在 X、Y、Z 方向 及整體的較差，進而計算出均方根誤差如式(23.1)、(23.2)、(23.3)及(23.4)， 37. DOI:10.6814/THE.NCCU.LE.020.2018.A05.
相關文件
Figure 1.5 Some consumer applications of computer vision: (a) image stitching: merging different views (Szeliski and Shum 1997) c 1997 ACM; (b) exposure bracketing: merging
• Richard Szeliski, Image Alignment and Stitching: A Tutorial, Foundations and Trends in Computer Graphics and Computer Vision, 2(1):1-104, December 2006. Szeliski
• Richard Szeliski, Image Alignment and Stitching: A Tutorial, Foundations and Trends in Computer Graphics and Computer Vision, 2(1):1-104, December 2006. Szeliski
In this paper, we build a new class of neural networks based on the smoothing method for NCP introduced by Haddou and Maheux [18] using some family F of smoothing functions.
Radiographs of Total Hip Replacements 廖振焜 林大弘 吳長晉 戴 瀚成 傅楸善 楊榮森 侯勝茂 2005 骨科醫學會 聯合學術研討會. • Automatic Digital PE
Proceedings of the 19th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval pp.298-306.. Automatic Classification Using Supervised
structure for motion: automatic recovery of camera motion and scene structure from two or more images.. It is a self calibration technique and called automatic camera tracking
Supporting Students in C++ Programming Courses with Automatic Program Style Assessment.
