應用多來源影像進行影像式模型重建及 精度評估指標建立

Volume 21, No.2, 2016, pp.125-138 DOI：10.6574/JPRS.2016.21(2).5

1國立中興大學土木工程學系 碩士班研究生 收到日期：民國 104 年 05 月 25 日

2國立中興大學土木工程學系 教授 修改日期：民國 105 年 07 月 27 日

3國立中興大學土木工程學系 博士班研究生 接受日期：民國 105 年 09 月 01 日

* 通訊作者, E-mail:[email protected]

應用多來源影像進行影像式模型重建及 精度評估指標建立

潘偉庭

楊明德

趙智凡

摘要

以往影像式建模的影像多從高解析度的相機取得，隨著智慧行動裝置的普及影像來源愈趨多樣化。

本研究建立精度指標以焦距估算建模後的體積精度，快速評估各來源影像的模型精度。實驗使用各款智 慧型手機與數位相機拍攝水泥柱以重建模型，將相機率定的焦距視為真值，評估 SfM (Structure from Motion)的焦距精度，並計算模型體積與量測體積的誤差，接著以迴歸分析焦距與體積誤差，建立精度評 估指標。實務上大多案例無法得知待測體積之真值與誤差，當使用任何具拍攝功能的設備獲取影像時，

便可以透過本研究所建立精度評估指標，以焦距精度初誤待測物之體積差，作為後續分析資訊的參考依 據。

關鍵字：影像式建模、相機率定、焦距

1. 前言

近年來，各領域依賴三維資訊的程度提高，影 像式建模(Image-Based Modeling, IBM)技術是目前 熱門的三維建模技術之一，也逐漸廣泛用於測繪領 域中。利用多張重疊的影像就能透過演算法恢復影 像在空間中的幾何關係，快速重建三維模型，進行 三維資訊分析的及相關應用。

台灣多處群山環繞，夏季常因颱風暴雨而造成 土石流、山崩等災害發生，需快速取得並分析災害 三維資訊以採取應變措施。然而因環境受限或基於 人員安全考量無法深入探勘量測，只能由專業人員 (如大地技師)從遠處用簡易儀器(如雷射測距儀)與 經驗估算土石崩塌量，雖然作業快速，但估算的精 確度有待商榷。

空載光達(LiDAR)能克服環境限制與精度的 問題，但飛行需耗費龐大成本，從航線規劃到內業 處理要耗去數天的時間，難以第一時間緊急預測災

害影響與採取因應措施。故近年來會使用無人飛行 載具(Unmanned Aerial Vehicle, UAV)拍攝災區影 像，透過 IBM 技術重建災區的三維模型，成本比 起空載 LiDAR 降低許多，從飛行到獲取三維資訊 也只需數小時至 2 天不等的時間，適用於快速建模 的災害展示與資訊分析。

IBM 建模需要高品質影像進行高度運算以產 生準確的點雲資訊，故以往多使用高解析度相機獲 取影像。因應各類智慧型行動裝置的普及化，內建 的拍攝裝置與影像處理功能愈益精良，能依照需求 或便利性的考量，選取不同拍攝裝置獲取影像以重 建模型，不必受限於高解析度的相機。然而不同影 像來源所重建的模型品質不一，難以評估模型精 度，故本研究希望透過多款智慧型行動裝置與相機 重建的模型進行精度分析，建立一套模型的精度評 估指標，快速初步評估多來源影像的模型精度，作 為第一時間分析三維資訊的參考依據。

2. 文獻回顧

測量領域中，LiDAR 已經能建立高精度、密 集的三維數值模型，但仍有專業人力處理、技術門 檻高、設備昂貴等問題；而 IBM 技術能夠改善傳 統測量面臨的困境，利用重疊影像快速產生可視化 三維模型。影像特徵點有許多萃取方式，其中 SIFT (Scale-Invariant Feature Transform) (Lowe, 2004)具 有對影像尺度、旋轉、視角、光照不變性，能有效 萃取特徵點。

SfM (Structure from Motion)不需要事先進行 相機率定，只要以影像特徵點為初始資訊，透過共 軛 點 原 理 就 能 推 算 相 機 內 外 方 位 參 數 (Zhou, 2010)。由於 SfM 計算會有誤差需要修正，其中 Bundler (Snavely, 2010) 以 非 線 性 最 二 小 乘 法 平 差，已普遍使用於 SfM 計算時的誤差平差。由於 SIFT 到 SfM 間運算太消耗硬體資源且費時，因此 VisualSfM (Wu, 2011)即利用多核心 CPU 與 GPU 平 行運算並結合 Bundler 技術，克服電腦在硬體上的 運算速度限制，加速特徵點萃取。然而 SfM 僅是 建立明顯的特徵點雲，故再透過 MVS (Multi-View Stereo) 技 術 模 擬 人 的 立 體 視 覺 ， 利 用 CMVS (Furukawa et al., 2010) 將 影 像 分 群 與 PMVS (Furukawa & Ponce, 2010)點雲擴散，有效建立密集 完整的三維點雲。由 SIFT 到 MVS 串連起來，便 能快速半自動化建立場景的三維資訊(Lee et al., 2012)。

由於鏡頭畸變、拍攝位置等會造成影像形變，

需透過相機率定(Camera Calibration)校正相機參 數，提供演算法解算時的校正資訊。其中將黑白棋 盤格相間的交點視為控制點之率定法，只要拍攝不 同角度的棋盤格影像，利用線性代數解算相機參 數，求解容易且精度高，為電腦視覺領域中的率定 準則(Zhang, 1999)；後續有許多率定法皆以 Zhang 法加以改良而成，如利用 Harris 角點自動偵測棋盤 交點(Douskos et al., 2009)。

以往 IBM 建模三維資訊的應用大多為模型的 展示或後續分析，但從 SfM 即可事先獲得相機的 相關參數，作為評估模型精度的初步依據。對此已

有透過 Zhang 率定方式，證實 SfM 計算的焦距十 分接近 Zhang 率定成果(王傳宇、等，2011)、(Yang et al., 2013)。

隨著智慧型行動裝置普及，相較於相機更為 簡便、快速取得，也能成為影像來源之一(紀凱程、

等，2009)，並將模型應用於估算體積上(Rahman et al., 2012)。就精度而言仍以相機為主，但對便利、

快速獲取三維資訊而言，智慧型行動裝置亦成為考 量影像攝取來源的考量。

圖 1 研究流程圖

3. 研究方法

本研究設計使用各款智慧型手機與數位相機 拍攝同一物體重建三維模型，實驗分為兩大部分，

如圖 1 所示，其一為三維建模，採用 SIFT、SFM、

MVS 等 IBM 演算法重建三維模型，並將模型恢復 為真實尺度評估模型體積。運用電腦視覺相關演算 法，如運用 SfM、CMVS、MVS、及柏松表面重構 (Poisson surface reconstruction，PSR)，使用消費型 相機與智慧型裝置拍攝不同物體角度之影像，透過

多張影像重構三維場景模型詳細步驟及效果可見 於趙智凡、等(2016)。其二為相機率定，由於智慧 型手機焦距不一定能得知，故將各組影像以 Zhang 法率定的焦距視為真值，分析 SfM 解算的焦距精 度。最後分析體積精度與焦距精度兩者之間的相關 性，依焦距與體積誤差的因子建立精度評估指標，

藉由該指標能快速評估各來源影像的模型精度，根 據使用者需求決定是否採用該模型進行後續分 析，不必受限影像的獲取方式。

3.1 相機率定

非量測相機的內方位參數未知或不穩定，且鏡 頭畸變差較大，必須校正相機的內方位參數及鏡頭 畸變差。Zhang 率定法在相機旋轉角未知下，拍攝 不同角度的黑白棋盤格影像，將交點視為控制點解 算相機參數，由於求解容易且不需要昴貴的率定儀 器，有效降低成本與使用門檻。

首 先 定 義 二 維 影 像 中 一 點 的 坐 標m = [𝐮, 𝐯]^T，校正模型平面上的一點為 M=[X, Y, Z]^T。用 齊次坐標表示為m̃ 與M̃，由於假設率定影像為一平 面，定義世界坐標 Z=0，以單應性矩陣(Homography) 作為 m 與 M 的轉換關係可表示s𝑚̃ = 𝐴[𝑅 𝑡]𝑀̃，其 中 s 表示尺度、R 表示旋轉、t 表示位移。相機內 方位矩陣 A 為：

A=[𝑓𝑥 0 𝑐𝑥

0 𝑓_𝑦 𝑐_𝑦 0 0 1

] ………...(1)

其中，𝑓𝑥與𝑓𝑦代表焦距的 X 分量與 Y 分量，𝐶𝑥與𝐶𝑦則 代表像主點的 X 與 Y 坐標。

𝑩 = 𝐀^−T𝐀⁻¹= [

1

𝑓_𝑥² 0 ^−𝑐_𝑓^𝑥

𝑥2

0 _𝑓¹

𝑦2

−𝑐_𝑦 𝑓_𝑥²

−𝑐_𝑥 𝑓_𝑥²

−𝑐_𝑦 𝑓_𝑦²

𝑐_𝑥² 𝑓_𝑥²+^𝑐_𝑓^𝑦2

𝑦2+ 1]

………….(2)

𝐀^−T𝐀⁻¹用 以 描 述 影 像 的 絕 對 錐 線 (Absolute Conic)，𝐀^−T是(𝐀⁻¹)^T或(𝐀^T)⁻¹縮寫。求得 B 後，

便可反算內方位參數 A。

3.2 三維模型重構理論

先透過 SIFT 偵測影像的特徵點並進行匹配 後，再利用 SfM 恢復相機拍攝時的軌跡，建立特 徵點的空間資訊，產生稀疏的三維點雲。接著用 CMVS 將影像分群，PMVS 以 SfM 產生的點雲視 為種子點雲進行擴散，最後加上紋理資訊即完整的 三維模型。

3.2.1 SfM

SfM 藉由 SIFT 偵測影像中的特徵點，利用核 幾何原理(Epipolar Geometry)共軛點的對應關係，

並計算基礎矩陣(Fundamental Matrix, F 矩陣)，求 得不同位置拍攝影像時的相機參數，建立特徵點的 稀疏三維點雲。SfM 主要目的有：1 分析相機拍攝 的位置姿態；2 恢復相機拍攝影像時的移動軌跡；

3 重建影像中的三維場景。

由於兩台相機的相機坐標不同，為定義共軛點 的對應關係，須從不同坐標系統中找到轉換關係。

空間中一點 X 在左像x對應右像𝑥′在不同相機坐標 的共軛關係，利用內方位參數解算 F 矩陣：

x′^𝑇𝐀−𝑇𝑟 𝐄𝐀−1𝑙 x = x′^𝑇𝐅x = 0……….……..(3)

𝐅 = 𝐀−𝑇𝑟 𝐄𝐀−1𝑙 ………...(4)

其中𝐀𝑙與𝐀𝑟分別為左像與右像的內方位參 數，E 為本質矩陣(Essential Matrix)。因此為計算𝑥𝑙

與𝑥𝑟的共軛關係，左右像之核點(epipole) e與e^′會 滿足：

e^′T𝐅 = 0，𝐅e = 0 ………(5)

透過 SfM 計算將𝐶𝑖1相機與𝐶𝑖2相機的對應關 係投射至空間中，並再將其三維點投射回𝐶𝑖相機所 拍攝的影像上。理論上，P 與𝑄𝑖𝑗會重疊，但拍攝實 況以及投影計算誤差，兩者無法重疊產生誤差，此

稱為再投影誤差(Reprojection Error)，如圖 2 所示，

因此採用光束法平差計算使誤差最小化：

𝑚𝑖𝑛 ∑ ∑ 𝜔_𝑖𝑗‖𝑄_𝑖𝑗− 𝑃(𝐶_𝑖, 𝑿_𝒋)‖²

𝑚

𝑗=1 𝑛

𝑖=1

… … … . (6)

其中𝑪_𝑖包含相機中心、旋轉、平移、焦距、兩 個方向的桶狀失真；𝑿_𝑗表示空間中的三維點，𝜔_𝑖𝑗則 是指向。透過 F 矩陣將影像進行投射轉換，進行 遞迴計算，最後計算獲得稀疏三維點雲及相機內外 方位參數。

3.2.2 多視立體演算法

SfM 可計算相機拍攝參數並萃取稀疏點雲，而 MVS 則透過 SfM 解算的資訊進行遞迴計算，擴散 像點在空間中的三維位置，產生密集點雲。本研究 採用 Furukawa 提出的 CMVS 與 PMVS 演算法，

CMVS 目的是將影像分群以提升 PMVS 的計算速 度及擴散性，並藉由 SfM 的資料剔除沒有交集的 影像，所有影像分類完成後將與 SfM 資料一同輸 入 PMVS 運算。接著 PMVS 利用 CMVS 分群的影 像，將 SfM 計算的稀疏點雲視為種子點，以種子 點開始匹配、擴散、過濾。

3.3 模型精度評估因子

焦距是 PMVS 計算點雲深度必要資訊，SfM 解算的焦距好壞會影響點雲的位置，導致模型精度 受影響。此外，PMVS 點雲以內插進行擴散，若以 局部的點或線評估模型精度較不客觀，故本研究採 用體積作為評估依據。並將三維建模與相機率定結 合，將初期 SfM 算得焦距與模型完成後的體積作 為評估依據，建立模型精度評估指標。

本研究重建水泥柱模型實驗 SfM 參數對模型 的影響，圖 3(a)為實驗的水泥柱影像，(b)(e)為 SfM 點雲與 MVS 點雲，將兩者分別區域放大來看，

(c)SfM 點雲相對密集，(f)擴散的點雲也較完整；

(d)SfM 點雲相對稀疏，(g)擴散的點雲也較不完

整。可見 SfM 種子點疏密度會影響 MVS 擴散性，

進而影響模型成果及體積估算。

3.4 模型精度評估指標

根據 SfM 與 PMVS 的點雲推判 SfM 計算焦 距的準確度會影響最終模型的精度，連帶影響體積 精度，由此假設焦距誤差與體積誤差具有一定的相 關性，故將實驗多組的模型找出焦距與體積誤差的 迴歸分析，以簡單線性迴歸模式表示：

𝑌𝑖= α𝑋𝑖+ 𝛽………..…..(7)

其中𝑋𝑖為自變數，定義為焦距誤差；𝑌𝑖為應變數，

定義為體積誤差； α與𝛽即為迴歸係數，分別是迴 歸線的斜率與截距項。

求解迴歸參數後，還必須對參數進行檢定，檢 視變數之間是否具有顯著關係，以判斷迴歸是否可 以接受，分別以判定係數𝑅²、F 檢定與 t 檢定檢驗。

其中𝑅²判斷迴歸的配適程度，係數愈高則解釋力 愈強，𝑅²值介於 0 到 1 之間。

另，藉由 F 檢定以檢視全體迴歸模型的解釋 力。兩個檢定假設，𝐻0：𝛽 = 0表示迴歸無解釋力，

𝐻1：𝛽 ≠ 0表示迴歸有解釋力。當F > 𝐹1,𝑛−2,𝑎時，

拒絕𝐻0；F ≤ 𝐹1,𝑛−2,𝑎時，則接受𝐻0。F 與𝑅²呈正向 關係，即𝑅²值愈大，則 F 愈大，容易接受𝐻0，解 釋力就愈強；反之，則愈沒有解釋力。

最後檢定迴歸係數α與β，確定能否用來解釋 變數的關係與預測未來。𝐻0表示 X 對 Y 沒有直線 性的影響；𝐻1表示 X 對 Y 有直線性的影響。因此 分別估算𝛼與β的 t 統計量，若t > 𝑡1−𝑎/2,𝑛−2或 t <

𝑡𝑡1−𝑎/2,𝑛−2的情形下，則拒絕𝐻0。

圖 2 再投影誤差示意圖

圖 3 SfM 稀疏點雲與 MVS 點雲擴散相關示意圖

4. 實驗與研究成果分析

本研究以焦距與模型體積精度作為三維模型 重建的品質指標，實驗分成兩大主軸，一是以演算 法半自動建立三維模型，並利用模型估算物件的真 實體積；而在運算過程中從 SfM 擷取焦距，再以 Zhang 法率定的焦距視為真值，比較 SfM 獲取的焦 距精度。

4.1 率定實驗流程建置與成果 分析

率 定 實 驗 設 備 採 用 全 片 幅 數 位 單 眼 相 機

Canon Mark 5DII+35mm 定焦鏡頭與三種智慧型手 機共四種裝置，各實驗裝置規格如表 1。

為盡量公平比較各裝置的率定成果，實驗固定 拍攝率定影像的外在因子，滅少不確定因素的影 響，固定率定板位置，相機俯角 45 度、八個方位 環拍率定板，相機正拍後再將相機順逆時針旋轉 90 度拍攝，以減少軸系誤差的相依性。

由於無法驗證能否將 Zhang 法得到的焦距視 為真值，故採用已知焦距的鏡頭，驗證可將率定的 焦距視為真值，以全片幅相機 Canon Mark 5D II+35mm 定焦鏡頭為對照，實驗由 Zhang 法獲得的 焦距長能否趨近於 35mm。

接著拍攝水泥方柱與不規則柱影像以重建模 型，並從解算的 SfM 中取出焦距，與率定焦距比 較其精度，成果如表 2，兩實驗試體皆以 Canon Mark 5DII 的誤差最小。各智慧型手機中，Sony Z1 與 iPhone 5 的 RMSE 十分接近，iPhone 5 的相機鏡 頭為 Sony 製造，因此兩者的 RMSE 相近十分合 理，所有裝置的焦距誤差皆在±0.97mm 以下。

4.2 三維模型實驗

三維模型體積評估實驗中，本研究使用規則方 柱與不規則柱，兩者皆貼上 8*8 公分圖標，如圖 4 與圖 5。目的有二，使模型有長度的制約條件；因 演算法對於紋理不足的物體難以有效建立點雲，故 以圖標與水泥柱的差異強化特徵萃取。

接著分別用各組設備拍攝兩水泥柱影像以重 建模型，並估算其體積精度，成果如表3。體積估 算值與真實體積的誤差比皆以 Canon Mark 5DII 最 佳，分別為 2.11%與 2.17%。在智慧型手機中，三 款手機的誤差都十分接近。

(a)水泥方柱 (b)不規則水泥柱 圖 4 實驗之水泥柱試體

圖 5 8*8 公分之圖標

表 1 各種實驗裝置規格比較 畫素

(pixels)

解析度 (pixels) Canon

Mark5D II 2110 萬 5616 X 3744 iPhone5 800 萬 3264 X 2448 SonyZ1 2070 萬 3480 X 2160 HTCbutterfly 800 萬 3264 X 1840

表 2 Zhang 率定焦距與 SfM 焦距精度比較表

實驗裝置

Canon Mark 5DII iPhone 5 Sony Z1 HTC butterfly

表 3 水泥方柱與不規則水泥柱體積精度比較 真實體積

(排水法)

Canon Mark 5DII

iPhone 5

Sony Z1

HTC butterfly

3662.50

3585.14 3517.66 3518.20 3514.81

誤差比 2.11% 3.95% 3.94% 4.03%

不規則柱 (𝑐𝑚³)

1892.30

1933.36 1837.59 1947.76 1945.41

誤差比 2.17% 2.89% 2.93% 2.81%

圖 6 焦距 RMSE 趨勢圖

圖 7 體積誤差比趨勢圖

將焦距與體積誤差以直方圖展示，由圖 6 與圖 7 中發現 Canon Mark 5DII 焦距與體積的誤差明顯 最小，而其餘三款手機焦距與體積的誤差趨勢都很 相近。推判焦距誤差大小與體積誤差的大小似乎成 正向關係，顯示焦距精度與體積精度具有一定的關 連性。

4.3 迴歸分析與評估指標

為量化焦距誤差與體積誤差間的關係，以迴歸 分析焦距誤差對體積誤差的影響程度，本實驗採用 簡單線性迴歸建立三維模型精度評估指標，從 SfM 得到焦距並計算其誤差，就能透過該指標推估模型 的體積誤差。迴歸實驗用各拍攝裝置分別拍攝 30 組不同物體的影像重建模型並計算焦距與體積誤 差，各建立一個迴歸式。經檢定可接受後，接著忽 略影像來源裝置，將所有裝置的樣本一起套入迴歸 分析，並檢定該迴歸是否可以接受，建立最終唯一 的模型精度評估指標。

4.3.1 各拍攝裝置之迴歸分析

為了建立一個各種模型都能適用的精度評估 指標，實驗拍攝不同形狀與體積的 30 組物體，計 算焦距誤差與體積誤差，套入迴歸分析中，以下為 各拍攝裝置 30 組不同物體的焦距 RMSE 與體積誤 差的迴歸分析成果。

Canon Mark 5DII 的迴歸如圖 8，大部分模型 的焦距 RMSE 都集中在±0.4mm 以下，對應的體積 誤差在 3.00%以內。另外有 3 組的焦距 RMSE 較 大，落在±0.80mm 到±1.00mm，體積誤差則增加到 2.37%至 3.50%。迴歸中顯示焦距與體積的精度呈 現顯著的正向關係，焦距 RMSE 都落在±1.00mm 以內，模型品質整體而言穩定性很高。

iPhone 5 的迴歸如圖 9 所示，所有樣本的焦距 RMSE 都落在±0.60mm 到±1.10mm 之間，有 6 組 資料精度較高，約在±0.60mm 到±0.70mm 之間，

體積誤差約 2.75%到 3.10%左右；從迴歸圖的趨勢 推判 iPhone 5 鏡頭校正的精度大部分控制在這個 範圍之內。

Sony Z1 的迴歸如圖 10 所示，30 組資料的範 圍呈帶狀分布，焦距 RMSE 分散在±0.20mm 到

±1.40mm 之間，焦距誤差變動的幅度較大，體積誤 差大約在 2.00%與 4.20%。沒有特別集中的資料區 塊，但比較多組的資料還是散布在±0.20mm 到

±0.70mm 的範圍。

HTC butterfly 的迴歸如圖 11，資料呈帶狀的 散布且焦距精度落差很大，從±0.20mm 到±1.60mm 之間，體積誤差從 2.25%到 5.20%不等，資料分布 明顯分成三群。從圖中可以發現 HTC 的焦距精度 不穩定，有 6 組資料在±1.40mm 以上，且隨著焦距 RMSE 愈大，體積誤差似乎呈現曲線上升的趨勢。

迴歸式必須檢驗變數的解釋力及迴歸的配適 度，從統計角度檢驗迴歸模式合理性。本實驗採用 95%信賴區間的迴歸模式，表 4 為各個拍攝裝置的 迴歸統計，所有拍攝裝置的相關係數 R 皆為高度 相關。Canon Mark 5DII 的𝑅²為 0.83 最高，所有拍 攝裝置中 HTC butterfly 的𝑅²最低，從迴歸樣本分 布推判，HTC butterfly 的焦距精度落差大，對應的 體積誤差浮動也較大，整體迴歸穩定性不夠，導致 解釋力也比其他拍攝裝置略低。

除了用R²檢視迴歸的解釋力外，還從 F 值與 P 值 來 判 斷 迴 歸 的 適 用 性 。 當 統 計 量𝐹 >

臨界值𝐹_{1,𝑛−2,𝑎}時拒絕𝐻₀，反之則接受𝐻₀。所有裝

置的 F 統計量都大於𝐹_1,28,0.05= 4.2，可以拒絕𝐻₀。 各實驗裝置的 P 值皆小於 95%信賴區間的顯著水 準 P=0.05，因此也可以拒絕𝐻₀。最後檢驗迴歸係 數 t 值都大於臨界值𝑡_28,0.05= 1.707，所以拒絕𝐻₀， 表示焦距誤差對體積誤差有正向影響。

實驗證實變數之間具有高度相關性，但各拍攝 裝置焦距誤差對體積誤差的影響幅度不一，從各迴 歸線的斜率分析焦距誤差影響體積誤差的幅度，其 中以 iPhone 5 的斜率最大為 0.0217，但與其他的迴 歸斜率差異不大，就數據顯示所有的迴歸趨勢大致 相近。

圖 8 Canon Mark 5DII 30 組樣本迴歸

圖 9 iPhone 5 30 組樣本迴歸

圖 10 Sony Z1 30 組樣本迴歸

圖 11 HTC butterfly 30 組樣本迴歸

表 4 各拍攝裝置之迴歸統計表

檢定值

Canon Mark 5DII iPhone 5 Sony Z1 HTC butterfly

R 0.91 0.90 0.90 0.87 𝑅² 0.83 0.80 0.81 0.75

𝐹1,28,0.05檢定值=4.2 F 統計量 133.5354 96.39398 116.0018 81.19764

P 值=0.05(95%信賴區間) P 統計量 2.85^-12 2.1^-10 2.82^-11 1.26^-09

𝑡28,0.05檢定值=1.707 α 11.55575 10.51552 10.77041 9.010973

β 43.56237 8.822186 23.24062 15.32778 迴歸線斜率 0.0171 0.0217 0.0152 0.0155

4.3.2 模型精度評估指標建立

前一小節每個拍攝裝置的迴歸模式經檢定都 符合要求，而為了要建立一個模型的精度評估指 標，各種影像來源所重建的模型都能適用，只要將 焦距精度套入該公式就能預測模型的體積誤差範 圍。因此本節要忽略影像來源的考量，將各個拍攝 裝置實驗的模型資料一起套入迴歸分析中，以建立 唯一的精度評估指標。

四種拍攝裝置共 120 組樣本的焦距 RMSE 與 體積誤差迴歸如圖 12 所示，大部分資料的焦距 RMSE 都落在±0.10mm 到±1.20mm 之間，而體積 誤差整體而言與焦距誤差呈現正向的趨勢，但在

±0.40mm 到±1.20mm 浮動較大，有些資料的誤差 有偏大的情形。整體來看，體積誤差隨著焦距 RMSE 增加，逐漸有曲線向上攀升的現象。

120 組樣本的迴歸統計表如表 5，相關係數𝑅² 為 0.86，比原本各自拍攝裝置的解釋力更高，可見 實驗樣本數愈多，該迴歸的穩定性與解釋力愈佳。

在 95%信賴區間的水準下，F 統計量大於臨界值 𝐹1,118,00.5=3.92 ， P 值 小 於 0.05 ， t 統 計 量 大 於

𝑡 118,0.05=1.645，經多方統計檢定證實該迴歸可以接

受。

迴歸式的斜率為 0.0167，與前述四個迴歸趨勢 一致，顯示不論單一拍攝裝置或加入所有拍攝裝置 的迴歸，焦距與體積變數間的影響相近。透過此實 驗流程，分析不同影像來源、物體體積的樣本迴

歸，可成立模型精度評估指標式(8)。

Y = 0.0167X + 0.0212 ………(8)

由於焦距與體積的變數並非完全相關，其他沒 有納入探討的影響因子，則成為迴歸中的隨機誤 差。但從實驗成果可以證實焦距誤差對體積誤差有 高度影響，其他的影響因子則給定一個信賴區間範 圍。本實驗設定 95%信賴區間的水準下，120 組樣 本迴歸的信賴區間如圖 13，有 95%體積誤差的範 圍會落在紅線與綠線的區間內。

圖 12 120 組樣本迴歸

圖 13 120 組樣本迴歸之 95%信賴區間圖

表 5 120 組樣本迴歸統計表

R 𝑅² F

統計量 P 值 α之 t 統計量

β之 t 統計量

0.93 0.86 742.113 1.76^-52 27.242 47.067

4.4 模型精度評估指標驗證

得到精度評估指標後，還必須驗證指標的適用 性，因此實驗選取單眼數位相機、平板電腦與智慧 型手機三種類型的設備作為影像來源，分析迴歸式 得到的體積誤差與實際計算的體積誤差是否在信 賴區間內，以證實各種類型的拍攝裝置都適用該迴 歸公式，實驗設備規格如表 6。

實驗試體同樣為水泥方柱與不規則柱，以相同

的實驗流程算出焦距 RMSE 如表 7，無論方柱或不 規則柱都以單眼相機 Canon EOS 500D 的焦距誤差 最小，分別為±0.18mm 與±0.10mm，數據上的表現 最 佳 。 次 佳 的 是 平 板 電 腦 iPad mini ， 分 別 為

±0.75mm 與±0.52mm；較為遜色的 Samsung S2 分 別為±1.78mm 與±0.87mm。接著將焦距 RMSE 套 入指標 Y = 0.0167X + 0.0212，得到 Canon EOS 500D、iPad mini 與 Samsung S2 的方柱體積誤差分 別為 2.42%、3.38%與 5.07%，不規則柱分別為 2.28%、2.98%與 3.57%。接著將模型還原為真實尺 度，依據指標算出各個拍攝裝置的體積及區間範 圍，繪成圖 14、圖 15、圖 16，兩水泥柱的量測體 積皆落在區間範圍內，分別將量測值與指標計算的 體積誤差成果整理如表 8。

表 6 驗證的拍攝裝置規格表

類型 廠牌型號 畫素

(pixels)

解析度

(pixels)

500D 1510 萬 4752*3168 平板電腦 iPad

mini 500 萬 2592*1936 智慧型手機 Samsung S2 800 萬 3264*2448

表 7 驗證裝置率定焦距與 SfM 焦距精度比較表 焦距(mm)

Canon

EOS 500D

iPad mini

Samsung S2

方柱

SfM 平均 28.78 33.04 32.54 RMSE ±0.18 ±0.75 ±1.78 不規則柱

SfM 平均 28.69 32.72 31.63 RMSE ±0.10 ±0.52 ±0.87

圖 14 Canon EOS 500D 的信賴區間範圍

圖 15 iPad mini 的信賴區間範圍

圖 16 Samsung S2 的信賴區間範圍

表 8 精度評估公式與量測之體積誤差比較表

CanonEOS 500D iPad mini Samsung S2

方柱體積誤差 公式值 2.42% 3.38% 5.07%

量測值 2.56% 3.44% 5.47%

95%信賴區間範圍 2.23%-2.61% 3.25%-3.51% 4.68%-5.47%

不規則柱體積誤差 公式值 2.28% 2.98% 3.57%

量測值 2.25% 3.01% 3.43%

95%信賴區間範圍 2.20%-2.35% 2.85%-3.11% 3.42%-3.72%

5. 結論與建議

為評估多來源影像重建的三維模型精度，本研 究建立精度評估指標，透過焦距誤差預估模型的體 積誤差。實驗使用數位單眼相機與各款智慧型行動 裝置拍攝水泥柱試體，用 IBM 演算法快算重建模 型，以 Zhang 法率定得到的焦距視為真值，驗證 SfM 計算的焦距精度。水泥方柱與不規則柱的焦距 RSME 以 Canon Mark 5DII 的表現最佳，分別為

±0.07mm 與±0.15mm，模型體積誤差分別為 2.11%

與 2.17% ； 手 機 的 焦 距 RMSE 在 ±0.57mm 到

±0.97mm 之間，皆在±1.00mm 以內，體積誤差從 2.89%到 4.03%左右。實驗發現體積誤差比與焦距 誤差呈正向關係，證實 SfM 計算相機參數的好壞 會影響最終模型的精度。由此特性決定以焦距精度 預測體積的精度。

跳脫不同來源影像的拍攝裝置限制，四組拍攝 裝置共拍攝 120 組影像所重建的模型套入迴歸 中，顯示具有 86%的解釋力，證實焦距與體積誤差 呈高度相關性，並依此建立了 Y=0.0167X+0.0212 的迴歸公式，焦距 RMSE (X)代入指標就能預測體 積誤差(Y)的值，提供一個快速評估模型精度的方 式。

實務上大部分案例的物件無法直接量測其體 積及誤差，但又有快速評估的需要，如土石流、山 崩等災害發生後須快速計算崩塌或堆積土方量，使 用無人機或航拍影像透過 IBM 技術快速重建模 型，20 分鐘內 SfM 即能解算出相機參數，將焦距 誤差套入精度評估指標，就能先行預估模型的體積 誤差，不僅快速量化體積誤差，利用三維資訊進行 相關分析與應用；精度不符合作業要求時，也能避 免耗費模型處理的時間與成本，能更迅速掌握三維 資訊的精度，提供使用者快速評估模型品質的指 標。

參考文獻

王傳宇，趙春江，郭新宇，溫維亮，苗騰，2011。

基於數碼相機的農田景物三維重建，中國農學

通報，27(3):266-272。

紀凱程，彭千惠，史天元，2009。以非量測型相機 進行攝影建模探討，第二十八屆測量及空間資 訊研討會研討會。

趙智凡，潘偉庭，楊明德，2016。應用多視立體及 運動回復結構之三維場景重構，航測及遙測學 刊，20(2):129-137。

Douskos, V., Grammatikopoulos, L., Kalisperakis, I., Karras, G. and Petsa, E., 2009. FAUCCAL: an open source toolbox for fully automatic camera calibration. XXII CIPA Symposium on Digital Documentation, Interpretation & Presentation of Cultural Heritage.

Furukawa, Y., Curless, B., Seitz, S.M., and Szeliski, R., 2010. Towards internet-scale multi-view stereo. Computer Vision and Pattern Recognition (CVPR): 1434-1441.

Furukawa, Y. and Ponce, J., 2010. Accurate, dense, and robust multi-view stereopsis. Pattern Analysis and Machine Intelligence, 32(8):

1362-1376.

Lee, P.H., Huang, J.W., and Lin, H.Y., 2012. 3D model reconstruction based on multiple view image capture. Intelligent Signal Processing and Communications Systems (ISPACS): 58-63.

Lowe, D.G., 2004. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2): 91-110.

Rahman, M.H., Qiang, L., Pickering, M., Frater, M., Kerr, D., Bouchey, C., and Delp, E., 2012. Food volume estimation in a mobile phone based dietary assessment system. Signal Image Technology and Internet Based Systems (SITIS):

988-995.

Snavely, N., 2010. Bundler: structure from motion (SFM) for unordered image collections.

http://phototour.cs.washington.edu/bundler/.

Wu, C., 2011. VisualSFM: a visual structure from motion system. http://ccwu.me/vsfm/.

Yang, M.D., Chao, C.F., Lu, L.Y., Huang, K.S., and Chen, Y.P., 2013. Image-based 3D scene reconstruction and exploration in augmented reality. Automation in Construction, 33: 48-60.

Zhang, Z., 1999. Flexible camera calibration by viewing a plane from unknown orientations.

Computer Vision, 1: 666-673.

Zhou, K., 2010. Structure & motion, structure in pattern recognition. Vienna University of Technology, faculty of informatics, Institute of

Computer Graphics and Algorithms, Pattern Recognition and Image Processing Group.

1Master, Department of Civil Engineering, National Chung Hsing University Received Date: May 25, 2015

2 Professor, Department of Civil Engineering, National Chung Hsing University Revised Date: Jul. 27, 2016

3 Ph.D., Student, Department of Civil Engineering, National Chung Hsing University Accepted Date: Sep. 01, 2016

* Corresponding Author, E- Mail: [email protected]

Image-based modeling for multi-source images and establishing an accuracy index of reconstruction

Wei-Ting Pan¹ Ming-Der Yang^2* Chih-Fan Chao³

Abstract

Most images for Image-Based Modeling (IBM) were taken from high resolution cameras in the past. With its widespread, cameras on smart mobile devices can be one type of image sources. The aim of this study is to build up an index of reconstruction quality which can calculate the error of the volume through the focal length.

Thus, the index can estimate the accuracy of reconstructed models rapidly by multi-source images. This study uses various kinds of smartphones and a digital single lens reflex (DSLR) to take photographs of concrete specimens and to reconstruct 3D models. Focal lengths calculated by camera calibration are considered as the true value to estimate focal lengths accuracy by structure from motion (SfM) and then the volume error of the 3D models. Finally, the accuracy index of reconstructed models was established through a linear regression based on focal lengths and volume error. Owing to unknown true volume in most actual conditions, it becomes convenient to apply various mobile devices with the camera to take photographs and reconstructed models.

According to the accuracy index, the error of earthwork quantity (Y) can be estimated by focal length (X), and the result can be the basis of disaster analysis and prevention measures aprior.

Keywords: Image-Based modeling, camera calibration, linear regression