房屋模型面與空載影像之套合

Volume 14, No.4, December 2009, pp. 255-275

1國立中央大學太空及遙測研究中心 教授 收到日期:民國 99 年 03 月 29 日

2國立中央大學土木工程學系 碩士 修改日期:民國 99 年 05 月 10 日

＊通訊作者, 電話: 886-2-27821693ext.254, E-mail: [email protected] 接受日期:民國 99 年 05 月 26 日

房屋模型面與空載影像之套合

陳良健

江孟璁

摘 要

本研究利用傳統空照影像與傾斜攝影直升機影像，對現有房屋模型之牆面及屋頂面進行套合。處理 重點除幾何對位外，並偵測牆面及屋頂面之遮蔽區，且對遮蔽區域以多視角影像及影像修補技術加以補 償。牆面部分所使用之影像，是基於影像傾斜攝影概念。對欲處理之目標牆面，應以影像傾斜攝影角度 最大為優先，如此可得到影像解析度較佳之牆面影像，但相對的，牆面被其他建築物遮蔽的情況也較嚴 重；本研究的重點，即為於這些影像中，找到最佳化的組合。屋頂面部分，則以垂直攝影影像，可得解 析度較佳之屋頂面，在此以真實正射之概念進行影像套合。成果顯示於套合幾何對位上滿足視覺化之要 求。

關鍵詞：空照影像、房屋模型、遮蔽區、傾斜攝影、影像套合

1. 前言

1.1 研究背景與動機

隨著遙測領域的進步，空間資訊的展示，已從 二維進步到三維。空間資訊技術蓬勃發展之主因，

在於需求與供應符合社會發展。過去傳統的類比地 圖，已無法滿足現代人的需求；近年來，隨著電腦 技術的發展，網路化的社會需要電子化之資訊，且 對三維資訊及空間需求也日趨增加。為了滿足需求，

高效率的資料獲取工具、分析整合方法、視覺化系 統等發展便極具重要性。數碼城市(Cyber City)即為 一代表。數碼城市可以虛擬實境，於電腦環境中展 現三維空間，所需的空間資訊，就幾何觀點而言，

主要在於建置立體模型，因此這些物件在進行視覺 化模擬時，需具備細緻的紋理特性，以達到仿真的 效果。因此，正確的產生房屋屋頂面及牆面紋理資 訊，進而以紋理影像對三維房屋模型面進行套合，

即建物之紋理貼圖，達到擬真的視覺化效果，是為 一值得研究的課題。

所謂紋理，以人眼認知而言，可以其平滑、粗 糙、精細、規律等程度加以描述此紋理特性。對於 遙測影像，由於大部分地表覆蓋物皆為自然界產物，

紋理特性較不規則，紋理分析的方法以Haralick et al.(1973) 提 出 之 Grey Level Co-occurrence Matrix(GLCM)較為常見。對於航照、地面影像而 言，其拍攝範圍以建物較為常見。建物之屋頂面及 牆面，紋理特性較有規律，本研究即應用此種影像，

進行三維模型紋理貼圖。有關紋理貼圖的文獻很多，

不同的方法也各有優劣，以下小節便針對資料來源 及紋理貼圖方法加以探討。

1.1.1 資料來源

紋理貼圖所需資料來源，大致可分為三類：地 面拍攝影像(Förstner and Gülch, 1999；Laycock and Day, 2006；Tsai and Lin, 2007)、航照影像(Weinhaus and Devich, 1999；Frueh et al., 2004；Wu et al., 2007) 與上述兩種影像的結合(Frueh and Zakhor, 2003)。

地面影像由於是從街道角度拍攝，影像解析度較高，

於紋理貼圖時可得到較清晰的影像；但地面攝影較 難取得房屋屋頂的紋理資訊，此外，若欲對大範圍

區域進行處理，也會花費較多的時間與人力。資料 來源若為航照影像，則可解決地面攝影所遭遇之問 題。航照影像可輕易地獲取房屋屋頂的紋理資訊，

且對於大範圍區域的處理較為容易；但相對的，由 於拍攝距離較遠，影像解析度較差。傳統垂直攝影 航照影像，可得到較多的屋頂紋理資訊，但牆面影 像解析度則較差；使用傾斜攝影影像，可獲得較佳 之房屋牆面紋理影像，但房屋間遮蔽問題則更加嚴 重，故Wang et al.(1996)提出利用多張航照影像改 善遮蔽與陰影問題，產生最佳牆面影像的解決方 法。

為了要得到最佳牆面影像與屋頂資訊，亦可融 合地面拍攝影像與航照影像，進行房屋模型紋理貼 圖。結合兩種不同來源影像，可分別補償不同影像 的缺點，既可得到高解析度的牆面影像，亦可得到 屋頂紋理。然而，不同來源的影像，需要不同的處 理方法與機制，故此種方法，不論於資料收集，亦 或是後續處理，皆會耗費大量的人力與時間。

1.1.2 紋理貼圖方法

所謂紋理貼圖，即是將紋理材質影像，敷貼於 三維房屋模型上，達到擬真的效果。最早的紋理貼 圖方法，是以類似磚塊材質的小塊紋理，敷貼到平 面及圓柱面上(Catmull, 1975)。不同的資料來源，

有不同的處理方法。對於地面影像，以實景拍攝影 像，直接進行房屋牆面材質敷貼(Förstner and Gülch, 1999)，並利用地面攝影機可大量且連續拍攝的優 點，有效率地取得紋理影像(Chon et al., 2004；陳 正軒，2006)。傅秉綱(2002)則求解攝影站方位，以 透視原理理論，至適當影像上擷取紋理影像；此外，

亦可以車載系統，進行都市地區地面影像拍攝，完 成都市地區牆面紋理敷貼(Frueh et al., 2005)。除了 對固定房屋模型進行貼圖外，亦有研究以攝影機拍 攝移動物體(人與車輛)，擷取移動物體影像，並給 予 粗 略 模 型 ， 完 成 移 動 物 體 模 型 紋 理 敷 貼 (Neumann et al., 2004)。對於航照影像，利用量測 型相機拍攝，以透視投影方式，將真實影像套合於 平面多邊型上(Weinhaus and Devich, 1999)；然而，

為了彌補傳統垂直攝影航照影像，對於房屋牆面解

析度不足的問題，使用傾斜攝影直升機影像做為資 料來源的方法相繼提出(Frueh et al., 2004；Wu et al., 2007)。

1.2 研究目的及內容

本研究中，使用航照影像做為資料來源，進行 空載影像與房屋模型面之套合。接近垂直攝影的傳 統航照影像，雖能獲得較佳之屋頂紋理資訊，但會 面臨房屋牆面解析度不足的問題；為了使屋頂面及 牆面皆有好的影像品質。除了傳統航照影像外，本 研究亦加入了傾斜攝影的直升機影像，彌補牆面影 像解析度，使得不論是屋頂面或牆面，皆能有良好 的紋理資訊，達成仿真的目的。

本研究融合傳統航照影像與傾斜攝影直升機 影像，做為影像敷貼的主要資料來源，主要的處理 步驟有幾個部分：(1)資料前處理 (2)挑選主影像 (3) 遮 蔽 區 判 斷 (4) 遮 蔽 區 補 償 (5) 影 像 修 補 (Inpainting)。流程如圖 1 所示。使用資料為房屋模 型、具有內外方位參數的航照與直升機影像，以及 數值高程模型(Digital Elevation Model, DEM)。步驟 一的資料前處理，須先對房屋角點進行排序，以利 後續幾何判斷，並以切割影像，來達到運算效率增 加的目的。第二步驟，對欲處理的房屋，挑選其中 一張影像作為主影像，其餘影像做為副影像；接著，

以Z-buffer (Amhar et al., 1998)演算法，判斷此建物 在此主影像中是否被遮蔽，若有遮蔽區，則至其於 副影像中，擷取光譜值進行遮蔽區補償；最後，若 有建物面無法被補償，亦即不出現在副影像中，則 使用影像修補機制，讓所有房屋面皆有完整的紋理 影像。

2. 研究方法

本研究目標，為利用傳統空照影像與傾斜攝影 直升機影像，對現有之房屋模型牆面及屋頂面進行 影像套合。主要的處理步驟有幾個部分：(1)資料 前處理 (2)挑選主影像 (3)遮蔽區判斷 (4)遮蔽區 補償 (5)影像修補(Inpainting)。下述小節中將詳細 介紹每個步驟。

2.1 資料前處理

本研究使用三維房屋模型包含屋角點坐標，由 於後續幾何判斷中，需求得建物牆面法向量，故須 對屋角點進行排序。如圖2(a)所示，以逆時鐘排列 之屋角點，結構線向量u，外積一向上單位向量v， 即可得該牆面法向量N

=u×v。若屋角點為順時 鐘排序，如圖2(b)，則得到之牆面法向量為向內，

與逆時鐘排列之牆面法向量相反；為了不造成資料

混淆，故須統一資料格式為屋角點逆時針排列。排 序的方法如圖3 所示，假設此物空間之多邊形有八 個角點，對此多邊形，先找出在x、y 方向上最大、

最小的角點，如圖 3(a)之點 1、2、3、8，圖 3(b) 之點 1、2、7、8，利用此四點中之任相鄰三點，

計算其向量外積，若外積值為正，代表此多邊形為 逆時針排列(圖 3(a))；反之若為負，則為順時針排 列(圖 3(b))。

圖1 研究流程圖

(a)多邊形逆時鐘排列 (b)多邊形順時鐘排列 圖2 牆面法向量計算

(a) 多邊形逆時鐘排列 (b) 多邊形順時鐘排列 圖3 多邊形排序方法示意圖

2.2 影像選擇

在進行影像與房屋模型面套合前，對於欲處理 之建物，必須從涵蓋此房屋之所有影像中，挑選一 張主影像，做為貼圖的起始。本研究主要處理目標 為房屋牆面，屋頂面部分，則使用真實正射影像做 為模型敷貼來源；後續步驟中，皆為針對房屋牆面 進行處理，在此假設所有牆面為垂直地表。主影像 的選擇，可從幾何與輻射觀點著手。幾何觀點來說，

對目標牆面，傾斜攝影角度(偏離像底點方向的角 度)越大，所得到的牆面解析度也越好；然而，此 傾斜角度最大的影像，不同房屋間相互遮蔽的情形 也有可能最嚴重，如何於解析度與遮蔽情況間做一 最佳取捨，是為一課題。從輻射觀點來看，可分析 牆面影像的光譜資訊，找尋牆面色彩較鮮明者；亦 可分析牆面的紋理資訊，因牆面紋理具有結構性，

故可對牆面進行結構線紋理分析，以紋理特性較佳 的牆面影像做為主影像。本研究分別對幾何與輻射 觀點進行分析討論，最後選取最佳方法，完成主影 像選擇。

在進行主影像選擇前，需先進行可視面分析，

判斷物空間各點在像空間是否可視，以減少運算量。

判斷方法如圖4 所示，分別計算成像中心至物空間 點之視線向量 V 與牆面法向量 N，計算兩向量間 之夾角θ，若夾角大於 90 度，如圖 4(a)，則表示此

牆面為可視面；反之如圖4(b)，則為不可視牆面。

進行完可視面分析，便要對可視牆面，進行主 影像挑選。以幾何觀點進行討論：當傾斜攝影角度 越大，牆面解析度也越好；本研究中所指的傾斜攝 影角度，為偏離像底點方向的角度(如圖5中 θ)。圖 6中，θ2的角度大於 θ1，故影像二的牆面解析度較 影像一佳，但也由於拍攝角度較傾斜，房屋間的遮 蔽情形可能更為嚴重；考慮解析度與遮蔽問題，本 研究提出下列兩個準則。

(1)計算不同拍攝傾角下之牆面解析度，選擇 一合適的牆面解析度，以其傾斜角度做為角度門檻，

當傾斜角度通過此門檻之影像，代表具有足夠之牆 面解析度。方法為利用圖5，計算不同角度下之牆 面解析度，選擇合適的解析度，以其拍攝角度做為 門檻；圖中H 為航高，f 是焦距，θ 為掃描角(Scan Angle)，△θ 為 IFOV(Instantaneous Field of View)，

欲求取之牆面解析度為圖中r。經由此計算，可得 到表1 與圖 7。由圖、表可看出，當拍攝角度越大，

牆面解析度也越好；本實驗中，使用真實正射影像 做為屋頂面影像敷貼的主要來源，影像解析度為 15 公分，因此對於牆面，可選用解析度大約 30 公 分，亦即角度30 度，做為角度門檻，唯有通過此 門檻之影像，才保留下來，進行遮蔽區域大小之判 斷。

(a)可視牆面 (b)不可視牆面 圖4 可視面分析示意圖

圖5 牆面解析度求取示意圖

圖6 角度法示意圖

表1 攝影角度與牆面解析度之關係

角度(°) 25 30 35 40 45 50 55 60 牆面解析度(公分) 36.16 29.20 24.08 20.10 16.86 14.15 11.81 9.74

圖7 攝影角度與牆面解析度之關係 0

5 10 15 20 25 30 35 40

20 30 40 50 60 70

牆面解析度(公分)

傾斜角度(°)

(2)對目標牆面，以通過此角度門檻之影像，

進行遮蔽區判斷，選擇遮蔽範圍最少之影像，做為 主影像。判斷方法如圖8，假設欲處理之牆面為圖 中之深藍色牆面，僅處理像底點至目標牆面連線之 三角形範圍(圖 8(a))，因不在範圍內之建物，並不 會遮蔽此牆面；接著，利用共線條件式，反投影目 標牆面與在此處理範圍內之所有建物至像空間(圖 8(b))，計算相互遮蔽的大小，以對目標牆面遮蔽區 域最少之影像，做為主影像，進行光譜值擷取，其 餘影像，則做為副影像，於後續步驟中使用。利用 此判斷法，會犧牲掉牆面解析度最佳之影像，但可 找到具有一定解析度，且牆面較完整之影像。

2.3 遮蔽區判斷

對於欲處理之建物，進行完主影像之挑選後，

下一步驟即為判斷此房屋於主影像中，是否有遮蔽 的情況發生。遮蔽效應是指目標區之紋理影像，因

受到物體的阻礙，無法於影像中取得相關之紋理影 像。本研究假設地形為平坦，且只對建物進行處理，

因此僅考慮房屋自體的遮蔽，或是不同房屋間之相 互遮蔽。如何正確的找出遮蔽區域，加以標註以便 後續處理，為重要部分。

本 研 究採 用 Z-buffer 演算法(Amhar et al., 1998)。Z-buffer 演算法最早是由電腦視覺領域發展，

於1998 年首次應用於真實正射研究，並以此概念 進行遮蔽區之判斷偵測。此方法最主要概念為，距 離成像中心較近的物空間點，必會遮蔽距離成像中 心較遠的點，如圖9(a)中 A、B 兩點，A 點必會遮 蔽B 點。Z-buffer 的做法為建立一與影像大小相同 的Z-buffer 矩陣，儲存與成像中心距離最近點的集 合，接著判斷物空間各點至成像中心距離，是否大 於Z-buffer 矩陣所記錄之值，若距離較大，則視該 物空間點為遮蔽，反之亦然。

(a)處理範圍 (b)目標牆面與其他建物反投影 圖8 遮蔽範圍大小判斷示意圖

(a) Z-buffer 示意圖 (b)遮蔽判斷示意圖 圖9 遮蔽區判斷

得到遮蔽分析所產生的Z-buffer 索引矩陣後，

配合數值高程模型、數值房屋模型(Digital Building Model, DBM)，可進行遮蔽區偵測。本研究處理範 圍只限房屋區，對於房屋地面點，以DEM 內插，

得到房屋地面點的高程。接著利用共線條件式，將 物空間點反投影至像空間，得到像空間點坐標，並 比較相對應於Z-buffer 矩陣內的位置，若正在處理 的物空間點與成像中心的距離，大於Z-buffer 內儲 存的值，則代表此物空間點是被遮蔽，如圖 9(b) 中之 B 點，將此點標註為遮蔽區；反之若物空間 點的距離小於Z-buffer 內相對應值，表示此點為可 視區，擷取光譜值，填入工作影像中。

2.4 遮蔽區補償

上述步驟所得到之遮蔽區，即為影像拍攝時，

房屋本身自體遮蔽，或房屋間相互遮蔽的狀況，這 些遮蔽區，使用副影像來進行補償。在進行遮蔽區 補償時，仍需先進行可視面分析與遮蔽區偵測，與 處理主影像步驟相同，以無遮蔽區域之副影像，對 可視區域進行填補，避免錯誤發生。如圖 10，B 點在經過遮蔽區判斷後，被標註為遮蔽區，擷取副 影像之光譜值，填入此遮蔽區，進行遮蔽區補償；

若經過一次補償後，仍然有遮蔽區存在，則繼續使 用其他的副影像加以填補。然而，為了避免因副影 像牆面解析度差，造成補償效果不佳的問題，進行 補償之副影像，仍需設定2.2 節中所提到之傾斜角 度門檻。在進行完補償程序後，最終的牆面影像可 能為由不同的影像所擷取之區塊組合而成。

圖10 遮蔽區補償示意圖

2.5 影像修補

使用副影像進行遮蔽區補償後，仍然會有部分 區域，是副影像無法涵蓋到之遮蔽區，對這些遮蔽 區域，需使用影像修補(Inpainting)的技術，使整張 影像完整。在本節中所討論之遮蔽區，皆指經過副 影像補償後，仍存在之區域。Bertalmio et al. (2000) 提出對遮蔽區域，利用附近影像灰階值，逐漸疊代 進行修補，並以疊代後之灰階值做為真值，直至遮 蔽區完全被填補為止；Criminisi et al. (2004)除了以 疊代概念進行修補外，並於遮蔽區邊緣，延灰階值 變化方向上進行搜尋，尋找相似性高之區域，進而 更正確的填補遮蔽區。上述兩種方法之前提為，遮 蔽區僅限於影像內部分區塊，故可利用相同影像上 附近光譜值加以填補。然而，在本研究中，特別是 對於密集之房屋，其建物間遮蔽情形嚴重，常有影 像無法涵蓋到房屋牆面的狀況，遮蔽區域有可能為 整個牆面，因此本研究提出了以區塊為單元，進行 影像修補的方法。

本研究提出之方法，假設房屋本身的同質性很 高，也就是同一棟建物下之牆面材質十分相似，因 此，對遮蔽區域，可使用相似性高之牆面紋理影像 進行修補；此相似性高之牆面紋理，可能為相同牆 面下相鄰材質，亦或是相同房屋下相鄰牆面影像。

對房屋牆面來說，遮蔽區域可能為整個牆面皆被遮 蔽，或者是牆面部分遮蔽；對部分遮蔽來說，可分 為圖11 這幾種狀況。圖中矩形代表紋理空間中牆 面影像，紅色部分代表遮蔽區，部分遮蔽可能為牆 面的下緣、左半部、右半部或者是斜的遮蔽，斜的 遮蔽在本研究中，會找出遮蔽區在x、y 方向上之 最大、最小值，使之為矩形單元進行判斷。因此，

根據遮蔽區域的大小，主要以兩個準則來進行影像 修補：(1)整個牆面皆為遮蔽情況時，使用相同房 屋下，其他可視的牆面對遮蔽區域進行修補。(2) 部分遮蔽，則使用相同牆面的可視區域填補。

影像修補流程圖如圖12 所示，圖 13 則表示流 程圖中各步驟示意圖，矩形代表紋理空間中之牆面 影像，紅色區塊為遮蔽區。整體步驟如下：(1)對 遮蔽區域，先分別在行(Column)和列(Row)方向，

各增加一範圍，得到一遮蔽區域之環域(buffer)，如 圖13(a)，深藍色區域即表示此遮蔽區之環域範圍。

(2)判斷此遮蔽環域區域，是否為完全遮蔽，亦或 是部分遮蔽。(3)部分遮蔽的情況，繼續判斷此遮 蔽區域面積大小，是否大於整張牆面影像的百分之 五十；若遮蔽區域小於牆面大小一半，利用步驟一 所開的遮蔽區環域當作搜尋窗，於此牆面影像上之 可視區進行搜尋(圖 13(b))，以標準化互相關 (Normalized Cross Correlation, NCC)法，得到相關 係數最大的區塊，也就是相似性最高區塊，填補遮

蔽區。若遮蔽區域大於牆面的百分之五十，則使用 此影像上剩餘之可視區，直接填補遮蔽區域。如圖 13(c)中，黃色區塊為可視區，以此可視區域，對下 半部遮蔽區做補償。(4)當遮蔽環域面積等於整張 影像大小時，使用相同房屋下，與此遮蔽牆面面積 大小相等且可視的牆面，進行填補(圖 13(d))。(5) 經過上述所有步驟後，若仍存在未補償之區域，則 以此房屋其他可視牆面，對此遮蔽區進行填補，完 成影像修補程序。

圖11 部分遮蔽示意圖

圖 12 影像修補流程圖

(a)對遮蔽區開一環域 (b)部分遮蔽

(c)部分遮蔽 (d)完全遮蔽 圖13 影像修補方法示意圖

表2 影像資訊

數位相機型號 UltraCam-D 數位相機型號 Nikon D2X / Nikon D2Xs

拍攝日期

2005.08.11(航帶一) 2005.08.26(航帶二) 2005.12.23(航帶三)

拍攝日期 2008.04.07

攝影焦距 101.4 mm 攝影焦距 28 mm

航高 1900 m 航高 650 m

影像格式

11500×7500 pixels

@ 9μm

103.5mm×67.5mm

影像格式

2848×4288 pixels

@ 5.5μm 23.6mm×15.7mm 地面解析度 約16 cm 地面解析度 約13~18cm

3. 實驗成果與分析

本研究實驗測區為台北市信義區周遭約 900 公頃的矩形範圍，從此範圍內，挑出部分具有代表 性之區域進行測試，並使用傳統空照影像與傾斜攝 影直升機影像進行實驗與分析。本章節主要分為兩 個部分：(1)實驗資料介紹，(2)實驗成果與分析。

首先介紹實驗資料，包括影像、房屋模型與數值高 程模型。第二部分則分別對研究中所提出之方法所 得到的成果，進行分析討論。

3.1 實驗資料

研究使用的資料為：空照影像、三維房屋模型 與數值高程模型。空照影像使用兩組不同來源的資 料，分別為：以UltraCam-D 系統所拍攝之傳統數 位航照影像，與兩台具有1200 萬畫素影像解析力 的單眼反射式(Digital Single Lens Reflex, DLSR)數 位相機─Nikon D2X、Nikon D2Xs 拍攝之傾斜攝影 直升機影像，傾斜角度約為向前及向後30 度，影 像相關資訊如表2 所示。使用三個航帶共 14 張的 傳統航照影像，與167 張直升機影像。

在此實驗中，選用三個測試例，分別對研究中 所提出各個步驟進行分析比較。測試例一為單獨建 物，位於整體測區之邊緣，房屋形狀較為單純；測 試例二為四棟相鄰房屋，建物間相互遮蔽情形嚴重；

測試例三亦為相鄰建物，相較於測試例二，建物間 高程差異較大，遮蔽情形也相對嚴重。

3.1.1 測試例一資料簡介

測試例一為單獨建物，位於整個測區的邊緣，

房屋形狀較為單純，圖14 是包含此建物之航照影 像，圖15 則為直升機影像。

3.1.2 測試例二資料簡介

本測區為四棟相鄰的房屋，建物間相互遮蔽情 形較為嚴重，圖16 表示涵蓋此四棟建物的傳統航 照影像，圖17 則為直升機影像。

3.1.3 測試例三資料簡介

本測區為相鄰建物，房屋間高程差異較測試例 三為大，相互遮蔽情形亦為嚴重。圖18 表示涵蓋 此測區的航照影像，圖19 則為直升機影像。

(a) (b) (c) (d) (e)

(f) (g) (h) (i) 圖14 測試例一之航照影像；(a)~(e)航帶一、(f)~(i)航帶三

(a) (b) (c) (d)

(e) (f) (g) (h)

(i) (j) (k) (l)

圖15 測試例一之直升機影像；(a)~(l)直升機影像

(a) (b) (c) (d)

(e) (f) (g) (h) 圖16 測試例二航照影像；(a)~(e)航帶一、(f)~(h)航帶二

(a) (b) (c) (d) (e)

(f) (g) (h) (i) (j)

(k) (l) (m) (n) (o)

(p) (q) (r) (s) (t)

圖17 測試例二直升機影像；(a)~(t)直升機影像

(a) (b) (c) (d)

(e) (f) (g)

圖18 測試例三之航照影像；(a)~(e)航帶一、(f)~(g)航帶二

(a) (b) (c) (d) (e)

(f) (g) (h) (i) (j)

(k) (l) (m) (n) (o)

(p) (q) (r)

圖19 測試例三之直升機影像；(a)~(r)直升機影像

3.2 實驗成果

在本節中，會逐一展示討論本研究中各方法所 得到之成果；包括主影像選擇、遮蔽區判斷、利用 副影像進行補償與影像修補技術。

3.2.1 測試例一實驗成果分析

(1) 遮蔽區判斷

此測試例周圍並無明顯建物會對此房屋造成 遮蔽，再加上房屋形狀單純，故此建物之遮蔽情形，

屬於建物自體的遮蔽。根據Z-buffer 演算法索判斷 出之遮蔽區域，如圖20 所示。圖中紅色區塊，為 經遮蔽判斷後所判定之遮蔽區，其中，部分為建物

本身遮蔽，另一部分為影像無法涵蓋到之範圍。

(2) 遮蔽區補償

對遮蔽區域，利用副影像進行補償，成果如圖 21 所示。由成果顯示，部分遮蔽區域被其他副影 像所填補，餘留下來的遮蔽區，為副影像無法涵蓋 到之範圍，因此，需使用影像修補技術加以改進。

(3) 影像修補

影像修補的目的，是要補償經由副影像補償後，

仍存在之遮蔽區域。此測試例的成果如圖22 所示。

成果顯示，此房屋中所有遮蔽區皆可順利被補償。

(4) 成果展示

完成牆面與屋頂面紋理貼圖後，成果展示如圖 23 所示。

(a) (b) (c) (d)

圖20 測試例一之成果─未補償，(a)~(d)不同視角下之牆面影像

(a) (b)

(c) (d) 圖21 測試例一之成果─補償後，(a)~(d)不同視角下之牆面影像

(a) (b) (c) (d)

圖22 測試例一之成果─經影像修補，(a)~(d)不同視角下之牆面影像

(a) (b) (c) (d) 圖23 測試例一成果，(a)~(d)不同視角下之成果影像

3.2.2 測試例二實驗成果分析

(1) 主影像選擇

在此測試例中，由於房屋相鄰，很容易相互遮 蔽，故於主影像選擇上，加入遮蔽區域範圍大小判 斷，與只使用角度法，會得到不同成果，後續便對 此兩種方法進行討論。

1. 使用角度法判斷

使用傾斜拍攝角度最大之影像做為主影像選 擇的依據，是因為傾斜角度最大的影像，所獲得之 牆面解析度也最佳；利用此方法，所得到之成果為 圖 24，圖中紅色區塊代表經由 Z-buffer 演算法遮 蔽區判斷後，被判定為遮蔽之區域，黑色區塊為此 牆面正好在影像邊緣處，無光譜資訊。假設目標牆 面為圖中深藍色框線處，經由角度法所得之主影像 為圖24(b)。

由此成果可知，對於目標牆面，選擇以拍攝傾 角最大影像做為主影像，可得到解析度最佳之牆面，

但相對的，房屋間遮蔽情況也最為嚴重。

2. 加入遮蔽區域大小判斷

遮蔽區大小判斷的方法，如第二章中圖8 所示，

對目標牆面及處理範圍內的所有建物，反投影至像 平面，計算其與目標牆面是否有相互遮蔽，以遮蔽 範圍最少之影像，做為主影像。成果如圖 25。圖 25(a)中，紅色區域代表經由 Z-buffer 演算法所判斷 之遮蔽區，深藍色框線處為目標牆面，經由加入遮 蔽區大小判斷的機制後，所選擇之主影像為圖 25(b)。

比較上述兩種方法，由成果可顯示，加入遮蔽

區大小判斷後，牆面影像解析度雖會降低，但可得 到較完整的牆面影像，並減少需以副影像補償的範 圍，整體來看，其品質是提升的。

(2) 遮蔽區判斷

四棟相鄰的建物，遮蔽情形大部分為房屋間相 互遮蔽。經由研究提出方法，所得到之成果如圖 26 所示，紅色區域代表經過 Z-buffer 演算法判斷 後，所認定之遮蔽區。成果顯示，部分地方為房屋 自體遮蔽，但遮蔽最嚴重之情形，為房屋間的相互 遮蔽；這些遮蔽區，以副影像加以補償。

(3) 遮蔽區補償

經由副影像補償後之成果，如圖27 所示。成 果顯示，只有少部分地方順利被補償，大部分遮蔽 區，由其是兩建物間相互遮蔽的牆面，無法順利被 副影像補償，如圖中之(c)、(d)。原因為這些遮蔽 區域無副影像涵蓋，因此需使用影像修補技術。

(4) 影像修補

經由副影像補償後仍留下之遮蔽區，以影像修 補技術加以填補，成果如圖 28。成果顯示，幾乎 所有剩餘之遮蔽處，再經過影像修補後，皆能順利 被相同牆面、或相同房屋下之影像補償，滿足視覺 化之要求。

(5) 成果展示

完成牆面與屋頂面紋理貼圖後，成果展示如圖 29 所示。

(a)角度法之成果 (b)目標牆面之主影像 圖24 測試例二主影像選擇之成果─角度法

(a)加入遮蔽區域大小判斷之成果 (b)目標牆面之主影像 圖25 測試例二主影像選擇之成果─加入遮蔽區域大小判斷

(a) (b)

(c) (d)

圖26 測試例二之成果─未補償；(a)~(d)不同視角下之牆面影像

(a) (b)

(c) (d)

圖27 測試例二之成果─補償後；(a)~(d)不同視角下之牆面影像

(a) (b)

(c) (d)

圖28 測試例二之成果─經影像修補，(a)~(d)不同視角下之牆面影像

(a) (b)

(c)

(d)

圖29 測試例二成果；(a)~(d)不同視角下之成果影像

3.2.3 測試例三實驗成果分析

(1) 主影像選擇與遮蔽區判斷

在此測試例中，房屋相鄰，很容易相互遮蔽，

故於主影像選擇上，加入遮蔽區域範圍大小判斷，

與只使用角度法，會得到不同成果，後續便對此兩

種方法進行討論。

1. 使用角度法判斷

傾斜拍攝角度越大的影像，牆面解析力也越佳，

僅以此方法判斷，所得到的成果為圖 30，圖中紅 色區域為經由 Z-buffer 演算法判斷為遮蔽之區 域。

2. 加入遮蔽區域大小判斷

相鄰的建物，遮蔽情形較為複雜，包含房屋自 體遮蔽以及建物間相互遮蔽。經由研究提出方法，

所得到之成果如圖 31 所示，紅色區域代表經過 Z-buffer 演算法判斷後，所認定之遮蔽區。成果顯 示，部分牆面經由此方法，會選到不同的主影像；

遮蔽最嚴重之情形，仍為房屋間的相互遮蔽；這些 遮蔽區，以副影像加以補償。

(2) 遮蔽區補償

經由副影像補償後成果如圖32 所示。成果顯 示，部分地方順利被補償，大部分遮蔽區，由其是 兩建物間相互遮蔽的牆面，無法順利被副影像補償，

原因為這些遮蔽區域可能無副影像涵蓋，亦或是影 像解析度過低，並不納入補償的副影像中，因此需 使用影像修補技術。

(3) 影像修補

經由副影像補償後仍留下之遮蔽區，以影像修 補技術加以填補，成果如圖 33。成果顯示，幾乎 所有剩餘之遮蔽處，再經過影像修補後，皆能順利 被相同牆面、或相同房屋下之影像補償，滿足視覺 化之要求。

(4) 成果展示

完成牆面與屋頂面紋理貼圖後，成果如圖 34 所示。

(a) (b)

(c) (d)

圖30 測試例三主影像選擇之成果─角度法；(a)~(d)不同視角下之牆面影像

(a) (b)

(c) (d)

圖31 測試例三主影像選擇之成果─加入遮蔽區域大小判斷；(a)~(d)不同視角下之牆面影像

(a) (b)

(c) (d)

圖32 測試例三之成果─補償後；(a)~(d)不同視角下之牆面影像

(a) (b)

(c) (d)

圖33 測試例三之成果─經影像修補；(a)~(d)不同視角下之牆面影像

(a) (b)

(c) (d)

圖34 測試例三成果；(a)~(d)不同視角下之成果影像

4. 結論與展望

本研究融合傳統空照影像與傾斜攝影直升機 影像，進行三維房屋模型面與空載影像套合。對於 欲處理之目標建物，首先挑選對此建物進行敷貼之 主影像，接著判斷目標房屋在此主影像中是否被遮 蔽，若有遮蔽，則以其他視角之副影像加以補償，

最後再以影像修補技術填補的剩餘遮蔽區域。根據 本研究成果，可歸納出下列結論與展望：

1. 本研究以傳統空照影像、傾斜攝影直升機影 像、三維房屋模型，及數值高程模型，進行 房屋模型面與空載影像之套合，成果顯示，

於套合之幾何對位上，滿足視覺化之要求。

2. 本研究提出主影像選擇方法，以幾何觀點加 以進行，除了具有良好牆面影像解析度，亦 兼顧遮蔽範圍最小，於主影像選擇上，可確 實選擇品質最佳之主影像。

3. 本研究以距離做為遮蔽判斷依據，可確實偵 測出遮蔽區，並利用多張副影像加以補償。

4. 當房屋密集時，使用副影像進行補償的效果 有限，故本研究提出之影像修補方法，可確 實的填補遮蔽區域，滿足視覺化需求。

致謝

本研究感謝內政部地政司三維數位城市模型 先期建置工作計畫所提供的支持和協助。

參考文獻

陳正軒，2006，「以視訊影像進行三維房屋模型實 景紋理敷貼之研究」，碩士論文，國立中央大 學土木工程研究所。

傅秉綱，2002，「三維建物模型表面影像敷貼自動 化之研究」，碩士論文，國立成功大學測量及 空間資訊研究所。

Amhar, F., J. Josef and D. Ries, 1998. The generation of true orthophotos using a 3D building model in conjunction with a conventional DTM, International Archives of Photogrammetry and Remote Sensing, 32(4):16-22.

Bertalmio, M., G. Sapiro, V. Caselles, and C.

Ballester, 2000. Image inpainting. Proceedings of ACM SIGGRAPH, pp. 417-424.

Catmull, E.E., 1975. Computer display of curved surfaces. Proceedings of IEEE Conference on Computer Graphics, Pattern Recognition and Data Structure, pp.11-17.

Chon J., T. Fuse and E. Shimizu, 2004, Urban visualization through video mosaics based on 3-D multibaselines, International Archive of Photogrammetry and Remote Sensing, 35(B3):727–731.

Criminisi, A., P. Perez, and K. Toyama, 2004. Region Filling and object removal by exemplar-based image inpainting, IEEE Transactions on Image Processing, 13(9):1200-1212.

Förstner, W., and E. G ü lch, 1999. Automatic orientation and recognition in highly structured scenes. ISPRS Journal of Photogrammetry and Remote Sensing, 54:23-34.

Frueh, C., and A. Zakhor, 2003. Constructing 3d city models by merging aerial and ground views.

IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 23(6):

52-61.

Frueh, C., R. Sammon, and Z. Avideh, 2004.

Automated texture mapping of 3D city models with oblique aerial imagery. Proceedings of 2^nd International Symposium on 3D data processing, Visualization, and Transmission, pp. 396-403.

Frueh, C., S. Jain, and A. Zakhor, 2005. Data processing algorithms for generating textured 3D building façade meshes from laser scans and camera images. International Journal of Computer Vision, 61(2):159-184.

Haralick, R.M., K. Shanmugan, and I. Dinstein, 1973.

Texture features for image classification. IEEE Transaction on Systems, Man and Cybernetics, 3(6):610-621.

Laycock, R.G., and A. M. Day, 2006. Image registration in a coarse three-dimensional virtual environment, Computer Graphic Forum, 25(1):

69-82.

Neumann U., S. You, J. Hu, B. Jiang, and I. O. Sebe.

2004. Visualizing Reality in an Augmented Virtual Environment. Presence: Teleoperators and Virtual Environments Journal, 13(2):222-233.

Tsai, F., and H.C. Lin, 2007. Polygon-based texture mapping for cyber city 3D building models.

International Journal of Geographical Information Science, 21(9):965-981.

Wang, X., J. Lim, R.T. Collins, and A.R. Hanson, 1996. Automated texture extraction from

multiple images to support site model refinement and visualization. Proceedings of the fourth International Conference in Central Europe on Computer Graphics and Visualization, pp.

399-408.

Weinhaus, F., and R. Devich, 1999. Photogrammetric texture mapping onto planar polygons. Graphical Models and Image Processing, 61:63-83.

Wu, J., G. Zhou, F. L. Ding, and Z. Liu, 2007.

Automatic retrieval of optimal texture from aerial video for photo-realistic 3D visualization of street environment. Proceedings of the fourth International Conference on Image and Graphics, pp.943-947.

1Professor, Center for Space and Remote Sensing Research, National Central Received Date: Mar. 29, 2010 2University Center for Space and Remote Sensing Research, National Central Revised Date: May. 10, 2010 2 Master, Dept. of Civil Engineering, National Central University Accepted Date: May. 26, 2010

*.Corresponding author, Phone: 886-2-27821693 ext.254, E-mail: [email protected]

Spatial Registration between Building Facets and Aerial Images

Liang-Chien Chen

Meng-Tsung Chiang

ABSTRACT

This research registers aerial photos and oblique helicopter images onto building facades. In which, building roofs and walls are to be treated. In addition to geometric registration, the proposed method detects hidden areas for roofs and walls, then compensates them with multi-view images and inpainting techniques. The wall images that we choose are based on oblique photography. For the target wall, we should select the largest oblique angle for the prior image in order to get better resolution. However, the occlusion problem by neighboring buildings is more serious. It is the major task of this study to select the optimal combination of images. For the roof, we use the vertical photos to obtain better resolution. The essence of the step is to register the roof surface with images. The results show high fidelity in visualization.

Keywords: