都會區建築物偵測

國

立

交

通

大

學

多媒體工程研究所

碩

士

論

文

都會區建築物偵測

Detection of Building in Metropolitan Area

研 究 生：邱承縉

指導教授：林正中 副教授

都會區建築物偵測

Detection of Building in Metropolitan Area

研 究 生：邱承縉 Student：Cheng-Chin Chiu 指導教授：林正中 Advisor：Cheng-Chung Lin 國 立 交 通 大 學 多 媒 體 工 程 研 究 所 碩 士 論 文 A Thesis

Submitted to Institute of Computer Science and Engineering College of Computer Science

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Computer Science

July 2013

Hsinchu, Taiwan, Republic of China

都會區建築物偵測

學生：邱承縉 指導教授：林正中 博士 國立交通大學多媒體工程研究所碩士班

摘 要

建築物結構均不免有水平與垂直之構形，不論在遠觀都會區建築群或 個別建築進景影像中均可看到其存在。 本論文以前述之觀察為基礎，試作一自動化之都會區建築偵測系統，嘗 試切割出都會影像中可能有建築物的區塊。系統運作略分為五個階段： (1) 以特定之水平與垂直特徵偵測方法，初步定出水平與垂直分佈圖各 兩個；同一特徵的兩個分佈圖具有交錯分佈特性。 (2) 透過特定之梯度方位投票機制，改善(1)階段的四個分佈圖結果。 (3) 透過特定之交錯分佈整合機制，分別整合水平與垂直兩個分佈圖經(2) 階段強化過的兩組分佈圖。 (4) 就水平分佈圖作區塊面積排序並篩選刪除小區塊；垂直分佈圖亦作 類似處理。

(5) 透過特定之幾何篩選條件，進一步整頓(4)階段之結果；最後透過特 定之條件整合水平與垂直分佈圖，完成建築物區塊之標定。

經由測試觀察，都會建築群中部分之建築可由本系統標定出，驗證 水平與垂直特徵確為一可用之偵測指標。

Detection of Building in Metropolitan Area

Student：Cheng-Chin Chiu Advisor：Cheng-Chung Lin

Institute of Computer Science and Engineering National Chiao Tung University

ABSTRACT

Horizontal and vertical beams are essential components to modern building structures, as can be seen in many images of vast metropolitan scenes where groups of modern architectures exist.

Based on such a straight observation, a pioneering system was developed for segmenting images of vast metropolitan scenes and retrieving regions where building structures with horizontal and vertical beams may potentially exist. The process of the automated system comprises of 5 stages.

1. Two horizontal-duo maps hz-duo hereafter are generated via the use of two specifically designed horizon-bean extractors, where the pixels distribution in the hz-duo show complimentary nature in regions of interests. Likewise, two vertical-duo maps (vt-duo

2. The fair maps from (1) are further refined by a specifically conceived voting process utilizing gradient orientation in the regions under concern.

3. The hz-duo are fused as on map, by a fusing mechanism devised for the system, where regions of horizontal feature are initially located. The vt-duo are fused as one vt-fuse map in much the same way. 4. Ranking among regions in hz-fuse map is conducted according to

area sizes, from which those with top rankings are kept as candidates. The same process is applied to vt-fuse map too.

5. The remaining regions in hz-fuse and vt-fuse maps are put through some geometrical screening test such that only qualified regions survive. Surviving regions then go through a marking process by which major horizontally and vertically featured regions in the metropolitan scene are identified.

Initial experiment on a set of images shows that the use of horizontal or vertical beans as the features for detecting buildings in vast

目 錄

摘 要 ... i ABSTRACT ... iii 目 錄 ... v 圖片目錄 ... vii 簡介 ... 1 Chap 1 研究動機與相關研究 ... 3 Chap 2 處理流程 ... 9 Chap 3 3.1 影像運算子的定義 ... 10 3.2 亮暗交錯區域偵測 ... 14 3.3 梯度方向角度投票 ... 17 3.3.1 梯度方向介紹 ... 17 3.3.2 梯度方向投票 ... 19 3.3.3 角度投票結果與比較 ... 22 3.4 線狀分佈區塊擷取 ... 25 3.4.1 線狀分佈區塊擷取結果 ... 27 3.4.2 遮罩大小與線狀區塊擷取 ... 28 3.5 區塊面積排序 ... 30 3.5.1 區塊面積 ... 30 3.5.2 區塊之矩形框架 ... 32

3.6 水平、垂直幾何條件篩選 ... 34 3.6.1 幾何條件設定 ... 35 3.6.2 合併 ... 37 實驗結果 ... 39 Chap 4 4.1 影像類型與結果分析 ... 39 4.1.1 城市影像 ... 40 4.1.2 建築獨照 ... 54 4.2 實驗結果圖 ... 59 結論 ... 93 Chap 5 參考文獻 ... 96

圖片目錄

圖 1.1：實驗簡介結果圖 ... 2 圖 2.1：文獻 [11]結果圖 ... 4 圖 2.2：文獻 [12]結果圖 ... 5 圖 2.3：文獻 [13]結果圖 ... 7 圖 3.1：示意圖 ... 11 圖 3.2：森林內建築物分析過後的四種基本分類圖 ... 12 圖 3.3：森林內建築物的水平垂直合併圖 ... 13 圖 3.4：亮暗交錯區域偵測示意圖(一) ... 14 圖 3.5：亮暗交錯區域偵測示意圖(二) ... 15 圖 3.6：森林內建築物的亮暗交錯區域偵測結果圖 ... 16 圖 3.7：梯度方向示意圖 ... 17 圖 3.8：梯度方向投票基本線段示意圖 ... 20 圖 3.9：森林內建築物角度投票比較圖 ... 22 圖 3.10：森林內建築物亮暗交錯區域偵測與角度投票比較圖... 23 圖 3.11：基本線條流程示意圖 ... 24 圖 3.12：基本線條水平與垂直擷取結果 ... 25 圖 3.13：線狀分佈區塊擷取示意圖 ... 26 圖 3.14：森林內建築物線狀分佈區塊擷取結果 ... 27

圖 3.15：森林內建築物遮罩大小效應比較圖 ... 28 圖 3.16：遮罩大小影響區域相連示意圖 ... 29 圖 3.17：百貨公司水平區塊面積排序結果圖 ... 31 圖 3.18：百貨公司垂直區塊面積排序結果圖 ... 31 圖 3.19：百貨公司水平矩形框架結果圖 ... 33 圖 3.20：百貨公司垂直矩形框架結果圖 ... 33 圖 3.21：森林內建築物篩選結果 ... 36 圖 3.22：三棟白色建築物合併結果圖 ... 38 圖 4.1：城市影像(1)640*439 結果圖 ... 41 圖 4.2：城市影像(1)跳過篩選步驟 ... 42 圖 4.3：城市影像(2) 634*389 結果圖 ... 43 圖 4.4：城市影像(3) 450*315 結果圖 ... 44 圖 4.5：城市影像(4) 1027*768 結果圖 ... 45 圖 4.6：城市影像(4)跳過清除步驟 ... 46 圖 4.7：城市影像(5) 1084*685 結果圖 ... 47 圖 4.8：城市影像(6) 1087*797 結果圖 ... 48 圖 4.9：城市影像(7) 1031*740 結果圖 ... 49 圖 4.10：城市影像(7)跳過清除步驟 ... 50 圖 4.11：城市影像(8) 1070*792 結果圖 ... 51

圖 4.12：城市影像(9) 900*611 結果圖 ... 53 圖 4.13：大樓獨照(1) 1024*768 結果圖 ... 55 圖 4.14：大樓獨照(2) 768*730 結果圖 ... 56 圖 4.15：大樓獨照(3) 700*525 結果圖 ... 57 圖 4.16：大樓獨照(4) 1280*960 結果圖 ... 58 圖 4.17：實驗結果圖(1) 1088*792 ... 59 圖 4.18：實驗結果圖(2) 350*546 ... 60 圖 4.19：實驗結果圖(3) 1004*488 ... 61 圖 4.20：實驗結果圖(4) 1024*768 ... 62 圖 4.21：實驗結果圖(5) 799*557 ... 63 圖 4.22：實驗結果圖(6) 276*183 ... 64 圖 4.23：實驗結果圖(7) 1280*800 ... 65 圖 4.24：實驗結果圖(8) 790*527 ... 66 圖 4.25：實驗結果圖(9) 1024*780 ... 67 圖 4.26：實驗結果圖(10) 640*480 ... 68 圖 4.27：實驗結果圖(11) 1024*768 ... 69 圖 4.28：實驗結果圖(12) 800*600 ... 70 圖 4.29：實驗結果圖(13) 1024*768 ... 71 圖 4.30：實驗結果圖(14) 1024*768 ... 72

圖 4.31：實驗結果圖(15) 1000*750 ... 73 圖 4.32：實驗結果圖(16) 800*600 ... 74 圖 4.33：實驗結果圖(17) 720*540 ... 75 圖 4.34：實驗結果圖(18) 800*515 ... 76 圖 4.35：實驗結果圖(19) 960*600 ... 77 圖 4.36：實驗結果圖(20) 1024*768 ... 78 圖 4.37：實驗結果圖(21) 1024*768 ... 79 圖 4.38：實驗結果圖(22) 1152*864 ... 80 圖 4.39：實驗結果圖(23) 1024*640 ... 81 圖 4.40：實驗結果圖(24) 920*552 ... 82 圖 4.41：實驗結果圖(25) 800*600 ... 83 圖 4.42：實驗結果圖(26) 1024*729 ... 84 圖 4.43：實驗結果圖(27) 960*600 ... 85 圖 4.44：實驗結果圖(28) 750*540 ... 86 圖 4.45：實驗結果圖(29) 800*600 ... 87 圖 4.46：實驗結果圖(30) 900*600 ... 88 圖 4.47：實驗結果圖(31) 720*540 ... 89 圖 4.48：實驗結果圖(32) 1280*856 ... 90 圖 4.49：實驗結果圖(33) 1024*1024 ... 91

圖 4.50：實驗結果圖(34) 1440*900 ... 92 圖 5.1：模擬角度範例 ... 94 圖 5.2：文獻[10]視覺交會點範例 ... 95

簡介

Chap 1

人造景物的結構中，多數不免具有水平與垂直之結構存在。其中又以 建築物特別具有此特性，故本文擬以擷取水平、垂直特性為基礎，對建築 物影像進行偵測，試圖用此方式達到擷取建築物的主要輪廓與區域的目 標。 在影像處理中，若提到擷取輪廓直覺想法都會以邊緣探測為首要的工 具。但筆者認為目前較常被提出來使用的邊緣探測工具(例：Canny、DOG、 Laplacian 等等)本質上皆無法直接且完整的擷取出筆者想要的目標特徵。故 筆者在本文定義了些本質上為邊緣探測的影像運算子以達到期許目標，希 望能單純的針對水平、垂直的性質做直接的擷取與觀察。 上述的處理過程中，無法避免會針對產生的數據實施門檻值篩選這個 步驟。此舉雖能過濾出大多數的筆者想要擷取目標，但同時也會擷取出目 標外的區域。為了過濾這些不必要的資訊，筆者使用梯度方向為額外指標， 擬定了一套梯度方向投票系統，試圖經由此過濾達到更符合預期的效果。 之後筆者再使用上述流程所得到的資訊作進一步的整併處理，並且使 用這些結果與線狀區塊擷取的流程加以合併，得到影像中具有水平、垂直 特性等區塊。最後加入若干建築物的輪廓條件對擷取出來的區塊進行篩選， 以達到最後的結果，如圖 1.1 所示。

本論文架構如下： 第二章：研究動機與相關研究 引用其他學者的文獻，加強筆者論點或比較與探討其差異。 第三章：處理流程 敘述論文主要想法，及其實踐所需之流程、參數的擬定。 第四章：實驗結果 顯示實驗結果並且詳細探討。 第五章：結論 說明結論以及未來研究方向。 水平特性強的區塊 垂直特性強的區塊 圖 1.1：實驗簡介結果圖

研究動機與相關研究

Chap 2

規則性分布式樣偵測(detection of repetitive patterns)的研究已存在許久， 其主要目的為偵測出影像中是否存在具有規律性且重複出現的物件，例如： 馬路上重複出現的路燈、鐵絲網的交叉輪廓、佈滿基本圖形的衣料結構、 建築景物重複的窗戶或梁柱等，其中又以建築景物影像最常被提出來討論， 因此筆者在研究初期曾試圖利用規則性分布式樣偵測的手段對建築景物的 影像進行切割。 本章主要是提取些現有的規則性式樣偵測系統套用至建築景物影像上 的結果，做些觀察並點出筆者的研究動機。以下會列舉出各參考文獻的想 法加強筆者論點、並且加以比較。 許多現有的規則性分布式樣偵測系統，很多都是獨棟大樓試圖抓出內 部細節(窗戶、梁柱)為目標，其中文獻 [11] 的系統便是其中之一。此系統 的輸入影像要求非常嚴格，其規定影像為一個完整的大樓獨照，不包含任 何的干擾因素，例如天空、馬路等都不可存在於影像當中，且窗戶、梁柱 等細節明顯，故可藉由規則性式樣偵測分出樓層，再以每扇窗戶作為基礎 區分出區塊。其結果圖如次頁的圖 2.1 所示：

圖 2.1：文獻 [11]結果圖 此系統使用對稱偵測與規則性分布式樣偵測搭配運作，並且使用統計 的方式對 x、y 軸取出變化量高的區域加以畫線，以達成最後輸出。由於對 輸入影像的要求嚴格，其輸出結果可框出每一個細節，但觀察筆者手邊建 築景物影像，符合此系統輸入影像條件的影像非常稀少，為滿足此系統的 輸入影像條件必須對影像作基本的前置作業再利用此系統作進一步的切 割。

文獻 [12] 的系統是針對特徵區域的互相配對來擷取相似的區域，並在 同樣的區域上標上相同的顏色用以區別。其內容主要為擷取到的特徵區域 相互的比較，檢視是否相似，並對每個特徵區域進行投票，將最多相似的 特徵區域標記起來。其結果如圖 2.2 所示：

觀察圖 2.2：文獻 [12]結果圖 其影像輸入要求相較文獻 [11] 的系統較 不嚴格，但此系統使用投票的方式，故取出的特徵區域數目是固定的，若 影像中存在多棟建築物，則很有可能只能擷取出一兩棟建築物的特徵區域， 而忽略掉其它的建築物。又此輸入影像會受外部因素干擾其抓取結果相較 文獻 [11] 的系統較不精準。故筆者認為若能事先將影像中多棟建築物進行 切割成個別影像，再使用此系統進行特徵區域的投票，最後再進行整併或 許可以得到較好的效果。 文獻 [13] 目的和文獻 [12]相同， 但其考慮各種角度，並與三種基本 擷取重複特徵區域的方式交互地做比較(KLT、MSER、SURF)，參考水平、 垂直兩個的夾角假設 3D 的平面的法向量角度，抓出整個建築正面。再仔細 觀察此平面上的特徵點更進一步的擷取。其結果圖如次頁圖 2.3 所示：

圖 2.3：文獻 [13]結果圖

觀察圖 2.3 可發現相較於文獻 [12] 的結果精準許多，但仍然只能對影 像中其中一棟建築物進行處理；無法處理多棟建築物。且法向量計算過程 冗長，故筆者以實作出過程直觀、簡易且又有類似效果的前置作業為目標。

觀察上列文獻之影像，其輸入影像中主體建築物佔影像大部分區域，建 築物細部構造如窗框，建築物構造等細節皆很明顯，且窗戶與建築物周圍 色差對比度夠大，故能擷取規則性分布之式樣陣列之圖樣。但在大區域由 諸多建築所構成之市容照片(特別是廣域都會空照圖)這些條件並不完全具 備。故筆者另擬以其他手段先行找出都會區建築物之潛在可能區域，作為 這些系統的前置作業。試圖用本文系統抓出影像中各個建築物所構成的區 塊，嘗試是否可以擷取出細節不明顯、建築物數目較大的影像細節。

處理流程

Chap 3

本章將介紹本論文實作之都會區建築物偵測系統處理流程，筆者將會 逐一地介紹本系統中各個程序的用途、使用方式、所用參數等資訊。 都會區空照市容建築景物在影像中多數具有水平、垂直結構分佈。本 系統首先以四種影像運算子分別擷取出影像中具有水平、垂直特性且相對 較明亮或陰暗的區域。搭配上角度投票系統過濾掉雜亂區塊。接著將保留 下的資訊做區域的分類，再經由篩選與合併得到最後的輸出。系統處理流 程如下所示： 原始影像 灰階影像 水平相對亮 水平相對暗 垂直相對亮 垂直相對暗 水平相對亮 (角度一致) 水平相對暗 (角度一致) 垂直相對亮 (角度一致) 垂直相對暗 (角度一致) 具有水平特性的區域 具有垂直特性的區域 水平特性強的區域 垂直特性強的區域 最後結果 四種影像運算子 角度投票演算法 亮暗交錯區域偵測

block & area 演算法

幾何條件篩選 水平相對亮 (過濾後) 水平相對暗 (過濾後) 垂直相對亮 (過濾後) 垂直相對暗 (過濾後) 水平結構區域圖 垂直結構區域圖 水平特性強的區域 垂直特性強的區域 最後結果 角度投票 亮暗交錯區域偵測 區域取捨

3.1 影像運算子的定義

為擷取出影像中垂直和水平的部分，筆者定義四種影像運算子對灰階 影像進行迴旋積，並將其結果稱為水平、垂直特徵圖。 處理步驟與說明如下： (1) 定義四種矩陣 四種矩陣及其含意： 1. 水平相對亮： � 0 0 0 1 1 1 0 0 0� 2. 水平相對暗： � 0 0 0 −1 −1 −1 0 0 0 � 3. 垂直相對亮： � 0 1 0 0 1 0 0 1 0� 4. 垂直相對暗： � 0 −1 0 0 −1 0 0 −1 0� 上例的四種矩陣為 3*3 的陣列，可視需求擴張為 n*n。 (2) 將四種矩陣以各個矩陣的平均值對各個矩陣作偏移(offset)。 偏移範例(水平相對亮)： 平均(Avg) = 0+0+0+1+1+1+0+0+0 9 = 1 3 ⎣ ⎢ ⎢ ⎢ ⎡0 −13 0 − 1 3 0 − 1 3 1 −1₃ 1 −1₃ 1 −1₃ 0 −1₃ 0 −1₃ 0 −1_3⎦⎥ ⎥ ⎥ ⎤ = 1 3

∗

� −1 −1 −1 2 2 2 −1 −1 −1�

(3) 將灰階影像分別與四種影像運算子作迴旋積，如圖 3.1 所示。 紅色區塊因符合條件：得到一個較大的正值(數值為 41 3 )。 藍色區塊因不符合條件：得到一個較小的負值(數值為 −58 3 )。 ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡0 2 0 0 0 0 0_{3 10 9 0 0 7 0} 0 1 0 0 9 0 0 0 0 0 0 0 0 0 0 5 0 0 20 9 7 0 0 0 0 0 3 0 0 0 0 0 17 2 9⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎡−13 −1 3 −1 3 2 3 2 3 2 3 −1 3 −1 3 −1 3 ⎦ ⎥ ⎥ ⎥ ⎤ （a）原始影像灰階值 （b）影像運算子 (水平相對亮) 圖 3.1：示意圖 (4) 針對迴旋積結果進行門檻值篩選後，得到四個邏輯矩陣作為結果。 其中實作系統使用的門檻值為平均值加上一個標準差。 其中運算子陣列大小可自由調整，若使用較大的陣列可將有效範圍擴 大，但得到的結果會較模糊。實作系統中此階段的遮罩大小為 7*7 的陣列。 測試影像中之水平、垂直擷取結果如次頁的圖 3.2 所示：

1.原圖 RGB 2.原圖 Grey

3.水平相對亮 4.水平相對暗

5.垂直相對亮 6.垂直相對暗

仔細觀察可以發現不管是水平或是垂直部分的相對暗與相對亮都會有 交錯出現的情況發生，為觀察方便，筆者在此把兩張圖合併成一張加以著 色區分部位，如圖 3.3 所示： 1.水平特徵分佈(綠色代表相對亮、紅色代表相對暗) 2.垂直特徵分佈(黃色代表相對亮、藍色代表相對暗) 圖 3.3：森林內建築物的水平垂直合併圖

3.2 亮暗交錯區域偵測

承繼 3.1 所得到的水平、垂直部分的相對暗與相對亮會有交錯出現的情 況發生的結果。為偵測此交錯區域並且合併成完整區塊，筆者實作一個稱 為亮暗交錯區域偵測的處理流程將出現的交錯區域合併。 圖 3.4 為簡易的示意圖，可得如下觀察： 1. (a)陣列為水平相對亮的影像局部，以下簡稱 A 矩陣 2. (b)陣列為水平相對暗的影像局部，以下簡稱 B 矩陣。 3. 紅色區域內兩矩陣有交錯性質。 4. 藍色區域內兩矩陣是完全相同的內容。 此流程的想法為先將 A、B 矩陣內數值為 0 的更動為 -1，再將 B 矩陣 乘以-1，如此改動後再將 A、B 矩陣內各相對應的像素相乘，就會有類似 XOR 的結果。(若原來 A、B 矩陣內相對應的數相同，得到的數字越小；若 原來 A、B 矩陣內相對應的數相異，得到的數字越大)。最後使用一個偵測 罩加總此數字得到最後結果。 ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡1 1 1 0 0 0 0_{0 0 0 0 1 0 0} 1 1 1 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 1 0 0 0 0 0 0 0 0 0 1 1 1⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡0 0 0 0 1 0 0_{1 1 1 0 0 0 1} 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 1 1⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ (a)水平相對亮(A 矩陣) (b)水平相對暗(B 矩陣) 圖 3.4：亮暗交錯區域偵測示意圖(一)

處理步驟與說明如下： (1) 首先我們先將 A、B 陣列內的值加以更動。其更動方式如下： A( i , j )= � 1; if A( i , j ) = 1 −1; if A( i , j ) = 0 B( i , j )= �−1; if B( i , j ) = 11; if B( i , j ) = 0 其更動結果如圖 3.5 所示： (2) 求出 A、B 為遮罩所覆蓋部分之平均值。 (3) 求出遮罩內各相對應的像素分別減去遮罩區域平均值的乘積。 例：圖 3.5 紅色的區塊中[1,1]的值的作法為(1 - 1 3) * (1 - 1 3)。 圖 3.5 藍色的區塊中[7,7]的值的作法為(1 - 1 3) * ( -1 - −1 3)。 (4) 累加在此遮罩內所有步驟(3)所得結果。 (5) 對步驟(4)所得陣列作門檻值篩選(threshold)。 此流程直觀的想法為：在遮罩內的兩個矩陣相對應像素若有互補性， 便會產生正值累加；若為同質性分佈，則會產生負值累加。因此得到的數 值越大，代表 A、B 在此遮罩所覆蓋範圍具有 0/1 互補特性的像素越多。 圖 3.5：亮暗交錯區域偵測示意圖(二) ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡_{−1 −1 −1 −1}1 1 1 −1 −1 −1 −1_{1 −1 −1} 1 1 1 −1 −1 1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 1 −1 1 1 1 −1 1 −1 −1 −1 −1 −1 −1 −1 −1 −1 1 1 1 ⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡_{−1 −1 −1}1 1 1 1₁ −1₁ 1_{1 −1}1 1 1 1 1 −1 1 1 1 1 1 1 1 1 1 1 1 1 −1 −1 −1 −1 1 1 1 1 1 1 1 1 1 1 1 −1 −1 −1⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ (a)相對亮更動後 (b)相對暗更動後

圖 3.6 所示為亮暗交錯區域偵測處理後之結果，可以觀察出符合水平、 垂直的物體的輪廓完整保留。但無法使用這資訊對影像做直接的切割，因 為主體與非主體之間仍有不必要之聯結，為改良此細節必須做更進一步的 過濾。 1.水平作亮暗交錯區域偵測結果 2.垂直作亮暗交錯區域偵測結果 圖 3.6：森林內建築物的亮暗交錯區域偵測結果圖

3.3 梯度方向角度投票

承繼 3.2 為了達到較好的切割結果，必須在進行亮暗交錯區域偵測之前 對影像作更進一步的過濾，取得較為理想的水平與垂直特徵圖。系統中此 階段之處理稱為角度投票，主要利用梯度向量之方位資訊作為過濾依據。 其中梯度向量計算如 3.3.1 所述。3.3.2 至 3.3.3 則說明此流程參數擬定與其 他細節，並進行觀察與比較。 3.3.1 梯度方向介紹 有關梯度向量的計算方法，本系統採用的是 3*3 的 Sobel Mask，在此 引用參考文獻 [1] [7] [8] 的做法，以影像灰階亮度變化值作為梯度方向的 參考值(其中方向為暗→亮)，示意圖為圖 3.7 所示： 圖 3.7：梯度方向示意圖

根據文獻 [1]、[7]、[8]的定義，其中 L≡L(x,y)為影像中(x, y)座標的亮

度值，g_x、g_y分別為 x 和 y 方向的亮度值變化量，可以利用 prewitt mask 或

sobel mask 與灰階影像的亮度值作迴旋積求得。本論文的實驗皆是採用 sobel

mask。在完成g_x和g_y的計算後，影像中像素座標(x, y)的對比差大小為 |∇L| = �g2x + gy2，相位角方向θ = tan−1 g_gy_x，並利用gx和gy的正負值將轉換 成 0~360 度的範圍。其中，g_x和g_y的相關定義如下： 將灰階影像分別以 h1 及 h2 做迴旋積，可以依序得到 Gx 跟 Gy這兩個 分 別 代 表 兩 個 軸 方 向 對 比 差 的 矩 陣 ： 對 每 個 i,j ， 使 得 gx=Gx( ji, )及 ) , ( ji Gy gy = ，0≤ i <影像高度且0≤ j <影像寬度，相關公式如下： ∇L ≡ grad(L) ≡ �g_gyx� ≡ ⎣ ⎢ ⎢ ⎡∂L ∂x ∂L ∂y⎦⎥ ⎥ ⎤ 𝐠𝐲 = 𝐆𝐲( 𝐢 , 𝐣 ) = � � 𝐡𝐡(𝐢 + 𝐩, 𝐣 + 𝐤)．𝐋(𝐢 + 𝐩, 𝐣 + 𝐤) 𝐧 𝟐 𝐤=−𝐧𝟐 𝐧 𝟐 𝐩=−𝐧𝟐 𝐠𝐱 = 𝐆𝐱( 𝐢 , 𝐣 ) = � � 𝐡𝟐(𝐢 + 𝐩, 𝐣 + 𝐤)．𝐋(𝐢 + 𝐩, 𝐣 + 𝐤) 𝐧 𝟐 𝐤=−𝐧𝟐 𝐧 𝟐 𝐩=−𝐧𝟐 h1 = � 10 10 10 −1 −1 −1� h1 = � 1 2 1 0 0 0 −1 −2 −1� h2 = �−1 0 1 −1 0 1 −1 0 1 � h2 = � −1 0 1 −2 0 2 −1 0 1 �

3.3.2 梯度方向投票 考慮一張影像只有黑白兩色，其中黑色的灰階值為 0 ；白色的灰階值 為 255。在任一像素之梯度方向乃由該像素與周圍亮度差距最大之方向(由 暗→亮)，角度定義為 1~360 度。若此影像存在一條足夠長的黑線，單純對 此線的周圍的梯度方向角度進行投票。票數最多的角度必定為與此線垂直 的兩個角度設為θ1與 θ2，其中θ1與θ2有以下特點： 1. θ1、θ2得票數一致 2. │θ1 - θ2│= 180 3. θ1、θ2必有一角度小於等於 180 度；必有一角度大於 180 度 由上述特點可將θ1、θ2此兩角度視為代表原線段之分類指標。 處理步驟與說明如下： (1) 將水平、垂直特徵圖之值由 0 與 1 改為 0 與 255。 (2) 就(1)所得的矩陣求出各個像素的梯度角度。 (3) 影像中每個像素對 1~180 度的角度進行投票。 (若像素的梯度角度 θ>180 度 則投票給 θ-180 度) (4) 取出得票數最多的角度，稱為方位角。 (5) 標記所有與方位角同向之像素。

留下來的箭頭：投票數最多的兩個方向 虛線框出範圍：最後結果

如圖 3.8 所示，紅色的部分角度為 180 度和 360 度。因為 360>180，故 360 度也投票給 180 度。然而最後取出的像素只有標記角度等於 180 度的像 素。 仔細觀察後，發現這些被標記的像素和原線段十分相近但仍存有些許差 異，差異如下： 1. 相較原線段長度稍微短一些。 2. 位置稍有偏移(往方位角方向略微平移)。 雖有以上差異，但這些被標記的像素資訊仍是足以表達原線段。但由於 角度投票目的為對水平、垂直特徵圖進行過濾，我們必須保證水平(垂直) 相對亮、相對暗的偏移角度與偏移距離仍保持一致，以免原本交錯的區域 由於偏移不一致的緣故而失去交錯的性質。 事實上相對暗、相對亮這兩張圖只是使用不同的方式框出主體之輪廓， 換句話說他們的線條角度大致呈現一致，所以投票出來的線條角度也呈現 一致的結果。所以只要固定取小於等於 180 度的角度區域，或固定取大於 180 度的角度區域，就可以保證偏移方向一致。故不會有交錯區域因偏移而 破壞交錯分佈的情況發生。故系統實作中在此才會定義只取方位角小於等 於 180 度範圍之像素，進行後續處理。

3.3.3 角度投票結果與比較 此小節主要為使用 3.3.2 的流程過濾水平、垂直特徵圖，並加以比較。 其結果如圖 3.9 所示。同 3.1 為了方便觀察，將相對暗、相對亮兩張合併為 一張圖並繪上相異顏色加以區隔。 1.水平特徵結果(角度投票前) 2.水平特徵結果(角度投票後) 3.垂直特徵結果(角度投票前) 4.垂直特徵結果(角度投票後) 圖 3.9：森林內建築物角度投票比較圖

由圖 3.9 可以發現角度投票流程成功地將較為重要的像素過濾出來，且 產生的效果如同預期：每條線段稍微變短但是主體輪廓仍然完整保留，偏 移量不大，且相對暗、相對亮偏移角度一致；尤其是諸如樹林區域…等較 為雜亂之水平與垂直特徵處因獲得大幅改善而消失。下一步驟為把角度投 票結果進行亮暗交錯區域偵測處理。其結果如圖 3.10 所示： 1.水平亮暗交錯區域偵測 (角度投票前) 2.水平亮暗交錯區域偵測 (角度投票後) 3.垂直亮暗交錯區域偵測 (角度投票前) 4.垂直亮暗交錯區域偵測 (角度投票後) 圖 3.10：森林內建築物亮暗交錯區域偵測與角度投票比較圖

觀察圖 3.10 執行角度投票流程後的亮暗交錯區域偵測的結果，刪除很 多不必要的雜碎區域，並且大幅減少相異的物體因為相鄰而相連的現象。 這些優點對於後續處理帶來很大的助益。 圖 3.11 為利用垂直水平與不規則等基本線條說明特徵擷取、角度投票、 亮暗交錯偵測等處理結果示意圖。觀察圖 3.11 若沒有進行角度投票流程， 位於圖片右下角的散亂線條經亮暗交錯區域偵測後會被保留，若此區塊無 法消去則會造成接下來的流程誤將此散亂區塊歸為有垂直(水平)性質。 1.水平特徵圖 2.水平角度投票 3.水平亮暗交錯區域偵測 4.垂直特徵圖 5.垂直角度投票 6.垂直亮暗交錯區域偵測 圖 3.11：基本線條流程示意圖

3.4 線狀分佈區塊擷取

成功獲取水平特徵分佈狀況後，鄰近的水平線狀分佈實則代表含有水平 結構之區塊，該區塊很可能與原影像中之某一棟建築物相呼應，如圖 3.12.1 所示，故有加以整合之必要，而鄰近無水平特徵存在的雜亂細微之水平特 徵則應考慮刪除。本小節將介紹可將若干相鄰水平特徵線狀分布整合為一 區塊並刪除零碎細小分布的處理方法，垂直特徵分布之整合亦然。本流程 想法與觀念引用自文獻 [9]，以下稱為線狀區塊擷取流程。 (其中紅色區域代表有水平性質；藍色區域代表有垂直性質) 1.水平線狀分佈區塊擷取結果圖 2.垂直線狀分佈區塊擷取結果圖 3.水平與垂直線狀分佈區塊擷取結果圖 圖 3.12：基本線條水平與垂直擷取結果

處理步驟與說明如下： (1) 先將待處理的矩陣全部轉變成 0 與 1 的邏輯矩陣。 (2) 將此邏輯矩陣與一個 n*n 全 1 遮罩進行迴旋積。 (3) 觀察執行完迴旋積之後所得到的，矩陣中數值較大的部分，即為周 圍 1 的個數較多的部分。 (4) 取門檻值篩選(threshold)。 ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡1 1 1 0 0 0 0_{1 1 1 0 0 0 0} 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ �1 1 11 1 1 1 1 1� 1.待處理的矩陣 2. 3*3 全 1 矩陣 圖 3.13：線狀分佈區塊擷取示意圖

3.4.1 線狀分佈區塊擷取結果 圖 3.14 為線狀分佈區塊擷取流程處理後之結果。左圖為做完 3.1 至 3.3 所有流程之結果，中圖為線狀分佈區塊偵測流程進行門檻值篩選之結果， 右圖是為方便讓讀者觀察此流程擷取出之區塊內容，將擷取區塊(像素值為 1)所對應之原圖灰階影像加以顯示；像素值為 0 顯示為白色。 交錯區域偵測結果(水平) 線狀分佈區塊擷取 (水平) 選取的區塊與灰階(水平) 交錯區域偵測結果(垂直) 線狀分佈區塊擷取 (垂直) 選取的區塊與灰階(垂直) 圖 3.14：森林內建築物線狀分佈區塊擷取結果

3.4.2 遮罩大小與線狀區塊擷取 遮罩大小對於區塊擷取影響很大，其影響內容如下： 1. 若遮罩太小，會將物體切的零碎 例如：將大樓切成一塊一塊的窗戶、磁磚。 2. 若遮罩太大，會將兩個不同的物體，設成同一區塊。 例如：將多棟大樓設成一個區塊。 茲以圖 3.15 說明如下： 左圖為使用 7*7 遮罩之區塊擷取垂直物體擷取結果圖 右圖為使用 15*15 遮罩之區塊擷取垂直物體擷取結果圖 (影像中加框的部分便是擷取結果。) 遮罩大小 7*7 遮罩大小 15*15 圖 3.15：森林內建築物遮罩大小效應比較圖

觀察圖 3.15 可以發現當遮罩大小為 15*15 的時候，可以成功地的擷取 一整棟建築物；但當遮罩大小為 7*7 時，會將建築物區分為很多個區塊。 雖然取出的這些區塊全部拼湊起來也符合我們想要獲取的部分，但如何選 用正確的區塊進行合併又是一個難題。造成此差異的原因如下： 觀察圖 3.16，其中圖片結構為： 中間圓點：目前正在觀察之像素 兩旁黑粗線條：待觀察像素附近存在的線狀分佈 兩個虛線框框：分別為大小遮罩包含的範圍 可以發現若使用小的遮罩其包含的範圍並不包含任何線段交集的像素。 所以得到的數值必為 0；必定無法通過門檻篩選；又其上下的像素也和此待 觀察的像素情況相同，全部無法通過門檻篩選，所以這些像素會形成一條 空白的結果而切斷左邊線段區域和右邊線段區域。若使用大的遮罩便不會 有此情況發生，但如果左邊的線段區域和右邊的線段區域並不應該被視為 相同的區域的話，使用大的遮罩便會誤將此兩區域誤分為同一區域。故需 慎選遮罩大小以達到最符合預期的結果。 圖 3.16：遮罩大小影響區域相連示意圖

3.5 區塊面積排序

由 3.4 的流程所擷取出之結果會將影像轉成一個邏輯陣列(非 0 及 1)，其 中像素值等於 1，代表影像中具有水平(垂直)的特性。故若存在兩個像素相 鄰且其值皆等於 1，則此兩像素在原影像很有可能存在於同一棟建築物中。 故本小節試圖將此邏輯陣列中所有相鄰且值等於 1 的像素進行歸類，判斷 成同一區域，依照此區域的面積大小進行排序，並且依序分割出來。 3.5.1 區塊面積 處理步驟與說明如下： (1) 對線狀分佈區域擷取得出的邏輯陣列用類似 BFS 的方式掃過所有 與掃描中心相連的像素，並且紀錄有其中共有多少個像素作為此區 域的面積。 (2) 對所有區域的面積進行排序。 (3) 取出前面幾個面積較大的區域，分別建立僅含單一區域之矩陣。 例：若要取出 8 個區域就產生 8 個矩陣，此 8 個矩陣大小都和原圖 相同。矩陣內容如下： 第一個矩陣值 = �1, 若此像素所在區域面積大小 = 最大面積 0, 若此像素所在區域面積大小 ≠ 最大面積 第二個矩陣值 = �1, 若此像素所在區域面積大小 = 次大面積 0, 若此像素所在區域面積大小 ≠ 次大面積 依此類推… 其結果如圖 3.17、圖 3.18 所示：

1.原圖 2.水平取四個區域的結果圖 第一區域 第二區域 第三區域 第四區域 圖 3.17：百貨公司水平區塊面積排序結果圖 1.原圖 2.垂直取四個區域的結果圖 第一區域 第二區域 第三區域 第四區域 圖 3.18：百貨公司垂直區塊面積排序結果圖

3.5.2 區塊之矩形框架 由 3.5.1 的流程所擷取出之區塊外觀，基本上並無規則之幾何形狀。然 而本文主要是針對水平、垂直的分佈進行探討，故筆者使用矩形外框來含 括各個線狀分佈區塊，此作法較適合觀察且視覺觀感亦佳。若想要實作出 其他的角度性質的區塊擷取，例如：45 度、75 度等…則可依照角度的特性 取用其他較適合的框架以利觀察。 處理步驟與說明如下： 對每個含前列面積排名之區域的矩陣進行以下運算： (1) 分別求出每個區塊中 i、j 方向的極值(最大、最小值)。 (2) 求出區塊中心( i , j ) = (𝑖𝑚𝑚𝑚 + 𝑖𝑚𝑚𝑚 2 , 𝑗_𝑚𝑚𝑚 + 𝑗_𝑚𝑚𝑚 2 )。 (3) 求出此區塊長寬：長 = 𝑖𝑚𝑚𝑚−𝑖𝑚𝑚𝑚 2 ； 寬 = 𝑗_𝑚𝑚𝑚−𝑗_𝑚𝑚𝑚 2 。 (4) 依照(2)、(3)所得之矩形資訊作出一個實心矩形的區塊。 矩形框架所代表的區域，只適用於最後觀察。若要作其他判斷或運算， 應以實際區塊面積作為標準，因矩形框架一定會比實際面積大一些，而這 些多出來的像素並不一定擁有足夠強的水平、垂直性質，若貿然使用框架 面積作為判斷標準，可能得到不符合預期之結果。矩形框架結果如圖 3.19、 圖 3.20 所示：

1.原圖 2.水平取四個區域的結果圖 第一區域 第二區域 第三區域 第四區域 圖 3.19：百貨公司水平矩形框架結果圖 1.原圖 2.垂直取四個區域的結果圖 第一區域 第二區域 第三區域 第四區域 圖 3.20：百貨公司垂直矩形框架結果圖

3.6 水平、垂直幾何條件篩選

經由 3.1~3.5 的流程所擷取出之區塊，代表著原圖中水平(垂直)特徵強 度較大之區域。為了將其整併成本系統想擷取之城市大樓、建築物輪廓， 我們必須進一步的判斷並加以取捨，因單以水平(垂直)特徵強度夠這一點不 足以判斷其即為建築物。然而篩選的條件常因影像條件而異，也無法保證 特定之條件設定可適用於每一張影像。筆者試作許多張影像的測試，加入 自己的主觀意識，據以設定為系統之判斷條件。若想要用此系統處理別種 類型之影像，可以自行設計其他更適當的篩選條件，以達到符合預期的效 果。 在本文的篩選條件中，主要分為兩步驟： 1. 清除水平、垂直擷取後不符合特定幾何條件的區域。 2. 合併水平、垂直區域成為最後的擷取內容。 本節內容如下： 3.6.1 介紹特定幾何條件之考慮因素，並顯示出實作結果。 3.6.2 說明得到筆者所認定的水平、垂直區塊，此兩區塊之間重疊的部 分如何作取舍、合併，並且顯示最後結果。

3.6.1 幾何條件設定 在水平的區域中，若我們擷取到的區域為寬度太寬，卻沒什麼高度的矩 形區塊。這個區塊很有可能只是建築物其中的一條橫梁，或是城市中的馬 路、河流。所以筆者在對水平區塊作篩選時，會考慮其長寬比率，若比率 不符合則刪除此區塊。 而在垂直的區域中不會擷取出馬路、河流等物件，因為此兩種物件的垂 直性質相較於旁邊的建築物會少很多。所以不需使用長寬的比率作為判斷 條件，而是專注於區塊中寬度不夠的區域之刪除。因為寬度不足的垂直區 塊很有可能只是擷取到一盞路燈、或是直條狀的物體邊緣。 刪除不符合幾何條件要求之區塊後，會發現影像中夠大的建築物數目， 不一定和我們在面積計算流程所要求的區塊個數相符；且有時候建築物由 於水平(垂直)強度不夠，造成系統誤將此建築物拆成為零散小區塊。當夠大 的區塊不足時，系統會開始擷取較細小的區塊，這是筆者不願見到之情況， 所以必須再針對這些細小的區塊加以刪除，已達成符合預期的效果。

圖 3.21 為幾何條件篩選執行結果，在水平的結果中並沒有任何預期的 結果，擷取到的區塊都為長寬比率不符合或面積過小的區塊，所以全部的 區域都被刪除。垂直的結果中大樓的主體被保留下來，周圍的細碎區域(路 燈、車子、小房子邊緣)則被刪除。 1.水平結果圖 2.水平結果圖(篩選後) 3.垂直結果圖 3.垂直結果圖(篩選後) 圖 3.21：森林內建築物篩選結果

3.6.2 合併 作完上述流程以後，筆者希望把垂直、水平的兩個結果合併，直接框取 出原圖中符合建築物輪廓的最後區域。在框取的過程中若有區塊同時被水 平的結果和垂直的結果所標記，則此區塊之取捨就值得探討，因為筆者不 想使用兩個區塊來表達一個建築物，這會顯得結果雜亂且無意義。但假設 兩棟建築物分別被垂直、水平選取，且重疊的區域不大則必須保留兩個區 域。 處理步驟與說明如下： (1) 對每個垂直區域，找尋是否有水平區域被此垂直區域包含(交集面積 遠大於沒交集的面積)，若有則刪除此水平區域。 (2) 對每個水平區域，找尋是否有垂直區域被此水平區域包含(交集面積 遠大於沒交集的面積)，若有則刪除此垂直區域。 (3) 聯集所有垂直區域，找尋是否有水平區域被此區域包含(交集面積遠 大於沒交集的面積) ，若有則刪除此垂直區域。 (4) 聯集所有水平區域，找尋是否有垂直區域被此區域包含(交集面積遠 大於沒交集的面積) ，若有則刪除此垂直區域。 本流程中，區域的判斷為使用實際面積，若使用框架面積則會刪除許多 應被保留的區域。

圖 3.22 為篩選的結果圖，為了方便觀察筆者在此將水平、垂直的兩個 結果合併(其中紅色代表水平；藍色代表垂直)。觀察後發現若直接合併會有 許多的雜亂區塊(如左上圖所示)。經由幾何條件篩選消去不必要的區塊後改 善許多(如右上圖所示)，觀察中間偏左下方存在兩區塊有很大的交集，經由 合併條件判斷後，紅色區塊被捨棄。而右上方的兩個區塊也有交集，但是 藉由右下圖可以發現此兩區塊實際面積並無交集，故此兩區塊完整被保 留。 1.區塊擷取結果圖 2. 區塊擷取結果圖(篩選後) 3.合併結果圖(矩形框架) 4.合併結果圖(實際面積) 圖 3.22：三棟白色建築物合併結果圖

實驗結果

Chap 4

本章將影像分以下成兩大類進行分析： I. 城市影像：影像中有許多的建築物，試圖用此系統擷取出各個建築 物。 II. 大樓獨照：影像中存在獨棟建築物，試圖用此系統擷取主要輪廓， 並且討論擷取的物件，並就擷取結果加以討論。 本章的實驗結果都會附上五張圖，包含： 1. 水平結構區域圖：顯示所有具有水平結構的區域。 2. 垂直結構區域圖：顯示所有具有垂直結構的區域。 3. 水平結構篩選後：進行完幾何條件篩選流程之水平結構區域。 4. 垂直結構篩選後：進行完幾何條件篩選流程之垂直結構區域。 5. 最後結果圖：合併後得到的最後區域。

4.1 影像類型與結果分析

本節會把影像分成上述兩大類，根據各類別的影像特色進行分析，並 放上實驗結果，最後再依據實驗結果加以討論。

4.1.1 城市影像 本系統所處理之城市影像可分為以下三類： 1. 白天、夜景：夜景的圖例中，因沒有陽光照耀，大樓的灰階變化相 較於白天少很多。因此造成系統的處理上的困難。又夜晚的燈光效 果造成大樓窗戶會有以燈光為中心畫一個圓向外暈開的效果，這效 果會造成角度投票的困難。因此夜景圖的處理上較為困難。 2. 仰照、空照：仰照為人持照相機所拍的圖片，由於相機角度因素， 拍到的建築物相較於空照一定較少。若影像中存在較少的建築物， 獲得理想結果的可能性就相對高。而空照的圖例中，因為建築物數 目多，建築物的細節不明顯，造成系統無法順利的處理。因此空照 圖的處理上較為困難。 3. 角度一致、角度散亂：影像中並非所有建築物都會規律地並排。又 建築物本身也有自身的角度、方向。但由於本系統處理過程有使用 到角度投票的機制，所以角度散亂的圖在擷取上較為困難。 城市影像中上述三種狀態造成的不良效果都有可能出現，以下便針對各 種圖例作進一步的討論。

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

觀察圖 4.1：這張影像沒有不良因素干擾，白天、建築物數目少、角度 一致且主體面積大且變化明顯。因此建築物的切割以及各階段處理的效果 非常合乎筆者期許。 其中中間偏右邊有一棟黑色建築物，由於此建築物灰階變化量不足，且 沒有明顯的垂直水平條件，本系統無法順利地擷取。 值得加以討論為之處左方正中間的那棟具有水平橫條的建築物。此建築 物結構明顯，符合水平的特性。但由於它的長寬的比率不符合篩選標準(建 築物寬度太寬且高度不夠)。正常這種類型的水平區塊很有可能為馬路、河 流，因此這個區域被刪除了。若不進行幾何條件篩選流程可得到圖 4.2 的結 果。其中雖然有些垂直雜亂的區塊無法刪除，但左邊的建築物因此改動而 為系統所捕獲。 圖 4.2：城市影像(1)跳過篩選步驟

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.3：城市影像(2) 634*389 結果圖 觀察圖 4.3：這張影像的不良因素為建築物數目較多且偏於細小；水平、 垂直的特徵較不易處理。水平特徵會被海平面影響，誤將一些不相關區域 合併在一起，但可觀察垂直方向的結果圖，此影像角度一致、垂直輪廓明 顯。因此得到的效果符合筆者預期。

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.4：城市影像(3) 450*315 結果圖 觀察圖 4.4：這張影像的不良因素為夜景。但由於建築物數目少，且輪 廓、細節明顯，最後的結果符合筆者預期。

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

觀察圖 4.5：這張影像的不良因素為夜景、建築物較多且大小不一致。 但憑藉著兩棟建築物之間的空隙夠寬，最後結果圖終究可捕獲出一些強度 夠的建築物。 其中影像正中央的兩棟建築物，由於夜景燈光的影響，造成窗戶之間不 規則的間隙，使得此系統將此區域切成眾多區塊，無法順利地擷取出完整 的輪廓。 其中左右兩側，各有一棟建築物，由於面積大小與其他建築物相差過大， 在幾何條件篩選的流程時，被判定為雜亂區塊因此被刪除了，若不使用幾 何條件篩選的流程，可得到圖 4.6 的結果。雖然仍有許多區域因為燈光因素 導致無法成功抓去，但此兩棟建築物因此改動成功的捕獲。 圖 4.6：城市影像(4)跳過清除步驟

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.7：城市影像(5) 1084*685 結果圖 觀察圖 4.7：這張影像的不良因素為建築物較多、陰影遮蓋。觀察影像 最左邊的建築物，因為影遮蓋的關係，導致建築物被切割，其切割後的建 築物面積太小過不了篩選，導致無法順利捕獲。

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.8：城市影像(6) 1087*797 結果圖 觀察圖 4.8：這張影像不良因素為建築物較多，預設要擷取的區域數量 不足。導致有些區塊漏失。又此影像建築物之間面積大小相差過大，導致 篩選若干建築物反遭刪除。

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

觀察圖 4.9：這張影像的不良因素為建築物較多、建築物面積大小相差 過大、受到光影影響造成不良的切割。 觀察正中間偏上方的建築物，此建築物因光影效果，被切割成左右兩半， 又切割後的面積無法通過篩選被刪除。 觀察水平、垂直幾何條件篩選前的結果，可以發現此影像有許多小的建 築物憑藉著水平特徵夠強因而成功被擷取，但因為面積太小無法通過幾何 條件篩選。若不使用幾何條件篩選的流程，可得到圖 4.10 的結果，此結果 保留較多小建築物。但也擷取到一些零碎無意義的區域。 圖 4.10：城市影像(7)跳過清除步驟

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

觀察圖 4.11：這張影像存在的不良因素為建築物較多，角度不一致。且 最重要的不良因素為角度方向和筆者當初定義的水平、垂直方向差異過大， 導致擷取出之區域零碎不完整而不符合期許。 可以發現這張影像擷取到的區塊幾乎都為垂直方向，水平方向的區塊很 少，因為垂直方向擷取到的區塊和 90 度相差不遠；而建築物水平方向皆和 180 度相差盛大。 觀察水平方向強度夠的區塊，會發現這些區塊都不是建築物的輪廓，反 而擷取到河流、馬路、屋頂一小部分等資訊。造成此結果的原因為，這些 區域的角度和 180 度較為接近，而建築物的水平方向角度和 180 度相差較 大。 筆者在本文使用了四種影像運算子試圖擷取水平、垂直特徵等區域。這 四種影像運算子角度為直觀的 180 度、90 度。但此影像中建築物的水平方 向並非為 180 度，而是有各自的角度。且這些角度都與 180 度相差很大， 造成無法用此系統來擷取水平強度夠的區域，造成後續的流程也跟著無意 義，最終導致此系統的錯誤。 筆者將在第五章針對此議題延伸討論，找尋是否有改進的方式。雖然大 多數的建築物的角度都符合預期。但由於攝影的角度影響，角度不符合預 期的影像也不占少數。

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.12：城市影像(9) 900*611 結果圖 觀察圖 4.12：這張影像存在眾多的不良因素(面積、角度、數量)。導致 無法順利地切割，無法擷取到每一棟建築物。

4.1.2 建築獨照 筆者在這節會顯示出獨棟建築物的結果圖，並觀察與討論這一類型的圖 例經由本系統會擷取出什麼區域。 在觀察圖例之前，可以經由本系統的流程來推估出可能出現的結果。由 於本系統主要是使用垂直、水平強度來擷取出區塊。大樓獨照會將整張影 像的細節放大，此時大樓細節中垂直、水平強度足夠的區塊就會被系統擷 取出來。其中的細節有以下範例： 1. 窗戶：窗戶和大樓表面之間的縫隙會造成垂直、水平的線條出現。 如果窗戶規則的分布、且使用的線狀分佈區塊擷取流程的遮罩大小 足夠大的話，則會抓出一片窗戶的區域。 2. 梁柱：若建築物有明顯的水平、垂直的梁柱。本系統也會將此區塊 擷取。但由於這種細長型的區塊不利於幾何條件篩選。因此梁柱的 區塊很有可能因此被刪除。 3. 裝飾品：由於細小的裝飾品存在許多的線條，若其中的線條水平、 垂直性質夠強，且裝飾品之間的間隙與區塊擷取流程的遮罩大小符 合，則可以有效地擷取出裝飾品的區域。 4. 屋簷：由於屋簷有很大的機率為三角形，圓弧形。不具備水平、垂 直性質，大樓獨照的結果故會將屋簷、屋頂刪除。

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.13：大樓獨照(1) 1024*768 結果圖 觀察圖 4.13：這張影像成功的擷取出下面的兩面窗戶，還有右方的一排 柱子。由於屋頂是圓弧形的並沒有水平垂直的特性。故無法擷取到整棟建 築物。

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.14：大樓獨照(2) 768*730 結果圖 觀察圖 4.14：這張影像由於窗戶區域明顯且數目眾多，當初預想擷取的 區塊與實際窗戶的數目不符，導致無法將所有的窗戶都擷取。水平特性有 抓到屋頂的橫梁，但由於無法通過篩選則被刪去。

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.15：大樓獨照(3) 700*525 結果圖 觀察圖 4.15：這張影像由於是夜景的關係有光線的影響，造成左右區塊 並不對稱。又此建築物上半部分存在水平的性質，也因為篩選條件不符合 被刪除。

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.16：大樓獨照(4) 1280*960 結果圖 觀察圖 4.16：這張影像由於角度的問題，導致中間那片窗戶相較於右邊 窗戶間隙較大，使得用同樣的線狀分佈區塊擷取流程的遮罩大小無法把兩 個區域合成一個區域。若採用更大的遮罩大小則不會有這問題。

4.2 實驗結果圖

1.水平特性強的區域 2.垂直特性強的區域 3.水平篩選後 4.垂直篩選後 5.最後結果圖 圖 4.17：實驗結果圖(1) 1088*792

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

1.水平特性強的區域 2.垂直特性強的區域

3.水平篩選後 4.垂直篩選後

5.最後結果圖

結論

Chap 5

本論文提出了一套方法來擷取影像中具有水平、垂直特性的區域，並且 試圖套用在建築上，嘗試是否能擷取到建築物的輪廓與外觀。經筆者實驗 後，認為如下狀況會造成不符合預期的結果： 1. 建築物本身灰階變化量太少或不具有水平、垂直特性。  解決方法：配合其他的流程擷取出此區塊並加以討論。 2. 建築物受到光影的影響，導致本系統的不良切割。  解決方法：使用可擷取光影的工具，擷取出影子區塊後再針對 影子周遭區塊加以討論。 3. 建築物數目過多與試圖擷取的區域數目不相符合。  解決方法：擷取出大量區塊，再利用更詳細的篩選條件把非建 築物的區塊刪除。 4. 影像中建築物之間面積大小相差過大。  解決方法：改良篩選條件，在刪除區塊時考慮其內容及其他資 訊，若符合一般建築物特性則保留。

5. 區塊擷取流程的遮罩大小不符合建築物本身細節。  解決方法：在考慮欲使用的區塊擷取流程之遮罩大小時，加入 更多的影像資訊，以供參考(例：影像大小、細節間 距、主體之間距離)。 6. 建築物的水平、垂直角度和 90 度與 180 度相差過大。  解決方法：使用多種的影像運算子來模擬各種角度，如圖 5.1 所示，搭配本文其他流程，擷取出各種角度強度足 夠的區塊，再另外擬定篩選條件，最後經由篩選與 合併的過程，最後成為有用的資訊。此做法為本論 文的衍生，估計可以有更進一步的擷取內容。 7. 影像中建築物的角度並非一致。  解決方法：同 6.狀況的解決方法。 ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡0 0 0 0 0 0 1_{0 0 0 0 0 1 0} 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡1 0 0 0 0 0 0_{0 1 0 0 0 0 0} 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1⎦⎥ ⎥ ⎥ ⎥ ⎥ ⎤ 模擬 45 度 模擬-45 度 圖 5.1：模擬角度範例

上述為筆者認為本系統尚需改良的部分，未來筆者也將優先往這些方向 作改進，此外筆者也會嘗試將此系統配合其他流程，達到更符合期許的結 果，例：  文獻[8]所提及的對稱偵測： 篩選時若再加上對稱偵測的結果，或許可以讓條件更加的完整且符 合預期；或優先使用本系統區分區塊後，再針對每個區塊判斷是否 有對稱性質，則可以判斷出影像多個對稱區域。  文獻[10]所提及的視覺交會點偵測： 嘗試使用此系統判斷出視覺的交會點，用於判斷角度的選取以及線 狀區塊擷取流程遮罩大小的選用。另外此方法也可視為篩選條件之 一，讓篩選條件更加的精確。視覺交會點概念如圖 5.2 所示。 以上為筆者未來將繼續研究的簡略方針，若能朝著這些目標繼續延伸討 論必定能作出更符合視覺觀感的系統。 圖 5.2：文獻[10]視覺交會點範例

參考文獻

[1] Chiang, Chun-Liang; Lin, Cheng-Chung, "Basic Observations on Potential Cues Behind Vision Target Perception : Intensity, Contrast and Gradient Organization," Master Thesis, 2010.

[2] Fu, K. S.; Mui, J. K.;, "A Survey on Image Segmentation," Pattern

Recognition, vol. 13, no. 1, pp. 3-16, 1981.

[3] Gonzalez, Rafael C.; Woods, Richard E., Digital Image Processing, PEARSON.

[4] Chen, Hsin-Chia; Chien, Wei-Jung; Wang, Sheng-Jyh;, "Contrast-Based Color Image Segmentation," IEEE Signal Processing Letters, vol. 11, no. 7, pp. 641-644, 2004.

[5] Yanowitz, S. D.; Bruckstein, A. M., "A New Method for Image

Segmentation," Computer Vision, Graphics, and Image Processing, vol. 46, no. 1, pp. 82-95, 1989.

[6] Ho, Ming-Hung; Lin, Cheng-Chung;, "Symmetry Detection Based on Gradient-Derived Information," Master Thesis, 2011.

[7] Lee, Seungkyu Liu, Yanxi, "Skewed Rotation Symmetry Group Detection,"

IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 32, no. 9, pp.

1659-1671, 9 2010.

[8] Yuan-Yu Liang ,"Detection of Imagery Symmetry due to Optical Reflection",國立交通大學,資訊工程學系畢業論文.

[9] Chih-Jen Hsueh ;"Gradient Structure behind Visual Fields where Axial Symmetry Exists",國立交通大學,資訊工程學系畢業論文.

[10] F. Schaffalitzky and A. Zisserman, "Planar Grouping for Automatic Detection of Vanishing Lines and Points"

Image and Vision Computing,vol. 18, no. 9, pp. 647-658, June 2000

[11] MUELLER,P., ZENG, G., WONKA, P.,ANDGOOL, L. V. 2007,"Image-based procedural modeling of facades",

ACM Trans. on Graphics (SIGGRAPH 2007) 26, 3, 85:1–85:9

[12] P. Doubek, J. Matas, M. Perdoch, and O. Chum. "Image Matching and Retrieval by Repetitive Patterns".ICPR, 2010

[13] M. Park, K. Brocklehurst, R. T. Collins, and Y. Liu.

"Translational symmetry-based perceptual grouping with applications to urban scenes". In Proceedings of ACCV, 2010.1009,1010,1014