應用多重尺度區塊成長技術於高解析遙測影像之影像分割

(1)

應用多重尺度區塊成長技術於高解析遙測影像之影像分割

張立雨 ¹ 陳繼藩²

摘要

就各種遙測影像而言，影像分割對於辨識其中之區塊物件是一項重要之前處理程序。而應用區塊成長技術進行影像分割則是在影像分割中非常廣為使用之方法。然而，應用區塊成長進行影像分割時所必須設定之成長門檻值則是可否得到良好分割結果的關鍵。不適當之門檻值設定不但造成影像之過度分割(over-segmentation)或是分割不足(under-segmentation)，並且無法針對影像中之特徵產生合理之區域資訊。為了克服門檻值設定問題，本研究提出以最大邊緣密度變化率為基礎之多重尺區塊成長技術來進行影像之分割。為了測試所提方法的適用性，在測試過程中分別針對模擬影像以及各種不同感測器所獲取之高解析遙測影像進行測試。測試結果顯示本研究所提方法可不需直接設定特定門檻值，並且針對不同影像中之區塊物件得到相對合理之影像分割結果。

關鍵詞：影像分割、邊緣密度、高解析遙測影像

1.前言

由於近年來遙測科技的進步，商用資源衛星影像的空間解析度已經推進至公尺等級，尤其是全色態影像的部分，其解析度甚至可達1公尺以下。而在空載遙測方面，數位式的航測系統也不斷推陳出新，由其是陣列式的數位航照系統除以全數位化的處理過程改進了過去繁複的類比式相片處理程序，並且同時可保有傳統航空相機在解析度上與解算上等各種優點。然而對於此類高解析遙測影像的複雜資訊內涵而言，發展自動化特徵萃取或影像判釋法則的困難度也相對增加許多。影像分割技術是一項廣泛用於萃取影像特徵的方法，尤其是針對具有區塊特性的資訊進行萃取時更為重要。此外對於影像分類而言，影像分割也被視為是一項不可或缺的前處理程序(Black et al.,1998)。

在影像分割中常用的處理方法首推區塊成長 (region growing)技術。區塊成長技術對於萃取影像

中之區塊資訊可說是種非常直覺的處理方法 (Adams and Bischof, 1994)，其目的是要將影像上光譜值相似的像元群聚成區塊，主要可分為三個階段：

A. 選擇起始種子點

首先，需設定限制條件作為區塊成長之依據，

如光譜距離門檻。接著，選擇某個像元當作起始種子點(seed pixel)，種子點之選擇可由影像的任何位置出發，一般而言種子點均為亂數產生，並給予種子點像元一區塊編號(label)。選定種子點後便以此種子點之光譜值作為參考光譜值，並將種子點周圍鄰近四方向或八方向之像元光譜值與參考光譜值進行光譜距離之計算，

若所得之光譜距離小於門檻，則此像元則指定為與種子點相同之區塊編號，並同時以相同區塊編號之像元光譜平均值更新參考光譜值。

B. 區域成長

將起始種子點周圍四方向或八方向偵測得到相

1國立中央大學太空及遙測研究中心助理研究工程師

2國立中央大學太空及遙測研究中心與土木工程學系副教授

收到日期:民國 97 年 06 月 11 日修改日期:民國 97 年 07 月 25 日接受日期:民國 97 年 09 月 15 日

(2)

同區塊編號之像元，當作新的種子點出發，如同上一步驟中對於新種子點周圍四方向或八方向之像元進行偵測工作。若新種子點周圍仍有光譜距離小於門檻之像元產生，則將新產生之像元再當做新的種子點繼續向外偵測，此一向外迭代增長之過程即稱為區塊成長。區塊不斷的成長直到周圍無法找到光譜距離小於門檻的像元，則此一區塊建置完成。

C. 區塊分割完成

當一個區塊建置完成後，我們對於影像上未分割區域之像元，再選擇一個種子點，作為下一個區塊增長之核心，並以此進行下一個區塊之增長工作。接著當影像上所有的像元都有其歸屬之區塊後，還需將面積過小的區塊像元與其鄰近之區塊進行合併之工作，而合併之方式則可由光譜差異判斷。最後當面積過小之區塊均合併完成後，影像區塊分割即為完成。

由以上的處理過程可以發現，控制整個分割過程最重要的關鍵即為光譜距離門檻。然而適當之光譜距離門檻在進行影像分割前是無法得知的，通常僅能由經驗加以估計，不適當之門檻值設定將造成影像之過度分割(over-segmentation)或是分割不足 (under-segmentation)的結果。此外在實際的影像中不同的影像特徵通常無法由單一的門檻值來進行成長並完成分割，其主因是來自於不同的影像特徵通常具有不同的均勻度(homogeneity)。以遙測影像中的建物或是裸露地的區塊為例，通常其區塊中的光譜值變化較大，亦即其均勻度較低，因此若要將其區塊成功的分割就需要較大的光譜距離門檻。反之若是清澈的水池或濕地等區塊時，其區塊中的光譜值變化較小，亦即其均勻度較高，因此若要將其區塊成功的分割就需要較低的光譜距離門檻。結果若是在影像中有這些均勻度相差甚遠的特徵同時存在時，單一門檻值設定的區塊成長影像分割就會遭遇困難。理論上在一張影像中每個具有不同質地 (Texture)的特徵應具有其特定的均勻度，並且須以特定之光譜距離門檻進行區塊成長來加以分割。然而傳統上對一張影像以區塊成長技術進行影像分割時僅可設定單一門檻值，因此不可避免將有部分

影像區塊產生過度分割或是分割不足的情形。這也說明了不同均勻度之影像區塊若要能被完整的分割時，使用者就必須設定不同的門檻值進行區塊成長，然後再由各個不同門檻值所產生的分割結果分別來取得最合理的分割結果。

針對區塊成長的缺點，在文獻中亦有提出不同的改進方法。例如在區塊成長過程中除考慮光譜距離門檻外，其像元併入區塊的順序是以邊緣像元之光譜值高低來決定 (Hojjatoleslami and Kittler, 1998)。此種處理的優點是在成長的過程中會使得區塊的參考光譜值維持一定之水準，而不易因併入像元之光譜值高低而有很大的變化，並且有助於產生較為完整而不破碎之區塊，此一性質過程在區塊成長初期尤其重要，然而此法對於均勻度差異甚大之區塊同時存在時的影像分割仍有問題。此外亦有利用原始影像產生梯度影像後，再於梯度影像上進行相關形態學運算(morphology operation)以萃取梯度影像上之山脊線來做為區塊分割之依據(Meyer, 2001; Chen et al., 2006)。但是此法在產生梯度影像時必需對原始影像進行適度之均化，否則將會產生顯著之過度分割情形。然而均化之處裡過程與方法選擇將對最後之結果有決定性之影響。理論上基於高解析遙測影像的複雜度，多種或多重影像分割之方法應被加以整合以解決此類的困難 (Schiewe, 2002)。在本研究中，除了將不同尺度下所得之區塊成長結果加以整合以產生更為合理之成果，並同時考慮區塊邊緣的性質來解決前面所提及之困難。

2.研究方法

為了能合理並量化的描述區塊的特性，本研究定義了邊緣密度(Edge Density)以及邊緣密度變化率(Change of Edge Density)兩個量來計算區塊的特性，分別如式(1)與式(2)所示。

L

=

E

ρ

(1)

ds d ρ

ρ

'= (2)

(3)

其中

ρ : 區塊邊緣密度(Edge density)

ρ’: 區塊邊緣密度變化率(Change of edge density) E : 區塊總邊緣強度(Total edge intensity) L : 區塊總邊緣長度(Edge length)

s : 分割尺度(Segmentation scale), 由不同之光譜距 離門檻來產生。

在此「區塊總邊緣強度」表示區塊在其所有邊緣像元上的邊緣強度總合，而像元上的邊緣強度則以 Sobel Gradient 進行計算(Gonzales and woods, 2002)。其計算之方式是先將影像的各個波段分別使用水平方向及垂直方向之 Sobel 運算元計算兩方向之邊緣強度，之後取兩方向之邊緣強度平方和再取其平方根來計算之。最後再取各波段之邊緣強度之總和來做為此像元上之邊緣強度。而「區塊總邊緣長度」則以區塊在其邊緣上的像元總個數來計算之。因此，在本研究中的「邊緣密度」即可定義為區塊邊緣上單位長度所具有的邊緣強度。此外，當輸入影像以不同門檻值大小進行區塊成長時，由小至大的門檻值所進行的分割結果理論上會產生由細緻變化到粗糙的分割輸出。在本研究利用「分割尺度」來表示不同大小的門檻值，越大的分割尺度表示進行分割時所使用的門檻值越大。換言之，當分割尺度由小至大逐漸改變時，影像中的特徵的分

割結果亦逐漸的由過度分割變化至分割不足。實際上，當一個影像中的特徵是顯著的過度分割時，即表示此特徵在目前的分割下是非常破碎的，並這些破碎掉的小區塊所具有的邊緣密度都是相對的小。然而當分割尺度逐漸變大時，過度分割情形就會逐漸降低並且其分割結果會逐漸接近實際的影像中的特徵以及具有較大的邊緣密度。這些現象同時也表示在分割尺度逐漸變大時，區塊的邊緣密度理論上會嚴格的增加(Monotonic Increasing)。此外當被分割的影像特徵因分割尺度由過小逐漸增加至其最佳之尺度時，由於分割的結果與實際的影像區塊已經逐漸靠近，並且在實際的影像特徵邊緣上總是存在著局部的最大強度變化，因此造成在最佳分割尺度發生時邊緣密度隨尺度的變化率應會顯著的提高。然而，若分割尺度持續增加，雖然分割結果的邊緣密度亦會持續增加，但由於其結果已是過度分割的狀態，其邊緣密度增加率應會較最佳分割為低。

由前面之說明可以得知，當影像上的特徵產生最佳分割時，其邊緣密度增加率應有最大值產生。

因此在本研究中定義「區塊邊緣密度變化率」來描述區塊邊緣密度隨分割尺度變化之情形。而圖 1 則為區塊邊緣密度與區塊邊緣密度變化率隨分割尺度的變化特性示意圖。

圖 1 區塊邊緣密度與區塊邊緣密度變化率隨分割尺度的變化特性示意圖

(4)

為了可以合理的計算最大區塊邊緣密度變化率發生時的最佳分割尺度，本研究利用一個層次式的樹狀結構來表示影像分割時由小至大的分割尺度所形成由細至粗的分割結果輸出。首先，選擇一個足夠小的光譜距離門檻進行區塊成長來產生一個最小分割尺度並且是最細緻的分割結果以做為整個樹狀結構中的最底層節點，並且每個節點都可對應至其中的一個分割區塊。之後，基於最小分割尺度所產生的分割結果，以原有之種子點配合較大之光譜距離門檻重新進行分割，之後即可得到一個分割尺度較大並且較為粗糙的分割結果。同時，由於所使用之種子點均相同，故較小尺度所得的分割區塊均可完整的被包含在較大尺度所得的分割區塊之中，並且產生一個明確對應的樹狀結構。之後再逐漸增加光譜距離門檻值，以產生更大分割尺度之分割結果。最後當整張影像僅形成一個區塊時，

樹狀結構的最頂層節點亦已完成，圖 2 為說明上述樹狀結構產生過程的示意圖。因此，當整個樹狀結構完成時，除最頂層節點外，對於每個節點所對應之各尺度分割區塊均可對其節點上層計算其區塊邊緣密度變化率(最頂層節點的區塊邊緣密度變化率設定為零)。之後再沿著各節點間之連結由最底層節點進行由下至上之搜尋程序，此時即可找到對特定最底層節點沿著樹狀結構路徑至最頂層節點間最大區塊邊緣密度變化率發生之節點位置，並且加以標記。圖 3 即為說明搜尋最大區塊邊緣密度變化率發生節點位置的過程。最後再利用對樹狀結構展開 Minimum Spanning Tree (Zahn, 1971; Sanfeliu et al., 2002)的原則，由最頂層節點往下層展開並且在最遇到經標記後之節點(亦即為最大區塊邊緣密度變化率發生之節點)即停止向下擴展，便可得到一個如圖 4 所示的 Minimum Spanning Tree，並且可將所得的 Minimum Spanning Tree 上的底層節點對應至原影像平面來得到最後之影像分割結果。綜合前面所述，本研究所提方法之工作流程圖則如圖 5 所示。

在實際應用時，利用本研究所提之方法進行影像分割前，相較於傳統區塊成長方法一般使用者不需設定特定門檻值，僅需指定合理的上限與下限值

即可開始進行分割。此外須注意的是，在產生一系列不同尺度之區塊成長影像分割輸出時，須設定適當的門檻值間距，間距過大時無法對各種不同均勻度之影像區塊產生理想的分割，而間距過小時又會消耗過多的計算時間。理論上門檻值上限與下限可根據輸入影像上最變異最大與最小之目標物來概略決定之，但門檻值間距則必須根據所能接受的計算時間下盡可能的小來設定之。

3.實驗結果

在本研究中的實驗結果將分為兩部分，第一部分為使用一組模擬影像資料來進一步說明本研究所提出之方法與傳統區塊成長技術之差異。第二部分將利用各種不同感測器所獲取之高解析遙測影像來測試所提出之方法並進行比較。

3.1 模擬影像測試

如圖 6(a)所示，原始模擬影像包含三個不同灰階值之圓形區塊，並且由上至下排列於背景區塊上。接著針對原始模擬影像上的區塊(背景除外)加上不同程度之雜訊，使區塊產生不同的均勻度。所加雜訊之類型為平均值為零之 uniform distribution random noise，雜訊之大小則依區塊之灰階不同而不同，在本研究中為了維持區塊的可辨識性，所加入雜訊的變化範圍值與區塊的灰階值相同。如圖 6(b)所示。

之後將加入雜訊後之模擬影像利用區塊成長技術進行影像分割，可得如圖 7 之成果。在圖 7 中，

由(a)至(e)分別為利用逐漸增加的光譜距離門檻進行影像分割後，再將各分割區塊填入區塊所涵蓋影像之像元灰階平均值後之結果。可以觀察到每個區塊的最佳分割均出現在不同的門檻值上，這也說明區塊成長技術進行影像分割時所會遭遇的問題。

將加入雜訊後之模擬影像應用本研究所提方法進行影像分割所得之結果如圖 8 所示。可以觀察到本研究所提方法使用最大區塊邊緣密度變化率為指標可在不同分割尺度下所得的結果中，自動選擇最具完整度的區塊做為最後之輸出。

(5)

(a) 原始影像

(b) 分割尺度 ”1”(光譜距離門檻值= t¹)時，對原始影像進行區塊成長影像分割之結果與各分割區塊對應之節點

(c) 分割尺度 “2”(光譜距離門檻值= t²)時，對原始影像進行區塊成長影像分割之結果與各分割區塊對應之節點

(d) 分割尺度 “3”(光譜距離門檻值= t₃)時，對原始影像進行區塊成長影像分割之結果與各分割區塊對應之節點

圖 2 說明(a~d)利用多重尺度區塊成長影像分割來產生樹狀結構的示意圖，其中光譜距離門檻 t₁<t2<t3

(6)

圖 3 說明搜尋最大區塊邊緣密度變化率發生節點位置的過程

圖 4 由最頂層節點往下層展開並且在最遇到經標記後之節點(亦即為最大區塊邊緣密度變化率發生之節點)即停止向下擴展，即可得到 Minimum Spanning Tree

圖 5 本研究所提出方法的工作流程圖

(a) (b)

圖 6(a)本研究產生之原始模擬影像與(b)加入雜訊後之模擬影像

(7)

(a) (b) (c) (d) (e)

圖 7 將加入雜訊後之模擬影像應用區塊成長技術進行影像分割後之結果，其中(a)至(e)分別為利用逐漸加的光譜距離門檻進行影像分割後，再將各分割區塊填入區塊所涵蓋影像之像元灰階平均值後之輸出

圖 8 將加入雜訊後之模擬影像應用本研究所提方法進行影像分割所得之結果

3.2 高解析遙測影像測試

在本部分所測試的資料包含兩種衛載感測器以及一種空載感測器的遙測影像。在衛載感測器方面，所使用影像為IKONOS以及Quickbird衛星影像，而在空載感測器方面則為Vexcel的UltraCam-D 數位航測相機所攝得之影像。其中在衛載感測器的遙測影像中，為了能完整的使用其全色態以及多光譜影像的資訊，故在進行影像分割前，先將全色態以及多光譜影像以High Pass Filter影像融合法加以融合(Chaves, 1991 and Pohl, 1998)後，再進行影像分割之程序。以下為針對各類型之遙測影像進行測試所得之結果：

Case 1: IKONOS 衛星影像

在本測試例中，融合後的 IKONOS 衛星影像

之空間解析度為 1 公尺，並且依其波段順序包含藍、綠、紅、近紅外等四個波段。測試影像所涵蓋之範圍包含了農地以及部分沿道路兩旁分布之建地。圖 9(a)為本部分測試之原始融合影像。圖 9(b) 為利用本研究所提方法進行影像分割後所得之結果。為了比較本研究所提方法與傳統區塊成長分割法之差異，圖 9(c)與圖 9(d)為分別使用不同光譜門檻值進行傳統區塊成長分割法所得之結果。在比較後可以看出，本研究在不須設定特定光譜門檻值的條件下(僅需設定合理的上限與下限值)，所提方法可對 IKONOS 融合影像可產生更為合理之影像分割結果。

Case 2: Quickbird 衛星影像

在本測試例中，融合後的 Quickbird 衛星影像之空間解析度為 0.7 公尺，並且依其波段順序包含藍、綠、紅、近紅外等四個波段。測試影像涵蓋範圍所包含的內容與前一個測試例相似。圖 10(a)為本部分測試之原始融合影像。圖 10(b)為利用本研究所提方法進行影像分割後所得之結果。為了比較本研究所提方法與傳統區塊成長分割法之差異，圖 10(c)與圖 10(d)為分別使用不同光譜門檻值進行傳統區塊成長分割法所得之結果。在比較後同樣可以看出，本研究在不須設定特定光譜門檻值的條件下 (僅需設定合理的上限與下限值)，所提方法對 Quickbird 融合影像可產生更為合理之影像分割結果。

(8)

Case 3: 空載數位航測相機影像

在本測試例中所使用之空載數位航測相機影像其空間解析度為 0.2 公尺，並且依其波段順序包含藍、綠、紅等三個波段。測試影像涵蓋範圍所包含的內容主要為一部分之社區，而社區中建物的屋頂形狀各不相同，且包含部分之樹叢與草地。圖 11(a)為本部分測試之原始融合影像。圖 11(b)為利用本研究所提方法進行影像分割後所得之結果。為了比較本研究所提方法與傳統區塊成長分割法之差異，圖 11(c)與圖 11(d)為分別使用不同光譜門檻值進行傳統區塊成長分割法所得之結果。在比較後

同樣可以看出，本研究在不須設定特定光譜門檻值的條件下(僅需設定合理的上限與下限值)，所提方法對空載數位航測相機影像可產生更為合理之影像分割結果。此外可以發現在本測試影像中，建物的屋頂在各個方法中均可成功的被分割出，其原因應為屋頂內部為相對均勻的分布但其邊緣相對其周邊區塊卻極為銳利所致。然而對於樹叢與草地而言雖然其區塊內部之分布相對較為不均勻，但由於本研究使用最大區塊邊緣密度變化率做為分割的機制，因此較傳統方法可產生更為完整的分割。

(a) (b)

(c) (d)

圖 9 (a)本部分測試之原始 IKONOS 融合影像、(b)利用本研究所提方法進行影像分割後所得之結果 (c)使用較低的光譜門檻值進行傳統區塊成長分割法所得之結果，此結果呈現明顯之過度分割情形 (d)使用較高的光譜門檻值進行傳統區塊成長分割法所得之結果，此結果呈現明顯之分割不足情形

(9)

(a) (b)

(c) (d)

圖 10 (a)本部分測試之原始 Quickbird 融合影像、(b)利用本研究所提方法進行影像分割後所得之結果 (c)使用較低的光譜門檻值進行傳統區塊成長分割法所得之結果，此結果呈現明顯之過度分割情形

(d)使用較高的光譜門檻值進行傳統區塊成長分割法所得之結果，此結果呈現明顯之分割不足情形

(a) (b)

(10)

(c) (d)

圖 11 (a)本部分測試之原始空載數位航測相機影像、(b)利用本研究所提方法進行影像分割後所得之結果 (c)使用較低的光譜門檻值進行傳統區塊成長分割法所得之結果，此結果呈現過度分割情形 (d)使用較高的光譜門檻值進行傳統區塊成長分割法所得之結果，此結果呈現明分割不足情形

4.結論

在本研究中以最大邊緣密度變化率為基礎，提出多重尺區塊成長技術來進行影像之分割技術來改善傳統之區塊成長影像分割法。其主要概念是當特定尺度使得區塊有最大邊緣密度變化率發生時，可視為在此尺度下之區塊分割其具有最顯著邊緣資訊因此可產生與周邊之其他區塊有最佳之分割。此外利用所提之方法，在進行影像分割前，相較於傳統方法一般使用者不需設定特定門檻值，僅需指定合理的上限與下限值即可開始進行分割。由測試結果亦可顯示本研究所提方法，相較傳統方法可成功的分割影像中的重要區塊，並可提供更為合理的結果以供後續之影像處理程序來使用。此外，

由於目前本研究僅考慮影像之光譜變化來進行分割，未來在此部份應可繼續延伸，考慮同時使用如影像質地(Texture)或是其他方法分析所得資訊來進一步提升分割之精度。

參考文獻

Adams, R. and L. Bischof, 1994, Seeded region growing, IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(6), pp. 641-647.

Black, M., G. Sapiro, D. Marimont, and D. Heeger, 1998, Robust anisotropic diffusion, IEEE Transactions on image processing, 7(3), pp. 421-431.

Chavez, P. S., S. C. Sides, and J. A. Anderson, 1991, Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM

& SPOT panchromatic, Photogrammetric Engineering and Remote Sensing, 57(3), pp.

295-303.

Chen Z., Z. Zhao, P. Gong and B. Zeng, 2006, A new process for the segmentation of high resolution remote sensing imagery, International Journal of Remote Sensing. 27(22), pp. 4991-5001.

Meyer, F., 2001, An overview of morphological segmentation, International Journal of Pattern Recognition and Artificial Intelligence, 15(7), pp.

1089-1118.

Gonzales, R. C. and R. E. Woods, 2002, Digital image processing 2nd Edition, Prentice-Hall, New Jersey, pp.134-137.

Hojjatoleslami, S. A. and J. Kittler, 1998, Region growing: A new approach, IEEE Transactions on Image Processing, 7(7), pp. 1079-1084.

Pohl, C., 1998, Multisensor image fusion in remote

(11)

sensing: concepts, methods and applications, International Journal of Remote Sensing, 19(5), pp.

823-854.

Sanfeliu, A., R. Alquezar, J. Andrade, J. Climent, F.

Serratosa, J. Verges, 2002, Graph-based representations and techniques for image processing and image analysis, Pattern Recognition, 35, pp.

639-650.

Schieve, J., 2002, Segmentation of high-resolution remotely sensed data - concepts, applications and problems, Symposium on Geospatial Theory, Proceedings and Applications, Ottawa, http://www.definiens.com/pdf/publications/358.pdf.

Zahn, C. T., 1971, Graph-theoretic methods for detecting and describing gestalt clusters, IEEE Transactions on Computing, 20, pp. 68-86.

(12)

A Multi-Scale Region Growing Segmentation For High Resolution Remotely Sensed Images

L. Y. Chang¹ C. F. Chen²

ABSTRACT

For remotely sensed images, region growing segmentation is a widely-used technique for object extraction and identification. However, the main drawback of region growing segmentation is the threshold setting for stopping the growth of a region. Improper threshold setting not only causes over-segmentation or under-segmentation, but also cannot create needed object regions for various targets. In order to overcome these drawbacks, a multi-scale region growing segmentation method, based on the maximization of the change of edge density, is proposed. Experiments, including different kinds of high resolution remotely sensed images are used to test the performance of the proposed scheme. The experimental results show that the proposed scheme can both remove the limitation of threshold setting and generate relatively reasonable segmentation output for different types of objects.

Keywords:

Image Segmentation, Edge Density, High Resolution Images.

1 Assistant research engineer, Center for Space and Remote Sensing Research, National Central University.

2Associate professor, Center for Space and Remote Sensing Research and Department of Civil Engineering, National Central University.

Received Date: Jun. 11, 2008 Revised Date: Jul. 25, 2008 Accepted Date: Sep. 18, 2008

應用多重尺度區塊成長技術於高解析遙測影像之 影像分割