形態學運算

形態學運算(morphological operator) [22][25][30]在二值影像(binary image)中的主要 應用在於抽取對於適合描述形狀有用的影像成份，例如：抽取出其邊界、連通成份、凸 形封包以及區域骨架的形態，也應用於影像的前級與後級處理，例如：形態學濾波、細 線化以及剪除，而形態學運算除了用來處理二值影像，也可處理灰階強度影像。本論文 將會使用形態學處理其二值影像，故只介紹二值影像之形態學運算。

形態學是一種從二值影像 中的抽取出物體成分的工具，是由結構元素 (structuring element)來進行運算，如圖 2-22 所示，其中膨脹(dilation)與侵蝕(erosion)是形 態學運算中的兩個最基本的運算，許多形態學演算法都是建立在這兩個原始的運算上，

故首先介紹膨脹與侵蝕。

(a) (b)

圖 2-22 二值影像與結構元素 (a)原本二值影像 (b)結構元素

膨脹是一種使二值影像 中的物體增大或是變厚，就是使物體向外擴充，在數學 上是以集合運算的方式來定義， 藉由 膨脹記為 ，如下式：

, 2.32 用圖 2-23 來說明其過程，結構元素 的中心在整個二值影像內平移，若結構元素內的 點於物體上的部分點重疊，將會使物體上的點向物體外部膨脹，虛線是膨脹後的邊界。

31

(a) (b)

圖 2-23 二值影像的膨脹過程與結果 (a)二值影像進行膨脹 (b) 膨脹後的二值影像

侵蝕是一種使二值影像 中的物體收縮或是變薄，使物體向內收縮，收縮的方式 也是由結構元素 所控制，在數學上也是以集合運算的方式來定義， 藉由 侵蝕

記為 ，如下式所示：

2.33 用圖 2-24 來說明，結構元素 的中心在整個二值影像內平移，若結構元素內的點於物 體上的所有點重疊，將會使物體上的點向物體內部收縮，虛線是侵蝕後的邊界。

(a) (b)

圖 2-24 二值影像的侵蝕過程與結果 (a)二值影像進行侵蝕 (b)侵蝕後的二值影像

在影像處理中，應用膨脹與侵蝕這兩個基本形態運算子的組合，形成其他的形態學 演算法，本論文將會使用形態學上的閉合(morphological closing)以及形態學上的收縮 (morphological shrinking)，來處理邊界資訊。

形態學上的閉合，是將二值影像 先以結構元素 進行膨脹再進行侵蝕，如下 式所示

32

2.34 可以使物體的輪廓平滑，使窄的中段部分連接起來，填補細常缺口等功能，如圖 2-25 所示。

圖 2-25 閉合後的二值影像

形態學上的收縮[30]，主要的概念就是將二值影像中，沒有洞的物體收縮成點，有 洞的物體收縮成環狀；此外，物體經過形態學的收縮處理後，依舊滿足尤拉數(Euler number)公式，例如：將圖 2-22 的二值影像，經過 n 次的收縮處理後，最後結果如圖 2-26 所示。

(a) (b)

圖 2-26 收縮 n 次的二值影像 (a) n=20 (b) n=50

2.4.4 區域成長法

區域成長(region growing)[22]是單一像素或是子區域根據預先定義的準則，然後成 長成更大區域的過程。基本的方法是從一組種子點出發，把每個種子點具有相同性質的 鄰近點像素添加進來一起進行區域成長。

33

假設一個影像區域 可以根據某種準則分割成 N 個不同的子區域 ， 為第

個子區 ，域 使得 , , , , , _N ，會滿足下列式子：

像 跟標記影像 _̂ 的差集，然後再重覆步驟一，並且 1，直到最後所有的

2.5.2 法向量分量之夾角

在進行三維物體的辨識的時候，物體表面上的每一點所對應的法向量，是一個常用 的全域特徵，其法向量的方向將由一開始的世界座標(global coordinate) 所決定，但對於 利用深度資訊來計算此特徵，使用特徵在比對三維物體時，不是一個很好的特徵，主要 是因為此特徵會隨著世界座標所設立的位置而改變。一般而言，都會將取像儀器所在的 點將會是世界坐標中的原點 0 ,0 ,0 ^T，而深度資訊中的每一點座標值，都是相對取像儀 器所在點的值，若取儀器所在的點相對於場景平移 a, b, c ^T，將會使得後來計算物體表 面上的點之法向量也會平移 a, b, c ^T，如圖 2-27 所示。

(a) (b)

圖 2-27 不同視角下的深度影像 (a)原本的視角 (b)後來的視角

因為以上的原因，所以將法向量轉成區域特徵以作為比對三維物體所用是必要的。

首先，計算深度資訊中的每一點 之法向量 n , n , n ^T，計算該法向量於球座 標 (sphere coordinate)中，各分量的之間的夾角[32]，如圖 2-28 所示。

36

圖 2-28 法向量分量之夾角。

n n

π

2 , θ

n n n

π

2 , 2.38

其中 0 π , θ 0 π ，將對每一點 的法向量 作運算，最後就得到 與 θ 作為比對三維物體的特徵，如圖 2-29 所示。

(a) (b) 圖 2-29 物體的區域特徵 (a) (b) θ

2.5.3 曲率之形狀指標

在計算曲率的形狀指標(shape index)前，必須要先計算曲率。曲率(curvature)是一個 描述幾何物體不平坦程度的量，平坦對於不同幾何體不同的意義，例如：對於曲線而言，

平坦就是直線；對於曲面而言，平坦就是平面，在二維空間 中，曲線 (x ,y)=0 上的點 ，可用一圓去近似該點 附近所形成的曲線，如圖 2-31 所示，並定義曲率

n , n , n ^T θ

φ

37

大小 K _R ，R 為此圓之半徑，也可以寫成 K · 。

圖 2-30 二維曲率的定義之示意圖

然而，在三維空間 中，曲面的曲率也可以用來描述該曲面在三維空間中的彎曲 變化程度。曲面曲率在微分幾何學(Differential Geometry)[33][34]中，常用的主曲率 (principal curvature)，高斯曲率(Gaussian curvature)以及平均曲率(mean curvature)。

主曲率是考慮區域曲面 上該點 的法向量 與該點 之切平面 T 上任一 向量所形成的平面 與該曲面 之交集，這個交集將是一個平面曲線，計算此平面 曲線 上的點 的曲率。當任意的切平面向量 ，會對應到其曲率值 k ，其中 點 的曲率值會有兩個極值 k 與 k ，稱為主曲率(principal curvatures)；

此外，極值的方向為 , 且 ，即對應的切平面向量之方向稱為主方向 (principal direction)，如圖 2-31 所示。其中 k , k 與 k 會有下列關係式 如下式所示，稱之 Euler 公式[36]：

k k cos θ k sin θ, 2.39 其中 θ 為 與 之夾角。

R

38

圖 2-31 馬鞍面的主曲率計算之示意圖 資料來源:Wikipedia, author: Eric Gaba.

高斯曲率 K 定義為兩個主曲率的乘積，K k k ，而平均曲率 H 定義

為兩個主曲率的平均，H k k 。

高斯曲率可以決定該局部曲面是凸的(convex)，若高斯曲率的值大於 0；該局部曲 面是局部鞍點(locally saddle)，則高斯曲率的值小於 0，例如：對於球面、橢球面、單葉 雙曲面、橢圓拋物面時，高斯曲率為正，對於偽球面、雙葉雙曲面的一葉、雙曲拋物面 為負，對於平面與圓柱體為 0；反之，對於平均曲率而言，平面的平均曲率為 0，但圓 柱體非 0。

主曲率之計算[34]，可利用微分幾何學中的曲面， 可表示下式：

: , , , , , , 2.40

, ,

, 是 , 兩向量所形成平面之局部座標值 , ， , , 可以標示成 , 為基底 的參數式 。

曲面第一基本形式(first fundamental form)，其係數可寫對稱矩陣形式，如下式所示：

T

39

E F

最後算出該點 的區域特徵 SI 。

在深度資訊中要計算出該陣列中每一點的主曲率，可參考 A. Gray[36]或 P. Krsek, G.

Lukacs 與 R. R. Martin[37]所提出的方法去計算某點之曲率；然而，本論文提出了一個 計算三維曲率的演算法。首先，跟計算 2.1.1 節的深度資訊 中每點 的 法向量作法一樣，首先，定義出一個遮罩(mask) S ，遮罩大小為 S S，其遮罩內的係 數為 w 1 ，計算遮罩下所對應的點集合 P , _,··· , ,···, _SS 所形成的曲面

，其遮罩中心對應的點為 為曲面的代表點，以 3 3為例，其中 如下圖 2-32 所示。

w w w

w w w

w w w

(a) (b)

圖 2-32 3 3的遮罩內的係數與對應的點集合 (a)係數 (b)點集合

在本論文中，為了快速計算主曲率，首先先計算 法向量 ，如 2.1.1 節 所敘述的，然後任選兩垂直切平面向量(tangent direction) 與 作為近似曲率主方 向 , 的切平面向量，而 , 投影在深度影像所在之切平面 上的向量為 及 ，即深度資訊陣列中的鉛直方向與水平方向，如圖 2-33 所示。

(a) (b)

圖 2-33 計算曲率方式之示意圖 (a)側面投影圖 (b)三維空間投影圖

P P

41

若要沿著該點 與附近的點形成的曲面 _P 之切平面向量 , ，先利用內插法

2.6.1 多維度直方圖

h 1, 2.49

b 、b 分別為樣本 本總個 為n

n ∑ ∑ ∑ n ，個別的整體樣本區間範圍分別為 0, L 、 0, L 、 0, L ，r 是在樣本 1 的整體區間0, G 中的第 個區間的區間位準 ^G

、b 1、樣本 2、樣本 3 的區間個數，樣 數 ，會滿足

且在樣本 2 的整體

區間 0, G 中的第 個區間的區間位準 ^G 且在樣本 3 的整體區間 0, G 中的第

個區間的區間位準 ^G ，而 h 是該區間 r , r 內樣本個數佔整體樣 本個數的比例。

直方圖也常被使用在特徵比對上，統計各種特徵的整體變化，使用多維度直方圖作 為比對特徵的工具，其好處是在於：(1) 比對時的計算量低。 (2)相似物體所取得之特 徵，會有相似的直方圖。 (3) 即使物體取得特徵時，有雜訊干擾，直方圖的比對受雜訊 影響較其他比對方法低。

假設單一物體 O 表面的特徵類別數為 d，以 d 3為例，此物體的整體特徵被統 計成的直方圖，稱之整體直方圖(unity histogram) ^O h 。若物體表面被分 成 N 個區域，物體的第 ℓ 個區域 O_ℓ 之特徵經過統計後，會對應其直方圖，稱之部分 直方圖(partial histogram)，會滿足下列(2.50)式。

h , ^{O N} _ℓ

ℓ , 2.50 例如：將圖 2-36(a)的強度影像切割成四個區域，各部分直方圖的總和會等於整張強度影 像的整體直方圖，如圖 2-38(b)。

44

45

第二個方法是由 Kullback 與 Leibler 提出的 Kullabakck-Leibler divergence[39]，將直方圖 視為機率分布函數(probability function)，來比對樣本直方圖 ^Q相對於原本直方圖 ^V 的相異程度，如下式所示：

_KL ^Q|| ^V h^Q h^V ℓ h^Q 合了 Swain and Ballard 提出的 intersection measurement (2.51)式、Kullback 及 Leibler 提 出的 Kullaback-Leibler divergence(2.52) 與 式 χ-divergence (2.53)式，形成了下式：

O ||O min

R_ℓ O _ℓ^O , _ℓ^O , 2.55

N

ℓ

46

(2.54)式稱之部分直方圖比對，其中 _ℓ^O , _ℓ^O 利用(2.53)式之定義，獲得下式：

_ℓ^O , _ℓ^O h^Rℓ h^Rℓ

h^Rℓ h^Rℓ , 2.56 (2.55)式可計算出物體某姿態下 O 的某區域 R_ℓ 相對於物體某姿態下 O 的某區域 R_ℓ 之相異程度。首先，先須計算 O 的第 ℓ 區域 R_ℓ 的直方圖 _ℓ^O 與O 每個 區域的直方圖之相異程度，即區塊相異度。

min

R_ℓ O ℓ

O , _ℓ^O min χ ^O , _ℓ^O , , χ _N^O , _ℓ^O , 2.57

然後取出最小值，重覆此步驟於 O 的每個區域，再將每次所得之最小值總合起來，

會得到兩物體的區塊相異度總和，如(2.56)式所定義的。

47

第三章 系統流程說明

本章分成六節，先說明整個三維物體分割與辨識系統的流程，再詳細說明流程中每 個演算法的參數設定方式。3.1 節介紹整個三維物體分割與辨識的系統架構，使用在實 際拍攝之複雜場景上。3.2 節說明使用適應性中值濾波以及移動式最小平方法來作為處 理三維雜訊之目的；3.3 節說明如何分割深度影像，當深度影像是一個複雜場景時，將 場景分割成許多單一場景並分離每個單一場景中的不同物體；3.4 節介紹如何偵測物體 的邊緣，並且使邊緣形成封閉邊界，稱為物體的邊緣圖像(edge map)；3.5 節介紹對單一 物體之深度影像使用區域成長法，獲得該物體每個區塊的區域特徵，並且用多維度直方 圖統計；3.6 節介紹兩階段式的辨識系統來進行三維物體辨識。

本章分成六節，先說明整個三維物體分割與辨識系統的流程，再詳細說明流程中每 個演算法的參數設定方式。3.1 節介紹整個三維物體分割與辨識的系統架構，使用在實 際拍攝之複雜場景上。3.2 節說明使用適應性中值濾波以及移動式最小平方法來作為處 理三維雜訊之目的；3.3 節說明如何分割深度影像，當深度影像是一個複雜場景時，將 場景分割成許多單一場景並分離每個單一場景中的不同物體；3.4 節介紹如何偵測物體 的邊緣，並且使邊緣形成封閉邊界，稱為物體的邊緣圖像(edge map)；3.5 節介紹對單一 物體之深度影像使用區域成長法，獲得該物體每個區塊的區域特徵，並且用多維度直方 圖統計；3.6 節介紹兩階段式的辨識系統來進行三維物體辨識。