視覺對稱區域之梯度分佈結構

(1)

國

立

交

通

大

學

資訊科學工程研究所

碩

士

論

文

視覺對稱區域之梯度分佈結構

Gradient Structure behind Visual Fields

where Axial Symmetry Exists

研究生：薛智仁

指導教授：林正中博士

(2)

視覺對稱區域之梯度分佈結構

Gradient Structure behind Visual Fields where Axial Symmetry Exists

研究生：薛智仁 Student：Chih-Jen Hsueh 指導教授：林正中 Advisor：Cheng-Chung Lin 國立交通大學資訊科學與工程研究所碩士論文 A Thesis

Submitted to Institute of Computer Science and Engineering College of Computer Science

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Computer Science

September 2012

Hsinchu, Taiwan, Republic of China

(3)

i

視覺對稱區域之梯度分佈結構

學生：薛智仁指導教授：林正中博士國立交通大學資訊科學與工程研究所碩士班

摘要

本論文擬從梯度結構著手，針對影像中視覺對稱區域的梯度結構進行觀察與分析。梯度結構可以分為同向性分佈、逆向性分佈與散亂性分佈三類，本論文將會設計出一套方法，分別將影像中的這三種結構擷取出來，並針對這三種結構的特性，以及這三種結構與視覺對稱區域之間的關連性進行探討。另外，在實驗結果的部分，除了對稱影像之外，本論文也將這套方法運用在一般影像上，探討一般影像的梯度結構。

(4)

ii

Gradient Structure behind Visual Fields

where Axial Symmetry Exists

Student：Chih-Jen Hsueh Advisor：Cheng-Chung Lin

Institute of Computer Science and Engineering National Chiao Tung University

ABSRACT

In this thesis, the observations on gradient structure behind visual fields where axial symmetry exists will be reported. The study will present a process designed for capturing the gradient structure in images and analyze the result. The phenomenon that specific organizations in gradient structure implying the existence of symmetric visual patterns or of large scale visual subjects in the image is detailed in the thesis.

(5)

iii

摘要 ... i ABSRACT ... ii 目錄 ... iii 圖片目錄 ... v 第一章簡介 ... 1 第二章相關研究 ... 3 2.1 結合對比資訊的門檻篩選法... 3 2.2 結合梯度資訊的自適性門檻篩選法 ... 5 2.3 利用亮度、對比與梯度結構之間的交互效應 ... 6 第三章實驗動機與處理方法 ... 10 3.1 視覺化顯示梯度方向 ... 10 3.2 面積偵測演算法 ... 13 3.3 同向性分佈偵測方法 ... 14 3.4 逆向性分佈偵測方法 ... 18 3.4.1 原始的逆向性分佈偵測方法 ... 18 3.4.2 加入修正流程的逆向性分佈偵測方法 ... 22 3.5 散亂性分佈偵測方法 ... 29 第四章實驗結果 ... 33 4.1 影像類型與結果分析 ... 33

(6)

iv 4.1.1 對稱影像 ... 34 4.1.2 一般影像 ... 41 4.2 實驗結果圖 ... 44 4.2.1 對稱影像 ... 44 4.2.2 一般影像 ... 54 第五章結論 ... 64 參考文獻 ... 66

(7)

v

圖片目錄

圖二-1 文獻 [4]的演算法流程圖 ... 4 圖二-2 文獻 [4]的結果圖 ... 4 圖二-3 文獻 [5]取得門檻篩選平面的流程圖 ... 5 圖二-4 文獻 [5]的測試影像與結果圖 ... 6 圖二-5 文獻 [1]的系統流程圖 ... 7 圖二-6 美洲豹：亮度與梯度結構擷取圖（摘自文獻 [1]） ... 8 圖二-7 美洲豹：對比與梯度結構擷取圖（摘自文獻 [1]） ... 9 圖三-1 十字形分類法與 X 形分類法 ... 11 圖三-2 兩種分類法的區域著色方式 ... 12 圖三-3 Lena（512×512）梯度方向顯示圖 ... 12 圖三-4 面積偵測示意圖 ... 14 圖三-5 兩種分類法的區域編號 ... 15 圖三-6 同向性次高區域圖例 ... 17 圖三-7 同向性最高區域圖例 ... 17 圖三-8 同向性分佈偵測結果圖 ... 18 圖三-9 蝴蝶標本（469×500）梯度方向顯示圖 ... 19 圖三-10 蝴蝶標本所產生的權重值影像 ... 21 圖三-11 權重值影像經過門檻篩選之後的結果圖 ... 22

(8)

vi 圖三-12 飛蛾（469×500）的梯度方向顯示圖與面積偵測結果圖 ... 23 圖三-13 飛蛾的黃色與墨綠色區域之面積偵測結果圖 ... 24 圖三-14 與 S’13做迴旋積的矩陣 ... 25 圖三-15 與 S’24做迴旋積的矩陣 ... 26 圖三-16 示意圖例 ... 27 圖三-17 飛蛾所產生的權重值影像 ... 28 圖三-18 權重值影像進行門檻篩選之後的結果圖 ... 29 圖三-19 梯度方向分佈示意圖例 ... 31 圖三-20 農場（720×540）散亂性分佈偵測結果 ... 32 圖四-1 蝴蝶標本（469×500）梯度結構分析圖 ... 34 圖四-2 斑馬（1000×666）梯度結構分析圖 ... 36 圖四-3 燈塔（650×441）梯度結構分析圖 ... 37 圖四-4 修正前後的 5 與 7 逆向性分佈圖比較 ... 38 圖四-5 貓頭鷹（500×335）梯度結構分析圖 ... 39 圖四-6 樹蛙（1024×768）梯度結構分析圖 ... 40 圖四-7 豹（1024×768）梯度結構分析圖 ... 41 圖四-8 長頸鹿與斑馬（800×525）梯度結構分析圖 ... 42 圖四-9 副王蛺蝶（1027×795）梯度結構分析圖 ... 43 圖四-10 哈佛建築物（263×600）梯度結構分析圖 ... 44

(9)

vii 圖四-11 五角大廈（452×429）梯度結構分析圖 ... 45 圖四-12 比爾蓋茲（441×594）梯度結構分析圖 ... 46 圖四-13 喝水中的長頸鹿（297×400）梯度結構分析圖 ... 47 圖四-14 橋（750×957）梯度結構分析圖 ... 48 圖四-15 山魈（512×512）梯度結構分析圖 ... 49 圖四-16 兩隻長頸鹿（1000×666）梯度結構分析圖 ... 50 圖四-17 海邊建築物（800×600）梯度結構分析圖 ... 51 圖四-18 台北 101（520×384）梯度結構分析圖 ... 52 圖四-19 湖邊倒影（640×480）梯度結構分析圖 ... 53 圖四-20 農場（720×540）梯度結構分析圖 ... 54 圖四-21 草原上的長頸鹿（800×528）梯度結構分析圖 ... 55 圖四-22 寵物（450×600）梯度結構分析圖 ... 56 圖四-23 圍籬中的長頸鹿（1000×750）梯度結構分析圖 ... 57 圖四-24 Lena（512×512）梯度結構分析圖 ... 58 圖四-25 濕地（1000×750）梯度結構分析圖 ... 59 圖四-26 小狗（816×702）梯度結構分析圖 ... 60 圖四-27 牧場（1000×490）梯度結構分析圖 ... 61 圖四-28 松鼠（1000×750）梯度結構分析圖 ... 62 圖四-29 樹蔭下的豹（800×600）梯度結構分析圖 ... 63

(10)

viii

(11)

1

第一章簡介

無論是自然界中的生物，或是人造的景物，許多物體都具有對稱的特性，因此我們經常可以在影像中看到這些具有對稱性的物體。影像中具有

對稱性質的區域，在本論文中稱之為「視覺對稱區域」。

在影像處理（image processing）的領域中，梯度方向（gradient direciotn）指的是在影像的小區域當中，亮度（intensity）由暗至亮的變化方向（文獻 [1]），而梯度結構（gradient structure）指的則是參考像素的梯度方向與其鄰近像素的梯度方向之間的關係。本論文擬從梯度結構著手，針對影像中視覺對稱區域的梯度結構進行觀察與分析。根據文獻 [1]的分類，梯度結構可以分為同向性分佈、逆向性分佈與散亂性分佈。本論文將會設計出一套方法，分別將影像中的這三種結構擷取出來，並針對這三種結構的特性，以及這三種結構與視覺對稱區域之間的關連性進行探討。另外，在影像處理的領域中，影像分割（image segmentation）的定義是將影像區分為許多不同的區塊，各個區塊之內所包含的像素（pixel）會具有類似的影像區域特性（文獻 [1]）。本論文擬將影像中具有相同梯度結構的區塊分別擷取出來，其實本質上也是在對影像進行粗略的分割，因此接下來會在第二章中介紹一些與影像分割相關的研究。關於本論文其他部分的內容，第三章會說明本論文的實驗構想與處理方法，第四章則會對實

(12)

2

(13)

3

第二章相關研究

目前在影像分割的領域中，已經有許多相關的研究，就分割技術而言，大致上可以分為三類（文獻 [2] [3]）：第一類是針對影像中的某種特徵（feature）進行分群(clustering)或是套用門檻篩選法（thresholding）；第二類是利用邊緣檢測(edge detection)來進行分割；而第三類則是藉由區域擷取（region extraction）來進行分割。在本章當中，將會依序介紹結合對比資訊的門檻篩選法（文獻 [4]）、結合梯度資訊的自適性門檻篩選法（文獻 [5]）以及利用亮度、對比與梯度結構之間的交互效應來進行分割（文獻 [1]）這三種與本論文相關的影像分割方法。

2.1 結合對比資訊的門檻篩選法

在文獻 [4]中，提出了一種結合對比資訊與門檻篩選法來進行影像分割的方法，流程如圖二-1 所示。

(14)

4 圖二-1 文獻 [4]的演算法流程圖文獻 [4]首先會先將輸入的彩色影像，從 RGB 空間轉換到 CIE L*a*b* 空間，接著利用自訂的公式計算出 0、45、90與 135四個方向的對比值，然後便利用門檻篩選法對影像進行初步的分割。初步的分割結束之後，文獻 [4]會使用一套驗證邊界的機制，希望能藉此消除一些不合理的邊界，然後得到最後的分割結果。圖二-2 為文獻 [4]的結果圖。圖二-2 文獻 [4]的結果圖

(15)

5

2.2 結合梯度資訊的自適性門檻篩選法

文獻 [5]提出了一種結合梯度資訊的自適性門檻篩選法（adaptive thresholding），其作法為先求出原始影像中每一個像素的梯度大小（gradient magnitude），接著再利用門檻篩選法取出梯度大小較大的像素。之所以要取出這些像素，是因為這些像素很可能是影像中物體的邊界部分。接下來，文獻 [5]藉由這些像素的位置與灰階值（gray level）計算出一個門檻篩選平面（threshold surface），最後利用此門檻篩選平面來對原始影像做影像分割，流程如圖二-3 所示。圖二-3 文獻 [5]取得門檻篩選平面的流程圖

(16)

6 圖二-4 左邊為原始影像，而右邊則為文獻 [5]進行完影像分割的結果圖。圖二-4 文獻 [5]的測試影像與結果圖

2.3 利用亮度、對比與梯度結構之間的交互效應

文獻 [1]考慮到影像中的多重特性，提出了利用結合亮度與梯度結構（gradient organization）以及結合對比（contrast）與梯度結構的交互效應來進行影像分割，系統流程圖如圖二-5 所示。

(17)

7 圖二-5 文獻 [1]的系統流程圖文獻 [1]進一步將亮度細分為高亮度、中亮度與低亮度，將對比亦細分為高對比、中對比與低對比，梯度結構則分成了同向性分佈、逆向性分佈與散亂性分佈三種結構。藉由各種可能的亮度與梯度結構之間的交互效應，共可得到九種結果。同樣的，藉由各種可能的對比梯度與梯度結構之間的交互效應，亦可得到九種結果。最後對這些結果圖進行觀察，希望能藉此找出一些有助於影像分割的特性。圖二-6 為文獻 [1]中的亮度與梯度結構擷取圖，圖二-7 則為文獻 [1]中的對比與梯度結構擷取圖。

(18)

8

(19)

9

(20)

10

第三章實驗動機與處理方法

本章將介紹本論文的實驗動機與處理方法，包括筆者觀察圖例之後所產生的直覺想法，以及實驗中所使用的演算法、參數等，都會逐一詳細說明。一開始先介紹一個可以視覺化顯示梯度方向的工具（3.1 節），接著說明面積偵測演算法（3.2 節），再來則依序介紹同向性分佈、逆向性分佈與散亂性分佈的偵測方法（3.3、3.4 與 3.5 節）。

3.1 視覺化顯示梯度方向

為了能夠更方便、更直覺的觀察影像中梯度方向的分佈，筆者提出一個可以視覺化顯示梯度方向的工具，此工具可以幫助我們快速的觀察出影像中所有區域的梯度結構，也可以幫助我們更進一步的分析、了解影像中某些區域的特性。值得注意的是，本論文中所使用的梯度方向，皆是參考文獻 [1]與文獻 [6]中的作法，將梯度方向轉換成 0～360的範圍。筆者提出的視覺化顯示工具是將梯度方向以 90為一個區域進行分類，並且使用兩種分類方式，如圖三-1（a）與（b）所示。筆者將圖三-1（a）命名為十字形分類法，將圖三-1（b）命名為 X 形分類法。

(21)

11 圖三-1 十字形分類法與 X 形分類法為了方便觀察，筆者將兩種分類法中各個不同的區域著上不同的顏色，如圖三-2（a）與（b）所示。在十字形分類法中，梯度方向介於 0～90之間的角度用白色表示，梯度方向介於 90～180之間的角度用綠色表示，梯度方向介於 180～270之間的角度用藍色表示，梯度方向介於 270～360 （即 0）之間的角度用紅色表示。在 X 形分類法中，梯度方向大於 315與小於 45的角度用棕色表示，梯度方向介於 45～135之間的角度用黃色表示，梯度方向介於 135～225之間的角度用白色表示，梯度方向介於 225 ～315之間的角度用墨綠色表示。筆者刻意將梯度方向相對的區域利用對比色來呈現，希望能藉此讓觀察者更直覺的看出梯度方向分佈的特性。另外，實作上梯度方向恰好落在邊界上或者是沒有梯度方向值的部分，則皆用黑色顯示。

(22)

12

圖三-2 兩種分類法的區域著色方式

圖三-3 上方為原始影像，下方左圖為使用十字形分類法之後的顯示圖，下方右圖則為使用 X 形分類法之後的顯示圖。

(23)

13

3.2 面積偵測演算法

觀察圖三-3 可以發現，無論是十字形類法或是 X 形分類法，著色區塊的面積皆有大有小，筆者想要將面積較大的部分擷取出來，因此提出一個面積偵測演算法，演算法的步驟與說明如下： (1) 先將欲偵測面積的部分全部轉變成 0 與 1 的邏輯矩陣，例如欲偵測圖三-3 中 X 形分類法的墨綠色部分面積，便需先將墨綠色的部分以 1 表示，其餘的部分以 0 表示。 (2) 將欲偵測面積的部分與一個全 1 矩陣進行迴旋積（convolution）。 (3) 觀察執行完迴旋積之後所得到的矩陣，矩陣中數值較大的部分，即為面積較大的部分。圖三-4 為一個用來說明此演算法的示意圖，觀察圖三-4（a）中的紅色方框與藍色方框，紅色方框與圖三-4（b）中的全 1 矩陣做迴旋積之後所得到的數值，會比藍色方框與此全 1 矩陣做迴旋積所得到的數值還要大，而這個數值恰好也反映了紅色方框與藍色方框內的面積資訊，紅色方框內的 1 面積較大，而藍色方框內的 1 面積較小。筆者的想法是，把圖三-4（b）中的全 1 矩陣當成一個平面的計數器，藉此模擬出計算面積大小的效果，這個面積偵測演算法將會在後續的章節中再次被運用。

(24)

14 [ 1 1 1 0 0 0 0 1 1 1 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1] [1 1 11 1 1 1 1 1 ] （a）（b）圖三-4 面積偵測示意圖

3.3 同向性分佈偵測方法

根據文獻 [1]的定義，同向性分佈指的是參考像素的梯度方向，與其鄰近像素的梯度方向大致相同，造成影像中的一個小區域內，所有像素皆擁有類似梯度方向的情況。本論文也沿用這個定義，提出一套演算法來偵測影像中具有同向性分佈結構的區域，演算法的步驟及其說明如下。值得注意的是，筆者在步驟中所定義的符號都是接續一貫使用的，意即在某一個步驟定義的符號，之後的步驟也會繼續使用，都是相同的定義。 (1) 計算出影像中每一個像素的梯度方向。 (2) 使用 3.1 節所提及的十字形分類法與 X 形分類法，對每一個像素的梯度方向進行分類。為了方便表示，筆者將每一個區域皆編上編號，編號方法如圖三-5 所示。

(25)

15 圖三-5 兩種分類法的區域編號 (3) 假設影像大小為 m×n，造出一個 m×n×8 的三維邏輯矩陣 A，A 的每一頁分別代表圖三-5 中的一個類別，例如 A 的第一頁代表圖三-5 中第 1 類，A 的第二頁代表圖三-5 中第 2 類，以此類推，因此 A 共有八頁。 (4) 對影像中任一個像素 Q 而言，假設 Q 的座標為（x, y），且 Q 屬於第 N 類，便將 A 的（x, y, N）之值設為 1。依此方式檢查影像中的每一個像素，並在 A 中相對應的座標上設值進去。執行完這個步驟之後，我們便可以得到每一類梯度方向在影像中的分佈。 (5) 取出 A 中第一頁，然後與一個大小為 9×9 的全 1 矩陣進行迴旋積得到 C1，接著再將 C1進行篩選，取 C1中大於門檻值的部分，令門檻篩選之後的結果為 H1。此處筆者取的門檻值為平均值（average）再加上 1.8 倍的標準差（standard deviation）。接下來，依序取出 A 的第二頁至第八頁，進行前述的處理，分別得到 H2、H3、H4、H5、 H6、H7與 H8。進行這個步驟的用意是要將同一類梯度方向的區域

(26)

16 中，面積較大的部分擷取出來。 (6) 將 H1、H2、H3與 H4相加，得到 W1，再將 H5、H6、H7與 H8相加，得到 W2。此處特別說明一種情況，如圖三-6（a）所示，某個區域的像素之梯度方向剛好落在十字形分類法的邊界附近，因為這些像素的梯度方向有些落在第 2 類、有些落在第 3 類，導致這個區域進行迴旋積之後，在步驟(5)的 C2與 C3中值皆偏低，無法通過門檻值，而使得此區域在 W1中得到的值為 0。然而，如圖三-6（b）所示，這種分佈在 X 形分類法中，全部都會落在第 6 類，因此這個區域進行迴旋積之後，在 C6中的值相對較大，可以通過門檻值，使得此區域在 W2中得到的值為 1，W1的 0 與 W2的 1 相加得到 1，因此最後的權重值僅有 1，而不像在圖三-7 中，W1與 W2皆為 1，相加之後可以得到權重值 2。不過由此處我們也可以觀察到一個現象，就是十字形分類法與 X 型分類法具有互補性，當在一種分類法中沒有響應（response）時，可能在另一種分類法中會有響應，此處筆者便是利用這個特性來處理梯度方向邊界的問題。

(27)

17 圖三-6 同向性次高區域圖例圖三-7 同向性最高區域圖例 (7) 將 W1與 W2相加，即得到最後的結果，如圖三-8 所示。圖三-8 中的灰階值分成三層，最亮的區域為 W1與 W2相加之後權重值為 2 的部分，這是同向性最高的區域。次亮的則為 W1與 W2相加之後權重值為 1 的部分，這是同向性次高的區域。最暗的部分為 W1與 W2相加之後權重值為 0 的部分，此為不具同向性的區域。

(28)

18 圖三-8 同向性分佈偵測結果圖

3.4 逆向性分佈偵測方法

本節中將提出兩種逆向性分佈的偵測方法，3.4.1 節中提出的是筆者最初設計出來的演算法。然而，筆者在觀察了一些圖例之後，發現 3.4.1 節提出的方法有一些需要改善的部分，因此在 3.4.2 節再提出加入修正流程的逆向性分佈偵測方法。 3.4.1 原始的逆向性分佈偵測方法 圖三-9 為一張具有對稱性質的蝴蝶標本影像，觀察其梯度方向顯示圖可以發現，在 X 形分類法中，蝴蝶翅膀上斑紋部分的黃色與墨綠色區域也呈現出對稱的性質，而黃色與墨綠色區域所包含的梯度方向恰好又是相對的，符合文獻 [1]中逆向性分佈的性質。這就讓筆者想到，或許可以把影像中梯度方向相對的區域擷取出來，以利對稱偵測的進行，或是做其他後續

(29)

19 的應用。梯度方向相對的區域有圖三-2（a）中的白色與藍色區域、紅色與綠色區域，以及圖三-2（b）中的黃色與墨綠色區域、白色與棕色區域。其中，圖三-2（a）中的白色與藍色區域反應出對稱軸為 45°左右的對稱，紅色與綠色區域反應出對稱軸為 135°左右的對稱，而圖三-2（b）中的黃色與墨綠色區域反應出對稱軸為 90°左右的對稱，白色與棕色區域則反應出對稱軸為 0°左右的對稱。圖三-9 蝴蝶標本（469×500）梯度方向顯示圖

(30)

20 另外，在圖三-9 的 X 形分類法中，蝴蝶翅膀上斑紋部分的對稱區域除了梯度方向相對這個特性之外，還有一個特性，那就是同顏色區域的面積較大。此外，梯度分佈的面積資訊亦反應出影像的實體大小。根據以上這些特性，筆者提出一個逆向性分佈偵測方法，此演算法可以將影像中梯度方向相對的大面積區域擷取出來，演算法的步驟及其說明如下：步驟(1)～(4)與 3.3 節所提出的演算法相同，符號定義亦沿用 3.3 節所定義的符號。 (5) 取出 A 中梯度方向相對的頁數（例如第 1 頁與第 3 頁），然後直接將此兩頁進行相加，得到一個 m×n 的二維矩陣。由於梯度方向相對的頁數共有四組，分別是第 1 頁與第 3 頁、第 2 頁與第 4 頁、第 5 頁與第 7 頁以及第 6 頁與第 8 頁，因此總共會得到四個大小為 m×n 的矩陣，分別將其命名為 S13、S24、S57與 S68。執行這個步驟的用意是為了將梯度方向相對的區域結合起來。 (6) 針對上述的 S13、S24、S57與 S68，分別與一個大小為 9×9 的全 1 矩陣進行迴旋積（convolution），得到四個大小亦為 m×n 的權重值影像，分別將其命名為 W13、W24、W57與 W68。圖三-10 為使用圖三-9 的蝴蝶標本影像，所產生的四個權重值影像，此處以灰階的方式顯示。圖三-10 左上方為 W13，右上方為 W24，左下方為 W57，而

(31)

21 右下方為 W68。進行這個步驟的用意是要將梯度方向相對的區域中，面積較大的部分擷取出來，因此在圖三-10 中，灰階值愈大代表其梯度方向相對區域的面積愈大。圖三-10 蝴蝶標本所產生的權重值影像 (7) 將圖三-10 進行篩選，取 W13、W24、W57與 W68中大於門檻值的部分，得到圖三-11。此處筆者取的門檻值為整個權重值影像的平均值再加上 1.3 個標準差。觀察圖三-11 可以發現，逆向性分佈反應

(32)

22 出蝴蝶雙翅上的大塊斑紋所在。圖三-11 權重值影像經過門檻篩選之後的結果圖 3.4.2 加入修正流程的逆向性分佈偵測方法 圖三-12 為蛾影像的梯度方向顯示圖與面積偵測結果圖，而圖三-13 則是圖三-12 中的 X 形分類法以及黃色與墨綠色區域之面積偵測結果圖，黃色與墨綠色即為 3.3 節中所提及的編號 5 與 7 之區域。

(33)

23

(34)

24 圖三-13 飛蛾的黃色與墨綠色區域之面積偵測結果圖觀察圖三-13 可以發現，3.3 節提出的面積偵測演算法雖然可以擷取出大面積區域，但是無法辨別此大面積區域是由單一種類的梯度方向所構成（例如墨綠色區域），還是由兩種相對的梯度方向所構成（例如黃色與墨綠色合併而成的區域）。筆者認為應該去除單一種類的部分，只取相對梯度方向所構成的大面積區域，因為觀察圖三-13 之後會發現，後者較符合人類視覺的對稱概念。基於前述的原因，筆者提出一套修正流程，來修正 3.4.1 節所提出的演算法，使這個面積偵測演算法能夠只擷取由相對梯度方向所構成的大面積區域，修正後的演算法之步驟與說明如下：步驟(1)～(6)與 3.4.1 節所提出的演算法相同，符號定義亦沿用 3.4.1 節所定義的符號。 (7) 取出 A 中四組梯度方向相對的頁數，包括第 1 頁與第 3 頁、第 2 頁與第 4 頁、第 5 頁與第 7 頁以及第 6 頁與第 8 頁，然後使用下

(35)

25 列的方式得到 S’13、S’24、S’57與 S’68。 S’13 = 第 1 頁 + (-1) × 第 3 頁 S’24 = 第 2 頁 + (-1) × 第 4 頁 S’57 = 第 5 頁 + (-1) × 第 7 頁 S’68 = 第 6 頁 + (-1) × 第 8 頁 (8) 將 S’13與圖三-14 的矩陣、S’24與圖三-15 的矩陣、S’57與一個 3×11 的全 1 矩陣以及 S’68與一個 11×3 的全 1 矩陣分別進行迴旋積，得到 U13、U24、U57與 U68四個矩陣。此處筆者因為考慮到十字形分類法與 X 形分類法中各組相對區域的方向性，因此對四個不同矩陣分別使用四個不同的遮罩進行迴旋積運算。 [ 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 1] 圖三-14 與 S’13做迴旋積的矩陣

(36)

26 [ 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0] 圖三-15 與 S’24做迴旋積的矩陣 (9) 針對 U13、U24、U57與 U68四個矩陣中的所有元素取絕對值，得到 V13、V24、V57與 V68四個矩陣。此處筆者舉一個例子來說明進行步驟(7)、(8)、(9)的原因。以 X 形分類法中的黃色與墨綠色區域（矩陣 A 的第 5 頁與第 7 頁）為例，筆者認為影像中可能會出現這三種情況，如圖三-16 所示，此處以數值 1 來代表黃色，數值－1 代表墨綠色，如同前面步驟(7)的設定。圖三-16（a）中是只有黃色部分的大面積區域，此區域內的數值全為 1；圖三-16（b）中是黃色與墨綠色相鄰的大面積區域，此區域內的數值為 1 與－1 相鄰；圖三-16（c）中是只有墨綠色部分的大面積區域，此區域內的數值全為－1。利用步驟(8)中的遮罩進行迴旋積運算之後，圖三-16（a）會得到一個較大的正值，圖三-16（b）會得到一個接近 0 的值，圖三-16（c）則會得到一個較小的負值。藉由此步驟中取絕對值的運算，會使得圖三-16（c）得到一個較大的正值，圖三-16（b）仍然

(37)

27 維持一個接近 0 的值，圖三-16（a）也維持一個較大的正值，如此一來，便可以利用門檻篩選將圖三-16（b）的情況與（a）、（c）分離開來，圖三-16（b）才是這個演算法欲擷取的部分，這也是步驟 (10)進行門檻篩選的原因。 [1 ⋯ 1⋮ ⋱ ⋮ 1 ⋯ 1 ] [1 ⋯ 1 −1 ⋯ −1⋮ ⋱ ⋮ ⋮ ⋱ ⋮ 1 ⋯ 1 −1 ⋯ −1 ] [−1 ⋯ −1⋮ ⋱ ⋮ −1 ⋯ −1 ] （a）（b）（c）圖三-16 示意圖例 (10) 針對 V13、V24、V57與 V68四個矩陣進行篩選，取 V13、V24、V57 與 V68小於門檻值的部分，得到 T13、T24、T57與 T68。此處筆者取的門檻值為整個矩陣的平均值再加上 1.35 個標準差。 (11) 將 3.4.1 節中的 W13、W24、W57與 W68進行以下的運算，得到 W’13、 W’24、W’57與 W’68四個權重值影像。值得注意的是，” .× ”這個運算代表的是兩個矩陣之間元素對元素的直接相乘。圖三-17 為使用圖三-12 的飛蛾影像，所產生的四個權重值影像，此處以灰階的方式顯示，灰階值愈大代表由相對梯度方向所構成的區域面積愈大。圖三-17 左上方為 W’13，右上方為 W’24，左下方為 W’57，而右下方為 W’68。 W’13 = W13 .× T13 W’24 = W24 .× T24

(38)

28 W’57 = W57 .× T57 W’68 = W68 .× T68 圖三-17 飛蛾所產生的權重值影像 (12) 針對 W’13、W’24、W’57與 W’68進行篩選，取 W’13、W’24、W’57與 W’68大於門檻值的部分，得到最後的結果。此處筆者取的門檻值為整個矩陣的平均值再加上 1.5 個標準差。這個步驟之所以再進行一次門檻篩選，是為了在去除單一種類大面積之後，再把剩下其他大面積的部分篩選出來。圖三-18 為圖三-17 進行門檻篩選之後

(39)

29 的結果圖，可以看的出來與圖三-11 有明顯的區別，此演算法確實只擷取出相對梯度方向所構成的大面積區域。圖三-18 權重值影像進行門檻篩選之後的結果圖

3.5 散亂性分佈偵測方法

看完文獻 [1]對於散亂性分佈的定義之後，筆者的想法是，散亂性分佈代表的是參考點周圍的像素之梯度方向分佈並沒有一定的規則，各種角度都可能會有，因此應該將角度劃分區域，判斷該梯度方向屬於哪一個區域，並將區域內的梯度向量數目進行累加，藉此得到參考點周圍像素的梯度方

(40)

30 向分佈，然後判斷該分佈是否為散亂性分佈。演算法的步驟及其說明如下： (1) 計算出影像中每一個像素的梯度方向。 (2) 對影像中任一個像素 P 而言，以 P 為參考點，將遮罩（mask）內的像素以十字形分類法進行分類，並計算四類梯度角度分別含有多少個梯度向量，數量分別命名為 VA、VB、VC、VD，並計算 VA ×VB×VC×VD，令其結果為 Wp1。根據筆者的經驗，遮罩的大小以 7 ×7 或是 9×9 較為適中。 (3) 再將遮罩（mask）內的像素以 X 形分類法進行分類，並計算四類梯度角度分別含有多少個梯度向量，數量分別命名為 VE、VF、VG、 VH，並計算 VE×VF×VG×VH，令其結果為 Wp2。 (4) 計算 Wp1×Wp2，令其為 WP，WP即為此參考點 P 的權重值（weight）。之所以要使用兩種分類方式，是為了要避免角度落在邊界附近的梯度方向產生干擾，使得最後的偵測結果出現誤差。例如圖三-19 中的情況（圖三-19 僅為示意圖，因此遮罩大小僅使用 3×3 以方便說明），圖三-19 中箭號左邊是影像中原始的梯度方向分佈，箭號右邊則是將九個像素的梯度方向分別歸類到十字形分類法以及 X 形分類法中的結果。若梯度方向分佈恰巧為這種情況，則可能會造成 Wp1是一個不小的值，但是實際上這種梯度方向分佈的散亂性並不高，如果僅使用十字形分類法的分類方式，便容易產生誤

(41)

31 差，因此筆者提出另一種 X 形分類法，使得 Wp2的值為 0，兩者相乘之後，WP的值亦為 0，代表其散亂性不高，如此才是一個合理的結果。圖三-19 梯度方向分佈示意圖例 (5) 重複上述(1)～(4)四個步驟，計算出影像中所有像素的權重值，得到一個權重值影像。 (6) 將權重值影像進行門檻篩選，得到最後的結果圖。圖三-20 中上方為原始影像，下方左圖為權重值影像，下方右圖則為結果圖。權重值影像是以灰階的方式顯示，灰階值愈大的部分代表該區域的梯度方向散亂性愈高。此處使用的遮罩大小為 7×7，門檻值則使用整個權重值影像的平均值再加上 1 個標準差。

(42)

32

(43)

33

第四章實驗結果

本章中將會把影像分成對稱影像與一般影像兩大類，然後針對實驗結果進行分析（4.1 節），並附上更多的實驗結果圖（4.2 節）。

4.1 影像類型與結果分析

本節中會先把影像分成對稱影像與一般影像兩大類，對稱影像中再依據視覺對稱區域的梯度結構，分為同向性分佈、逆向性分佈與散亂性分佈三類做說明。關於一般影像方面，同樣也會根據影像主體的梯度結構，分為同向性分佈、逆向性分佈與散亂性分佈三類，並分別對三類影像做說明。

(44)

34 4.1.1 對稱影像 (1) 同向性分佈原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-1 蝴蝶標本（469×500）梯度結構分析圖圖四-1 為一組蝴蝶標本的梯度結構分析圖，其中 1 與 3 逆向性分佈圖指的是由圖三-5 中編號 1 與編號 3 這兩個區域所構成的大面積逆向性分佈

(45)

35 圖，其他的編號則以此類推。另外，本章中所呈現的逆向性分佈圖，皆是使用 3.4.1 節所提出的原始逆向性分佈偵測方法所擷取出來的。觀察圖四-1 可以發現，這張圖中的視覺對稱區域之梯度結構主要是由同向性分佈與逆向性分佈所構成，而其中又以同向性分佈圖所擷取到的蝴蝶結構較為完整，因此若用此同向性分佈圖的偵測結果當作特徵點，使用類似文獻 [6]中的方法去進行對稱性偵測的話，應該可以偵測出比較完整而且正確的對稱軸。另外，在圖四-1 中，可以觀察到同向性分佈圖與散亂性分佈圖大致呈現互補的現象，也就是如果把兩張圖合併起來，幾乎就接近整個完整影像。筆者認為這可以解釋成是影像中梯度結構有規則性的部分大致上會出現在同向性分佈圖中，而梯度結構沒有規則性的部分大致上會出現在散亂性分佈圖中，因此造成兩張圖會有互補現象。再者，逆向性分佈圖則大致是同向性分佈圖的一部分，若把 1 與 3 逆向性分佈圖以及 2 與 4 逆向性分佈圖合併起來，或是把 5 與 7 逆向性分佈圖以及 6 與 8 逆向性分佈圖合併起來，就會很接近同向性分佈圖。這個現象是可以解釋的，因為逆向性分佈本來就是取兩個相對區域的同向性分佈來做偵測，也因此逆向性分佈的偵測結果會是同向性分佈的一部分。

(46)

36 (2) 逆向性分佈原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-2 斑馬（1000×666）梯度結構分析圖圖四-2 是一組斑馬的梯度結構分析圖，觀察圖四-2 可以發現，斑馬身上因為具有大面積的黑白相間斑紋，使得逆向性分佈非常明顯。而原圖由於是從正面拍攝斑馬的身體，因此對稱性亦相當良好，若使用 5 與 7 逆向性分佈圖當作特徵點來進行對稱性偵測的話，筆者推測應該會有不錯的結果。另外，觀察 X 形分類法中水面的部分，垂直方向的逆向性分佈面積很大，因此在 6 與 8 逆向性分佈圖中，可以擷取出水面的部分。

(47)

37 原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-3 燈塔（650×441）梯度結構分析圖圖四-3 是一組燈塔的梯度結構分析圖，由於建築物的結構大部分都是水平或是垂直的，因此視覺對稱區域通常都會落在 5 與 7 逆向性分佈圖或是 6 與 8 逆向性分佈圖，像此圖便是落在 5 與 7 逆向性分佈圖。圖四-4 左圖為原本的 5 與 7 逆向性分佈圖，右圖則為使用 3.4.2 節的修正流程修正過後的 5 與 7 逆向性分佈圖，觀察這兩張圖中燈塔的部分可以發現，修正過後的逆向性分佈圖燈塔結構反而變的不完整，不利於對稱偵測的進行，這是由於修正流程會去除單一種類大面積的區域（X 形分類法中燈塔右側的黃色區域）所導致的結果。修正是必須要做的，只是本論文提出的方法稍嫌粗糙，需要一套更有效的修正方法。

(48)

38

(49)

39 (3) 散亂性分佈原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-5 貓頭鷹（500×335）梯度結構分析圖圖四-5 是一組貓頭鷹的梯度結構分析圖。由於貓頭鷹全身與樹枝的部分表面都很粗糙，因此造成梯度結構的散亂性很高，在散亂性分佈圖中可以擷取到貓頭鷹的全身與樹枝的部分。其實筆者觀察其他圖例後發現，不只是這種粗糙的表面，動物身上短毛髮的部分也可能會呈現散亂性分佈。另外，在原圖中，貓頭鷹身後為一大片失焦的背景，觀察十字形分類法與 X 形分類法可以發現，這一大片失焦背景的梯度結構會呈現大面積的同向性分佈，這種現象在其他圖例中也可以觀察到，筆者認為這是大片失焦背景的特性。

(50)

40 原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-6 樹蛙（1024×768）梯度結構分析圖圖四-6 是一組樹蛙的梯度結構分析圖，這種樹蛙具有偽裝的能力，觀察圖四-6 可以發現，我們即使從梯度結構這個角度來看，仍然無法分辨出樹蛙跟旁邊的樹葉之間的不同，無論是在同向性分佈圖、逆向性分佈圖或散亂性分佈圖中，都無法擷取到樹蛙的部分。

(51)

41 4.1.2 一般影像 (1) 同向性分佈原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-7 豹（1024×768）梯度結構分析圖圖四-7 為一組豹的梯度結構分析圖，觀察十字形分類法與 X 形分類法可以發現，豹身上的斑紋會呈現塊狀的同向性分佈，而樹皮則因為表面較為粗糙，因此梯度結構呈現散亂性分佈，兩者有明顯的區別，因此同向性分佈圖與散亂性分佈圖的擷取結果，可以將兩者分離開來。至於背景中樹枝的部分，因為失焦的關係，因此梯度結構也呈現大面積的同向性分佈。

(52)

42 (2) 逆向性分佈原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-8 長頸鹿與斑馬（800×525）梯度結構分析圖圖四-8 為一組長頸鹿與斑馬的梯度結構分析圖，觀察十字形分類法與 X 形分類法可以發現，長頸鹿身上的斑塊與豹身上的斑紋類似，都會呈現塊狀的同向性分佈。另外，原圖中長頸鹿與斑馬的身上，其實都有一些光影、亮度上的變化，但是這個現象在十字形分類法與 X 形分類法中並不明顯，這也是梯度這個工具的特性之一，亮度變化對於梯度結構並沒有很大的影響。另外，觀察圖四-8 中草皮的部分，通常草皮如果不是位在遠處失焦的背景中的話，梯度結構的散亂性都是很高的，因此我們可以看到散亂性分佈圖擷取到草皮的部分。

(53)

43 (3) 散亂性分佈原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-9 副王蛺蝶（1027×795）梯度結構分析圖圖四-9 是一組副王蛺蝶梯度結構分析圖，觀察原圖可以發現，由於原圖中的背景是失焦的，因此梯度結構也再次呈現大面積的同向性分佈。而副王蛺蝶的翅膀除了黑色的輪廓部分是同向性分佈之外，內部黃色的部分含有許多不規則的光影變化，因此梯度結構上呈現散亂性分佈。

(54)

44

4.2 實驗結果圖

4.2.1 對稱影像 原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-10 哈佛建築物（263×600）梯度結構分析圖

(55)

45

原圖十字形分類法 X 形分類法

同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖

2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖

(56)

46

(57)

47

(58)

48

(59)

49

(60)

50

(61)

51

(62)

52

(63)

53

(64)

54 4.2.2 一般影像 原圖十字形分類法 X 形分類法同向性分佈圖散亂性分佈圖 1 與 3 逆向性分佈圖 2 與 4 逆向性分佈圖 5 與 7 逆向性分佈圖 6 與 8 逆向性分佈圖圖四-20 農場（720×540）梯度結構分析圖

(65)

55

(66)

56

(67)

57

(68)

58

(69)

59

(70)

60

(71)

61

(72)

62

(73)

63

(74)

64

第五章結論

本論文提出了一套方法來偵測影像中三種不同的梯度結構，並針對這三種結構的特性，以及這三種結構與視覺對稱區域之間的關連性進行探討，只是本論文仍然有不足之處，以下提出幾點本論文可以改進、加強的地方，作為後續研究者的參考： (1) 誠如筆者在 4.1.1 節的燈塔圖中提到的，本論文在 3.4.2 節所提出的修正方法稍嫌粗糙，有可能修正之後的結果反而不利於對稱偵測的進行，因此需要後續的研究者提出一套更有效的修正方法。 (2) 本論文的偵測方法中已經包含有「面積」的概念，後續的研究者或許可以再將更高層次的「尺寸」、「形狀」概念融入進來，或許會對於對稱偵測有更進一步的幫助。圖五-1 是一張海邊房子的影像及其 5 與 7 逆向性分佈圖，觀察 5 與 7 逆向性分佈圖左側建築物的垂直結構部分，若後續的研究者能提出一個比較尺寸的方法，將此垂直結構分離成兩棟房子（如圖中圈起來的兩塊區域），並分別進行對稱偵測，相信會有更為良好的偵測結果。

(75)

65 圖五-1 海邊房子（800×600）的 5 與 7 逆向性分佈圖 (3) 本論文所提出的方法，其實已經對影像進行了粗略的切割，若要再進一步的切割影像，或許可以再引入亮度、對比或是其他的影像特性，與本論文的方法作結合，以達到更佳的影像切割效果。另外，後續的研究者也可以思考如何把這些已經切割好的區塊再重新組合起來，這也是一個可以繼續研究的方向。以上幾點是筆者認為本論文可以再加強的地方，若能朝這些方向繼續研究，相信這套方法會更完善，輸出的結果也會更符合人類視覺的感受。

(76)

66

參考文獻

[1] Chiang, Chun-Liang; Lin, Cheng-Chung, "Basic Observations on Potential Cues Behind Vision Target Perception : Intensity, Contrast and Gradient Organization," Master Thesis, 2010.

[2] Fu, K. S.; Mui, J. K.;, "A Survey on Image Segmentation," Pattern Recognition, vol. 13, no. 1, pp. 3-16, 1981.

[3] Gonzalez, Rafael C.; Woods, Richard E., Digital Image Processing, PEARSON.

[4] Chen, Hsin-Chia; Chien, Wei-Jung; Wang, Sheng-Jyh;, "Contrast-Based Color Image Segmentation," IEEE Signal Processing Letters, vol. 11, no. 7, pp. 641-644, 2004.

[5] Yanowitz, S. D.; Bruckstein, A. M., "A New Method for Image

Segmentation," Computer Vision, Graphics, and Image Processing, vol. 46, no. 1, pp. 82-95, 1989.

[6] Ho, Ming-Hung; Lin, Cheng-Chung;, "Symmetry Detection Based on Gradient-Derived Information," Master Thesis, 2011.

視覺對稱區域之梯度分佈結構

國

立

交

通

大

學

資訊科學工程研究所

碩

士

論

文

視覺對稱區域之梯度分佈結構

Gradient Structure behind Visual Fields

where Axial Symmetry Exists

研 究 生：薛智仁

指導教授：林正中 博士

視覺對稱區域之梯度分佈結構

摘 要

Gradient Structure behind Visual Fields

where Axial Symmetry Exists

ABSRACT

目 錄

圖片目錄

第一章 簡介

第二章 相關研究

2.1 結合對比資訊的門檻篩選法

2.2 結合梯度資訊的自適性門檻篩選法

2.3 利用亮度、對比與梯度結構之間的交互效應

第三章 實驗動機與處理方法

3.1 視覺化顯示梯度方向

3.2 面積偵測演算法

3.3 同向性分佈偵測方法

3.4 逆向性分佈偵測方法

3.5 散亂性分佈偵測方法

第四章 實驗結果

4.1 影像類型與結果分析

4.2 實驗結果圖

第五章 結論

參考文獻

研究生：薛智仁

指導教授：林正中博士

摘要

目錄

第一章簡介

第二章相關研究

第三章實驗動機與處理方法

第四章實驗結果

第五章結論