透過梯度資訊偵測影像主體之對稱性

國

立

交

通

大

學

多媒體工程研究所

碩

士

論

文

透過梯度資訊偵測影像主體之對稱性

Symmetry Detection Based on Gradient-Derived Information

研 究 生：何明鴻

指導教授：林正中 博士

透過梯度資訊偵測影像主體之對稱性

Symmetry Detection Based on Gradient-Derived Information

研 究 生：何明鴻 Student：Ming-Hung Ho 指導教授：林正中 Advisor：Cheng-Chung Lin 國 立 交 通 大 學 多 媒 體 工 程 研 究 所 碩 士 論 文 A Thesis

Submitted to Institute of Multimedia Engineering College of Computer Science

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Computer Science August 2011

Hsinchu, Taiwan, Republic of China

i

透過梯度資訊偵測影像主體之對稱性

學生：何明鴻 指導教授：林正中 副教授 國立交通大學多媒體工程研究所碩士班

摘 要

本論文旨在偵測並擷取出影像中主體對稱，只要透過輸入的影像 以及其像素所提供的梯度資訊就能擷取出影像的主體對稱軸和其對 稱範圍。這個方法主要分成三大步驟: (1)確定待判定區域 (2)對稱性 強弱偵測 (3)確認對稱軸和對稱範圍。 首先利用對稱影像輪廓相似的特性，擷取出可能存在影像對稱性 的區域，再利用像素的梯度資訊(如梯度方向、梯度強度)進行判定， 並依據這些判定結果，確認該影像是否存在對稱影像。 透過不斷的實驗與觀察，以調整各種參數所造成的影響，讓最後 偵測出的對稱軸和其範圍能更加精確。

ii

Symmetry Detection Based on Gradient-Derived Information

Student：Ming-Hung Ho Advisor：Cheng-Chung Lin

Institute of Multimedia Engineering National Chiao Tung University

ABSRACT

In this thesis, computational processes for capturing the axis of

symmetry and identifying the areas where symmetry exists will be report.

The computation basically exploits such gradient-derived information as gradient strength and local homogeneity of orientations, and consists of three phases of operations.

(1) Areas of interests are determined by image contrast distribution. (2) Measures of bilateral-symmetry with respect to axes in various

orientations are applied to areas of potential interests, through which axes with top five scores above threshold are preliminarily determined.

(3) Based on gradient-derived information associated with interested pixels on both sides of the axes, further refinement is carried out to make the axial length more exact and to demarcate the extent of within which the symmetry exists more precisely.

iii

Through a series of experiments, the effects of the factors governed by adjusting the gradient-derived parameters are observed and the

computation processes are then tuned accordingly, making the determination of axis and extent of symmetry visually satisfactory.

iv

目 錄

中文摘要 _……… i 英文摘要 _……… ii 目 錄 ……… iv 圖片目錄 ……… v 第 一 章 簡介 ……… 1 第 二 章 相關研究 ……… 4 2 . 1 梯度資訊統計法 ……… 4 2 . 2 特徵點辨識法 ……… 5 2 . 3 影像空間轉換擷取 ……… 7 第 三 章 處理方法 ……… 9 3 . 1 系統架構 ……… 9 3 . 2 色彩轉換 ……… 11 3 . 3 亮度對比 ……… 13 3 . 4 梯度向量 ……… 14 3 . 5 梯度同向性權重圖 ……… 15 3 . 6 對稱偵測 ……… 16 3 . 7 對稱軸方向與位置 ……… 19 3 . 8 對稱範圍判定 ……… 21 3 . 9 結果 ……… 23 第 四 章 實驗結果 ……… 26 4 . 1 影像類型與結果分析 ……… 26 4 . 2 實驗結果圖 ……… 39 4 . 3 區塊切割與對稱性判斷結果 ……… 48 第 五 章 結論 ……… 50 參考文獻 ……… 52

v

圖 目 錄

圖 1-1 _{( a ) 旋轉對稱示意圖 ( b ) 軸對稱示意圖 ………} 1 圖 1-2 _{兩種對稱型態之實際圖例 ………} 2 圖 1-3 _{結構性對稱示意圖 ………} 2 圖 1-4 _{結構性對稱實際圖例 ………} 2 圖 2-1 _{文獻[1]流程圖 ………} 4 圖 2-2 _{梯度方向直方圖 ………} 5 圖 2-3 文獻[1]結果圖 ……… 5 圖 2-4 文獻[2] SIFT結果圖 ……… 6 圖 2-5 文獻[3]結果圖 ……… 6 圖 2-6 文獻[5]結果圖 ……… 7 圖 2-7 文獻[6]GVF轉換 ……… 7 圖 2-8 文獻[6]結果圖 ……… 8 圖 2-9 文獻[7]結果圖 ……… 8 圖 3-1 系統流程圖1 ……… 9 圖 3-2 系統流程圖2 ……… 11 圖 3-3 對稱比對區域差異圖 ……… 11 圖 3-4 灰階影像轉換圖 ……… 12 圖 3-5 亮度對比圖 ……… 13 圖 3-6 梯度方向示意圖 ……… 14 圖 3-7 convolution mask ……… 15 圖 3-8 梯度同向性權重圖 ……… 16 圖 3-9 對稱關係示意圖 ……… 17 圖 3-10 軸對稱待判定區域圖 ……… 17 圖 3-11 對稱判斷流程圖 ……… 17 圖 3-12 梯度方向判斷示意圖 ……… 18 圖 3-13 前五名方向對稱偵測結果圖 ……… 19 圖 3-14 x-y空間與ρ-θ空間關係圖 ……… 20 圖 3-15 對稱軸方向與位置過程圖 ……… 21 圖 3-16 旋轉與位移結果圖 ……… 21 圖 3-17 確認對稱範圍示意圖 ……… 22 圖 3-18 範圍判定結果圖 ……… 23 圖 3-19 對稱軸及其範圍結果圖一 ……… 23 圖 3-20 對稱軸及其範圍結果圖二 ……… 24 圖 3-21 各程序產生圖 ……… 25

vi 圖 4-1 剪紙(343x330) ……… 27 圖 4-2 剪紙重要流程與結果圖 ……… 28 圖 4-3 冰晶結構(549x590) ……… 29 圖 4-4 冰晶結構重要流程與結果圖 ……… 30 圖 4-5 城堡(400x322) ……… 31 圖 4-6 城堡重要流程與結果圖 ……… 32 圖 4-7 台北101(520x384) ……… 33 圖 4-8 台北101重要流程與結果圖 ……… 34 圖 4-9 五角大廈(452x429) ……… 35 圖 4-10 五角大廈重要流程與結果圖 ……… 36 圖 4-11 老虎(500x375) ……… 37 圖 4-12 老虎重要流程與結果圖 ……… 38 圖 4-13 幾何I (600x423) ……… 39 圖 4-14 蝴蝶I (345x267) ……… 39 圖 4-15 蝴蝶II (259x194) ……… 39 圖 4-16 剪紙I (660x257) ……… 39 圖 4-17 雨傘 (255x255) ……… 40 圖 4-18 飛機I (550x366) ……… 40 圖 4-19 飛機II (512x341) ……… 40 圖 4-20 汽車 (500x374) ……… 40 圖 4-21 畫像 (300x374) ……… 41 圖 4-22 比爾蓋茲 (441x594) ……… 41 圖 4-23 超人 (375x600) ……… 41 圖 4-24 哈佛建築 (502x368) ……… 41 圖 4-25 寺廟 (509x376) ……… 42 圖 4-26 中正紀念堂 (480x360) ……… 42 圖 4-27 鐵塔 (442x627) ……… 42 圖 4-28 教堂 (400x284) ……… 42 圖 4-29 獅子 (400x600) ……… 43 圖 4-30 孔雀 (400x250) ……… 43 圖 4-31 羊 (512x384) ……… 43 圖 4-32 大象 (438x541) ……… 43 圖 4-33 景物 (389x519) ……… 44 圖 4-34 漢字 (268x223) ……… 44 圖 4-35 設計圖 (317x216) ……… 44 圖 4-36 羽毛 (294x304) ……… 44 圖 4-37 海星 (390x382) ……… 45 圖 4-38 人像 (237x284) ……… 45

vii 圖 4-39 汽車II (508x380) ……… 45 圖 4-40 汽車III (620x287) ……… 45 圖 4-41 蝴蝶 III (345x267) ……… 46 圖 4-42 蝴蝶IV (336x252) ……… 46 圖 4-43 水中倒影 (512x384) ……… 47 圖 4-44 兩隻大象 (500x370) ……… 47 圖 4-45 切割結果圖 ……… 49

- 1 -

第一章 簡介

現實世界裡，不論是人造的文物或是自然界的景物往往都存在的 對稱結構與特性，人類的視覺感官系統能夠快速地分辨出物體的對稱 結構與範圍(文獻[11][12])，然而在電腦視覺中就必頇要透過一些處理 才能辨識，因此在電腦視覺的領域中，影像的對稱性偵測一直都被廣 泛的應用與探討。 對稱的種類大致可以分為兩種，第一種為軸對稱 (Bilateral Symmetry or Mirror Symmetry)，第二種為旋轉對稱 (Rotational Symmetry) 。軸對稱如圖1-1 ( b )所示，存在一條軸線，該軸的兩側 擁有相同的形狀和特徵，而該軸稱為對稱軸。旋轉對稱如圖1-1 ( a ) 所示，若存在中心點，經過旋轉2π / n後 (該圖為 n = 4 )，形狀和特 徵仍然沒有改變，則稱其為旋轉對稱。圖1-2為兩種對稱型態之實際 圖例。 圖1-1 : ( a ) 旋轉對稱示意圖 ( b ) 軸對稱示意圖

- 2 - 旋轉對稱 軸對稱 圖1-2 : 兩種對稱型態之實際圖例 除了上述兩種對稱種類外，也有結構性的對稱，如圖 1-3。當影 像中出現兩物件，彼此不一定相連，而兩物件擁有相同的形狀與特徵， 且存在一條對稱軸能夠使兩側相等，在本論文中將其稱為結構性對稱， 圖1-4為實際圖例。 圖1-3 : 結構性對稱示意圖 圖1-4 : 結構性對稱實際圖例

- 3 - 本論文將針對軸對稱以及結構性對稱兩種情形進行分析與處理， 藉由人類視覺對於對稱性的認知，建構幾個程式模組執行對稱性的判 定。在此基礎上設計和實作一套流程，透過各個像素的梯度、亮度、 與對比等資訊進行整合，自動化擷取輸入影像之最大對稱範圍與對稱 軸，分析與探討所擷取出的對稱範圍和位置與主觀認知上的差異度。 接下來將會在第二章中介紹，目前就個人已知對稱偵測相關技術 的研究。第三章說明本篇論文所採用的處理程序及方法。第四章為實 驗之結果，第五章則是本篇論文的結論。

- 4 -

第二章 相關研究

在對稱偵測的領域中，現階段已有不少相關論文，在偵測技術 上所依據的資訊也不盡相同，有些利用光影特性(如亮度、梯度、對 比等)，有些根據形狀，或是將影像轉換到不同空間做運算，而處理 的對稱種類也有所不同，有針對軸對稱或是旋轉對稱做處理，也有偵 測投影影像的對稱。在本章節中，將依序介紹利用梯度資訊統計法(文 獻[1])，特徵點辨識法(文獻[3] [4] [5])，影像空間轉換擷取(文獻[6] [7]) 進行對稱偵測之種種做法。

2.1 梯度資訊統計法

圖2-1 : 文獻[1]流程圖 在文獻[1]中，提出了單純利用梯度資訊偵測對稱的方法，如圖2-1 所示。此方法主要針對簡單的軸對稱影像進行處理，首先從原始影像

- 5 - 中擷取梯度資訊，將各個方向進行統計，以直方圖顯示，如圖2-2所 示，並且利用下列公式運算: c(𝑥) = ∑ ℎ(𝑥 + 𝜃)ℎ(𝑥 − 𝜃) 𝜋 𝜃=0 , 0 ≤ 𝑥 ≤ 2𝜋 其中ℎ(𝜃)為梯度𝜃方向的像素個數，c(𝑥)為乘積相加的總和，𝑥在 0~2𝜋之間找出最大的c(𝑥)，該𝑥即為對稱軸之方向。圖2-3為結果圖。 圖2-2 : 梯度方向直方圖 圖2-3 : 文獻[1]結果圖

2.2 特徵點辨識法

在文獻[3] [4]中，利用特徵擷取及辨識的方法，首先找出影像中 的特徵點，在文獻中是用SIFT(scale invariant feature transform)法

- 6 - (文獻[2])找特徵點，如圖2-4所示。接著將這些特徵點進行配對，進 而找出有關連性的特徵點，以確認雙邊對稱的對稱軸或是旋轉對稱的 中心點，其結果如圖2-5。在文獻[5]中，承接上述技術，將含有非上 面顯示主題之影像，進行投影角度轉換的處理，更進一步找出投影影 像中的對稱軸，結果如圖2-6。 原圖 SIFT特徵分布圖 圖2-4 : 文獻[2] SIFT結果圖 軸對稱 旋轉對稱 圖2-5 : 文獻[3]結果圖

- 7 -

圖2-6 : 文獻[5]結果圖

2.3 影像空間轉換擷取

文獻[6]主要處理軸對稱的影像，影像輸入後先做影像空間轉換， 將影像轉成GVF(gradient vector flow)空間，如圖2-7所示，影像疏密度 會依據邊界距離而有所變化，將可能存在的對稱軸進行統計，以直方 圖顯示，並選出最佳的點和位置，結果如圖2-8。

原圖

GVF轉換結果 圖2-7 : 文獻[6]GVF轉換

- 8 - 原圖 結果圖 圖2-8 : 文獻[6]結果圖 文獻[7]根據上述的方式，更進一步針對自然影像中旋轉對稱做處 理，同樣透過GVF轉換，在對稱中心以低亮度值來顯示，結果如圖2-9 所示。 原圖 GVF圖 結果圖 圖2-9 : 文獻[7]結果圖 上述幾種方式為個人已知的對稱偵測方式，大多是對軸對稱及旋 轉對稱做處理，鮮少針對結構性對稱，因此期望透過梯度相關資訊， 對於軸對稱和旋轉對稱外，更能在結構性對稱之處理上有理想的結 果。

- 9 -

第三章 處理方法

本論文的目標是希望能夠透過梯度方向、梯度強度和亮度對比等 資訊，經過自動化處理過程，有效判斷出對稱軸以及對稱範圍，因此 對於處理流程中，若干中間步驟實作了不同的演算法，並且透過實驗 觀察的方式，找出一套目視結果較佳的參數組合方式。本章節將針對 流程中各個步驟作詳細的說明。

3.1 系統架構

圖 3-1 : 系統流程圖1

- 10 - 本論文的主體對稱性偵測流程如圖3-1所示。首先進行色彩轉換 (Color Conversion)，由輸入之全彩影像轉換成灰階影像，接著灰階影 像導出各個像素的亮度對比值以及梯度向量，且在梯度向量產生後進 而導出梯度同向性區域權重。之後透過梯度方向和梯度強度、梯度同 向性區域權重、亮度對比值等資訊，進行點對點的對稱偵測。 對稱偵測結束後，將產生對稱中點權重圖，利用霍夫轉換 (Hough Translation) 能夠找出對稱軸方向與位置，透過對稱軸方向與位置、 灰階影像、以及梯度同向性區域權重等參數，決定出最佳對稱範圍， 最終結合對稱軸位置與對稱範圍，產生主體對稱偵測之結果圖，以觀 察對稱範圍與位置和我們主觀認知上是否符合。 在實驗過程中曾經嘗詴如圖 3-2的系統流程，此系統流程和圖 3-1系統流程的差別在於對稱偵測之判斷區域，圖 3-1所採用區域為 高對比度之區域，圖 3-2所採用區域為高對比結合梯度同向性區域 (文獻[8])，兩者所擷取區域如圖 3-3所示，原先預想高亮度對比結合 梯度同向性區域將因為所包含主體較為完整，在精確度上能有所提升， 在實驗之後發現效果有限，且因為需要判斷之像素個數提升，而增加 了處理之時間，因此最後採用圖 3-1 之系統流程。

- 11 - 圖 3-2 : 系統流程圖2 原圖 亮度對比區域 對比梯度同向性區域 圖 3-3 : 對稱比對區域差異圖

3.2 色彩轉換

目前常見的影像來源，以數位相機拍攝、錄影畫面擷取或是掃描 圖所佔的比例較多，這些影像多半是全彩影像，因用途上的不同，存

- 12 - 在了多種不同的色彩模型(Color Model)，如RGB、YUV、HIS、CMYK 等等，而各種色彩模型彼此間可以透過簡單公式相互轉換。 一般灰階影像(Grayscale)的取得方法，主要是將全彩影像(Color Image)的各個不同頻道(Channel)乘上特定權重後的總合，並將其視為 灰階影像的灰階值，也就是影像的亮度(Luminance)。例如HSI中的 I(Intensity)值轉換公式為 : L₁ = 0.333R + 0.333G + 0.333B。當權種 值不同時，將會產生不同視覺效果的灰階圖。 在此將影像的灰階值定義為 : L₂ = 0.299R + 0.587G + 0.114B， 此權重比例是自然界中紅、綠、藍三種顏色的出現比例，也是常見 YUV影像中Y值的轉換公式，圖3-4 分別表示不同權重比例所呈現的 灰階圖。 原圖 灰階影像L₁ 灰階影像L₂ 圖 3-4 : 灰階影像轉換圖

- 13 -

3.3 亮度對比

在完成色彩轉換獲得灰階影像後，利用灰階影像中的亮度值L， 進行亮度對比值C的計算，公式如下: C(x , y) = L_max − L_min 其中: L_max = max −n_2≤i,j≤n₂ L(x + i , y + j) L_min = min −n_2≤i,j≤n₂ L(x + i , y + j) 在處理程序上，首先建立一個n*n的遮罩(mask)，接著對各個像素 進行運算，當處理到該像素時，將其置於遮罩中心，並於遮罩範圍內 找出亮度最大值L_max 以及亮度最小值L_min ，計算亮度最大與最小的 差值，當作該像素的對比值 C。結果如下圖3-5。 原圖 亮度對比圖 圖 3-5 : 亮度對比圖

- 14 -

3.4 梯度向量

本論文參考文獻[9][10]的做法，以亮度值變化量作為梯度方向的 參考值，圖3-6為梯度方向示意圖。 圖3-6 : 梯度方向示意圖 在此定義梯度表示法如下: ∇L ≡ grad(L) ≡ [g_gx y] ≡ [ ∂L ∂x ∂L ∂y] 而g_x、g_y的獲取方式如下: g_y = ∑ ∑ h1(x + i, y + j)〃L(x + i, y + j) n 2 j=−n₂ n 2 i=−n₂ g_x = ∑ ∑ h2(x + i, y + j)〃L(x + i, y + j) n 2 j=−n₂ n 2 i=−n₂

其中L≡L(x,y)為影像中(x, y)座標的亮度值，g_x、g_y分別為x和y方向的 亮度值變化量，可以利用prewitt mask或sobel mask與灰階影像的亮度

- 15 -

值做convolution，本論文的實驗皆是採用sobel mask。在完成g_x和g_y的 計算後，影像中像素座標(x, y)的梯度強度為|∇L| = √g_x2+ g_y2，梯度 方向θ = tan−1 gy

gx，並利用gx和gy的正負值將轉換成0~360度的範圍。

圖3-7為prewitt mask和sobel mask。 h1 = [ 10 10 10 −1 −1 −1] h2 = [−1 0 1 −1 0 1 −1 0 1 ] h1 = [ 10 20 10 −1 −2 −1] h2 = [−1 0 1 −2 0 2 −1 0 1 ] Prewitt mask Sobel mask

圖3-7 : convolution mask

3.5 梯度同向性權重圖

此步驟的目的是希望判斷出該像素周圍是否為散亂性梯度向量， 並將其擷取出來，為之後對稱判斷去除不必要資訊。梯度方向的資訊 是承接系統流程圖中步驟3.4所獲得的結果，利用梯度方向進行下列 公式的判斷。 I_x,y = ∑ ∑ C(x + i, y + j) n 2 j=−n₂ n 2 i=−n₂ 而C(x + i, y + j)的運算方式如下:

C(x + i, y + j) = { _0, 1, |O(x, y) − O(x + i, y + j)| ≤ 𝜃_{|O(x, y) − O(x + i, y + j)| > 𝜃}

- 16 - 與(x, y)的梯度方向是否為同向性，O(x, y)為該座標梯度方向，在本實 驗中將𝜃定為30 。 在處理程序上，首先建立n*n的遮罩(mask)，接著對各個像素進行 運算，當處理到該像素時，將其置於遮罩中心，並運算遮罩範圍內其 他像素與中心點的梯度方向關係，最後求出各個像素的梯度同向性權 重值，因此當I_x,y值越大，表示該像素在n*n的範圍內有越多的像素的 方向與其方向相近。其結果如下圖3-8。 原圖 梯度同向性權重圖 圖3-8 : 梯度同向性權重圖

3.6 對稱偵測

此步驟目的是判斷出點和點之間對稱情況，並予以紀錄下來，而 判斷主要依據梯度方向與梯度強度。圖3-9為判斷𝑝_𝑖、𝑝_𝑗兩點對𝐶_𝑖𝑗軸對 稱程度之示意圖，其中將𝑝_𝑖、𝑝_𝑗兩點連成一條線，中點為𝐶_𝑖𝑗，存在一 條軸垂直且平分此線，與𝑝_𝑖、𝑝_𝑗兩點距離為d， β為𝑝_𝑖、𝑝_𝑗和此軸的夾 角，箭頭長短表示梯度強度。

- 17 - 圖3-9 : 對稱關係示意圖 經過了亮度對比、梯度向量、梯度同向性權重等三個步驟的處理 後，得到了軸對稱待判定區域，如圖3-10，並將區域中各個點進行處 理，處理流程如圖3-11。 原圖 軸對稱待判定區域 圖3-10 : 軸對稱待判定區域圖 圖3-11 : 對稱判斷流程圖

- 18 - 圖3-12 : 梯度方向判斷示意圖 在獲得需要判斷的區域後，將存在於區域中所有像素進行處理， 並彼此間進行比對判斷。在過程中，首先判斷兩個像素的梯度強度差 距是否小於臨界值，如果超過臨界值則結束，反之則繼續下面步驟。 接著計算兩個像素的梯度方向對於某一對稱軸之對稱性強弱，參考圖 3-12，公式如下: Φ_𝑖𝑗 = cos (𝜙_𝑖 + 𝜙_𝑗 − 2(𝜃_𝑖𝑗 + 90)) 當|Φ_𝑖𝑗|趨近於1時表兩個像素梯度方向存在對稱特性，此時在兩個像 素的中點位置以及對稱的方向投下一票，以同樣流程處理完所有區域 內像素後，最終找出票數最高前五名的方向，進行後續步驟之處理流 程。此步驟結果如圖3-13。

- 19 - 原圖 90 135 44 63 106 圖3-13 : 前五名方向對稱偵測結果圖

3.7 對稱軸方向與位置

在這步驟中將於找出一條對稱軸的方向及位置，如果存在則繼續 後續處理，不存在則結束流程。在找對稱軸的方法是採用霍夫轉換法 (Hough Transform)，此方法可以找出影像中得票數最高的一條直線， 而這條線段可能就是所需的對稱軸。

- 20 - 一般常見的直線表示法為x-y參數空間的方程式: y = ax + b 此時a表示斜率，b表示截距。在霍夫轉換法中，將直線表示法轉為ρ-θ 參數空間的方程式: ρ = x cos θ + y sin θ 且在x-y參數空間中的每個(x, y)座標都能轉換成ρ-θ參數空間中的(ρ, θ) 座標，圖3-14為示意圖。 圖3-14 : x-y空間與ρ-θ空間關係圖 系統流程圖中步驟3.6所產生的五個方向對稱偵測結果將在步驟 3.7中分別處理，在霍夫轉換的過程中，利用步驟3.6所確定方向(θ)之 投票結果，票數越高的座標點在霍夫轉換的處理中也擁有越高的權重 值，將全部座標點從x-y空間轉換到ρ-θ空間，完成所有座標點的轉換 後，找出該方向(θ)，在方向(θ)中找出最大值並且超越門檻值，透過 最大值所在ρ-θ空間的座標參數將能夠決定一條直線，並將此直線暫 定為對稱軸，假設沒超越門檻值則判定該方向對稱軸不存在。圖3-15 為此步驟過程圖。

- 21 - 對稱偵測結果圖 (x-y空間) 霍夫轉換圖 (ρ-θ空間) 原圖結合對稱軸 圖3-15 : 對稱軸方向與位置過程圖

3.8 對稱範圍判定

此步驟目的是希望找出更明確的對稱範圍，並且讓對稱軸進行第 二次確認。假設對稱範圍過小，有可能為對稱軸擷取不正確，則將此 對稱軸予以否決，降低誤判可能性；反之，則將此範圍定為對稱範圍。 利用步驟3.7對稱軸位置與方向的結果，在處理過程上，首先對軸 對稱待判斷區域圖填補上灰階值並進行旋轉，將對稱方向轉成90°， 但是在旋轉之後可能會讓圖片失真，所以先將圖的長、寬增加為原圖 的對角線長度，接著將對稱軸位置移到圖的正中心，可參考圖3-16， 此時完成第一階段處理。 軸對稱待判斷區域圖(500x440) 結果圖(666x666) 圖3-16 : 旋轉與位移結果圖

- 22 - 圖3-17 : 確認對稱範圍示意圖 第二階段為確認對稱範圍，圖3-17為示意圖。由對稱軸位置向左 右擴張，當左右相對位置像素同為待判定區域時(如圖示E之位置)， 則進行對稱性強弱之判定，方法為同時以對稱軸左右之像素為中心建 立n*n的遮罩(圖示為3*3)，對遮罩範圍內兩邊相對位置之像素進行判 斷(如圖示相同符號之位置)，判斷流程和步驟3.6之對稱判斷流程相同。 假設通過判定之像素個數超過門檻值，則認定遮罩中心之像素對該對 稱軸存在對稱性，並儲存其座標，直到處理完全部待判定區域，找出 擁有對稱性之像素座標最大範圍，並統計擁有對稱性像素個數是否超 越門檻值，假設超過，則以該範圍當作此對稱軸之範圍，反之則將此 對稱軸予以否決。結果為圖3-18，與圖3-15所示對稱軸經步驟3-7初步 估算結果(最右圖)相關，可見對稱軸及對稱範圍均獲更明確之判斷。

- 23 - 對稱性標定結果(666x666) 範圍判定結果(500x440) 圖3-18 : 範圍判定結果圖

3.9 結果

結合步驟3.7與步驟3.8的結果，假設找出對稱軸且通過對稱範圍 判定，則結果如圖3-19，只要其中一項沒通過，則圖將不會顯示任何 軸和範圍，而結果圖中也可能不只存在一條對稱軸與範圍，只要有多 於一條不同角度的對稱軸及其範圍大小相當時，結果圖將會顯示出符 合條件的其他條對稱軸及其範圍。如圖3-20所示，其原圖在水平及垂 直方向均有夠強的軸對稱分布，故系統提示兩條對稱軸及其相關之對 稱範圍。 原圖 結果圖 圖3-19 : 對稱軸及其範圍結果圖一

- 24 - 原圖 結果圖 圖3-20 : 對稱軸及其範圍結果圖二 在經過上述各個步驟的處理流程後，如果輸入影像存在對稱性， 將能找出該影像的對稱軸及其範圍。在實驗過程中，也將各個步驟的 結果轉換成影像表示，以供驗證和判斷，圖3-21 為綜合各個程序結 果圖，其中梯度向量的圖是將角度0~360轉換成以灰階值0~255表示。

- 25 -

- 26 -

第四章 實驗結果

在本章節中，將會針對不同類型的對稱影像進行分析，並且列出 系統擷取的結果及其重要流程圖，探討結果與主觀的差距，最後額外 說明在實驗中曾經嘗詴過的區塊切割和結果。

4.1 影像類型及結果分析

首先影像將依據對稱種類以及影像複雜度做分類，對稱種類分成 軸對稱、旋轉對稱和結構性對稱三類，影像複雜度分成單純影像和複 雜影像。在接下來的實驗結果分析中，將會透過上述方式進行影像分 類，並進行討論。 在單純影像及複雜影像的分類，本論文主要以影像組成的種類做 區分，例如色彩變化簡單、紋路變化少或是大面積失焦模糊影像等所 建構的區域視為單純影像，相反的像是雜草、樹叢紋路變化大或是多 種類物件組成之影像則視為複雜影像。

- 27 - 4.1.1 單純影像與軸對稱 圖4-1 : 剪紙 (343x330) 圖4-1 剪紙是單純背景的影像，對稱區域與背景亮度變化分明， 所以存在高亮度對比特性，在擷取亮度對比區域時將能有效擷取出對 稱區域輪廓，且對稱區域內影像沒有複雜變化，只存在些許胡椒粒雜 訊，所以在擷取對稱軸將能有不錯結果。 由於背景部分沒有任何影像變化存在，在擷取對稱待判斷區域時 都能予以消除，因此在判定對稱軸方向與位置投票時將不會有任何影 響。

- 28 - 灰階影像 亮度對比圖 梯度同向性權重圖 待判定區域圖 90 對稱偵測結果 0 對稱偵測結果 44 對稱偵測結果 135 對稱偵測結果 74 對稱偵測結果 結果圖 圖4-2 :剪紙重要流程與結果圖 圖4-2 是一組系統重要流程和結果圖，對稱偵測結果圖依據其名 次由左上到右下排列，在往後實驗結果皆以同樣排列順序，除了90 角 以外，其餘方向都因沒超過臨界值而被否決。由於此圖對稱結構完整， 且背景不存在雜訊干擾，因此如期擷取出對稱軸和對稱範圍。

- 29 - 4.1.2 單純影像與旋轉對稱 圖4-3 : 冰晶結構(549x590) 圖4-3 冰晶結構為單純背景之影像，對稱區域與背景亮度變化明 顯，因此擁有高亮度對比特性，而對稱區域內存在許多細小紋路，但 預計對整體影響不大，由於影像屬於旋轉對稱，因此在對稱偵測結果 期望能擷取出大於一條以上不同方向之對稱軸。 背景部分沒有任何影像變化存在，在擷取對稱待判斷區域時都能 予以消除，因此在判定對稱軸方向與位置投票時將不會有任何影響。

- 30 - 灰階影像 亮度對比圖 梯度同向性權重圖 待判定區域圖 59 對稱偵測結果 120 對稱偵測結果 90 對稱偵測結果 30 對稱偵測結果 0 對稱偵測結果 結果圖 圖4-4 :冰晶結構重要流程與結果圖 圖4-4 為冰晶結構的重要流程和結果圖，此圖以人的主觀認知將 其視為為旋轉對稱，但是還是有些細微差異，因此系統在執行過程中， 受到其差異性影響，最終擷取出59 、90 、30 、0 四個方向之對稱軸 和對稱範圍，剩餘120 在對稱範圍判定時被否決。

- 31 - 4.1.3 複雜影像與軸對稱 圖4-5 : 城堡(400x322) 圖4-5 城堡為複雜背景影像，對稱主體為城堡建築，約占影像1/3 比例，與周圍區域亮度變化明顯，有高亮度對比特性，而城堡主體內 存在許多細小紋路，但預計對偵測結果影響不大。 背景部分和城堡比較下相對複雜，所占區域略多於城堡主體，上 半部為天空部份，屬於單純區域，對於城堡在對稱偵測上預計不會有 太大影響，但是下半部水池由多個物件所組成，亮度變化明顯，對於 判定對稱軸方向與位置投票時，將會有些許影響。

- 32 - 灰階影像 亮度對比圖 梯度同向性權重圖 待判定區域圖 90 對稱偵測結果 108 對稱偵測結果 0 對稱偵測結果 74 對稱偵測結果 126 對稱偵測結果 結果圖 圖4-6 :城堡重要流程與結果圖 圖4-6 為城堡的重要流程和結果圖，此圖對稱軸和對稱範圍擷取 結果符合主觀判定，只有90 之對稱軸通過各個步驟的門檻值，其餘 方向之對稱偵測結果皆於判定對稱軸方向和位置時被否決掉，原先預 測在影像下半部會因背景複雜而有所影響，但最後結果顯示影響不 大。

- 33 - 4.1.4 複雜影像與軸對稱 圖4-7 : 台北101(520x384) 圖4-7 台北101為複雜背景之影像，對稱主體為台北101建築，約 占影像1/20比例，與周圍區域亮度差異性不大，主體為狹長型，存在 些許細小紋路。 背景部分相當複雜，上半部1/3影像為天空，沒有太多高亮度對比 區域，下半部2/3影像由許多建築組成，且建築物的亮度對比程度和 主體相當，將會被歸類為待判定區域，因此在判定對稱軸方向與位置 投票時會造成相當程度影響。

- 34 - 灰階影像 亮度對比圖 梯度同向性權重圖 待判定區域圖 90 對稱偵測結果 106 對稱偵測結果 74 對稱偵測結果 123 對稱偵測結果 57 對稱偵測結果 結果圖 圖4-8 :台北101重要流程與結果圖 圖4-8 為台北101的重要流程和結果圖，此圖對稱軸和對稱範圍擷 取結果和正確位置有所落差，只有90 之對稱軸通過各個步驟的門檻 值，但所判定位置和範圍有所誤差。主因在於主體部分區域輪廓未被 截取出來(受到影像亮度差異性不大影響)，加上主體區域面積不大且 背景區域存在太多干擾，導致系統誤判。

- 35 - 4.1.5 複雜影像與旋轉對稱 圖4-9 : 五角大廈(452x429) 圖4-9 五角大廈為複雜背景之影像，對稱主體為中間五角大廈建 築，約占影像80%比例，與周圍區域亮度差異性不大，主體為五角型， 中心部分有些許樹木雜亂影像。 背景部分屬於複雜背景，影像由許多區塊與細小物件組成，環繞 於主體周圍，且區塊與細小物件的亮度對比程度和主體相當，將會被 判定為待判定區域，因此在判定對稱軸方向與位置投票時會有所影 響。

- 36 - 灰階影像 亮度對比圖 梯度同向性權重圖 待判定區域圖 60 對稱偵測結果 132 對稱偵測結果 24 對稱偵測結果 90 對稱偵測結果 168 對稱偵測結果 結果圖 圖4-10 :五角大廈重要流程與結果圖 圖4-10 為五角大廈的重要流程和結果圖，此圖為五角型之旋轉對 稱圖，對稱軸和對稱範圍擷取結果大致符合主觀判定，60、132、124 、 108 四個方向之對稱軸皆通過各個步驟的門檻值，只有90 在判定對 稱範圍時未通過門檻值而被否決，由於方向判定上有些誤差，90 方 向並不符合此五角型之對稱方向，因此並未找出五條對稱軸。

- 37 - 4.1.6 複雜影像與結構性對稱 圖4-11 : 老虎(500x375) 圖4-11 老虎為複雜背景之影像，對稱主體為兩隻老虎，屬於結構 性對稱，約占影像1/2比例，與周圍區域亮度變化明顯，有高亮度對 比特性，兩隻老虎姿勢與外型相似，因此最大的對稱軸存在於兩隻老 虎中間。 背景部分屬於複雜背景，上半部分屬於大範圍失焦影像，在擷取 待判定區域時會將之去除，下半部分則為細小草地影像，亮度變化明 顯，存在高亮度對比性，但其梯度相當散亂，因此在梯度同向性權重 判定時能將其大部分區域予以去除，剩餘部分草地輪廓，將在判定對 稱軸方向與位置投票時將會有些許影響。

- 38 - 灰階影像 亮度對比圖 梯度同向性權重圖 待判定區域圖 90 對稱偵測結果 44 對稱偵測結果 108 對稱偵測結果 135 對稱偵測結果 74 對稱偵測結果 結果圖 圖4-12 :老虎重要流程與結果圖 圖4-12 為老虎的重要流程和結果圖，對稱軸和對稱範圍擷取結果 大致符合主觀判定，只有90 之對稱軸通過各個步驟的門檻值，其餘 方向皆於判定對稱軸位置與方向時為超過門檻值而被否決，草地部份 透過梯度同向性權重的處理，已經將其影響度大為降低，因此最後判 定對稱軸方向與位置的結果與預期相符合。

- 39 -

4.2 實驗結果圖

4.2.1 與主觀對稱認知相符之實驗結果 原圖 結果圖 圖4-13 : 幾何I (600x423) 原圖 結果圖 圖4-14 : 蝴蝶I (320x240) 原圖 結果圖 圖4-15 : 蝴蝶II (259x194) 原圖 結果圖 圖4-16 : 剪紙I (660x257)

- 40 - 原圖 結果圖 圖4-17 : 雨傘 (255x255) 原圖 結果圖 圖4-18 : 飛機I (550x366) 原圖 結果圖 圖4-19 : 飛機II (512x341) 原圖 結果圖 圖4-20 : 汽車I (500x374)

- 41 - 原圖 結果圖 圖4-21 : 畫像 (300x374) 原圖 結果圖 圖4-22 : 比爾蓋茲 (441x594) 原圖 結果圖 圖4-23 : 超人 (375x600) 原圖 結果圖 圖4-24 : 哈佛建築 (502x368)

- 42 - 原圖 結果圖 圖4-25 : 寺廟 (509x376) 原圖 結果圖 圖4-26 : 中正紀念堂 (480x360) 原圖 結果圖 圖4-27 : 鐵塔 (442x627) 原圖 結果圖 圖4-28 : 教堂 (400x284)

- 43 - 原圖 結果圖 圖4-29 : 獅子 (400x600) 原圖 結果圖 圖4-30 : 孔雀 (400x250) 原圖 結果圖 圖4-31 : 羊 (512x384) 原圖 結果圖 圖4-32 : 大象 (438x541)

- 44 - 原圖 結果圖 圖4-33 : 景物 (389x519) 原圖 結果圖 圖4-34 : 漢字 (268x223) 原圖 結果圖 圖4-35 : 設計圖 (317x216) 原圖 結果圖 圖4-36 : 羽毛 (294x304)

- 45 - 原圖 結果圖 圖4-37 : 海星 (390x382) 原圖 結果圖 圖4-38 : 人像 (237x284) 原圖 結果圖 圖4-39 : 汽車II (508x380) 原圖 結果圖 圖4-40 : 汽車III (620x287)

- 46 - 4.2.2 與主觀對稱認知不相符之實驗結果 原圖 結果圖 圖4-41 : 蝴蝶III (345x267) 圖4-41為蝴蝶III的結果圖，其結果和預期有所誤差。推測原因可 能為蝴蝶主體為較多細小的紋路，而其背景的葉子所占影像比例和蝴 蝶差異不大，且亮度對比相當，因此在對稱性偵測的投票中受到影響， 導致最後擷取結果不如預期。 原圖 結果圖 圖4-42 : 蝴蝶IV (336x252) 圖4-42為蝴蝶IV的結果圖，原先預期對稱軸應該在蝴蝶的身體部 分，但是結果卻在翅膀地方。推測原因可能為身體部分下方還有部分 花蕊，且兩邊翅膀亮度有些差異，也有許多紋路，因此在對稱偵測投 票中受到這些因素影響，導致結果不如預期。

- 47 - 原圖 結果圖 圖4-43 : 水中倒影 (512x384) 圖4-42為水中倒影的結果圖，原先預期結果應該為水平面為對稱 軸，但結果和預期有所誤差。推測原因可能水中倒影的影像和實際影 像都有些細微誤差，水中影像較為模糊且可能帶些皺褶，因此系統在 對稱性投票上將受到這些因素影響，導致結果不如預期。 原圖 結果圖 圖4-44 : 兩隻大象 (500x370) 圖4-43為兩隻大象之結果圖，原先預期對稱軸位置應該在較大隻 大象的中線，但系統擷取結果出現在兩隻大象的中間。推測原因可能 為兩隻大象的部分輪廓特性相似，造成在對稱性偵測上互相影響，因 此最後對稱軸位置出現在兩隻大象的中間。

- 48 -

4.3 區塊切割與對稱性判定結果

以下介紹在影像對稱性實驗觀察過程中所曾嘗詴過之若干作法， 與本論文前列論述無關。最初構想是想要將影像切割成較小區塊，在 區塊間進行本論文的對稱偵測系統流程，進而得到各區塊之資訊，並 將此資訊予以統合，一方面可以減少像素之間判定對稱性強弱的個數， 一方面也想藉此方法擷取出較小之對稱影像。 圖4-41為將原圖切割成各種區塊組合之對稱性偵測結果。由切割 結果圖中可以大致得知一現象，假設小區塊能夠找出對稱軸，且區塊 間對稱軸之方向與位置相符，則在大區塊中，有很大的機率也存在此 對稱軸。因此才會有此想法，藉由小區塊之偵測結果進行統合，進而 推導到大區塊之對稱結果，但在資訊整合上還有很多問題要克服，因 此只實作到切割部分。

- 49 -

原圖 切割3x3結果圖(無結果)

切割1x3結果圖 切割3x1結果圖(無結果)

切割2x1結果圖 切割1x2結果圖 圖4-45 : 切割結果圖

- 50 -

第五章 結論

本論文提出了一種偵測對稱影像的方法，透過影像灰階度所提供 的梯度資訊進而判定對稱軸和其對稱範圍，主要流程分成三大步驟: 先擷取出待判定區域，再將區域內像素進行對稱性強弱偵測，最後判 定對稱軸位置、方向與範圍。 對於對稱主體較大之影像，實驗結果大部分都符合預期，但對於 主體較小，或是背景相當複雜之影像，此方法就還有待加強，由於系 統還不夠完整，因此提出下列幾點本論文主要可以改進與加強的地 方: (1) 待判定區域的處理，可引進區域切割的方法，找出理想主體 位置，以提升偵測對稱性強弱的效率，以及降低不同物件影像 所帶來的干擾。 (2) 對於比對稱主體範圍還小之對稱影像，目前系統還沒辦法將 其擷取出來，解決方式推測可以加入一套正規化之統計方法， 以提升對稱軸擷取的門檻值準確率。 (3) 在像素資訊的描述上，可以再增加一些參考資訊，或是將像 素的描述提升到區域的描述。 上述三個為本論文首要可以改進之目標，尤其以(1)和(2)更為值得

- 51 -

加強，假設在這兩方面都獲得改進，對於偵測準確度和效率預計將能 大大提升。

- 52 -

參 考 文 獻

[1] Changming Sun, "Symmetry detection using gradient information", Pattern Recognition Letters 16, pp.987-996, 1995.

[2] David G. Low, "Distinctive Image Features form Scale-Invariant Keypoints", International Journal of Computer Vision, 60(2):91-110, 2004.

[3] Gareth Loy, Jan-Olof Eklundh, "Detecting Symmetry and Symmetric Constellations of Features", ECCV 2006, Part II, LNCS 3952, pp.

508-521, 2006.

[4] Hugo Cornelius, Michal Perd’och, Jiri Matas, Gareth Loy, "Efficient Symmetry Detecting Using Local Affine Frames", SCIA 2007, LNCS 4522, pp. 152-161, 2007.

[5] Hugo Cornelius, Gareth Loy, "Detecting Bilateral Symmetry in Perspective", Perceptual Organisation in Computer Vision (POCV), 2006.

[6] V. Shiv Naga Prasad, B. Yegnanarayana, "Finding Axes of Symmetry From Potential Fields", IEEE TRANSACTIONS ON IMAGE

PROCESSING, vol. 13, NO. 12, DECEMBER 2004.

[7] V. Shiv Naga Prasad, Larry S. Davis, "Detection Rotational Symmetries", International Conference on Computer Vision (ICCV), 2005.

[8] Chun-Liang Chiang, Cheng-Chung Lin, "Basic Observations on Potential Cues Behind Vision Target Perception : Intensity, Contrast and Gradient Organization", Master thesis, 2010.

[9] Rafael C. Gonzalez, Richard E. Woods, "Digital Image Processing". [10] Milan Sonka, Vaclav Hlavac, Roger Boyle, "Image Processing, Analysis, and Machine Vision".

[11] J. Wagemans, "Detection of visual symmetries", Spatial Vision, 1995.