• 沒有找到結果。

利用彩色影像紋理特徵及類神經網路之導盲 磚區域搜尋辦法

N/A
N/A
Protected

Academic year: 2022

Share "利用彩色影像紋理特徵及類神經網路之導盲 磚區域搜尋辦法 "

Copied!
75
0
0

加載中.... (立即查看全文)

全文

(1)

中 華 大 學 碩 士 論 文

利用彩色影像紋理特徵及類神經網路之導盲 磚區域搜尋辦法

Using Color Image-texture Features and an Artificial Neural Network to Determine

Guide-tile Areas

系 所 別:電機工程學系碩士班 學號姓名:M09801040 陳昱均 指導教授:蘇建焜 博士

中 華 民 國 101 年 7 月

(2)

i

摘 要

在本論文中,利用Matlab軟體設計一個圖形控制介面(GUI),使用色彩空間轉換、

影像二值化、形態學、連通物件標記、特徵擷取及特徵值計算,最後以類神經網路來 實現辨識導盲路線之目的。本研究將彩色影像當作輸入,彩色影像中RGB色彩空間表 示法不能直接提供像素的明亮度、飽和度及色相為何,因此將影像以HSV色彩空間轉 換。而影像中包含了許多的資訊,為了降低影像中的複雜度,因此利用影像二值化之 Otsu法來處理以便於擷取影像中資訊;影像經過二值化後常會有背景不均勻而產生的 資訊,運用形態學上膨脹與侵蝕,來凸顯目標物並降低不必要的訊號之後利用連通分 群法將目標物區塊標記,計算目標物之特徵值,將目標物之特徵值作為辨識導盲磚的 依據。最後以類神經網路之倒傳遞演算法判斷導盲磚的正確位置。實驗結果在各情況 下之辨識率有高達87%,可以看出本實驗結果有相當高之辨識率,經由此應用來實現 導盲路線辨識功能此方法可以進一步發展成導引視障者行進的導引系統,可以有效提 升對視障者之安全及便利性。

關鍵字:色彩空間轉換、影像二值化、形態學、連通分群法、特徵擷取、類神經網路

(3)

ii

ABSTRACT

The purpose of this paper is to achieve the recognition of guide routes by the neural network, which integrates the approaches of color space conversion, image binary, morphology, connected-component labeling, feature extraction, and feature value acquisition from Graphic User Interface Design Environment (GUI) which designed by Matlab software. Using a color image as an input, RGB color space method can’t directly provide us with the value, saturation, and hue of a color image pixel, so we employ HSV color space to convert the image. Since the image contain a lot of information, we use Otsu method based on image binary to reduce the complexity of the image and extract the information from it. Image going through binary often generates information that caused by the uneven background, thus we make use of the idea of dilation and erosion from morphology to outstand the object and eliminate signals that we don't need. Using connected-component labeling to categorize the object, the calculated feature value of the object can be seen as the basis of the guide tile. At last, an algorithm of back propagation neural network is applied to determine the correct position of the guide tile. The result shows that the recognition rate is 87% high, suggesting that we achieve the application of Guided routes recognition and can further develop a guiding system for the visually impaired along with the effectively improved safety and convenience.

Keywords: Color space conversion、Image binary 、Morphology、Feature capture 、Neural network、Connected-Component Labeling

(4)

iii

誌謝

首先,我要向我的指導教授,蘇建焜老師致上最高的敬意。感謝過去這三年中,

在學業研究與生活上不停的給我指導與鼓勵 。在這三年的學習生涯中,無論是在課 業、研究或平日會議時,讓我學習到研究應有的態度和方法,也使我在專業研究以及 待人處事上獲益匪淺。

另外我要感謝我的實驗室同學偉存,在這段期間的互相討論及研究,還有實驗室 同學凱任、翔斌、翊修、政霖、俊煌、泳翰、嘉華,不管在課業上及生活上都幫助我 許多。

最後我要感謝我的家人、女友及親友們,在求學生涯中的支持、付出與關心,讓 我可以無憂無慮地完成我的研究及論文,在此希望將研究的成果與這份喜悅獻給教授 及所有支持我的的人且再次感謝他們。

(5)

iv

目錄

摘要...I Abstract...II 目錄...III 圖目錄...V 表目錄...IX

第一章 緒論...1

1.1 研究動機及背景...1

1.2 研究方法及目的...2

1.3 章節概要...5

第二章 導盲磚區域辨識之原理介紹...6

2.1 前言...6

2.2 常用色彩空間介紹...6

2.2.1 RGB 色彩空間...7

2.2.2 NCC 色彩空間...7

2.2.3 YUV 色彩空間...8

2.2.4 YIQ 色彩空間...9

2.2.5 YCbCr 色彩空間...9

2.2.6 CIELIB 色彩空間...10

2.2.7 HSV 色彩空間...10

2.3 影像二值化...12

2.4 形態學...13

2.4.1 膨脹...13

2.4.2 侵蝕...15

2.5 自動目標物擷取...18

2.6 特徵擷取及特徵值計算...20

2.7 類神經網路...23

(6)

v

2.7.1 類神經網路之說明原理...23

2.7.2 類神經網路之特性...26

2.7.3 類神經網路的分類及運作原理...27

2.7.4 倒傳遞類神經網路(BPN)...28

第三章 研究及實驗方法...31

3.1 實驗流程………...31

3.2 研究方法...33

3.2.1 色彩空間轉換...33

3.2.2 影像二值化...34

3.2.3 形態學...35

3.2.4 自動目標物擷取...36

3.2.5 特徵擷取及特徵值計算...37

3.2.6 類神經網路...37

第四章 實驗結果與討論...41

第五章 結論未來展望...62

參考文獻...63

(7)

vi

圖目錄

圖 1.1 影像前處理之流程...2

圖 1.2 導盲區域判別流程圖...4

圖 2.1 RGB 色彩空間示意圖...7

圖 2.2 CIELAB 色彩空間示意圖...10

圖 2.3 HSV 色彩空間示意圖...11

圖 2.4 導盲磚灰階圖...12

圖 2.5 導盲磚取臨界值後之二值化影像...13

圖 2.6 (a)含有矩形的二值化影像...14

圖 2.6 (b)結構原素圖...14

圖 2.6 (c)結構原素,膨脹擴張的過程...14

圖 2.6 (d)膨脹後的影像...15

圖 2.7 膨脹後之結果圖...15

圖 2.8 (a)含有矩形之二值化影像...16

圖 2.8 (b)結構原素...16

圖 2.8 (c)結構原素,侵蝕收縮過程...17

圖 2.8 (d)侵蝕後的影像...17

圖 2.9 侵蝕後之結果圖...18

圖 2.10 4 近鄰...18

圖 2.11 8 近鄰...18

圖 2.12 字母 R 與 S 的四相鄰的方式連通...19

圖 2.13 (a)以四相鄰作連通成分...19

圖 2.13 (b)以八相鄰作連通成分...19

圖 2.13 (c)以(a)圖四相鄰得到四個連通,標記區域...20

圖 2.13 (d)以(b)圖八相鄰得到三個連通,標記區域...20

圖 2.14 生物神經原模型...24

圖 2.15 人工神經元模型...25

(8)

vii

圖 2.16 神經網路示意圖...25

圖 2.17 類神經網路架構圖...26

圖 2.18 監督式學習法流程圖...27

圖 2.19 無監督式學習法流程圖...28

圖 2.20 多層感知器圖...28

圖 2.21 倒傳遞類神經網路學習流程圖...29

圖 2.22 神經元內在之總合圖...30

圖 3.1 實驗之流程圖...32

圖 3.2 HSV 色彩模型圖...33

圖 3.3 S 轉換二值化之結果...34

圖 3.4 (a)膨脹後之結果...35

圖 3.4 (b)侵蝕後之結果...35

圖 3.5 (a)為四近鄰連通之目標區域...36

圖 3.5 (b)目標區域標記編號...36

圖 3.6 多層感知器...38

圖 3.7 導盲磚與非導盲磚之群聚...39

圖 3.8 類神經判斷圖...40

圖 3.9 導盲磚路線正確位置圖...40

圖 4.1 (a)訓練組影像 1-20 張...41

圖 4.1 (b)訓練影像 21-56 張...42

圖 4.1 (c)訓練影像 57-92 張...43

圖 4.1 (d)訓練影像 93-100 張...44

圖 4.2 (a)測試組白天之影像 1-4...45

圖 4.2 (b)測試組之白天影像 5-40...46

圖 4.3 白天情況之影像...47

圖 4.4 HSV 色彩空間轉換...47

圖 4.5 二值化之影像...47

圖 4.6 (a)膨脹之影像...48

圖 4.6 (b)侵蝕後之影像...48

(9)

viii

圖 4.7 面積篩選...48

圖 4.8 (a)目標區域標記...48

圖 4.8 (b)導盲磚位置...48

圖 4.9 導盲磚正確位置...48

圖 4.10 白天辨識失敗圖...49

圖 4.11 HSV 色彩空間轉換...49

圖 4.12 二值化之影像...49

圖 4.13 (a)膨脹之影像...49

圖 4.13 (b)侵蝕後之影像...49

圖 4.14 面積篩選...50

圖 4.15 (a)目標區域標記...50

圖 4.15 (b)導盲磚位置...50

圖 4.16 導盲磚正確位置...50

圖 4.17 (a)測試組之夜間影像 1-36...51

圖 4.17 (b)測試組之夜間影像 37-40...52

圖 4.18 夜間情況之影像...52

圖 4.19 HSV 色彩空間轉換...52

圖 4.20 二值化之影像...52

圖 4.21 (a)膨脹之影像...53

圖 4.21 (b)侵蝕後之影像...53

圖 4.22 面積篩選...53

圖 4.23 (a)目標區域標記...53

圖 4.23 (b)導盲磚位置...53

圖 4.24 導盲磚正確位置...54

圖 4.25 夜間辨識失敗圖...54

圖 4.26 HSV 色彩空間轉換...54

圖 4.27 二值化之影像...54

圖 4.28 (a)膨脹之影像 ...54

圖 4.28 (b)侵蝕後之影像...54

(10)

ix

圖 4.29 面積篩選...55

圖 4.30 (a)目標區域標記...55

圖 4.30 (b)導盲磚位置...55

圖 4.31 導盲磚正確位置...55

圖 4.32 (a)測試組之室內影像 1-36...56

圖 4.32 (b)測試組之室內影像 37-40...57

圖 4.33 室內情況之影像...57

圖 4.34 HSV 色彩空間轉換...57

圖 4.35 二值化之影像...57

圖 4.36 (a)膨脹之影像...58

圖 4.36 (b)侵蝕後之影像...58

圖 4.37 面積篩選...58

圖 4.38 (a)目標區域標記...58

圖 4.38 (b)導盲磚位置...58

圖 4.39 導盲磚正確位置...58

圖 4.40 室內辨識失敗圖...59

圖 4.41 HSV 色彩空間轉換...59

圖 4.42 二值化之影像...59

圖 4.43 (a)膨脹之影像...59

圖 4.43 (b)侵蝕後之影像...59

圖 4.44 面積篩選...60

圖 4.45 (a)目標區域標記...60

圖 4.45 (b)導盲磚位置...60

圖 4.46 導盲磚正確位置...60

(11)

x

表目錄

表 3.1 各目標區域之特徵值...37

表 3.2 目標區域判斷結果...39

表 4.1 (a)導盲磚區域特徵值... .44

表 4.1 (b)非導盲磚區域特徵值...45

表 4.2 白天之辨識率...47

表 4.3 夜間之辨識率...52

表 4.4 室內之辨識率...57

表 4.5 像素值比較...61

表 4.6 總辨識率...61

表 4.7 辨識時間...61

(12)

1

第一章 緒論

1.1 研究動機及背景

科技的進步在於改善人類的生活品質及提高生活的便利性,視覺輔助系統一直 是許多專家學者研究的方向,近年來視覺輔助系統主要應用在汽車用途上,包括車道 偏移、自動煞車、盲點輔助等,而隨著科技的日新月異,影像的運用越來越普遍,加 上技術之提升,很多產品都有影像處理[1][2]的應用,如果能夠將影像處理之技術使 用在視障者身上,應用於日常生活中,則可以大大的提升視障者在生活上的便利性。

「行動自主」是視障者重建尊嚴與自信心的首要關鍵,而白手杖(white cane)

則是促成視障者達成「行動自主」最重要的工具,視障者藉由白手杖用以探索行經道 路的路況,當遇到地面變化或出現危險狀況時,視障者因此能即時做出反應,以確保 安全。除此之外,一般在戶外常見的導盲工具為「導盲磚(guide-tile)」,在公共建築 物等場所,為了視障者而舖設導盲磚的情形十分普遍,其設置之用意是在讓視障者可 藉由導盲磚引導在安全的路線上,以避免發生意外,因此若是可以使用影像處理之技 術,完成導盲磚區域辨識之功能,引導視障者找出導盲路線正確位置,則可以有效提 升對於視障者外出之安全及便利性。

(13)

2

1.2 研究方法及目的

本論文首先利用色彩空間轉換對照片作前處理,抓取導盲磚特徵再以類神經網路 辨別影像中導盲磚的正確位置,透過此影像處理後所獲得之資訊,來完成導盲路線辨 識以達成導引視障者行進之依據。

本論文所提出辦法可以粗分為影像前處理及導盲路線辨識二個部分:

(一) 影像前處理說明及流程圖如下圖1.1所示:

圖1.1 影像前處理之流程圖 (1)色彩空間轉換(color space)[3]

由於相機所擷取得到之影像資訊在儲存像素的色彩時,是使用RGB色彩空間來表

示一個像素的顏色

但是,從RGB色彩空間表示法無法得知像素的明亮度、飽和度及

色相為何,因為RGB色彩空間是屬於非線性的色彩系統,而RGB色彩空間的影像顏色 很容易因光線強弱的影響產生顏色深淺的變化,所以直接在RGB色彩空間做顏色偵測 容易產生嚴重的誤差,難以使用在複雜的圖形演算,比較不適合直接進行影像處理為

(14)

3

了減少環境光線變化對顏色偵測的影響,採用對光源強弱較不靈敏的色彩空間。本實 驗採用HSV(hue、saturation、value)模型,因為它相當接近人們用來描述或解釋色彩 的方式。

(2)影像二值化

彩色影像包含了許多的資訊,為了降低影像的資訊量及複雜度,可利用臨界值法 將目標物與背景分開,並將影像轉換成二值影像以利於擷取。本實驗採用Otsu法[4],

Otsu的這個方法在許多應用上仍時常被提起,主要在二值化的過程中,這個方法可以 自動找到一個最佳之臨界值,讓不同的群組分開。將影像二值化,便於我們擷取影像 中資訊。

(3)形態學(morphology)[5]

影像經過二值化後常會有背景不均勻而產生的訊號,運用形態學上膨脹(dilate) 與侵蝕(erode),來凸顯目標物並降低不必要的訊號。

(4)自動目標物擷取

連通物件標記(CCL)[5]是用在影像分割(segmentation)及影像辨(pattern

recognition)的一個基礎運算,主要目的是使相連接的物件標記為同一值,處理的對象 一般為二值化的二維資料,針對連接的定義有兩種,4 (4-adjacent) 與8鄰(8-adjacent)。

本實驗採用四鄰連通,利用連通物件標記找出各封閉區域,然後移除像素小於2500 的區域,留下我們要的區域。

(5)特徵擷取及特徵值計算

利用面積篩選得到各個封閉區域,針對這些封閉區域找尋特徵及特徵值判 斷,本實驗採用Tumura[6]紋理特徵中的粗糙度(coarseness)、對比度(contrast)及常用的 統計方法[2]來找尋HSV的各平均值(mean)及HSV的各標準差(std),利用這八個特徵計 算各個封閉區域的特徵值。

(15)

4

(二)導盲區域判別說明及流程圖如下圖1.2所示:

圖1.2 導盲區域判別流程圖 (1)類神經網路(neural network)[2]

類神經網路是個具學習模式的系統,只要將樣本給系統做訓練,經訓練完後的系 統就可以對輸入資訊加以分類及判斷,若要讓資訊正確的判斷則所需要的樣本就要足 夠,才能建立一個完整的辨識系統。本實驗採用倒傳遞類神經網路(BPN)來判斷導盲 磚,倒傳遞類神經網路為多層感知器的架構,它屬於監督式學習,亦即對應一組輸入 項有預期的輸出項來監控網路的學習。經由影像前處理得到導盲磚之特徵值之後,利 用類神經網路系統之倒傳遞演算法判斷出影像中導盲磚的正確位置。

(16)

5

1.3 章節概要

本論文一共分為五個章節,第一章是研究動機及目的和方法;第二章是導盲磚區 域搜尋辦法之相關技術及分析原理,分別述說色彩空間轉換、影像二值化、形態學處 理、面積篩選、特徵擷取與計算、類神經網路;第三章是本論文的重點,說明使用的 方法及原理,利用 MATLAB 軟體來實現導盲磚區域搜尋辦法;第四章就是實驗結果 與討論;第五章是結論與未來展望。

(17)

6

第二章

導盲磚區域搜尋辦法之相關技術及原理介紹

2.1 前言

針對導盲磚路線辨識的方法有非常多種類,限於篇幅,無法全部提及,在此提及 和本研究相關之方法,主要包含色彩空間轉換、影像二值化、形態學、面積篩選、 特 徵擷取之介紹及運用一些類神經網路的相關方法來判斷,都在本章節中來解釋。

2.2 常用色彩空間介紹

顏色偵測是一種簡易影像分割技術,常用於過濾複雜背景並定位出特定顏色範圍 之目標物,而由於相機擷取得到之影像資訊在儲存像素的色彩時,是使用 RGB 色彩 空間來表示一個像素的顏色,這種表示方法可用來傳達一個像素的色彩在紅、綠、藍 三原色中的相關性;但是 RGB 色彩空間表示法無法得知像素的明亮度(luminance)、

飽和度(saturation)及色相(hue)為何,因為 RGB 色彩空間是屬於非線性的色彩系 統,而 RGB 色彩空間的影像顏色很容易因光線強弱的影響產生顏色深淺的變化,也 就是說想要抽離出光線對於色彩的影響是非常困難的,所以直接在 RGB 色彩空間做 顏色偵測容易產生嚴重的誤差,難以使用在複雜的圖形演算,比較不適合直接進行影 像處理。為了減少環境光線變化對顏色偵測的影響,採用對光源強弱較不靈敏的色彩 空間,而一般顏色偵測常用的色彩轉換空間有 NCC、YCbCr、YUV、YIQ、CIELIB、

HSV 等色彩空間[7, 8, 9, 10]。

(18)

7

2.2.1 RGB 色彩空間

RGB 為彩色影像的三原色(primary color) [19],R 代表紅色光成份,G 代表綠 色光成份,B 代表藍色光成份。一般所謂的全彩色(full-color)是由 R、G、B 三種 不同成份所組成的,其全彩影像為 24 位元(灰階影像為 8 位元),也就是 R、G、B 分別貢獻 8 位元,所以 R、G、B 的值域範圍為 0~255。以下圖 2.1 錐狀體為例,說明 RGB 三種顏色對光線的靈敏度,錐狀體為負責眼睛彩色視覺的感應器,人眼中約有 600~700 萬個錐形體,其中有 65%可以感應紅光,33%可以感應綠光,和 2%可以感 應藍光;其可見光的波長範圍:400~700nm,紅光(R)範圍:450~700nm,綠光(G)

範圍:430~680nm,藍光(B)範圍:310~560nm;在可見光波長範圍與 R、G、B 波 長範圍對人眼感應,得知人眼對藍光比較不靈敏。

圖 2.1 人眼錐狀體吸收之紅,綠,藍光的波長函數

2.2.2 NCC 色彩空間

NCC(Normalized Color Coordinates)色彩空間是解決 RGB 色彩空間中,影像因 光源亮度的強弱,造成物體在相同顏色的地方呈現出深淺不同的顏色。分別對 R 與 G 做正規化,就可以使 R 與 G 對亮度的靈敏度降低,其轉換公式為(2-1)式及(2-2)

𝑔 = 𝑅+𝐺+𝐵 𝐺

(2-1)

(19)

8

𝑟 = 𝑅+𝐺+𝐵 𝑅

(2-2)

因為B對亮度的靈敏度較小,所以可以忽略。利用R與G正規化得到r與g,對影像做適 當的門檻值選取,就能將特定顏色從影像中分離出來。

2.2.3 YUV 色彩空間

YUV 色彩空間是被歐洲電視系統所採用的一種顏色編碼方法(PAL)。在現代彩 色電視系統中,通常採用三管彩色攝影機或彩色 CCD 攝影機進行取像,然後把取得 的彩色圖像信號經分色、分別放大校正後得到 RGB,再經過矩陣變換電路得到亮度 信號 Y 和兩個色差信號 R-Y(即 U)、B-Y(即 V),最後發送端將亮度和色差三 個信號分別進行編碼,用同一頻道發送出去。這種色彩的表示方法就是所謂的 YUV 色彩空間表示。

YUV 色彩空間的重要性是它的亮度信號 Y 和色度信號 U、V 是分離的。如果只 有 Y 信號分量而沒有 U、V 信號分量,那麼這樣表示的圖像就是黑白灰度圖像。彩 色電視採用 YUV 空間正是為了用亮度信號 Y 解決彩色電視機與黑白電視機的相容問 題,使黑白電視機也能接收彩色電視信號。

YUV主要用於優化彩色視頻信號的傳輸,使其向後相容老式黑白電視。與RGB 視頻信號傳輸相比,它最大的優點在於只需佔用極少的頻寬(RGB要求三個獨立的視 頻信號同時傳輸)。其中"Y"表示明亮度(Luminance或Luma),也就是灰階值;而

"U"和"V"表示的則是色度(Chrominance或Chroma),作用是描述影像色彩及飽和度,

用於指定像素的顏色。YUV與RGB色彩空間的轉換公式如(2-3)式:

� 𝑌

𝑈 𝑉

� = �

0.299 0.587 0.114 −0.147 −0.287 0.436

0.615 −0.515 −0.1 � �

𝑅 𝐺 𝐵

(2-3)

(20)

9

2.2.4 YIQ 色彩空間

YIQ色彩空間,為彩色電視系統所採用如NTSC系統,事實上Y向量提供了黑白電 視 機 所 需 要 的 顏 色 資 訊 , Y 代 表 是 色 彩 的 明 亮 度 , I 表 示 In-phase , Q 表 示 Quadrature-phase,Q信號的相位角較I信號多90度。在彩色電視系統裡,彩色信號是 由一向量系統來表示,向量的大小用來表示色彩的Saturation,相位則是表示色彩的 Hue,I和Q分別為同相位和正交的色彩向量。YIQ主要特點是Y和I、Q是具分離性的,

簡單的說,有一個基準的彩色訊號,任何進來的彩色訊號只要與這個基準的彩色訊號 相比,就可以知道這個訊號的大小與相位,也就知道這訊號所代表的顏色,所以數位 影像中的亮度能單獨處理,不受色彩的干擾。YIQ與RGB

色彩空間的轉換公式如(2-4)式:

� 𝑌

𝐼 𝑄

� = �

0.299 0.587 0.114 0.596 −0.274 −0.322 0.211 −0.523 0.312

� � 𝑅 𝐺 𝐵

(2-4)

2.2.5 YCbCr 色彩空間

YCbCr色彩空間用於數位視訊中,它是國家無線電諮詢委員會(Consultative Committee of International Radio,CCIR)所制訂MPEG視訊與JPEG影像的標準色彩空 間,是由YUV色彩系統所開發改良的另外一種色彩空間,YCbCr最常用於影像資訊壓 縮。YCbCr色彩空間分別代表亮度元素(Luminance)Y、藍色元素(Blueness)Cb 成份是藍色成份與參考值的差距,紅色元素(Redness)Cr成份是紅色成份與參考值 的差距。YCbCr與RGB色彩空間的轉換公式如(2-5)式:

� 𝑌 𝐶𝑏 𝐶𝑟

� = �

0.299 0.587 0.114

−0.1687 −0.3313 0.5 0.5 −0.4187 −0.0813

� � 𝑅 𝐺 𝐵

� + � 0 128 128

(2-5)

(21)

10

2.2.6 CIELIB 色彩空間

CIELIB色彩空間,如圖2.2所示,是1976年CIE國際照明委員會所制定出來的色 彩空間,CIELAB色彩空間具有視覺上的均勻性,也就是說值的變化量和視覺上感知 到的變化量是相同的,例如:值從100變為110與值從0變為10的感覺是相同的,這種 表示方法較接近人類的視覺系統,常用於色彩設計及複製等行業,CIELAB空間已被 普遍使用在彩色電視系統上。CIELIB色彩空間中的L表示顏色亮度,A指顏色的紅- 綠值,B指顏色的黃-藍值。

圖2.2 CIELAB色彩空間示意圖[3]

2.2.7 HSV 色彩空間

HSV色彩空間,是一個非線性轉換的色彩空間,其中的色彩關係與人類視覺感官 較為相似,所以常被用來當作顏色在特徵擷取上的色彩空間。HSV是將RGB轉換成為 色度(Hue)、飽和度(Saturation)、亮度(Value)也可稱"強度"(Intensity)所組 成,如圖2.3所示,色相(H)是色彩的基本屬性,就是平常所說的顏色名稱,如綠色、

紫色等,依照圖2.3標準色環上的位置,取0-360度的數值; 飽和度(S)是指色彩的纯 度,越高色彩越纯,愈低則逐漸變灰,取0-100%的數值; 亮度(V),取0-100%。色 度又稱為色相,飽和度又稱為彩度,亮度是指色彩的明暗程度,色調和飽和度合稱為 色度。

(22)

11

圖 2.3 HSV 色彩空間示意圖[3]

一般來說,色度和亮度是相互獨立的。在不同的光照條件下,雖然物體顏色的亮 度會產生很大的差異,但是它的色度具有一致性,基本上是保持不變的。HSV與RGB 色彩空間的轉換公式如(2-6)式、(2-7)式、(2-8)式:

h =

⎩⎪

⎪⎨

⎪⎪

⎧ 0° , 𝑖𝑖 𝑚𝑚𝑚 = 𝑚𝑖𝑚 60° ×𝑚𝑚𝑚−𝑚𝑚𝑚𝑔−𝑏 + 0° , 𝑖𝑖 𝑚𝑚𝑚 = 𝑟 𝑚𝑚𝑎 𝑔 ≥ 𝑏 60° ×𝑚𝑚𝑚−𝑚𝑚𝑚𝑔−𝑏 + 360°, 𝑖𝑖 𝑚𝑚𝑚 = 𝑟 𝑚𝑚𝑎 𝑔 < 𝑏 60° ×𝑚𝑚𝑚−𝑚𝑚𝑚𝑏−𝑟 + 120°, 𝑖𝑖 𝑚𝑚𝑚 = 𝑔 60° ×𝑚𝑚𝑚−𝑚𝑚𝑚𝑟−𝑔 + 240°, 𝑖𝑖 𝑚𝑚𝑚 = 𝑏

(2-6) 𝑖 =12(𝑚𝑚𝑚 + 𝑚𝑖𝑚)

(2-7)

𝑠 =

⎩⎪

⎪⎧ 0 , 𝑚𝑚𝑚 − 𝑚𝑖𝑚

𝑚𝑚𝑚 + 𝑚𝑖𝑚 =

𝑚𝑚𝑚 − 𝑚𝑖𝑚 2𝑙 , 𝑚𝑚𝑚 − 𝑚𝑖𝑚

2 − (𝑚𝑚𝑚 + 𝑚𝑖𝑚) =

𝑚𝑚𝑚 − 𝑚𝑖𝑚 2 − 2𝑙 ,

𝑖𝑖 𝑙 = 0 𝑜𝑟 max = 𝑚𝑖𝑚 𝑖𝑖 0 < 𝑙 ≤1

2 𝑖𝑖 𝑙 >1

2

(2-8) r、g、b 分別是顏色紅、綠和藍的坐標,它們的值是在 0 到 1 之間的實數。

設 max 等於 r, g 和 b 中的最大者。設 min 等於這些值中的最小者。要找到在 HSL 空間中的 (h, s, i) 值,這裡的 h ∈ [0, 360)度是角度的色相角,而 s, i ∈ [0,1] 是飽和 度和亮度,h 的值通常規範化到位於 0 到 360°之間。

(23)

12

2.3 影像二值化

彩色影像包含了許多的資訊,為了降低影像的資訊量及複雜度,可利用臨界值法 將目標物與背景分開,並將影像轉換成二值影像以利於擷取。本研究採用整體臨界值 法(global thresholding)來進行影像二值化,以下將介紹整體臨界值法。導盲磚灰階 影像如圖2.4,例如對f(x,y)≧ T 的任一點(x,y)稱為物體點(object point),其 他點則稱為背景點(background point)。若取臨界值後的影像為 g(x,y),則定義 如下(2-9)式:

g(x,y)=� 1, 𝑖𝑖 𝑖(𝑚, 𝑦) ≥ 𝑇

0, 𝑖𝑖 𝑖(𝑚, 𝑦) < 𝑇

(2-9) 也就是標示為1 的像素對應為物體,而標示為0 的像素對應為背景。圖2.5為一張導 盲磚圖經取臨界值後之二值化影像。然而在二值化中一個重要的步驟就是找臨界值T。

本研究是採用Otsu所提出的二值化分析法[4],利用統計學原理自動去尋找一個最適 合的臨界值,使各群集內變異數的加權總和最小,各群集間的差異最大,以便於將影 像分割成兩群集。

圖2.4 導盲磚灰階圖

(24)

13

圖2.5 導盲磚取臨界值後之二值化影像

2.4 形態學

影像經過二值化後常會有背景不均勻而產生的訊號,可運用形態學上膨脹與侵蝕,

來凸顯目標物並降低不必要的訊號。

2.4.1 膨脹

膨脹(dilation)是一種在二值影像中使物體增大或是變厚的運算,此厚化的方式 和程度是由一種稱為結構元素(structuring element)的形狀所控制。數學上,膨脹是以 集合運算的方式來定義,A藉由B的膨脹記為A♁B,定義如下(2-10)式:

A ♁ B = � 𝑍 � (𝐵)𝑧 ∩ 𝐴 ≠ ∅ �

(2-10)

其中

φ

為空集合而B為結構元素。也就是A藉由B的膨脹是由所有結構元素原點位置所

構成的集合,其中平移的B至少與A的一部分重疊。下圖2.6說明形態學膨脹如何運作,

圖2.6(a)為一個含有矩形的二值化影像,圖2.6(b)是一個結構元素,圖2.6(c)為圖形 的方式描述擴張的過程:將結構元素的原點在整個影像區域內平移,查看是否與標示 1的像素重疊,圖2.6(d)輸出影像的每個像素,結構元素原點至少與輸入影像中的一 個標示為1的像素重疊 [1]。

(25)

14

圖2.6 (a)含有矩形的二值化影像

圖2.6 (b)結構原素,黑框表示原點位置

平移結構元素與原影像中有任意一個數值1 的像素不重疊

結構元素原點平移至*位置時與原影像中有數值1的像素重疊 圖2.6 (c)結構原素,膨脹擴張的過程

(26)

15

圖2.6 (d)膨脹後的影像 舉一個導盲磚二值化之影像經由膨脹過後的例子,如圖2.7

圖2.7 膨脹後之結果

2.4.2 侵蝕

侵蝕(erosion)是一種在二值影像中使物體收縮或是變薄的運算,此收縮的方式 和程度亦是由結構元素的形狀所控制。侵蝕的數學定義與膨脹類似。A被B侵蝕記為A Θ B,定義如(2-11)式:

A Θ B = { 𝑍 | (𝐵)

𝑍 ∩ 𝐴𝐶 ≠ ∅ }

(2-11)

(27)

16

其中

φ

為空集合而B為結構元素。也就是A被B侵蝕是由所有結構元素原點位置所構

成的集合,其中平移的B不會與A的背景重疊[1]。

下圖2.8.說明形態學侵蝕如何運作,圖2.8(a)為一個含有矩形的二值化影像,圖2.8 (b) 是一個結構元素,圖2.8(c)以圖形的方式描述收縮的過程:將結構元素在整個影像區 域內平移,查看影像中何處可以完全放進去,圖2.8(d)輸出影像在結構元素原點每個 位置有1的值,與輸入影像中的一個標示為1的像素重疊,不與任何影像背景重疊 。

圖2.8 (a)含有矩形之二值化影像

圖2.8 (b)結構原素,黑框表示原點位置

(28)

17

這些位置輸出為零,因為結構元素與背景重疊

輸出在此為1,因為結構元素可整個放進影像內 圖2.8 (c)結構原素,侵蝕收縮過程

圖2.8 (d)侵蝕後的影像

(29)

18

舉一個導盲磚二值化之影像經由膨脹過後的例子,如圖2.9

圖2.9 侵蝕後的結果

形態學上的閉合就是膨脹後接一個侵蝕,可將物體的中斷部分連接起來,填補細長缺 口以及填補小於元素結構的洞,可達到凸顯目標物的作用。

2.5 自動目標物擷取

影像經過二值化及膨脹、侵蝕的處理後,利用連通物件標記法[1]將目標物獨立 擷取出來。連通物件標記(CCL)[2]是用在影像分割(Segmentation)及影像辨識(Pattern Recognition)的一個基礎運算,主要目的是使相連接的目標物標記為同一值,處理的 對象一般為二值化的二維資料,針對連接(Connected-Component)的定義有兩種 ,4 鄰(4-adjacent)8鄰(8-adjacent),而標記(Labeling)動作是指所有相連接的點必須標記為 同一值。

在座標(x,y)的像素p有兩個水平及兩個垂直的近鄰(4-neighbors),其座標為 (x+

1,y)、(x-1,y)、(x,y+1)、(x,y-1),此四個近鄰的集合表示為N4 (p), 在圖2.10中以 灰色表示;同理,八個近鄰的集合表示為N8(p),在圖2.11中以灰色表示。

圖2.10 4近鄰 圖2.11 8近鄰

(30)

19

假設英文字母R與S為任意兩個像素,R與S可以透過某些像素相連起來,如圖2.12 所示,若此路徑之像素互為四相鄰,則R與S稱為四連通(4-Connected),像素R與其相 連通的所有像素集合稱為通成分(connected component),如圖2.12中的灰色區塊。

連通成分是以路徑的方式定義,而路徑與相鄰性有關,這表示連通成分的特性取決於 我們所選擇的相鄰形式,其中四相鄰和八相鄰最為普遍。圖2.13說明相鄰形式影響連 通成分的數目,圖中的1、2、3、4,為影像擷取出的連通成分標記[1]。

圖2.12 字母R與S的四相鄰的方式連通

圖2.13 (a)以四相鄰作連通成分 圖2.13 (b)以八相鄰作連通成分

圖2.13 (c)以(a)圖四相鄰得到四個連通,標記區域

(31)

20

圖2.13 (d)以(b)圖八相鄰得到三個連通,標記區域

利用連通物件標記將目標物獨立擷取出來標記編號,以利後續判別處理。

2.6 特徵擷取及特徵值計算

紋理特徵 (Texture Feature),紋理研究的領域大致可分成三種類型。第一類是紋 理的描述和分類。這類問題在影像辨識上有重要的應用,因此已經引起了廣泛的重視。

例如,在醫學影像處理中利用紋理特性來區別正常細胞和癌細胞。這時,就要先抽取 這兩種細胞圖像的紋理特性,然後進行分類識別。第二類是以紋理爲特徵的影像分割。

第三類是利用紋理資訊推斷物體的深度資訊或表面方向。1978 年時,Shunji Mori和 Takashi Yamawaki [6]對紋理的研究得到一個結論:人類對於紋理辨識中最重要的六 個維度為粗糙度、對比度、方向度、線性度、規則度和粗略度。描述區域的一個重要 方法是量化它的紋理內容,經由灰階強度的統計特性可得到六個特徵,平均值、標準 差、第三矩、平滑度、均值性與熵。

這裡我們使用了Tumura[6]的粗糙度、對比度以及常用紋理特徵的平均值與標準 差,計算上一章節使用連通法分群出來的目標物,計算目標物的粗糙度、對比度、色 調(H)的標準差、飽和度(S)的標準差、亮度(V)的標準差及色調(H)的平均值、飽和度 (S)的平均值、亮度(V)的平均值,共八種特徵值,其中每一個特徵值皆象徵著不同的紋 理特性,本研究採用了這八種特徵值作為辨識導盲磚的依據。

(32)

21

粗糙度特徵擷取(Coarseness Feature Extraction)

Step1: 以2的次方大小2k×2k,例如:1×1,2×2,…,32×32平均的計算每個點(x,y)

鄰近的區塊,f ( i , j )是(x , y)的灰階值。定義如(2-12)式:

𝐴𝐾(𝑚, 𝑦) = � � 𝑖 (𝑖,𝑗)/2 2𝑘

𝑦+2𝑘−1−1 𝑖=𝑦−2𝑘−1 𝑚+2𝑘−1−1

𝑚=𝑚−2𝑘−1

(2-12) Step2: 對每一個點,求這個點的水平和垂直方向,分別往鄰近相反且不重複的兩側,

找出平均差。例如:水平方向的平均差定義為如下(2-13)

𝐸𝑘,ℎ(x,y) = | 𝐴𝐾(𝑚 + 2𝑘−1, 𝑦) − 𝐴𝐾(𝑚 − 2𝑘−1, 𝑦) |

(2-13) Step3: 在每一個點,找到最佳大小區塊的輸出值。k為其中一個方向最大的平均 值 定義如下(2-14)

E𝐾=E𝑚𝑚𝑚= max(𝐸1,𝐸2,…,𝐸𝐿) (2-14) 由上式(2-14)得Sbest(2-15) S𝑏𝑒𝑠𝑡(x,y)=2𝑘 (2-15) Step4: 最後S𝑏𝑒𝑠𝑡的平均就是一張圖的粗糙值Fcrs定義如下(2-16)式:

𝐹𝑐𝑟𝑠 = 1

𝑚 × 𝑚 � � 𝑆𝑏𝑒𝑠𝑡 (𝑖,𝑗)

𝑚 𝑖 𝑚

𝑚

(2-16)

對比度特徵擷取(Contrast Feature Extraction)

Step1: 先求一張圖的平均數(mean)

μ。

Step2: 定義∝4如下(2-17)式:

4= 𝜇4 / 𝜎4 (2-17) 𝜇4為4個階矩,𝜎2為標準差

(33)

22

Step3: 對比度定義如下(2-18)式

𝐹𝑐𝑜𝑚 = σ/(𝛼4)𝑚 (2-18) 其中n取1/4時為最好。

平均值(mean)

統計學上對資料處理常用趨中的處理,求取均值或中間值等,均會取中的特徵。

計算HSV色彩空間的H(Hue)、S(Saturation)、V(Value)的各平均值。

H平均值的計算公式如下(2-19)式:

𝑚𝑒𝑚𝑚 𝐻 = 𝑚=1 𝐻𝑖 𝑁

(2-19) S平均值的計算公式如下(2-20)式:

𝑚𝑒𝑚𝑚 𝑆 = 𝑚=1 𝑆𝑖 𝑁

(2-20) V平均值的計算公式如下(2-21)式:

𝑚𝑒𝑚𝑚 𝑉 = 𝑚=1 𝑉𝑖 𝑁

(2-21)

標準差(Std)

標準誤差為各樣本品與平均值間之常態差,其值實際上為上述變方var執行結果之開 方值。計算HSV色彩空間的H(Hue)、S(Saturation)、V(Value)的各標準差值。

H標準差值的計算公式如下(2-22)式:

𝜎 = �∑ (𝑅𝑁𝑚=1 𝑚 − 𝑚𝑒𝑚𝑚)2 𝑁

(2-22)

(34)

23

S標準差值的計算公式如下(2-23)式:

𝜎𝑠 = �∑ (𝑅𝑁𝑚=1 𝑚 − 𝑚𝑒𝑚𝑚𝑠)2 𝑁

(2-23) V標準差值的計算公式如下(2-24)式:

𝜎𝑣 = �∑ (𝑅𝑁𝑚=1 𝑚 − 𝑚𝑒𝑚𝑚𝑣)2 𝑁

(2-24)

2.7 類神經網路

本研究採用類神經網路中的倒傳遞演算法(BPN),即本章將介紹類神經網路之原 理和倒傳遞神經網路之原理。

2.7.1 類神經網路之原理說明

要了解類神經網路就先要了解生物神經網路。人的大腦,即生物神經網路,是一 個非常複雜的神經網路,據估計約有1000億的神經細胞,每個神經細胞約有1000根連 結與其他神經細胞相連。當人類的感官受到外界刺激,經由神經細胞傳遞訊息到大腦,

大腦便會下達命令傳遞反應訊號給反應神經,做出反應動作。人就是經由這些動作反 覆訓練學習,並記憶於腦細胞中,才能做出適當的判斷。一旦大腦受到損害,便需要 藉由復健,重新訓練學習。現今電腦科技日漸發達,就以人腦的概念模擬成人工神經 網路,又稱為類神經網路,是指模仿生物神經網路的資訊處理系統。

生物神經網路是由巨量的神經網路(neuron),或稱神經元所組成,神經細胞的形 狀與一般的細胞有很大的不同,它包括(圖 2.14):

一、神經核(soma):神經細胞呈核狀的處理機構。

二、神經軸(axon):神經細胞呈軸索狀的輸出機構。

三、神經樹(dendrites):神經細胞呈樹枝狀的輸出入機構。

四、神經節(synapse):神經樹上呈點狀的連結機構。

(35)

24

圖2.14 生物神經原模型

當神經細胞透過神經節與神經樹從其他神經元輸入脈波訊號後,經過神經核處理,

產生一個新的脈波訊號。這個訊號再經過神經軸傳送到神經樹,再透過神經節與神經 樹成為其他神經元的輸入脈波訊號。如果脈波訊號是經過興奮神經節(excitatory synapse),則會增加脈波訊號的速率(pulse rate);如果脈波是抑制神經節(inhibitory synapse),則會減少脈波訊號的速率。因此,脈波訊號的速率是同時取決於輸入脈波 訊號,以及神經節的強度。而神經節的強度可視為神經網路儲存資訊之所在,神經網 路的學習即在調整神經節的強度。

類神經網路則是由許許多多的人工神經聯結所組成。人工神經細胞又稱為類神經 元,又稱為處理單元(processing element, PE)或節點(Node)。人工神經元是生物神經元 的簡單模擬(如圖2.15所示),它可從外界環境(感官器官)或其他人工神經元取得資訊,

成為人工神經元之輸入訊號(Xi),訊號於傳遞至神經核前,先與神經節作用�Wij�,再 將各訊號匯集,經過神經核之處理,處理程序為將匯集之資料與閥值作用(θ),作用 後之訊號經神經之轉移函數作用(f),將其結果輸出到外界環境或成為其他人工神經元 之輸入。每一個處理單元的輸出以扇形送出,成為其他許多處理單元的輸入(如圖2.16 所示)。

(36)

25

圖2.15 人工神經元模型

圖2.16 神經網路示意圖

處理單元及輸出值與輸入值的關係式,可用輸入值的加權乘積和之函數如下 2-25 式:

𝑌𝑚𝑖 = 𝑖( ∑ 𝑊𝑚 𝑚𝑖 𝑋𝑚− 𝜃𝑖 ) (2-25) 其中Yij為模仿神經元模型的輸出訊號。

𝑖 為模仿生物神經元模型的神經核內轉移函數(transfer function)。

W 為模仿生物神經元模型的神經節強度,亦稱連結權重值(weight)。

X 為模仿生物神經元之模型輸入訊號。

θ 為模仿生物神經元之模型的閥值,又稱為偏權值或稱為門檻值。

類神經網路架構說明:

(37)

26

1.類神經網路架構:

類神經網路組成的基本單位為處理單元,經由處理單元組成「層」(Layer),再經 由層組成「網路」(Network)。一般單隱藏層之網路架構,如圖2.17所示

圖2.17 類神經網路架構圖 2.層:

若干個具有相同作用的處理單元集合成「層」;類神經網路主要由三層所組成,

說明如下:

(1) 輸入層:用以表示網路之輸入變數,其處理單元依問題而定。

(2) 隱藏層:用以表示輸入處理單元間的交互影響,其處理單元數目並無標 準方法可以決定,經常須以試驗方法決定其最佳數目。使用非線性轉換函數。

網路可以不只一層隱藏層,也可以沒有隱藏層。

(3) 輸出層:用以表現網路的輸出變數,其處理單元數目依問題而定。通常 大多使用非線性轉換函數。

2.7.2 類神經網路之特性

類神經網路主要具有下列特性:

1.處理非線性系統的能力:

類神經網路就理論上而言,能近似任何的非線性系統,因此對非線性系統作控制 時,可以獲得良好的控制效果。

2.平行處理的能力:

由於類神經網路的架構使然,其本身的資訊處理流程就是以分散式的儲存與平行 處理的方式運作,所以容錯(Fault-tolerance)能力方面往往優於傳統的方法。

(38)

27

3.硬體實現(Implementation)的能力:

類神經網路內部的處理元件構造簡單,同時架構又是以平行處理的方式來排列,

因此易於硬體上的實現。現今已有人以超大型積體電路(VLSI)的技術,將類神經網 路以實體的方式表現出來,如此更能提昇其處理速度和實用價值。

4.學習與適應性的能力:

類神經網路可藉由系統的輸入輸出的資料來訓練網路,一旦訓練完畢後,縱使 有不屬於訓練範圍內輸入訊號進入網路時,網路能仍可提供合理且適當的對應輸 出。

5.處理多變數系統的能力網路的輸入與輸出的個數依系統的實際需要而任意給定,所 以應用在多變數系統上也非常適合。

2.7.3 類神經網路的分類及運作原理

類神經網路分類常用分法有三種[2]:

依學習策略來分類:

1.監督式學習(Supervised learning):監督式學習法可以從不斷修正網路鏈結上的權重 值(鏈結值),以達到我們的期待如圖 2.18。學習過程中我們會給予神經網路範例,因 此在每一次的學習中,網路計算所得到的輸出資料都有一組正確的資料與其比對。在 網路輸出層經過與目標輸出值(desired output) 比對後得到學習誤差值,利用此誤差調 整鏈結上的權重值,此一過程一再重複,直到誤差值收斂至我們設定的「臨界值」臨 界值為止,即學習完成。如倒傳遞網路便屬此類學習。常運用於預測領域。

圖2.18 監督式學習法

(39)

28

2.無監督式學習(unsupervised learning):如圖 2.19 非監督式學習法的特色在於訓練過 程之中只需提供輸入資料,而不提供資料的期望輸出,神經網路會依輸入資料特性自 行去學習,由網路進行變數的分類。由於沒有目標輸出值,也就沒有明確的誤差訊息 可以提供網路輸出表現加以改善,僅以輸入資料加以群聚在一起;但因為非監督式學 習很容易找到輸入資料的群聚邊 線,所以常用在於識別與分類問題。

圖2.19 無監督式學習法

3.聯想式學習(Associate learning):從問題領域中取得訓練範例(狀態變數值),並從中 學習範例的內在記憶規則,以應用於新的範例(只有不完整的狀態變數值,而需推論 其完整的狀態變數值的應用)。這種網路應用於擷取應用與雜訊過濾。

2.7.4 倒傳遞類神經網路(BPN)

倒傳遞類神經網路為多層感知器的架構(圖2.20),學習演算法為誤差倒傳遞 演算法(Error Back Propagation,EBP)。倒傳遞類神經網路屬於監督式學習,亦即 對應一組輸入項有預期的輸出項來監控網路的學習。倒傳遞類神經網路廣泛的使用在 各領域上,圖形辨識上也不乏其應用。

圖2.20 多層感知器

(40)

29

以下就輸入層、隱藏層與輸出層作一說明:

1. 輸入層:用以表現網路的輸入變數,其處理單元數目依問題而定。使用線性轉換 函數,即f(x) = x。為了避免輸入值之間的值域不一致,造成運算元對網路的貢 獻失真,通常都會將運算元的輸入值作正規化處理。

2. 隱藏層:用以表現輸入處理單元間的交互影響,其處理單元數目並無標準方法可 以決定,經常需要以試驗方式決定其最佳數目。

3.輸出層:用以表現網路的輸出變數,其處理單元數目依問題而定。

倒傳遞類神經網路訓練過程中,輸入項從輸入層透過隱藏層加權計算,經活化函 數處理後,傳至輸出層計算網路輸出值,若輸出值達不到目標輸出值,則將誤差訊號 回傳以修正各層神經元的權重,使誤差達到容忍範圍之內後停止訓練。當網路訓練完 成後,便能來處理輸入輸出間的非線性映射關係。下圖2.21為倒傳遞類神經網路學習 流程圖:

圖2.21 倒傳遞類神經網路學習流程圖

(41)

30

網路中靠相關權重連結各層間之神經元,輸入值由輸入層直接傳入隱藏層,經加權累 加後再透過轉換函數轉換得到輸出值,同理再傳入輸出層。常使用的轉換函數型式有:

步階作用函數(Unit Step Active Function)、線性作用函數(Linear Active Function)、對 數雙彎曲作用函數(Log-sigmoid Active Function)及正切雙彎曲作用函數

(HyperbolicTangent Active Function),本實驗採用步階作用函數,此一函數的功能把 神經元內在的總和映射到o或x。如下2-26式:

步階作用函數(Unit Step Active Function):

𝑖(x) = � 0, 𝑖𝑖 𝑚 ≥ 0 1, 𝑖𝑖 𝑚 < 0

(2-26) 如下圖2.22為 神經元內在的總和映射到0或1

圖2.22 神經元內在之總合

圖2.22,O為指定輸出值;X為類神經估測值,如果X越靠近O則表式判斷越準確。所有 估計值越靠近1則表示輸出越接近導盲磚反之估計值越接近2則表示越接近非導磚。

(42)

31

第三章

實驗及研究方法

本章節首先介紹實驗的整體流程及架構,分別解釋操作過程及使用方法。

3.1 實驗流程

圖 3.1 為實驗之流程圖,各步驟分別說明如下:

1.輸入影像:

影像大小為 640x480 像素。

2.影像色彩空間轉換

RGB 彩色影像轉 HSV 色彩空間。

3.影像二值化:

針對 HSV 中之飽和度(S)影像做二值化處理。

4.影像形態學:

二值化影像利用膨脹及侵蝕做形態學處理。

5.自動目標物擷取(面積篩選):

利用連通分群法將小於 2500 像素之面積移除,將目標區域做標記。

6.特徵擷取(特徵值計算):

目標區域特徵擷取及計算。

7.類神經網路判斷:

利用倒傳遞類神經網路判斷目標區域之特徵值,辨別影像中目標區是否為導 盲磚區域。

8.影像輸出:

原影像導盲磚區域標記劃線。

本論文中也比較夜晚、白天、室內之導盲磚區域判別之正確率及像素之比較。

(43)

32

圖 3.1 實驗之流程圖

(44)

33

3.2 研究方法

3.2.1 色彩空間轉換

色彩空間轉換(color space)[3]

RGB色彩空間的影像顏色很容易因光線強弱的影響產生顏色深淺的變化,也就 是說想要抽離出光線對於色彩的影響是非常困難的,所以直接在RGB色彩空間做顏 色偵測容易產生嚴重的誤差,難以使用在複雜的圖形演算,比較不適合直接進行影 像處理。為了減少環境光線變化對顏色偵測的影響,本實驗採HSV色彩模型因為它 對光源強弱較不靈敏,且它的資訊相當接近人們用來描述或解釋色彩的方式。圖 3.2(a)為原始圖像,像素為640x480,利用HSV色彩空間轉換後之結果如圖3.2(b)為 H(色度);圖3.2(c)為S(飽和度);圖3.2(d)為V(明度)

(a)原始圖像 (b)為H(色度)

(c)為S(飽和度) (d)為V(明度) 圖3.2 HSV色彩模型

(45)

34

3.2.2 影像二值化

本實驗採用Otsu法[4],Otsu的這個方法在許多應用上仍時常被提起,主要在 二值化的過程中,可以自動找到一個最佳之臨界值,讓不同的群組分開。將影像 二值化,便於我們擷取影像中資訊。針對HSV中之飽和度(saturation)去做二值化 處理如圖3.2(b)為S(飽和度)、圖3.3為S轉換二值化之結果

圖3.2(b)為S飽和度

圖3.3 S轉換二值化之結果

(46)

35

3.2.3 形態學

影像經過二值化後常會有背景不均勻而產生的訊號,運用形態學[2]上膨脹 (dilate)與侵蝕(erode),來凸顯目標物並降低不必要的訊號。

下圖3.4(a,b)為二值化經形態學(膨脹、侵蝕)處理後之結果、圖(a)為膨脹後之結 果、圖(b)為侵蝕後之結果。

圖3.4 (a)膨脹後之結果

圖3.4 (b)侵蝕後之結果

(47)

36

3.2.4 自動目標物擷取

連通物件標記(CCL),主要目的是使相連接的物件標記為同一值,處理的對象一 般為二值化的二維資料,本實驗採用四鄰連通,利用連通物件標記找出各目標區域 標記編號,然後移除像素小於2500的區域,以利後續判別處理。下圖3.5(a,b)為連通 物件標記(4近鄰及標記區域編號)之結果、圖(a)為四近鄰連通之目標區域、圖(b)目標 區域標記編號

圖3.5 (a)為四近鄰連通之目標區域

3 1 4

2

圖3.5 (b)目標區域標記編號

(48)

37

3.2.5 特徵擷取及特徵值計算

利用面積篩選得到各個目標區域,針對這些目標區域找尋特徵及特徵值判斷,

這裡我們使用了Tumura[6]的粗糙度、對比度以及常用紋理特徵的平均值與標準差,

利用這些特徵計算上一章節使用連通法分群出來的目標區域,計算各目標物的粗糙 度、對比度、色調(H)的標準差、飽和度(S)的標準差、亮度(V)的標準差及色調(H) 的平均值、飽和度(S)的平均值、亮度(V)的平均值,共八種特徵值當做我們判斷導 盲磚之依據。下表3.1為圖3.5(b)各目標區域之特徵值。

圖3.5(b)目標區域標記編號 表3.1為圖3.5(b)中各目標區域之特徵值

由上表得知特徵粗糙度、對比度、色調(H)的標準差、飽和度(S)的標準差、亮度(V) 的標準差及色調(H)的平均值、飽和度(S)的平均值、亮度(V)的平均值,得八種特徵值,

可以有效的判斷目標區域之準確率,所以如果減少目標物特徵,這樣只會讓類神經網 路獲取的資訊變少而導致判斷錯誤,因此如果使用更多特徵則辨識率就會越準確。

(49)

38

3.2.6 類神經網路

倒傳遞類神經網路(BPN)來判斷導盲磚,倒傳遞類神經網路為多層感知器的架構,

它屬於監督式學習,亦即對應一組輸入項有預期的輸出項來監控網路的學習。經由 前處理得到導盲磚之特徵值之後,利用類神經網路系統之倒傳遞演算法判斷出影 像中導盲磚區域的正確位置。下圖3.6為倒傳遞類神經網路為多層感知器的架構

圖3.6 多層感知器 以下對輸入層、隱藏層與輸出層作一說明:

1. 輸入層:用以表現網路的輸入變數,其處理單元數目依問題而定。使用線性轉換 函 數,即f(x) = x。為了避免輸入值之間的值域不一致,造成運算元對網路的貢獻 失真,通常都會將運算元的輸入值作正規化處理。

2. 隱藏層:用以表現輸入處理單元間的交互影響,其處理單元數目並無標準方法可 以決定,經常需要以試驗方式決定其最佳數目。

3.輸出層:用以表現網路的輸出變數,其處理單元數目依問題而定。

倒傳遞類神經網路訓練過程中,輸入項從輸入層透過隱藏層加權計算,經活化 函數處理後,傳至輸出層計算網路輸出值,若輸出值達不到目標輸出值,則將誤差 訊號回傳以修正各層神經元的權重,使誤差達到容忍範圍之內後停止訓練。在這裡 我們設訓練次數為200,因為訓練次數如果預設的太少會造成還未完全訓練到最好 的效能,如果太多會造成已經達到最適合之效能時,但是卻平白的浪費時間,在實 驗多次之後發現,當參數值為200左右比較符合本研究的需求。等到訓練結果出來

(50)

39

之後,再把原本已知影像擷取特徵放入類神經網路去驗證它的結果,如果所有估計 值越靠近1則表示輸出越接近導盲磚反之估計值越接近2則表示越接近非導盲磚。如 下圖3.7所示導盲磚與非導盲磚之群聚

非導盲磚

導盲磚

圖3.7 導盲磚與非導盲磚之群聚

類神經網路是個具學習模式的系統,只要將樣本給系統做訓練,經訓練完後的系 統就可以用來判斷新的影像,若要讓資訊正確的判斷則所需要的樣本數就要多,才能 建立一個完整的辨識系統。因此圖3.5(b)目標區域(1區 ,2區 ,3區 ,4區)四個區域之特 徵值經過類神經網路判斷後結果如我們所期望的,如下表3.1所示,下圖3.8為經過類 神經判斷四個目標區域後只顯示該區域為導盲磚之位置。確定導盲磚位置後再將導盲 磚區域描繪劃線如圖3.9。

表3.2目標區域判斷結果

目標區域 1區 2區 3區 4區

期望值 2 1 2 2

ANN判斷實際值 2 1 2 2

註: ANN判斷,導盲磚區域為1;非導盲磚區域為2

(51)

40

圖3.8 類神經判斷

圖3.9 導盲磚區域正確位置

經實驗得知因前處理過程中將影像中目標區域小於 2500 像素的區域移除,所以只要 導盲磚區域位置距離小於 6 公尺內,則可以有效的辨識出導盲磚區域而有效畫出該區 域完整位置。

(52)

41

第四章

實驗結果與討論

本次實驗我們使用了尺寸為 640x480 像素之 100 張影像來當作訓練組影像,如圖 4.1(a,b,c,d,e)所示。首先以第二章節所提到的影像前處理得到目標區域特徵,

計算後得各區域特徵值記錄如下表 4.1(a、b),以類神經網路來判斷影像中目標區域是 否為導盲磚及非導盲磚,除此之外,再利用 170 張影像,包含了白天 40 張影像,夜 間 40 張影像及室內 40 張影像,共 120 張影像,當作測試影像和上述的方法一樣算出 它的辨識率將結果記錄下來。

圖 4.1 (a)訓練組影像 1-20 張

(53)

42

圖 4.1 (b)訓練影像 21-56 張

(54)

43

圖 4.1 (c)訓練影像 57-92 張

(55)

44

圖 4.1 (d)訓練影像 93-100 張

表 4.1 (a) 導盲磚區域特徵值

粗糙度 對比度 H 標準差 S 標準差 V 標準差 H 平均值 S 平均值 V 平均值 17.563 0.052 0.101 0.13 0.264 0.072 0.582 0.127 22.905 0.04 0.1 0.029 0.334 0.061 0.542 0.226 24.27 0.039 0.131 0.031 0.289 0.051 0.147 0.04 21.032 0.055 0.094 0.024 0.333 0.072 0.535 0.144 21.312 0.061 0.101 0.02 0.313 0.076 0.552 0.082 19.718 0.076 0.098 0.024 0.343 0.092 0.327 0.061 24.565 0.055 0.097 0.011 0.555 0.081 0.565 0.121 20.766 0.096 0.136 0.106 0.48 0.146 0.31 0.176 18.398 0.081 0.144 0.126 0.292 0.104 0.269 0.112 24.941 0.062 0.105 0.01 0.466 0.08 0.7 0.046 24.079 0.057 0.102 0.011 0.396 0.075 0.716 0.047 17.26 0.072 0.108 0.01 0.43 0.089 0.646 0.058 20.72 0.088 0.11 0.043 0.499 0.12 0.672 0.133 17.478 0.094 0.106 0.015 0.431 0.116 0.709 0.064 17.317 0.111 0.178 0.175 0.462 0.148 0.611 0.239 23.721 0.04 0.104 0.009 0.503 0.058 0.586 0.145 23.581 0.062 0.096 0.01 0.598 0.082 0.571 0.136 22.466 0.07 0.093 0.015 0.533 0.092 0.552 0.139 20.521 0.037 0.094 0.05 0.457 0.064 0.529 0.09 22.178 0.029 0.095 0.051 0.449 0.055 0.608 0.063 20.749 0.04 0.092 0.026 0.492 0.065 0.573 0.082 20.199 0.054 0.096 0.034 0.478 0.092 0.539 0.101 20.557 0.05 0.094 0.036 0.426 0.076 0.514 0.097

(56)

45

表 4.1(b) 非導盲磚區域特徵值

粗糙度 對比度 H 標準差 S 標準差 V 標準差 H 平均值 S 平均值 V 平均值 17.002 0.068 0.086 0.056 0.441 0.101 0.187 0.044 17.413 0.107 0.081 0.109 0.42 0.135 0.416 0.162 17.681 0.084 0.063 0.031 0.541 0.117 0.341 0.05 13.724 0.096 0.263 0.189 0.262 0.155 0.161 0.116 17.776 0.046 0.185 0.072 0.256 0.086 0.102 0.047 9.685 0.122 0.24 0.16 0.269 0.201 0.073 0.061 15.52 0.064 0.298 0.14 0.23 0.104 0.062 0.035 16.417 0.033 0.247 0.043 0.268 0.043 0.229 0.058 15.82 0.075 0.32 0.119 0.319 0.108 0.189 0.118 18.085 0.111 0.068 0.044 0.538 0.142 0.342 0.094 23.707 0.031 0.588 0.014 0.422 0.063 0.714 0.067 18.085 0.096 0.067 0.043 0.554 0.127 0.221 0.072 19.985 0.091 0.087 0.065 0.476 0.122 0.188 0.071 15.238 0.089 0.233 0.211 0.301 0.123 0.127 0.072 12.489 0.02 0.189 0.025 0.217 0.032 0.24 0.035 21.888 0.112 0.131 0.167 0.596 0.152 0.494 0.169 23.109 0.059 0.103 0.113 0.533 0.089 0.137 0.051 24.139 0.031 0.039 0.032 0.6 0.052 0.492 0.078 16.675 0.063 0.059 0.035 0.571 0.095 0.191 0.071 17.029 0.019 0.069 0.012 0.391 0.028 0.303 0.099 20.32 0.14 0.143 0.059 0.459 0.168 0.088 0.039 10.889 0.134 0.092 0.068 0.511 0.158 0.15 0.038 14.513 0.076 0.194 0.041 0.341 0.115 0.151 0.055 得到以上訓練組 100 張影像中的特徵值資訊後,接下來以下我們將討論各種(白天、

夜間、室內)情況下之影像經由類神經網路判斷後之辨識率及其結果。

(一) 白天情況如下圖 4.2(a、b)為 40 張白天影像,當做測試組之影像。

圖 4.2 (a)測試組白天之影像 1-4

(57)

46

圖 4.2 (b)測試組之白天影像 5-40

(58)

47

類神經辨識白天的情況測試結果如下表 4.2:

辨識率的公式如下:

辨識率 = 辨識正確之影像總數 / 總影像數

表 4.2 白天之辨識率

總影像數 正確影像 失敗影像 辨識率

白天 40 34 6 85%

舉一成功之案例如下圖 4.3 所示:

圖 4.3 白天情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.4(a、b、c)所示

圖 4.4 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.5

圖 4.5 二值化之影像

(59)

48

將二值化影像膨脹與侵蝕後之影像如下圖 4.6(a,b)

圖 4.6 (a)膨脹之影像 圖 4.6(b)侵蝕後之影像 面積篩選,移除面積小於 2500 像素,如下圖 4.7

圖 4.7 面積篩選

得到目標區域及標記目標區域如圖 4.8(a),類神經判斷目標區域是否為導盲磚,留下 導盲磚區域,如下圖 4.8(b)

1

2

圖 4.8 (a)目標區域標記 圖 4.8 (b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.9

圖 4.9 導盲磚正確位置

(60)

49

舉一白天情況下失敗之案例如下圖 4.10 所示:

圖 4.10 白天辨識失敗圖 經由 HSV 色彩空間轉換結果如下圖 4.11(a,b,c)所示

圖 4.11 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.12

圖 4.12 二值化之影像 將二值化影像膨脹與侵蝕後之影像圖 4.13(a、b)

圖 4.13 (a)膨脹之影像 圖 4.13(b)侵蝕之影像

(61)

50

面積篩選,移除面積小於 2500 像素,如下圖 4.14

圖 4.14 面積篩選

得到目標區域及標記目標區域如圖 4.15(a),類神經判斷目標區域是否為導盲磚,留 下導盲磚區域,如下圖 4-15(b)

1

圖 4.15(a)目標區域標記 圖 4.15(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.16

圖 4.16 導盲磚正確位置

由於影像中陽光折射原因,導致導盲磚(圈起處)產生反光之作用,因此前處理過 程中影像轉 HSV 色彩空間飽和度(S)時,由於飽和度顏色的改變導致影像轉換成二值 影像時沒辦法有效的找到最佳臨界值,導致後續結果之誤判。

(62)

51

(二)夜間(無閃燈)情況如下圖 4.17(a、b)為 40 張夜間影像,當做測試之影像。

圖 4.17 (a)測試組之夜間影像 1-36

(63)

52

圖 4.17(b)測試組之夜間影像 37-40 類神經辨識夜間的情況實驗結果如下表 4.3

表 4.3 夜間之辨識率

總影像數 正確影像 失敗影像 辨識率

夜間 40 36 4 90%

舉一夜間成功之案例如下圖 4.18 所示:

圖 4.18 夜間情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.19(a、b、c)所示

圖 4.19 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.20

圖 4.20 二值化之影像

(64)

53

將二值化影像膨脹與侵蝕後之影像如下圖 4.21(a、b)

圖 4.21 (a)膨脹之影像 圖 4.21(b)侵蝕之影像 面積篩選,移除面積小於 2500 像素,如下圖 4.22

圖 4.22 面積篩選

得到目標區域及標記目標區域如圖 4.23(a),類神經判斷目標區域是否為導盲磚,留 下導盲磚區域,如下圖 4.23(b)

1

圖 4.23(a)目標區域標記 4.23(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.24

圖 4.24 導盲磚正確位置

(65)

54

舉一夜間失敗例子如下圖 4.25 所示:

圖 4.25 夜間辨識失敗圖 經由 HSV 色彩空間轉換結果如下圖 4.26(a、b、c)所示

圖 4.26 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.27

圖 4.27 二值化之影像 將二值化影像膨脹與侵蝕後之影像圖 4.28(a、b)

圖 4.28 (a)膨脹之影像 圖 4.28 (b)侵蝕之影像

(66)

55

面積篩選,移除面積小於 2500 像素,如下圖 4.29

圖 4.29 面積篩選

得到目標區域及標記目標區域如圖 4.30(a),類神經判斷目標區域是否為導盲磚,留 下導盲磚區域,如下圖 4.30(b)

1

圖 4.30(a)目標區域標記 圖 4.30(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.31

圖 4.31 導盲磚正確位置

由於影像因夜間拍攝,導致導盲磚末端(圈起處)雜訊過多及光源不足,因此前處 理過程中影像轉 HSV 色彩空間飽和度(S)時,因雜訊及光源的不足導致影像轉換成二 值影像時沒辦法有效的找到最佳臨界值,導致後續結果之誤判。

(67)

56

(三)室內情況如下圖 4.32(a,b)為 40 張夜間影像,當做測試之影像。

圖 4.32(a) 測試組之室內影像 1-36

(68)

57

圖 4.32(b) 測試組之室內影像 37-40 類神經辨識室內的情況實驗結果如下表 4.4

表 4.4 室內之辨識率

總影像數 正確影像 失敗影像 辨識率

夜間 40 35 5 87.5%

舉一成功之案例如下圖 4.33 所示:

圖 4.33 室內情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.34(a、b、c)所示

圖 4.34 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.35

圖 4.35 二值化之影像

(69)

58

將二值化影像膨脹與侵蝕後之影像如下圖 4.36(a、b)

圖 4.36 (a)膨脹之影像 圖 4.36 (b)侵蝕後之影像 面積篩選,移除面積小於 2500 像素,如下圖 4.37

圖 4.37 面積篩選

得到目標區域及標記目標區域如圖 4.38(a),類神經判斷目標區域是否為導盲磚,留下 導盲磚區域,如下圖 4.38(b)

3 4

1 2

圖 4.38(a)目標區域標記 圖 4.38(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.38

圖 4.39 導盲磚正確位置

(70)

59

舉一失敗之例子如下圖 4.40 所示:

圖 4.40 室內情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.41(a、b、c)所示

圖 4.41 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.42

圖 4.42 二值化之影像 將二值化影像膨脹與侵蝕後之影像如下圖 4.43(a,b)

圖 4.43 (a)膨脹之影像 圖 4.43(b)侵蝕後之影像

參考文獻

相關文件

volume suppressed mass: (TeV) 2 /M P ∼ 10 −4 eV → mm range can be experimentally tested for any number of extra dimensions - Light U(1) gauge bosons: no derivative couplings. =&gt;

For pedagogical purposes, let us start consideration from a simple one-dimensional (1D) system, where electrons are confined to a chain parallel to the x axis. As it is well known

The observed small neutrino masses strongly suggest the presence of super heavy Majorana neutrinos N. Out-of-thermal equilibrium processes may be easily realized around the

incapable to extract any quantities from QCD, nor to tackle the most interesting physics, namely, the spontaneously chiral symmetry breaking and the color confinement.. 

(1) Determine a hypersurface on which matching condition is given.. (2) Determine a

• Formation of massive primordial stars as origin of objects in the early universe. • Supernova explosions might be visible to the most

(Another example of close harmony is the four-bar unaccompanied vocal introduction to “Paperback Writer”, a somewhat later Beatles song.) Overall, Lennon’s and McCartney’s

Microphone and 600 ohm line conduits shall be mechanically and electrically connected to receptacle boxes and electrically grounded to the audio system ground point.. Lines in