第三章 研究及實驗方法
3.2 研究方法
3.2.6 類神經網路
倒傳遞類神經網路(BPN)來判斷導盲磚，倒傳遞類神經網路為多層感知器的架構，
它屬於監督式學習，亦即對應一組輸入項有預期的輸出項來監控網路的學習。經由 前處理得到導盲磚之特徵值之後，利用類神經網路系統之倒傳遞演算法判斷出影 像中導盲磚區域的正確位置。下圖3.6為倒傳遞類神經網路為多層感知器的架構
圖3.6 多層感知器 以下對輸入層、隱藏層與輸出層作一說明：
1. 輸入層：用以表現網路的輸入變數，其處理單元數目依問題而定。使用線性轉換 函 數，即f(x) = x。為了避免輸入值之間的值域不一致，造成運算元對網路的貢獻 失真，通常都會將運算元的輸入值作正規化處理。
2. 隱藏層：用以表現輸入處理單元間的交互影響，其處理單元數目並無標準方法可 以決定，經常需要以試驗方式決定其最佳數目。
3.輸出層：用以表現網路的輸出變數，其處理單元數目依問題而定。
倒傳遞類神經網路訓練過程中，輸入項從輸入層透過隱藏層加權計算，經活化 函數處理後，傳至輸出層計算網路輸出值，若輸出值達不到目標輸出值，則將誤差 訊號回傳以修正各層神經元的權重，使誤差達到容忍範圍之內後停止訓練。在這裡 我們設訓練次數為200，因為訓練次數如果預設的太少會造成還未完全訓練到最好 的效能，如果太多會造成已經達到最適合之效能時，但是卻平白的浪費時間，在實 驗多次之後發現，當參數值為200左右比較符合本研究的需求。等到訓練結果出來
39
之後，再把原本已知影像擷取特徵放入類神經網路去驗證它的結果，如果所有估計 值越靠近1則表示輸出越接近導盲磚反之估計值越接近2則表示越接近非導盲磚。如 下圖3.7所示導盲磚與非導盲磚之群聚
非導盲磚
導盲磚
圖3.7 導盲磚與非導盲磚之群聚
類神經網路是個具學習模式的系統，只要將樣本給系統做訓練，經訓練完後的系 統就可以用來判斷新的影像，若要讓資訊正確的判斷則所需要的樣本數就要多，才能 建立一個完整的辨識系統。因此圖3.5(b)目標區域(1區 ,2區 ,3區 ,4區)四個區域之特 徵值經過類神經網路判斷後結果如我們所期望的，如下表3.1所示，下圖3.8為經過類 神經判斷四個目標區域後只顯示該區域為導盲磚之位置。確定導盲磚位置後再將導盲 磚區域描繪劃線如圖3.9。
表3.2目標區域判斷結果
目標區域 1區 2區 3區 4區
期望值 2 1 2 2
ANN判斷實際值 2 1 2 2
註: ANN判斷，導盲磚區域為1；非導盲磚區域為2
40
圖3.8 類神經判斷
圖3.9 導盲磚區域正確位置
經實驗得知因前處理過程中將影像中目標區域小於 2500 像素的區域移除，所以只要 導盲磚區域位置距離小於 6 公尺內，則可以有效的辨識出導盲磚區域而有效畫出該區 域完整位置。
41
第四章
實驗結果與討論
本次實驗我們使用了尺寸為 640x480 像素之 100 張影像來當作訓練組影像，如圖 4.1(a，b，c，d，e)所示。首先以第二章節所提到的影像前處理得到目標區域特徵，
計算後得各區域特徵值記錄如下表 4.1(a、b)，以類神經網路來判斷影像中目標區域是 否為導盲磚及非導盲磚，除此之外，再利用 170 張影像，包含了白天 40 張影像，夜 間 40 張影像及室內 40 張影像，共 120 張影像，當作測試影像和上述的方法一樣算出 它的辨識率將結果記錄下來。
圖 4.1 (a)訓練組影像 1-20 張
42
圖 4.1 (b)訓練影像 21-56 張
43
圖 4.1 (c)訓練影像 57-92 張
44
圖 4.1 (d)訓練影像 93-100 張
表 4.1 (a) 導盲磚區域特徵值
粗糙度 對比度 H 標準差 S 標準差 V 標準差 H 平均值 S 平均值 V 平均值 17.563 0.052 0.101 0.13 0.264 0.072 0.582 0.127 22.905 0.04 0.1 0.029 0.334 0.061 0.542 0.226 24.27 0.039 0.131 0.031 0.289 0.051 0.147 0.04 21.032 0.055 0.094 0.024 0.333 0.072 0.535 0.144 21.312 0.061 0.101 0.02 0.313 0.076 0.552 0.082 19.718 0.076 0.098 0.024 0.343 0.092 0.327 0.061 24.565 0.055 0.097 0.011 0.555 0.081 0.565 0.121 20.766 0.096 0.136 0.106 0.48 0.146 0.31 0.176 18.398 0.081 0.144 0.126 0.292 0.104 0.269 0.112 24.941 0.062 0.105 0.01 0.466 0.08 0.7 0.046 24.079 0.057 0.102 0.011 0.396 0.075 0.716 0.047 17.26 0.072 0.108 0.01 0.43 0.089 0.646 0.058 20.72 0.088 0.11 0.043 0.499 0.12 0.672 0.133 17.478 0.094 0.106 0.015 0.431 0.116 0.709 0.064 17.317 0.111 0.178 0.175 0.462 0.148 0.611 0.239 23.721 0.04 0.104 0.009 0.503 0.058 0.586 0.145 23.581 0.062 0.096 0.01 0.598 0.082 0.571 0.136 22.466 0.07 0.093 0.015 0.533 0.092 0.552 0.139 20.521 0.037 0.094 0.05 0.457 0.064 0.529 0.09 22.178 0.029 0.095 0.051 0.449 0.055 0.608 0.063 20.749 0.04 0.092 0.026 0.492 0.065 0.573 0.082 20.199 0.054 0.096 0.034 0.478 0.092 0.539 0.101 20.557 0.05 0.094 0.036 0.426 0.076 0.514 0.097
45
表 4.1(b) 非導盲磚區域特徵值
粗糙度 對比度 H 標準差 S 標準差 V 標準差 H 平均值 S 平均值 V 平均值 17.002 0.068 0.086 0.056 0.441 0.101 0.187 0.044 17.413 0.107 0.081 0.109 0.42 0.135 0.416 0.162 17.681 0.084 0.063 0.031 0.541 0.117 0.341 0.05 13.724 0.096 0.263 0.189 0.262 0.155 0.161 0.116 17.776 0.046 0.185 0.072 0.256 0.086 0.102 0.047 9.685 0.122 0.24 0.16 0.269 0.201 0.073 0.061 15.52 0.064 0.298 0.14 0.23 0.104 0.062 0.035 16.417 0.033 0.247 0.043 0.268 0.043 0.229 0.058 15.82 0.075 0.32 0.119 0.319 0.108 0.189 0.118 18.085 0.111 0.068 0.044 0.538 0.142 0.342 0.094 23.707 0.031 0.588 0.014 0.422 0.063 0.714 0.067 18.085 0.096 0.067 0.043 0.554 0.127 0.221 0.072 19.985 0.091 0.087 0.065 0.476 0.122 0.188 0.071 15.238 0.089 0.233 0.211 0.301 0.123 0.127 0.072 12.489 0.02 0.189 0.025 0.217 0.032 0.24 0.035 21.888 0.112 0.131 0.167 0.596 0.152 0.494 0.169 23.109 0.059 0.103 0.113 0.533 0.089 0.137 0.051 24.139 0.031 0.039 0.032 0.6 0.052 0.492 0.078 16.675 0.063 0.059 0.035 0.571 0.095 0.191 0.071 17.029 0.019 0.069 0.012 0.391 0.028 0.303 0.099 20.32 0.14 0.143 0.059 0.459 0.168 0.088 0.039 10.889 0.134 0.092 0.068 0.511 0.158 0.15 0.038 14.513 0.076 0.194 0.041 0.341 0.115 0.151 0.055 得到以上訓練組 100 張影像中的特徵值資訊後，接下來以下我們將討論各種(白天、
夜間、室內)情況下之影像經由類神經網路判斷後之辨識率及其結果。
(一) 白天情況如下圖 4.2(a、b)為 40 張白天影像，當做測試組之影像。
圖 4.2 (a)測試組白天之影像 1-4
46
圖 4.2 (b)測試組之白天影像 5-40
47
類神經辨識白天的情況測試結果如下表 4.2:
辨識率的公式如下:
辨識率 = 辨識正確之影像總數 / 總影像數
表 4.2 白天之辨識率
總影像數 正確影像 失敗影像 辨識率
白天 40 34 6 85%
舉一成功之案例如下圖 4.3 所示:
圖 4.3 白天情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.4(a、b、c)所示
圖 4.4 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.5
圖 4.5 二值化之影像
48
將二值化影像膨脹與侵蝕後之影像如下圖 4.6(a，b)
圖 4.6 (a)膨脹之影像 圖 4.6(b)侵蝕後之影像 面積篩選，移除面積小於 2500 像素，如下圖 4.7
圖 4.7 面積篩選
得到目標區域及標記目標區域如圖 4.8(a)，類神經判斷目標區域是否為導盲磚，留下 導盲磚區域，如下圖 4.8(b)
1
2
圖 4.8 (a)目標區域標記 圖 4.8 (b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.9
圖 4.9 導盲磚正確位置
49
舉一白天情況下失敗之案例如下圖 4.10 所示:
圖 4.10 白天辨識失敗圖 經由 HSV 色彩空間轉換結果如下圖 4.11(a，b，c)所示
圖 4.11 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.12
圖 4.12 二值化之影像 將二值化影像膨脹與侵蝕後之影像圖 4.13(a、b)
圖 4.13 (a)膨脹之影像 圖 4.13(b)侵蝕之影像
50
面積篩選，移除面積小於 2500 像素，如下圖 4.14
圖 4.14 面積篩選
得到目標區域及標記目標區域如圖 4.15(a)，類神經判斷目標區域是否為導盲磚，留 下導盲磚區域，如下圖 4-15(b)
1
圖 4.15(a)目標區域標記 圖 4.15(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.16
圖 4.16 導盲磚正確位置
由於影像中陽光折射原因，導致導盲磚(圈起處)產生反光之作用，因此前處理過 程中影像轉 HSV 色彩空間飽和度(S)時，由於飽和度顏色的改變導致影像轉換成二值 影像時沒辦法有效的找到最佳臨界值，導致後續結果之誤判。
51
(二)夜間(無閃燈)情況如下圖 4.17(a、b)為 40 張夜間影像，當做測試之影像。
圖 4.17 (a)測試組之夜間影像 1-36
52
圖 4.17(b)測試組之夜間影像 37-40 類神經辨識夜間的情況實驗結果如下表 4.3
表 4.3 夜間之辨識率
總影像數 正確影像 失敗影像 辨識率
夜間 40 36 4 90%
舉一夜間成功之案例如下圖 4.18 所示:
圖 4.18 夜間情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.19(a、b、c)所示
圖 4.19 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.20
圖 4.20 二值化之影像
53
將二值化影像膨脹與侵蝕後之影像如下圖 4.21(a、b)
圖 4.21 (a)膨脹之影像 圖 4.21(b)侵蝕之影像 面積篩選，移除面積小於 2500 像素，如下圖 4.22
圖 4.22 面積篩選
得到目標區域及標記目標區域如圖 4.23(a)，類神經判斷目標區域是否為導盲磚，留 下導盲磚區域，如下圖 4.23(b)
1
圖 4.23(a)目標區域標記 4.23(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.24
圖 4.24 導盲磚正確位置
54
舉一夜間失敗例子如下圖 4.25 所示:
圖 4.25 夜間辨識失敗圖 經由 HSV 色彩空間轉換結果如下圖 4.26(a、b、c)所示
圖 4.26 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.27
圖 4.27 二值化之影像 將二值化影像膨脹與侵蝕後之影像圖 4.28(a、b)
圖 4.28 (a)膨脹之影像 圖 4.28 (b)侵蝕之影像
55
面積篩選，移除面積小於 2500 像素，如下圖 4.29
圖 4.29 面積篩選
得到目標區域及標記目標區域如圖 4.30(a)，類神經判斷目標區域是否為導盲磚，留 下導盲磚區域，如下圖 4.30(b)
1
圖 4.30(a)目標區域標記 圖 4.30(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.31
圖 4.31 導盲磚正確位置
由於影像因夜間拍攝，導致導盲磚末端(圈起處)雜訊過多及光源不足，因此前處 理過程中影像轉 HSV 色彩空間飽和度(S)時，因雜訊及光源的不足導致影像轉換成二 值影像時沒辦法有效的找到最佳臨界值，導致後續結果之誤判。
56
(三)室內情況如下圖 4.32(a，b)為 40 張夜間影像，當做測試之影像。
圖 4.32(a) 測試組之室內影像 1-36
57
圖 4.32(b) 測試組之室內影像 37-40 類神經辨識室內的情況實驗結果如下表 4.4
表 4.4 室內之辨識率
總影像數 正確影像 失敗影像 辨識率
夜間 40 35 5 87.5%
舉一成功之案例如下圖 4.33 所示:
圖 4.33 室內情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.34(a、b、c)所示
圖 4.34 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.35
圖 4.35 二值化之影像
58
將二值化影像膨脹與侵蝕後之影像如下圖 4.36(a、b)
圖 4.36 (a)膨脹之影像 圖 4.36 (b)侵蝕後之影像 面積篩選，移除面積小於 2500 像素，如下圖 4.37
圖 4.37 面積篩選
得到目標區域及標記目標區域如圖 4.38(a)，類神經判斷目標區域是否為導盲磚，留下 導盲磚區域，如下圖 4.38(b)
3 4
1 2
圖 4.38(a)目標區域標記 圖 4.38(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.38
圖 4.39 導盲磚正確位置
59
舉一失敗之例子如下圖 4.40 所示:
圖 4.40 室內情況之影像 經由 HSV 色彩空間轉換結果如下圖 4.41(a、b、c)所示
圖 4.41 HSV 色彩空間轉換(a 為色相、b 為飽和度、c 為明度) 將 S 飽和度之影像二值化後如下圖 4.42
圖 4.42 二值化之影像 將二值化影像膨脹與侵蝕後之影像如下圖 4.43(a，b)
圖 4.43 (a)膨脹之影像 圖 4.43(b)侵蝕後之影像
60
面積篩選，移除面積小於 2500 像素，如下圖 4.44
圖 4.44 面積篩選
得到目標區域及標記目標區域如圖 4.45(a)，類神經判斷目標區域是否為導盲磚，留下 導盲磚區域，如下圖 4.45(b)
圖 4.45(a)目標區域標記 圖 4.45(b)導盲磚位置 導盲磚位置劃線顯示如下圖 4.46
圖 4.46 導盲磚正確位置
由於影像在室內拍攝，導致有些區域因光源不足，而產生了雜訊。所以在前處理 過程中影像轉 HSV 色彩空間飽和度(S)時，產稱了模糊之情況，因此在轉換二值影像 時沒辦法有效的找到最佳臨界值，導致後續結果之誤判。
61
由以上實驗組三種情況下 120 張影像之實驗結果可以得知影像中導盲磚區域的 像素與本實驗所提出方法的導盲磚區域像素誤差值在 5.7%以內如下表 4.5 及各情況 下的導盲磚區域平均辨識率高達 87%可以看出本實驗結果有相當高之辨識率如下表 4.6 所示:
表 4.5 像素值比較
圖 1 圖 2 圖 3 圖 4 圖 5 原導盲區域像素值 105690 67024 59512 41310 40342 提出方法區域像素值 104200 63269 57704 39599 38625 像素值完整度 98.6% 94.3% 96.9% 95.8% 95.7%
誤差 1.4% 5.7% 3.1% 4.2% 4.3%
表 4.6 總辨識率
總影像數 正確影像 失敗影像 辨識率
白天 40 34 6 85%
夜間 40 36 4 90%
室內 40 35 5 87.5%
總影像 120 105 15 87.5%
表 4.7 辨識時間
圖 1 圖 2 圖 3 圖 4 圖 5 圖 6 圖 7 圖 8 圖 9 圖 10 秒數
(sec)
38 34.5 34 33 35.6 31 30 32 34 31
表 4.7 為彩色影像由類神經網路辨識導盲磚區域的時間，由上表得知我們處理的平均 時間為 33.1 秒，在彩色影像中需計算八個特徵值因此計算量較大所以比較耗時，但 是本實驗可以有效的以類神經網路辨識出完整的導盲磚區域。
62
電腦系統配備:
(一)硬體
型號: HP CQ40.notebook PC
處理器: Pentium(R) Dual-Core CPU T4200 @2.00GHz 記憶體: 4G
系統: 32 位元作業系統
相機: Canon IXY40 、Canon 500D 腳架
(二)軟體
Windows 版本: Windows Vista Home Basic Matlab 版本: Matlab R2012a
63
第五章
結論與未來展望
本論文研究主要提供視障者能夠正確的找到導盲磚區域之位置，該方法利用彩色 影像中眾多之目標物特徵來計算及存取目標物特徵值，獲取各種情況下之特徵值後，
接著經由倒傳遞神經網路去判斷新影像找出新影像中導盲磚之正確的區域位置。
由以上本論文研究的方法可以得知，使用類神經網路架構來判斷導盲磚區域之位 置的實驗是可行的且可以有效的辨識出導盲磚位置高達 87.5%，以此方法我們可以在 各種情況下有效的找出導盲磚區域位置。但本實驗是以靜態影像來做研究，所以會導 致某些情況下因為距離問題，而造成沒辦法有效的劃出導盲磚區域末端之位置，但是 如果是將動態影像加以本實驗來來判斷相信此實驗的辨識率必然會提高。
本論文研究未來希望朝著語音方面配合白手杖的合併應用，這樣即可讓本研究因 距離問題而產生的誤判有了解決之辦法而達到本研究之目的，讓視障者可以放心聽著 語音系統導引至導盲磚區域位置。