常見食用性貝類辨識之研究

全文

(1)國立臺灣師範大學機電科技學系碩士論文. 指導教授：葉榮木博士蔡俊明博士. 常見食用性貝類辨識之研究 The identification of common edible shellfishs. 研究生：鄭朝允撰中. 華. 民. 國. 1. 0. 2. 年. 8. 月.

(2) 致謝在碩士求學生涯中，歷經了許多困難與挑戰，也歷練了許多如何收集資料來解決問題的能力。首先要感謝的是指導教授葉榮木博士對本論文的指導，讓我在研究方向錯誤時可以適時的修正，使我去思考要改善一個系統什麼是主要問題什麼是次要問題，還有指導教授蔡俊明博士，對於本論文的一些研究方法，適時地提供一些想法，還有口試委員李炯三博士對於本論文提出一些想法與改進，讓我收穫不少，在此也要感謝曾經教導過我的呂有勝博士，最後要感謝的是我的父母，對我生活上的照顧與關心，讓我可以無後顧之憂，專心的完成學業，感謝你們！. i.

(3) 摘要民以食為天。相信大家都有吃過熱炒或海鮮的經驗，尤其文蛤更是常見的海鮮料理食材，而它們的貝殼有些人喜歡把玩；有些人喜歡收藏。由於一般人對於貝類的認知不是很清楚，若從書上或是網路上比對資料那是相當曠日廢時，故能發展一套系統能夠準確的辨識，不僅可以快速查詢貝殼的種類，也可以減少人力的辨識。本研究針對數位典藏與數位學習成果入口網中的食用貝類進行研究辨識，共 44 種。本研究最好的結果為實驗 E，其方法首先為輸入貝類影像；其次，將影像轉為灰階圖；第三，對灰階影像做快速傅立葉轉換；第四，選取在四角之低頻頻率，其大小為 7  7 矩陣；最後，利用 SVM 分類即可辨識出為哪種貝類，其準確率有到 100％，平均辨識一張貝類影像所花的時間約為 0.044 秒。. 關鍵詞：主成分分析、統計分析、傅立葉轉換、小波轉換. ii.

(4) Abstract Food is the first necessity of the people. We believe that everyone has the experience of eating stir-fry or seafood, especially clam as a common ingredient of seafood cuisine. Some people like playing with its shell, while some others like collecting. Ordinary people generally don’t know much about shellfish, and it takes too much time to find information from books or the internet. Therefore, a perfect system for accurate identification can not only provide quick query of shell kinds, but can also reduce manpower in identification. This study focused on the research and identification of 44 kinds of edible shellfish recorded on the website of Digital Taiwan – Culture & Nature. The best result of this study was experiment E: first, input the image of shellfish; second, convert the image into grayscale image; third, perform Fast Fourier Transform with the grayscale image; fourth, choose the low frequencies at four corners, which were 7×7 matrixes; finally, get the result of shellfish identification through SVM classification. The accuracy could reach 100% and the average time spent on identifying a shellfish image was about 0.044s.. Key words ： PCA 、 statistical analysis 、 Fourier transform 、 wavelet transform. iii.

(5) 目錄致謝 ...................................................................................................................... i 摘要 ..................................................................................................................... ii Abstract ............................................................................................................. iii 目錄 .................................................................................................................... iv 圖目錄 ............................................................................................................... vii 表目錄 ............................................................................................................... xii 第一章緒論 ....................................................................................................... 1 1.1 前言 ...................................................................................................... 1 1.2 研究背景 .............................................................................................. 1 1.3 研究動機與目的 .................................................................................. 3 1.4 論文架構 .............................................................................................. 4 第二章文獻探討............................................................................................... 5 2.1 國外影像檢索系統 .............................................................................. 5 2.1.1 VisualSEEK .............................................................................. 5 2.1.2 Photobook ................................................................................ 6 2.1.3 QBIC ........................................................................................ 8 2.1.4 WebSEEk ................................................................................ 10 2.2 國內影像檢索系統 ............................................................................ 11 2.3 其他貝類辨識文獻 ............................................................................ 15 第三章相關研究理論..................................................................................... 17 3.1 彩色空間 ............................................................................................ 17 3.1.1 RGB 彩色空間........................................................................ 17 3.1.2 YCbCr 彩色空間 .................................................................... 19 3.1.3 HSV 彩色空間 ....................................................................... 21 iv.

(6) 3.1.4 HSL 彩色空間 ........................................................................ 23 3.1.5 YIQ 彩色空間 ......................................................................... 24 3.1.6 CMYK 彩色空間 ................................................................... 26 3.2 邊緣偵測 ............................................................................................ 28 3.2.1 Laplace 邊緣偵測 ................................................................... 28 3.2.2 Sobel 邊緣偵測 ...................................................................... 30 3.2.3 Prewitt 邊緣偵測 ................................................................... 31 3.2.4 Roberts 邊緣偵測 .................................................................. 33 3.2.5 Canny 邊緣偵測 .................................................................... 34 3.3 主成分分析(Principal Component Analysis, PCA) ........................... 38 3.4 支持向量機 (Support vector machine, SVM)................................... 41 3.5 統計特徵 ............................................................................................ 42 3.5.1 直方圖 ..................................................................................... 42 3.5.2 統計量測 ................................................................................. 44 3.6 傅立葉分析 ........................................................................................ 45 3.6.1 傅立葉轉換(Fourier Transform) ............................................. 45 3.6.2 短時間傅立葉轉換(Short-Time Fourier Transform,STFT) ... 46 3.6.3 離散時間傅立葉轉換(Discrete-Time Fourier Transform, DTFT)................................................................................................. 47 3.6.4 離散傅立葉轉換(Discrete Fourier Transform, DFT) ............. 48 3.6.5 快速傅立葉轉換(Fast Fourier Transform, FFT) .................... 49 3.7 小波分析 ............................................................................................ 50 3.7.1 小波轉換(Wavelet Transform) ............................................... 50 3.7.2 小波函數(Wavelet Function) .................................................. 51 3.7.3 連續小波轉換(Continuous Wavelet Transform, CWT) ......... 52 3.7.4 離散小波轉換(Discrete Wavelet Transform, DWT) .............. 55 v.

(7) 3.7.5 多層解析分析(Multiresolution Analysis, MRA) ................... 56 3.7.6 哈爾小波轉換(Haar Wavelet Transform) ............................... 57 3.7.7 影像哈爾小波轉換 ................................................................. 59 3.7.8 小波家族(Wavelet Families) .................................................. 62 3.7.9 小波與傅立葉轉換整理比較 ................................................. 64 第四章研究方法與結果................................................................................. 65 4.1 實驗 A：主成分分析實驗結果 ........................................................ 66 4.2 實驗 B：小波轉換頻率特徵實驗結果 ............................................ 76 4.3 實驗 C：統計特徵實驗結果 ............................................................ 80 4.4 實驗 D：小波轉換頻率特徵及統計特徵實驗結果 ........................ 85 4.5 實驗 E：傅立葉轉換頻率特徵實驗結果 ......................................... 88 4.6 實驗 F：傅立葉轉換頻率特徵及統計特徵實驗結果 ..................... 92 4.7 各實驗整理 ........................................................................................ 95 第五章討論與結論......................................................................................... 96 第六章未來研究............................................................................................. 99 參考文獻 ......................................................................................................... 100 附錄 A libsvm 使用方法................................................................................ 105 附錄 B weka 使用方法 .................................................................................. 109. vi.

(8) 圖目錄圖 2-1 VisualSEEK 查詢介面 ............................................................................ 5 圖 2-2 VisualSEEK SaFe 查詢結果 ................................................................... 6 圖 2-3 PhotoBook 使用者介面 .......................................................................... 7 圖 2-4 PhotoBook 查詢結果 .............................................................................. 7 圖 2-5 QBIC 基於文字搜尋藝術家 Hollowell 之結果..................................... 8 圖 2-6 QBIC 基於相關性搜尋藝術家 Hollowell 畫之結果............................. 9 圖 2-7 QBIC 顏色參數選擇介面 ....................................................................... 9 圖 2-8 WebSEEk 影像搜尋結果 ...................................................................... 10 圖 2-9 蝴蝶影像檢索系統入口網站 .............................................................. 11 圖 2-10 蝴蝶外型查詢介面 ............................................................................ 12 圖 2-11 蝴蝶關鍵字查詢介面 ........................................................................ 12 圖 2-12 魚類影像檢索系統入口網站 ............................................................ 13 圖 2-13 魚類影像查詢介面 ............................................................................ 13 圖 2-14 貝類影像檢索系統入口網站 ............................................................ 14 圖 2-15 貝類外型查詢介面 ............................................................................ 14 圖 2-16 貝類外型查詢介面 ............................................................................ 15 圖 2-17 辨識流程圖 ........................................................................................ 16 圖 3-1 RGB 彩色立體示意圖 .......................................................................... 17 圖 3-2 RGB 基本混色結果 .............................................................................. 18 圖 3-3 RGB 色彩分解分量圖 .......................................................................... 18 圖 3-4 YCbCr 平面示意圖 ............................................................................... 19 圖 3-5 YCbCr 色彩分解分量圖 ....................................................................... 20 圖 3-6 HSV 平面示意圖 .................................................................................. 22 vii.

(9) 圖 3-7 HSV 色彩分解分量圖 .......................................................................... 22 圖 3-8 HSL 平面示意圖 ................................................................................... 23 圖 3-9 YIQ 平面示意圖 ................................................................................... 25 圖 3-10 YIQ 色彩分解分量圖 ......................................................................... 25 圖 3-11 CMY 色彩空間示意圖 ....................................................................... 26 圖 3-12 RGB 轉 CMY 色彩圖 ......................................................................... 27 圖 3-13 RGB 轉 CMYK 各別分量 .................................................................. 27 圖 3-14 Laplace 遮罩 ........................................................................................ 29 圖 3-15 Laplace 邊緣偵測結果 ........................................................................ 29 圖 3-16 Sobel 遮罩 ........................................................................................... 30 圖 3-17 Sobel 檢測斜邊遮罩 ........................................................................... 30 圖 3-18 Sobel 邊緣偵測結果 ........................................................................... 31 圖 3-19 Prewitt 遮罩 ......................................................................................... 31 圖 3-20 Prewitt 檢測斜邊遮罩 ......................................................................... 32 圖 3-21 Prewitt 邊緣偵測結果 ......................................................................... 32 圖 3-22 Roberts 檢測斜邊遮罩 ........................................................................ 33 圖 3-23 Roberts 邊緣偵測結果 ........................................................................ 34 圖 3-24 Canny 邊緣偵測結果 .......................................................................... 36 圖 3-25 各種邊緣偵測比較 ............................................................................ 37 圖 3-26 將二維影像變成一維影像示意圖 .................................................... 38 圖 3-27 超平面示意圖 .................................................................................... 41 圖 3-28 灰階文蛤及其直方圖 ........................................................................ 42 圖 3-29 旋轉 900 灰階文蛤及其直方圖 ......................................................... 43 圖 3-30 時域訊號轉換頻域訊號示意圖 ........................................................ 45 圖 3-31 時域訊號經由短時間傅立葉轉換到頻域訊號 ................................ 46 圖 3-32 連續訊號經由傅立葉轉換到連續頻譜 ............................................ 47 viii.

(10) 圖 3-33 離散訊號經由離散時間傅立葉轉換到連續頻譜 ............................ 47 圖 3-34 離散訊號經由離散傅立葉轉換到離散頻譜 .................................... 48 圖 3-35 文蛤灰階影像及其傅立葉頻譜 ........................................................ 49 圖 3-36 旋轉影像之傅立葉頻譜比較 ............................................................ 49 圖 3-37 訊號經由小波轉換到可變區域窗口 ................................................ 50 圖 3-38 比例係數 a 之作用 ............................................................................. 51 圖 3-39 平移係數 k 之作用 ............................................................................. 51 圖 3-40 連續訊號經由傅立葉轉換示意圖 .................................................... 52 圖 3-41 連續訊號經由小波轉換示意圖 ........................................................ 52 圖 3-42 計算小波函數和區段原始函數之相關係數 .................................... 53 圖 3-43 移動計算的小波函數 ........................................................................ 53 圖 3-44 不同尺度小波函數的計算 ................................................................ 54 圖 3-45 連續小波轉換尺度與相關係數示意圖 ............................................ 54 圖 3-46 訊號經由濾波器所的到高或低頻成份 ............................................ 55 圖 3-47 相異空間分解與合成 ........................................................................ 56 圖 3-48 哈爾母小波函數 ................................................................................ 58 圖 3-49 母小波對應的尺度函數 .................................................................... 58 圖 3-50 第一列影像素值 ................................................................................ 59 圖 3-51 第一層水平分解 ................................................................................ 59 圖 3-52 水平分解 ............................................................................................ 60 圖 3-53 垂直分解 ............................................................................................ 60 圖 3-54 一階哈爾小波轉換 ............................................................................ 60 圖 3-55 二階哈爾小波轉換 ............................................................................ 61 圖 3-56 文蛤三階哈爾小波轉換 .................................................................... 61 圖 3-57 傅立葉轉換、短時間傅立葉轉換及小波轉換三者比較 ................ 64 圖 4-1 12 張不同角度之貝殼 .......................................................................... 66 ix.

(11) 圖 4-2 PCA 辨識系統流程圖 .......................................................................... 66 圖 4-3 YCbCr 運算影像圖 ............................................................................... 67 圖 4-4 Canny 運算影像 .................................................................................... 67 圖 4-5 YCbCr 特徵值累積比重圖 ................................................................... 68 圖 4-6 Canny 特徵值累積比重圖 .................................................................... 68 圖 4-7 easy.py 參數選擇 .................................................................................. 69 圖 4-8 weka 分類之操作介面 .......................................................................... 70 圖 4-9 小波轉換頻率特徵辨識系統流程圖 .................................................. 76 圖 4-10 小波轉換各頻率頻段 ........................................................................ 77 圖 4-11 貝類三階小波轉換 ............................................................................ 77 圖 4-12 統計特徵辨識系統流程圖 ................................................................ 80 圖 4-13 Y 分量影像及其直方圖...................................................................... 81 圖 4-14 Cb 分量影像及其直方圖.................................................................... 81 圖 4-15 Cr 分量影像及其直方圖 .................................................................... 82 圖 4-16 小波轉換頻率特徵及統計特徵辨識系統流程圖 ............................ 85 圖 4-17 傅立葉轉換頻率特徵辨識系統流程圖 ............................................ 88 圖 4-18 快速傅立葉轉換其頻譜 .................................................................... 89 圖 4-19 傅立葉轉換頻率特徵及統計特徵辨識系統流程圖 ........................ 92 圖 A-1 命令提示字元指定到 libsvm 資料夾 .............................................. 105 圖 A-2 命令提示字元輸入訓練資料 ........................................................... 106 圖 A-3 命令提示字元執行預測執行檔 ....................................................... 106 圖 A-4 命令提示字元執行 grid.py ............................................................... 107 圖 A-5 grid.py 輸出參數圖形 ........................................................................ 107 圖 A-6 命令提示字元執行 easy.py .............................................................. 108 圖 A-7 easy.py 輸出參數圖形........................................................................ 108 圖 B-1 excel 特徵點數據 ............................................................................... 109 x.

(12) 圖 B-2 加入特徵名稱及種類編號................................................................ 110 圖 B-3 weka 進入介面 ................................................................................... 110 圖 B-4 weka 載入資料 .................................................................................... 111 圖 B-5 weka 選擇分類器 ................................................................................ 111 圖 B-6 輸入參數值 ........................................................................................ 112 圖 B-7 訓練完成介面 .................................................................................... 112 圖 B-8 測式完成介面 .................................................................................... 113. xi.

(13) 表目錄表 3-1 小波家族 .............................................................................................. 62 表 4-1 PCA 辨識貝類與沒有貝類之實驗 ...................................................... 70 表 4-2 顏色主成分分析測試之準確率 .......................................................... 71 續表 4-2 顏色主成分分析測試之準確率 ...................................................... 72 表 4-3 邊緣主成分分析測試之準確率 .......................................................... 72 續表 4-3 邊緣主成分分析測試之準確率 ...................................................... 73 表 4-4 顏色加邊緣主成分分析測試之準確率 .............................................. 74 續表 4-4 顏色加邊緣主成分分析測試之準確率 .......................................... 75 表 4-5 顏色主成分分析辨識所花時間 .......................................................... 75 表 4-6 邊緣主成分分析辨識所花時間 .......................................................... 75 表 4-7 三階小波轉換頻率特徵辨識貝類與沒有貝類之實驗 ...................... 78 表 4-8 三階小波轉換頻率特徵辨識之準確率 .............................................. 78 續表 4-8 三階小波轉換頻率特徵辨識之準確率 .......................................... 79 表 4-9 三階小波轉換頻率特徵辨識所花時間 .............................................. 79 表 4-10 統計特徵辨識貝類與沒有貝類之實驗 ............................................ 82 表 4-11 統計分析測試之準確率 .................................................................... 83 續表 4-11 統計分析測試之準確率 ................................................................ 84 表 4-12 統計特徵辨識所花時間 .................................................................... 84 表 4-13 小波轉換頻率和統計特徵辨識貝類與沒有貝類之實驗 ................ 86 表 4-14 三階小波轉換頻率和統計特徵辨識之準確率 ................................ 86 續表 4-14 三階小波轉換頻率和統計特徵辨識之準確率 ............................ 87 表 4-15 三階小波轉換頻率和統計特徵辨識所花時間 ................................ 87 表 4-16 傅立葉頻率特徵辨識貝類與沒有貝類之實驗 ................................ 89 表 4-17 傅立葉頻率特徵辨識之準確率 ........................................................ 90 xii.

(14) 續表 4-17 傅立葉頻率特徵辨識之準確率 .................................................... 91 表 4-19 傅立葉頻率和統計特徵辨識貝類與沒有貝類之實驗 .................... 93 表 4-20 傅立葉頻率和統計特徵辨識之準確率 ............................................ 93 續表 4-20 傅立葉頻率和統計特徵辨識之準確率 ........................................ 94 表 4-21 傅立葉頻率和統計特徵辨識所花時間 ............................................ 94 表 4-22 各實驗方法、辨識率和時間整理 .................................................... 95. xiii.

(15) 第一章緒論 1.1 前言隨著資訊與科技的日新月異，數位影像設備在近幾年來是越來越普及。普及的數位影像設備，製造了許多影片與照片，而這些影像色彩不見得每個人都喜歡，所以數位影像處理的技術在近幾年來被普遍使用，而延伸出來的數位影像辨識也是相當蓬勃發展，被大量應用在自動化的處理，已達到節省人力的目的。影像辨識在我們日常生活中處處可見，尤其是人臉辨識與車牌辨識等在近幾年被大量的研究。在我們常用的 3C 產品中也常常見到它的應用，例如：筆電的指紋辨識、手機的眼紋辨識及電視的手勢辨識等，都是辨識應用的一環，影像辨識在無形之中方便了我們的生活，也可以減少許多等待時間，例如：車牌辨識若應用在停車場，這樣可以省下大家拿卡及刷卡的等待時間。又例如：人臉辨識應用在出入境的閘門上，可以省下檢查與比對的時間，亦可降低人員檢查之錯誤率。慢慢地影像辨識在我們生活當中成為不可或缺的一環，故影像辨識的應用在目前生活上來說是相當重要。. 1.2 研究背景由於各別種類影像的照片，隨著時間累積而逐漸增加，面對如此大量的照片，不可能使用人工處理方式，將如此龐大數量的照片一一分類，此時便須藉由電腦將照片數位化處理，但是數位化處理並不能將影像資訊有效的呈現，讓使用者可以快速查詢所要的資訊，所以便發展出影像查詢系統，這樣一來不僅使用者可以針對所要資訊做更快速的查詢，也可以增加資料收集的準確度。 1.

(16) 影像檢索系統主要便是針對某一種影像資料做成資料庫，並再加以整理、編集，讓使用者可以有效率的查詢自己所要的資訊，目前台灣有幾個檢索系統，例如：國科會數位博物館先導計畫「蝴蝶生態面面觀」、數位典藏國家型科技計畫「台灣魚類資料庫」及中央研究院生物多樣性研究中心軟體動物學研究室「台灣貝類資料庫」，主要是針對蝴蝶、魚類及貝類的影像檢索系統，這樣的系統不僅可以有效率區分不同種類的物種，也可以對於各別物種做更詳細的註解，這樣一來才不會亂無章法的搜尋到不是自己想要的資訊。基於內容的影像檢索(Content-based image retrieval, CBIR)[1]，也被稱為影像內容查詢(query by image content, QBIC)，基於內容的影像檢索起源於 1992 年，由 T. Kato 基於顏色及外型的描述，建立一個影像資料檢索系統[2]，自從那時候就有許多對於影像的描述，而影像的描述主要是針對影像特徵，影像特徵的描述是基於顏色、外型及紋理，這樣的一個技術就被應用在統計、影像辨識、訊號處理和電腦視覺上，但這樣的一個方法也衍生出許多問題。基於內容的影像檢索顧名思義，便是檢索影像的內容，一般而言搜尋一張影像與搜尋一段影像文字訊息而言，後者不僅在檢索速度更快，而且準確度也較高。現在已有很多基於內容影像檢索的應用，例如：IBM 的 QBIC 系統、哥倫比亞大學的 WebSeek 系統及麻省理工學院的 Photobook 系統等。. 2.

(17) 1.3 研究動機與目的貝類主要分為五大綱，分別是腹足綱、掘足綱、雙殼綱、頭足綱和多板綱，其中腹足綱為五綱中數量最多的。在台灣貝殼的種類少說也有上百種，那如從一個不知名的貝殼到找尋出貝殼種類，成為想要研究貝殼資訊的一個很重要課題。由 1.2 節解說可知，基於內容影像檢索系統的圖片，是需要經由人工註解，再由使用者經由文字的描述找到所需要的圖片，這樣一來主要會有兩大問題的產生，第一，由於一張影像所呈現的東西是相當多元，要相當充分描述影像裡面的內容是相當不容易，而且每個人對於同一張照片有不同的見解，故所描述的特徵就會有所不同，所以很難取得統一的共識；第二，對於成千上萬的影像資訊做註解，是相當耗費時間與人力。還有另一種為範例式檢索(Query by Example)，這種查詢的方式是系統要求使用者提供所要查詢的影像作為範例，再根據使用者所提供的影像做查詢，找出與資料庫最相似的圖形回傳給使用者；還有一種方式，是提供查詢者簡單的繪圖工具[3]，讓查詢者簡單的繪出影像的外型，再經由資料庫比對查詢者所要查詢的資料，這樣的一個系統對使用者來說是相當不方便的。若能發展一個系統能夠解決上述之問題，不僅可以節省人力，而且還可以省去不少時間。由於一般人對於貝類的認知不是很清楚，若從圖書館找書或是網路上比對資料那是相當曠日廢時，故本研究針對常見食用性貝類進行辨識，主要目的是對於一般人在海邊捕撈或撿來之貝類，不知其是否可食用，或許是拿到有毒的貝類，也或許拿到不可食用的貝類，在不清楚的情況下，容易將貝類辨識或分類錯誤，造成無可彌補的傷害，若從書本找尋或從網路上比對，也不見得會完全正確，故本研究針對這個問題，進行較科學化的特徵辨識，也利於之後自動化實現。 3.

(18) 1.4 論文架構本論文共分為五個章節，分別敘述有關貝類辨識及相關研究的說明及探討，其主要架構如下說明：第一章緒論：主要是在描述影像辨識的重要性，還有一些傳統影像檢索的方式，最後在敘述本研究的動機與目的。第二章文獻探討：主要是在敘說國外及國內影像檢索的簡介與方法，還有概略描述其他論文之做法。第三章相關研究理論：此段在介紹本研究所使用到的方法，如相關顏色空間的一些介紹及顯示出來的效果，再來描述邊緣偵測的一些介紹、效果與比較，還有 PCA 降維的方法，並說明分類器 SVM 的相關理論及方法，還有一些統計特徵及頻率特徵的介紹。第四章研究方法與結果：本論文分別作 6 種不一樣的實驗還有和其他論文比較，每個實驗主要說明研究的流程及實驗的結果，最後對於時間的探討做比較。第五章結論：總結前面的研究方法與結果。. 4.

(19) 第二章文獻探討以下便介紹幾種基於內容的國外影像檢索及國內的影像檢索系統，接下來介紹其他文獻對於貝類之辨識。. 2.1 國外影像檢索系統 2.1.1 VisualSEEK VisualSEEK 是哥倫比亞大學所開發的影像查詢系統，這套系統在使用者的介面安排是相當人性化，而且還可以透過圖表的彩色區域，進行選擇搜尋，就可以找到經由篩選後找到的圖片，它主要的方法是根據彩色資訊的檢索技術去計算區域大小、絕對位置空間與相對位置空間，進而找出所符合的圖片，VisualSEEK 的操作介面如圖 2-1 所示：. 圖 2-1 VisualSEEK 查詢介面[4] 5.

(20) VisualSEEK 搜尋之結果如圖 2-2 所示：. 圖 2-2 VisualSEEK SaFe 查詢結果[4]. 2.1.2 Photobook PhotoBook 的影像檢索系統是由美國麻省理工學院所發展出來之系統。這套系統的資料庫是基於影像內容來進行查詢，它主要對比的原理是根據影像的特徵相關性，而不是影像本身，常見的特徵模型有顏色、紋理與形狀，這些特徵轉換成特定模型的參數值來進行搜尋，PhotoBook 也提供了一些資料給使用者利用，例如：紋理模型(Texture modeling)、人臉辨識(Face recognition)、形狀匹配(Shape matching)及腦匹配(Brain matching)等， PhotoBook 第六版的使用介面如圖 2-3 所示：. 6.

(21) 圖 2-3 PhotoBook 使用者介面[5]. 查詢結果如圖 2-4 所示：. 圖 2-4 PhotoBook 查詢結果[6]. 7.

(22) 2.1.3 QBIC QBIC(Query by Image Content)系統是由 IBM 的 Almaden 研究中心所開發的，而 QBIC 是 IBM 的商業產品。Almaden 這組研究小組開發了一種技術，他允許使用者從資料庫直接編輯和檢索影像，而不需要經由使用者的口述，故對資料的描述有較大的空間，這套系統的編輯需要對每一張圖片做顏色、形狀及紋理描述，這樣一來根據這些描述，任何一個使用者可以使用關鍵字搜尋到較精確的影像。基於文字的影像檢索結果如圖 2-5 所示：. 圖 2-5 QBIC 基於文字搜尋藝術家 Hollowell 之結果[7]. 8.

(23) 基於相關性的影像檢索結果如圖 2-6 所示：. 圖 2-6 QBIC 基於相關性搜尋藝術家 Hollowell 畫之結果[7]. 基於顏色的影像參數設定介面如圖 2-7 所示：. 圖 2-7 QBIC 顏色參數選擇介面[7] 9.

(24) 2.1.4 WebSEEk WebSEEk 是由紐約哥倫比亞大學影像和先進電視實驗室(Image and Advanced Television Lab)所開發。WebSEEk 網路上收集到的影像與影片是以內容與顏色為基礎的目錄查詢，其中顏色是表示 HSV 彩色空間正規化為 166-bin 的直方圖，使用者可以從現有的目錄或輸入一個主題來進行查詢，查詢的結果可能是利用顏色來對現有目錄做尋找等等；此外，使用者如果再次搜尋，他們可以修改影像或影片的顏色直方圖，WebSEEk 影像搜尋的結果如圖 2-8 所示：. 圖 2-8 WebSEEk 影像搜尋結果[8]. 10.

(25) 2.2 國內影像檢索系統國內有幾種影像檢索系統分別為：國科會數位博物館先導計畫「蝴蝶生態面面觀」、數位典藏國家型科技計畫「台灣魚類資料庫」及中央研究院生物多樣性研究中心軟體動物學研究室「台灣貝類資料庫」，主要是針對蝴蝶、魚類及貝類的影像檢索系統。蝴蝶影像檢索系統入口網站如圖 2-9 所示：. 圖 2-9 蝴蝶影像檢索系統入口網站[43]. 11.

(26) 蝴蝶的外型查詢及關鍵字查詢如圖 2-10 及圖 2-11 所示：. 圖 2-10 蝴蝶外型查詢介面[44]. 圖 2-11 蝴蝶關鍵字查詢介面[45]. 12.

(27) 魚類影像檢索系統入口網站及查詢介面如圖 2-12 及圖 2-13 所示：. 圖 2-12 魚類影像檢索系統入口網站[46]. 圖 2-13 魚類影像查詢介面[47]. 13.

(28) 貝類影像檢索系統入口網站及查詢介面如圖 2-14 及圖 2-15 所示：. 圖 2-14 貝類影像檢索系統入口網站[48]. 圖 2-15 貝類外型查詢介面[49]. 14.

(29) 貝類以類別做基礎之查詢介面，如圖 2-16 所示：. 圖 2-16 貝類外型查詢介面[50]. 2.3 其他貝類辨識文獻根據參考文獻[9]可知，其辨識方法所選擇的三種特徵分別為顏色、形狀及紋理，而顏色特徵所採用的是 HMMD(Hue、Max、Min、Difference)，形狀特徵所採用的是 CCD(Centroid-Contour Distance)，紋理特徵所採用的是 FTS(Fuzzy Texture Spectrum)，接下來這些特徵利用直方圖來顯示，得到直方圖後再利用統計的一些運算得到特徵數據，所使用統計特徵分別為：均值(mean)、標準差(standard deviation)及熵(entropy)；最後把這些特徵數據放入分類器中分類，其使用的分類器分別為：K 最近鄰居 (K-Nearest-Neighbor, KNN)、C4.5 決策樹(C4.5 Decision tree)、倒傳遞類神經網路 (Back-Propagation Neural Networks, BPN) 及支持向量機(Support Vector Machine, SVM)，就可以得到其系統的準確率，此篇論文經由本人整理後，其辨識流程圖如圖 2-17 所示： 15.

(30) 影像輸入. HMMD. CCD. FTS. 直方圖統計特徵. 均值. 標準差. 熵. 分類器. KNN. C4.5 決策樹. BPN. SVM. 系統輸出. 系統輸出. 系統輸出. 系統輸出. 圖 2-17 辨識流程圖. 16.

(31) 第三章相關研究理論 3.1 彩色空間 3.1.1 RGB 彩色空間 RGB(三原色)色彩空間中，皆由紅(Red)、綠(Greed)、藍(Blue)色彩所組合而成，每一個色彩亮度範圍在 0~255 中，即 2 的 8 次方(28)，其中 0 為黑色 255 為白色，故 RGB 色彩空間共有 28×28×28 = 16,777,216 種組合， RGB 彩色立體表示如圖 3-1 所示：. 圖 3-1 RGB 彩色立體示意圖[10]. 17.

(32) 其中 RGB 三原色基本混色結果如：紅色+綠色=黃色、綠色+藍色=青色、藍色+紅色=紫紅色、紅色+綠色+藍色=白色，其平面表示如圖 3-2 所示：. 圖 3-2 RGB 基本混色結果[10]. RGB 色彩分量圖如圖 3-3 所示，其中 3-3(a)為文蛤原 RGB 色彩，3-3(b)為文蛤的 R 分量，3-3(c)為文蛤的 G 分量，3-3(d)為文蛤的 B 分量。. (a) 彩色原圖[41]. (b) R 顏色分量. (c) G 顏色分量. (d) B 顏色分量. 圖 3-3 RGB 色彩分解分量圖 18.

(33) 3.1.2. YCbCr 彩色空間. 在自然空間中而言，一般我們所看到的影像色彩皆由 RGB 所組成，即由紅(Red)、綠(Greed)、藍(Blue)色彩三原色所混合而成，但是在進行運算與處理時，必須針對紅、綠、藍三個通道分別計算，故所佔的資料與記憶體空間將要來的比較大。若將 RGB 色彩轉換到 YCbCr 色彩空間即可改善上述之問題；而且 YCbCr 也比 RGB 特徵來的集中，故本研究使用它來當影像特徵。在 YCbCr 色彩空間中，Y 為顏色亮度(luma)的成分；Cb 與 Cr 分別為藍色色差(blue-difference)與紅色色差(red-difference)的色度分量。RGB 與 YCbCr 轉換公式如(3-1)式所示： 0.50413 0.09791   R   16   Y   0.25679 Cb   0.14822  0.29099 0.43922  G   128        Cr   0.43922  0.36779  0.07143  B  128. RGB 平面轉換到 YCbCr 平面如圖 3-4 所示：. 圖 3-4 YCbCr 平面示意圖[11]. 19. (3-1).

(34) YCbCr 色彩分量圖如圖 3-5 所示，其中 3-5(a)為文蛤 RGB 色彩空間轉換到 YCbCr 色彩空間，3-5(b) 為 YCbCr 的 Y 分量，3-5(c) 為 YCbCr 的 Cb 分量，3-5(d) 為 YCbCr 的 Cr 分量。. (a) YCbCr 影像圖. (b) Y 顏色分量. (c) Cb 顏色分量. (d) Cr 顏色分量. 圖 3-5 YCbCr 色彩分解分量圖. 20.

(35) 3.1.3. HSV 彩色空間. HSV 色彩空間是由 A. R. Smith 在 1978 年所提出來的一種顏色空間，這個顏色空間較符合人類的感知系統，其中 H 為色相(hue)，就是我們一般所知道的顏色，如：紫色、藍色等等，其值範圍在 ~. 之間；而 S 為飽. 和度(saturation)，是指色彩的純度，其值範圍在 0~1 之間；而 V 為色調(value)，其值範圍也在 0~1 之間，轉換公式如(3-2)所示：. (3-2). 其中 max 為 r、g、b 中最大值，min 為 r、g、b 中最小值。. 21.

(36) RGB 平面轉換到 HSV 平面如圖 3-6 所示：. 圖 3-6 HSV 平面示意圖[12]. HSV 色彩分量圖如圖 3-7 所示，其中 3-7(a)為文蛤 RGB 色彩空間轉換到 HSV 色彩空間，3-7(b)為 HSV 的 H 分量，3-7(c)為 HSV 的 S 分量，3-7(d) 為 HSV 的 V 分量。. (a) HSV 影像圖. (b) H 顏色分量. (c) S 顏色分量. (d) V 顏色分量. 圖 3-7 HSV 色彩分解分量圖. 22.

(37) 3.1.4 HSL 彩色空間 HSL 類似於 HSV，其中 H 為色相(hue)，就是我們一般所知道的顏色，如：紫色、藍色等等，其值範圍在 ~. 之間；而 S 為飽和度(saturation)，. 是指色彩的純度，其值範圍在 0~1 之間；而 L 為亮度(lightness)，轉換公式如(3-3)所示：. RGB 平面轉換到 HSL 平面如圖 3.8 所示：. 圖 3-8 HSL 平面示意圖[12]. 23.

(38) 3.1.5 YIQ 彩色空間 YIQ 彩色空間主要應用於北美及中美洲的電視系統中，此處 YIQ 為 NTSC(National Television System Committee)在傳送影像時所使用之系統規格，其中 Y 為亮度之訊息，即影像灰階圖，早期的黑白電視即是如此，而 I 與 Q 指的是色調(chrominance)，是描述影像色彩即飽和度的訊息，I 分量所傳遞的訊息是橙色到青色的顏色變化，Q 分量所傳遞的訊息是紫色到黃綠色的顏色變化。 NTSC 的系統規格，用 I 與 Q 去取代 U 和 V，主要的目的是為了壓縮其色度的頻帶，因為若使用 U 和 V 其色度頻帶分佈很大，所以 U 和 V 相互干擾就會比較大；若使用 YIQ 彩色空間即可將其相互干擾之頻帶分開，對各別通道可以各別處理，不用擔心會相互干擾。 RGB 彩色空間轉換到 YIQ 彩色空間，其轉換公式如 (3-4) 所示：. 0.587 0.114   R  Y   0.299  I   0.595716  0.274453  0.321263 G       Q 0.211456  0.522591 0.311135   B . (3-4). YIQ 彩色空間轉換到 RGB 彩色空間，其轉換公式如(3-5)所示：. 0.6210  Y   R  1 0.9563 G   1  0.2721  0.6474  I        B  1  1.1071 1.7046  Q . 24. (3-5).

(39) RGB 平面轉換到 YIQ 平面如圖 3-9 所示：. 圖 3-9 YIQ 平面示意圖[11]. YIQ 色彩分量圖如圖 3-10 所示，其中 3-10(a)為文蛤 RGB 色彩空間轉換到 YIQ 色彩空間，3-10(b)為 YIQ 的 Y 分量，3-10(c)為 YIQ 的 I 分量，3-10(d) 為 YIQ 的 Q 分量。. (a) YIQ 影像圖. (b) Y 顏色分量. (c) I 顏色分量. (d) Q 顏色分量. 圖 3-10 YIQ 色彩分解分量圖 25.

(40) 3.1.6 CMYK 彩色空間 CMYK 彩色空間主要應用在彩色印刷上，在談 CMYK 之前要先談談 CMY，其中 C 為青色(Cyan)、M 為品紅色或洋紅色(Magenta)是介於紅色與藍色之間的顏色、Y 為黃色(Yellow)，這三種顏色為光線三原色 RGB 的互補色，其表示如圖 3-11 所示：. 圖 3-11 CMY 色彩空間示意圖[13]. RGB 轉 CMY 的轉換公式如(3-6)式所示 (3-6). (3-6)式寫成矩陣形式如(3-7)式所示：.  C  255  R   M   255  G         Y  255  B . 26. (3-7).

(41) 文蛤 RGB 色彩空間轉換到 CMY 色彩空間如圖 3-12 所示：. 圖 3-12 RGB 轉 CMY 色彩圖至於 CMYK 所代表的顏色中 C 為青色(Cyan)、M 為品紅色或洋紅色 (Magenta)、Y 為黃色(Yellow)、K 為黑色(black)，CMYK 是 CMY 的改良，如圖 3.11 所示可知，CMY 的色彩加在一起無法顯示真實的黑色，只能算是比較暗的顏色，為了解決這個問題，所以才再加入黑色這個元素，其各別顏色分量如圖 3-13 所示：. (a) C 顏色分量. (b) M 顏色分量. (c) Y 顏色分量. (d) K 顏色分量. 圖 3-13 RGB 轉 CMYK 各別分量 27.

(42) 3.2 邊緣偵測 3.2.1 Laplace 邊緣偵測在二維座標 ( x, y) 上，其灰階影像圖 f ，另其灰階表示函數為 f ( x, y) ，先考慮一維的梯度算法，對 f ( x, y) 沿著 x 軸方向做差分可得(3-8)式  x f  f ( x  1, y)  f ( x, y). (3-8). 接下來再對 x 軸差分可得(3-9)式  2x f  f ( x  2, y)  f ( x  1, y)  [ f ( x  1, y)  f ( x, y)]  f ( x  2, y)  2 f ( x  1, y)  f ( x, y). (3-9). 另 x  x  1 做變換可得(3-10)式 2x f  f ( x  1, y)  2 f ( x, y)  f ( x  1, y). (3-10). 對 x 軸運算完後，一樣對 y 軸差分二次可得(3-11)式 2y f  f ( x, y  1)  2 f ( x, y)  f ( x, y  1). (3-11). 合併(3-10)式及(3-11)式，可得 Laplace 運算式如(3-12)式  2 f   2x f   2y f  f ( x, y  1)  f ( x  1, y )  f ( x, y  1)  f ( x  1, y )  4 f ( x, y ). (3-12). 根據上面所述，如果能滿足 2 f ( x  1, y) 和 2 f ( x  1, y) 的值，一個是呈現正數另一個呈現負數，且 | 2 f ( x  1, y)  2 f ( x  1, y) | 大於 T 的門檻值，就可以判定在 ( x, y) 的位置上有一個邊點。同理，若 2 f ( x, y  1) 和 2 f ( x, y  1) 符合上述之條件則可判定在 ( x, y) 的位置上有一個邊點。 28.

(43) Laplace 運算子的遮罩(Mask)表示如圖 3-14 所示：. 圖 3-14 Laplace 遮罩[14]. Laplace 邊緣偵測結果如圖 3-15 所示，其中 3-15(a)為色彩原圖，3-15(b)為 Laplace 邊緣偵測結果。. (a) 彩色原圖[41]. (b) Laplace 邊緣偵測. 圖 3-15 Laplace 邊緣偵測結果. 29.

(44) 3.2.2 Sobel 邊緣偵測 Sobel 邊緣偵測運算子，所使用的遮罩有兩個，其中一個為 x 軸方向，另一個為 y 軸方向，從  x f 和  y f 的兩個分量可知，這兩個分量的合成分量為 ( x f ) 2  ( y f ) 2 ，而其角度為   tan 1. y f x f. ，通常為了使計算更加快. 速會以 |  x f |  |  y f | 取代 ( x f ) 2  ( y f ) 2 ，Sobel 邊緣偵測遮罩如圖 3-16 所示，其中 3-16(a)為測量 x 方向的變化，3-16(b)為測量 y 方向的變化。. 1  2. 1. 1. 0. 1. 0. 0. 0. 2. 0. 2. 1. 2. 1. 1. 0. 1. (a) 測量 x 方向變化. (b) 測量 y 方向變化. 圖 3-16 Sobel 遮罩[14]. 檢測斜邊 Sobel 遮罩如圖 3-17 所示：. 0. 1. 2. -2. -1. 0. -1. 0. 1. -1. 0. 1. -2. -1. 0. 0. 1. 2. 圖 3-17 Sobel 檢測斜邊遮罩[15]. 30.

(45) Sobel 邊緣偵測結果如圖 3-18 所示，其中 3-18(a)為色彩原圖，3-18(b)為 Sobel 邊緣偵測結果。. (a) 彩色原圖[41]. (b) Sobel 邊緣偵測. 圖 3-18 Sobel 邊緣偵測結果. 3.2.3 Prewitt 邊緣偵測類似於 Sobel 邊緣偵測，Prewitt 邊緣偵測所使用的遮罩有兩個，其中一個為 x 軸方向，另一個為 y 軸方向，Prewitt 的邊緣偵測遮罩如圖 3-19 所示，其中 3-19(a)為測量 x 方向的變化，3-19(b)為測量 y 方向的變化。. 1. 1. 1. 1. 0. 1. 0. 0. 0. 1. 0. 1. 1. 1. 1. 1. 0. 1. (a) 測量 x 方向變化. (b) 測量 y 方向變化. 圖 3-19 Prewitt 遮罩[14]. 31.

(46) 檢測斜邊 Prewitt 遮罩如圖 3-20 所示：. 0. 1. 1. -1. -1. 0. -1. 0. 1. -1. 0. 1. -1. -1. 0. 0. 1. 1. 圖 3-20 Prewitt 檢測斜邊遮罩[15]. Prewitt 邊緣偵測結果如圖 3-21 所示，其中 3-21(a)為色彩原圖，3-21(b)為 Prewitt 邊緣偵測結果。. (a) 彩色原圖[41]. (b) Prewitt 邊緣偵測. 圖 3-21 Prewitt 邊緣偵測結果. 在實際的梯度計算上 Sobel 和 Prewitt 運算子是最常被使用的，但是 Prewitt 遮罩比 Sobel 遮罩更加容易實現，而 Sobel 的優勢是在於其遮罩對於雜訊的抑制有較佳的效果。. 32.

(47) 3.2.4 Roberts 邊緣偵測在 1963 年 Lawrence Roberts 是第一位提出邊緣偵測的人，他所提出來的主要概念，是其運算子經由影像梯度的離散差異做近似，對於對角相鄰像素做差異平方和的計算來實現，他所提出來的公式如下所示： yi , j  xi , j. (3-13). zi , j  ( yi , j  yi1, j 1 ) 2  ( yi1, j  yi , j 1 ) 2. (3-14). 其中 x 表示為影像中的初始強度， i 與 j 代表影像中的位置， z 為計算其導數。Roberts 邊緣遮罩如圖 3-22 所示：. 0. 1. 1. 0. -1. 0. 0. -1. 圖 3-22 Roberts 檢測斜邊遮罩[15]. 假設 I ( x, y) 是在原始影像中的點， Gx ( x, y) 為影像中的點對於其中一個遮罩進行褶積， Gy ( x, y) 為影像中的點對於另一個遮罩進行褶積，可得其梯度定義如(3-15)所示： I ( x, y)  G( x, y)  Gx2  Gy2. (3-15). 其梯度方向的定義如(3-16)所示：  Gy ( x, y )    Gx ( x, y ) .  ( x, y)  tan 1 . 33. (3-16).

(48) 根據上面所述可知這樣的結果將突顯對角方向上的強度變化，這樣的優點在於其內核是最小的且只包含整數，但這樣的方法主要有兩個缺點，第一，它對雜訊的敏感度很高；第二，只用幾個像素就去近似其梯度，容易造成誤判且不精準。Roberts 邊緣偵測結果如圖 3-23 所示，其中 3-23(a) 為色彩原圖，3-23(b) 為 Roberts 邊緣偵測結果。. (a) 彩色原圖[41]. (b) Roberts 邊緣偵測. 圖 3-23 Roberts 邊緣偵測結果. 3.2.5 Canny 邊緣偵測在 1986 年 John F. Canny 提出 Canny 邊緣偵測，這個方法是基於三個基本目標[15]： 1. 低錯誤率：所有的邊緣應該都被找到，且不應該有假的反應。亦即，所檢測出的邊緣必須盡可能接近真實的邊緣。 2. 邊緣點應有好的局部性：所找到的邊緣應盡可能接近真實邊緣。亦即，一個被檢測器標記為邊緣的點和真實邊緣中心點之間的距離應該最小。 3. 單一邊緣點響應：對每一個真實的邊緣點，檢測器應該只檢驗出一個點。亦即，環境真實邊緣附近的局部極大值的數目應該要最小，這意味當指有單一邊緣存在時，檢測器不應該指認出多重邊緣像素。 34.

(49) Canny 演算法，主要可分為四個基本步驟，以下便描述其步驟及其演算法。步驟一：將影像灰階化，並利用高斯濾波器濾除雜訊。高斯濾波器之定義如(3-17)式所示： G( x, y )  e. . x2  y 2 2 2. (3-17). 步驟二：利用一階偏導有限差分來計算梯度幅值和方向。此步驟可以將影像邊緣找出來，其方法如下面所示： Gn  n. G  n  G n. (3-18). G  f | G  f |. (3-19). 其中， G 為高斯濾波器、 Gn 為 G 在 n 方向的偏微分、 n 為與邊緣垂直的方向，即梯度方向、 f 為影像函數。根據(3-18)(3-19)式，其邊緣線會出現在 Gn  f 沿著方向 n 的最大值，其表示如(3-20)式所示：  Gn  f  0 n. (3-20). 將(3-18)式代入(3-20)式可得(3-21)式 2 Gn  f  0 n 2. 35. (3-21).

(50) 步驟三：對梯度幅值進行非極大值抑制。顧名思義就是搜尋其灰階梯度之最大值並予以保留，而其它非極大值予以刪除。考慮一個 3×3 大小的影像區域，令其邊緣方向為水平、垂直、  45 、  45 ，並表示為 n1 、 n2 、 n3 、 n4 ，對於影像中  ( x, y) 的每一點 ( x, y) 為中心的 3×3 區域，可根據兩步驟的. 方法對非極大值抑制： 1. 尋找距離最短  ( x, y) 的方向 nk 。 2. 如果 M ( x, y) 的值小於 nk 方向的兩個值，或其中一個值，即非最大值，則另 I N ( x, y)  0 ，若其值為最大則 I N ( x, y)  M ( x, y) 。. 步驟四：利用雙閥值去檢測和連接邊緣。所謂的雙閥值即分為高、低閥值，根據高閥值可以找出邊緣影像，但由於其閥值較高，所以其邊緣會不連續，其邊緣斷點便須藉由低閥值來找尋，故由斷點出發尋找滿足低閥值的點，並加以連結，直到沒有斷點或不滿足低閥值的點才結束。. Canny 邊緣偵測結果如圖 3-24 所示，其中 3-24(a)為色彩原圖，3-24(b) 為 Canny 邊緣偵測結果。. (a) 彩色原圖[41]. (b) Canny 邊緣偵測. 圖 3-24 Canny 邊緣偵測結果 36.

(51) 根據 3.2 節所介紹各種邊緣偵測，以下便列出所有介紹的圖片做為比較，如圖 3-25 所示：. (a) 彩色原圖[41]. (b) Laplace 邊緣偵測. (c) Sobel 邊緣偵測. (d) Prewitt 邊緣偵測. (e) Roberts 邊緣偵測. (f) Canny 邊緣偵測. 圖 3-25 各種邊緣偵測比較由圖 3-25(c)(d)(e)和原圖(a)比較可知，其邊緣偵測之圖形較破碎且不完整，只有圖(b)與(f)其邊緣偵測較為完整，但仔細比較起來圖(f)右邊外圍邊緣比圖(b)還要來的連續，故比較之結果圖(f)的 Canny 邊緣偵測比圖(b)的 Laplace 邊緣偵測來的好一點。 37.

(52) 3.3 主成分分析(Principal Component Analysis, PCA) 主成分分析是一種統計分析中，簡化數據的一項技術。它最主要的目的在於減少數據的維度。即在原本的影像空間中，經由運算或處理後之特徵維度是相當的龐大，但經由 PCA 轉換到另一個平面後，可以利用轉換後較少的特徵維度，去表示原本平面較多的特徵維度，這樣不僅大量降低所需要儲存的資料與空間，也大量減少之後分類所需的時間。主成分分析還有另一個優點，是利用組內變異變小及組間變異變大，提高不同物體之間的差異性。此段將介紹由文獻[17]的作者，使用 PCA 在人臉辨識的演算法。假設有一張影像其大小為 N×N 矩陣，接下來轉換成一維矩陣，其矩陣大小為 N2×1，示意圖如圖 3-26 所示：. 圖 3-26 將二維影像變成一維影像示意圖. 38.

(53) 假設有 M 張影像，每一張影像表示 Г1, Г2, Г3,…, ГM，假設 x  [1 2 3 ... M ] 接下來找出平均向量  1  M. M. . (3-22). n. n1. 將每一張影像減去平均向量  如(3-23)式所示： i  i  . i  1,2,..., M. (3-23). 因此可計算所有影像協方差矩陣(covariance matrix)C 如(3-24)式所示： 1 C M. M.   n. n1. T n.  AAT. (3-24). 其中 AN M  [1  2 ...  M ] 2. 由(3-24)式可知協方差矩陣 C 之特徵值 k 與特徵向量 wk 如(3-25)式所示： Cwk  k wk. (3-25). 但是協方差矩陣 C 之矩陣大小為 N2×N2 故若要算其特徵值與特徵向量必須耗費相當多的時間，甚至可能導致記憶體空間不足而無法運算，所以解決 T 的方法是先算出 A A，其矩陣大小為 M×M，故算其特徵值 i 與特徵向量 Vi. 就會容易許多，因此演算法會變成： AT AVi  iVi. (3-26). AAT AVi  i AVi. (3-27). 再同乘矩陣 A 如(3-27)式所示：. 39.

(54) 由於 C  AAT 且(3-25)式與(3-27)式比較可得 wk  AVi 和 i  k ，故 AAT 與 AT A 有相同的特徵值；再來，選取前幾個較大的特徵值，並算其特徵向量，. 而其餘的特徵值捨棄，可得到降維過後的 wk ；最後，經由(3-28)式即可得到降維過後的特徵空間。 y  wkT x. 40. (3-28).

(55) 3.4 支持向量機 (Support vector machine, SVM) SVM 在 1995 年被提出來，是由 V. N. Vapnik 及其研究團隊提出[18]，它是一種由統計學為基礎，所發展出的機器學習理論，SVM 被提出來後被廣泛應用在手寫識別、路標辨識、人臉識別及影像分類等等領域，由於它針對具有高維度、小樣本及非線性的問題，所表現出的效果具有其獨特的優勢，所以在最近幾年常被使用及研究，也是目前所有分類器中，分類結果最好的分類器之一。支持向量機主要概念是利用訓練資料的分佈找出一條超平面 (Separating Hyperplane)，主要目的在於把不同類型的資料分開，並且其不同類別之間的邊界間隔(Margin)最大化，這樣可以很清楚的把屬於同一類型的資料放在一塊，且這樣的效果也比較好，其示意圖如圖 3-27 所示，由圖形中可知，其黑點與白點分別為兩種不同的資料型態，其中兩條虛線分別代表黑點與白點的邊界，且這兩條邊界的距離要為最大，而兩條虛線的中點連成一條實線即為區分的超平面，這樣一來就只會找到一條符合條件的超平面，而不會有很多條都可以。. 圖 3-27 超平面示意圖[19] 41.

(56) 3.5 統計特徵 3.5.1 直方圖在說明統計特徵前，先來談談直方圖的一些基本定義及相關概念。一般而言，直方圖是建立在灰階的影像上，而灰階直方圖就是一個灰度級的離散函數，其定義如(3-55)所示： H (i) . gi , i  0, 1, 2, ...... , 255 N. (3-55). 其中 i 表示影像灰度級， g i 為影像中的灰度級 i 的像素個數， N 影像的總像素。灰階直方圖所表示的即為影像中各灰度級的累積量，其橫坐標為灰階級，縱坐標為各灰階級所累積的個數。如圖 3-28(b)所示：. (a)灰階文蛤. (b)對應(a)之直方圖. 圖 3-28 灰階文蛤及其直方圖. 42.

(57) 直方圖與影像中像素的位置無關，意即同一個物體經由平移或旋轉後，並不會改變其直方圖，這即為直方圖的優點，而直方圖的缺點在於不同的影像可能也會有相同的直方圖，便可能會造成後面辨識的錯誤。其圖 3-29(a) 為旋轉 90 度和其對應直方圖如圖 3-29(b)所示：. (a)旋轉 900 灰階文蛤. (b)對應(a)之直方圖. 圖 3-29 旋轉 900 灰階文蛤及其直方圖. 由圖 3-28 和圖 3-29 比較可知，影像經由旋轉後所對應的直方圖與未旋轉影像所對應的直方圖相同。. 43.

(58) 3.5.2 統計量測一般而言要反應一張影像的特徵，並不是直接將直方圖做為特徵，而是藉由直方圖的累積分量，做統計的一些運算，進而得到一些統計分量，這些統計分量即為統計的特徵。以下便介紹幾種常用的統計特徵，並假設灰階度範圍在 0~255 區間： 1. 均值(mean)：均值表示的是一張影像的平均灰度值。其表示式如下(3-56) 所示： 255.    iH (i). (3-56). i 0. 其中 H (i) 為公式(3-55)。. 2. 方差(variance)：方差表示一張影像灰度的離散分佈情況。其表示式如下 (3-57)所示： 255.  2   (i   )2 H (i). (3-57). i 0. 3. 標準差(standard deviation)其表示式如下(3-58)所示：   2. (3-58). 4. 熵(entropy)：熵表示直方圖灰度分佈的均勻性。其表示式如下(3-59)所示： 255. e   H (i) log 2 [ H (i)] i 0. 44. (3-59).

(59) 3.6 傅立葉分析 3.6.1 傅立葉轉換(Fourier Transform) 傅立葉轉換是將一種訊號從原本的時域空間，轉換到頻域空間上，而這個過程便稱為傅立葉轉換。其傅立葉轉換數學表示如(3-60)所示；反傅立葉轉換數學表示如(3-61)所示： F ( )  . . . f (t ) . 1 2. . . .  it. f (t ) e. dt. (3-60). it. F ( ) e d. (3-61). 傅立葉轉換在訊號的分析上是相當重要的，它將原本難以處理的時域訊號，轉換成較容易分析的頻域訊號，轉換到頻域訊號便可對其進行處理，以影像處理而言，有一些時域上的雜訊不容易在時域上處理，若轉換到頻域空間上便可較輕鬆的解決。傅立葉轉換是一種積分變換，它能將滿足條件的某種函數表示成正弦波的線性組合，再經由傅立葉轉換成頻域空間，其表示如圖 3-30 所示：. 圖 3-30 時域訊號轉換頻域訊號示意圖[33]. 從圖 3-30 可知傅立葉轉換有一個很大的缺點，便是將訊號從時域轉成頻域時，其時域的資訊便會不見，換句話說，就是無法得知時域在某個時間所發生的事情，因此便有人提出改善傅立葉轉換的方法。. 45.

(60) 3.6.2 短時間傅立葉轉換(Short-Time Fourier Transform, STFT) 短時間傅立葉轉換便改善了傅立葉轉換的缺點，在 1946 年由 Dennis Gabor 所提出來，其轉換公式如(3-62) 所示： . S (t ,  )   x(t   ) f (t ) eit dt . (3-62). 其中 x(t ) 為視窗移動函數， f (t ) 為輸入訊號， 為調變因數， 為平移因數。. 短時間傅立葉轉換是利用窗口(windowing)方式，對時域訊號的某一段時間做傅立葉轉換，其表示如圖 3-31 所示：. 圖 3-31 時域訊號經由短時間傅立葉轉換到頻域訊號[33]. 由圖 3-30 與圖 3-31 比較可知，傅立葉轉換的頻譜是由頻率及振幅所組成，而短時間傅立葉轉換的頻譜是由時間和頻率所組成，如此一來便可知道某一個時間點所發生的事件頻率，雖然 STFT 改善了傅立葉轉換沒有時間訊息的缺點，但是 STFT 還是有缺點的存在，其原因是 STFT 使用了固定時間窗口方式，當 STFT 的窗口選定後，如圖 3-31 左圖所示，時域及頻域的解析度就已經固定，無法經由訊號的輸入來改變，對於任何頻率的改變都使用相同的解析度，如圖 3-31 右圖所示。由於 STFT 它的窗口大小固定，若需要更好的解析度時，是無法去改變或調整，便可能會漏掉許多重要的訊息，因此小波轉換便對此進行改善，讓其解析度可進行調整，小波轉換將於 3.7.1 節進行介紹。. 46.

(61) 3.6.3 離散時間傅立葉轉換(Discrete-Time Fourier Transform, DTFT) 離散時間傅立葉轉換是傅立葉轉換的一種，其轉換公式如(3-63)所示： F dtft(e. iT. ). .  f ( n) e.  in. (3-63). n. 那離散時間傅立葉轉換與傅立葉轉換有何差別與不同？其差別在於它是將離散時間訊號轉換到連續頻譜上，其示意圖如圖 3-32 和圖 3-33 所示：. 圖 3-32 連續訊號經由傅立葉轉換到連續頻譜. 圖 3-33 離散訊號經由離散時間傅立葉轉換到連續頻譜. 47.

(62) 3.6.4 離散傅立葉轉換(Discrete Fourier Transform, DFT) 根據 3.6.3 節所述可知，這樣的變換仍然是有問題的存在，因為連續頻譜是無法讓電腦去運算的，故離散傅立葉轉換便是來改善這個問題的，實際上的分析與運算並不是從   到  的連續週期性函數，而是取有限個取樣點，其轉換公式及反轉換公式如(3-64)及(3-65)所示： N 1  i 2 nk N. y[k ]   e. x[n] , k  0, 1, 2, ... , N  1. (3-64). 1 N 1 i N nk  e y[k ] , n  0, 1, 2, ... , N  1 N k 0. (3-65). n0. 2. x[n] . 其中 N 為取樣點。. 其離散訊號經由離散傅立葉轉換到離散頻譜之示意圖如圖 3-34 所示：. 圖 3-34 離散訊號經由離散傅立葉轉換到離散頻譜. 48.

(63) 3.6.5 快速傅立葉轉換(Fast Fourier Transform, FFT) 快速傅立葉轉換在 1965 年被提出來，它是基於離散傅立葉轉換所進行時間的改良，其時間複雜度為 O(n log n) ，而離散傅立葉轉換其時間複雜度為 O(n2 ) ，根據資料結構可知時間複雜度 O(n2 )  O(n log n) ，且 n 若越大其速度也相差越大。本論文便使用快速傅立葉轉換進行頻譜分析，其時域影像轉換到頻域頻譜，如圖 3-35 所示：. (a)文蛤灰階影像. (b)傅立葉頻譜. 圖 3-35 文蛤灰階影像及其傅立葉頻譜一個相同物體在傅立葉轉換中，不會因為改變其位置而有不同之頻譜，若旋轉原本物體，其對應頻譜亦旋轉某角度，其示意圖如圖 3-36 所示：. (a)原影像. (b)原影像傅立葉頻譜. (c)旋轉影像. (d)旋轉影像傅立葉頻譜. 圖 3-36 旋轉影像之傅立葉頻譜比較 49.

(64) 3.7 小波分析 3.7.1 小波轉換(Wavelet Transform) 小波理論在 1910 年由 Haar 所提出來，其觀念與傅立葉轉換相似，傅立葉轉換原理是利用正弦波(sine)與餘弦波(cosine)對時域的訊號來進行調變；而哈爾轉換是利用哈爾函數(Haar function)來對訊號進行調變。根據小波理論在許多領域的應用被陸續提出來，其中在 1980 年 Morlet[34]在進行地震分析提出小波轉換。小波轉換將短時間傅立葉轉換的固定窗口方法，改變為可調的區域窗口，如圖 3-37 所示：. 圖 3-37 訊號經由小波轉換到可變區域窗口[35]. 當使用者需要低頻成份分析時，可以使用長時間區段；反之，當使用者需要高頻成份分析時，可以使用短時間區段，故小波有很好的局部分析能力。Mallat[36]和 Meyer[37]提出了一種多層解析的想法，使小波函數用數學表示，並應用在不同領域當中。. 50.

(65) 3.7.2 小波函數(Wavelet Function) 小波轉換的基底之所以有較好彈性的可變窗口，能在高頻時變窄，低頻時變寬，主要是根據其基底函數將母小波(mother wavelet)函數 ，做伸縮(dilation)及平移(translation)後所產生的一組函數，其公式如(3-66)所示：  a , k (t ) . 1 t k    a  a . a, k  R. (3-66). 其中 a 為比例係數、 k 為平移係數。而 a 之物理意義為較大的 a 值可讓其母小波產生擴大之效果；反之，較小的 a 值可讓其母小波產生收縮之效果。k 之物理意義為當母小波較窄時，應該選取較小的 k 值，因為其位移的距離會較短些；反之，當母小波較寬時，應該選取較大的 k 值，因為其位移的距離會較長些。其示意圖如圖 3-38 及圖 3-39 所示：. 圖 3-38 比例係數 a 之作用[33]. 圖 3-39 平移係數 k 之作用[33]. 51.

(66) 3.7.3 連續小波轉換(Continuous Wavelet Transform, CWT) 連續小波轉換主要是用來分解一個連續時間函數，使這個連續時間函數分解成許多不同尺度(scale)和平移度(shift)的小波，其數學表示式如(3-67) 所示： C (a, k ) . 1 a. . . . t k  x(t )    dt  a . a, k  R. (3-67). 其中 (t ) 為母小波(mother wavelet)、 a 為縮放因子、 b 為平移位置。一個連續訊號經由傅立葉轉換和連續小波轉換，而拆許多訊號之比較，其示意圖如圖 3-40 和圖 3-41 所示：. 圖 3-40 連續訊號經由傅立葉轉換示意圖[33]. 圖 3-41 連續訊號經由小波轉換示意圖[33]. 從圖 3-40 和圖 3-41 比較可知，傅立葉轉換是將波形分解成許多不同頻率的正弦波，而連續小波轉換是將波形分解成許多不同尺度與位移的波。 52.

(67) 根據下面五個步驟即可達成連續小波轉換分解一個連續訊號：步驟 1：從原本的訊號起端選擇一段訊號，並選擇一個小波函數。步驟 2：由步驟 1 選擇出來的原始訊號及小波函數，並計算之間的相關係數 C ，這個係數代表這段原始訊號與小波函數的相關程度，當 C 越大時，代表兩者越相近，而這些結果取決於小波形狀的選擇。其表示如圖 3-42 所示：. 圖 3-42 計算小波函數和區段原始函數之相關係數[33]. 步驟 3：將小波函數向右平移，並重覆步驟 1 和步驟 2 直到所有原始函數都被包含計算過。其表示如圖 3-43 所示：. 圖 3-43 移動計算的小波函數[33]. 53.

(68) 步驟 4：藉由尺度(scale)調整拉長小波函數，並重覆步驟 1~步驟 3。其表示如圖 3-44 所示：. 圖 3-44 不同尺度小波函數的計算[33]. 步驟 5：調整所有各種尺度的小波函數，並重覆步驟 1~步驟 4。. 如果完成上述之步驟便可得到在訊號不同的部分，經由不同尺度所得到之相關係數，其表示如圖 3-45 所示：. 圖 3-45 連續小波轉換尺度與相關係數示意圖[33]. 54.

(69) 3.7.4 離散小波轉換(Discrete Wavelet Transform, DWT) 離散小波轉換的基本概念，是將一個訊號分成不同頻率成份的一種轉換，例如：一個訊號經由高通濾波器，所留下來的頻段只剩下高頻成份；反之，一個訊號經由低通濾波器，所留下來的頻段只剩下低頻成份。其示意圖如圖 3-46 所示：. 圖 3-46 訊號經由濾波器所的到高或低頻成份[33]. 由圖 3-46 可知 S 為原始訊號、A 為低頻成份、D 為高頻成份。基本上對於一個訊號而言，其重要訊息會集中在低頻的部分，以聲音訊號而言，若刪除其高頻的部分，聲音雖然聽起來會不一樣，但是仍然可以分辨其述說之內容；反之，若刪除其低頻的部分，聽到其聲音便會是對方的胡言亂語。. 55.

(70) 3.7.5 多層解析分析(Multiresolution Analysis, MRA) 根據離散小波轉換可知其轉換目的是分為高頻及低頻的部分，若再對這些頻段做離散小波轉換，分成低頻中的低頻、低頻中的高頻、高頻中的低頻及高頻中的高頻，如此再繼續分解下去，就成為多層解析的一種表示，在此便介紹其觀念。有一個多層解析的向量空間為 {Vk } ，其中 V0  V1  V2  ......  V ，意即 Vk 1 的解析度比 Vk 大。任何一個空間 V 都可以分解成許多個子空間，若 Vk 1. 的維度比 Vk 大，則 Vk 1 的空間訊號可以在 Vk 找到相近的近似值，但原訊號與近似值會有一些差異，而這個差異的空間以 Dk 表示，以數學表示即為 Vk 1  Vk  Dk , k  Z ，其中  表示正交和，其示意圖如圖 3-47 所示：. 圖 3-47 相異空間分解與合成若當 k  1 時， V1  V0  D0 ；當 k  2 時， V2  V1  D1 合併這兩個式子可得 V2  V0  D0  D1. 往後延伸可得通式 Vk 1  V0  D0  D1  ......  Dk 56.

(71) 3.7.6 哈爾小波轉換(Haar Wavelet Transform) 哈爾小波轉換是以是以哈爾函數做離散小波轉換。假設有兩個相鄰的離散訊號分別為 W 和 X ，令. WX WX Y 和  Z ，以上面式子而言，若 2 2. 只知道 Y 則無法還原得知 W 和 X ，相對而言若只知道 Z 則無法還原得知 W 和 X ；另外，若以系統的觀點來看，訊號 W 和 X 可以組合成訊號 Y 和 Z ，但若只知道其中一個訊號 Y 或 Z ，則無法將訊號還原到 W 和 X ；如果知道 Y 與 Z 訊號則可還原得到原始訊號 W 和 X ，其式子如下所示 Y  Z  W 和 Y  Z  X ，根據上面所述，可知訊號 Y 為訊號 W 和 X 的平均值，而訊號 Z. 為訊號 W 和 X 的差異值，平均值與差異值都是訊號上的特徵，其中訊號 Y 相當於 W 和 X 訊號中的低頻部分，訊號 Z 相當於 W 和 X 訊號中的高頻部分，哈爾小波轉換的觀念便具有 W 、 X 、Y 和 Z 訊號間運算上的意義[39][40]。本論文的小波轉換是根據哈爾小波轉換來進行實現。哈爾小波轉換是將影像中相鄰的數值視為各別獨立的像素，根據這些像素做和與差的運算，便可求出頻域的小波係數，其運算和部份代表著低頻的訊息，也就是較重要的資訊；反之，其運算差部份代表著高頻的訊息，一般應用的部分是可被忽略。哈爾小波轉換在 1909 年由 Alfréd Haar 所提出來，是最早被提出來的小波轉換，也是最簡單的一轉轉換，至於其他的小波轉換家族，將於 3.7.8 節進行簡單介紹，哈爾小波的母小波(mother wavelet)表示如(3-68)所示：.  (t ). 1 2. 1. 0t . 1. 1  t 1 2 otherwise. 0. 57. (3-68).

(72) 其母小波所對應的尺度函數(scaling function) 如(3-69)所示：  (t ). 1. 0  t 1. 0. otherwise. 根據(3-68)及(3-69)式，可繪其圖形如圖 3-48 及圖 3-49 所示：. 圖 3-48 哈爾母小波函數. 圖 3-49 母小波對應的尺度函數. 58. (3-69).

(73) 3.7.7 影像哈爾小波轉換哈爾小波轉換大致可分為兩個步驟，第一個步驟為水平分割，第二個步驟為垂直分割，其做法為水平方向相鄰的每一個像素做相加可得低頻，而相減可得高頻部份，垂直分割亦是如此，讀取像素的方式是從左到右和從上到下，以下便詳細說明其操作方法。以一個大小為 4×4 的灰階影像來說明小波轉換，假設第一列的 4 個像素分別為 P1、P2、P3 和 P4，如圖 3-50 所示： P1. P2. P3. P4. Gray image. 圖 3-50 第一列影像素值. 選擇像素 P1 與 P2 分別對其做 P1+P2 與 P1-P2 之運算，再選擇像素 P3 與 P4 分別對其做 P3+P4 與 P3-P4 之運算，即可得到高頻與低頻之部分，如圖 3-51 所示： P1+P2 P3+P4 P1-P2 P3-P4 Low. High. Frequency. Frequency. (L). (H). 圖 3-51 第一層水平分解. 59.

(74) 根據上面觀念其他列均照此處理，如圖 3-52 所示： L1. H1. L2. H2. L. H. 圖 3-52 水平分解做完水平分解後，根據相同觀念對圖 3-52 做垂直分解，如圖 3-53 所示：. L1+L2. H1+H2. LL. HL. L1-L2. H1-H2. LH. HH. 圖 3-53 垂直分解根據上面步驟，即可得到一階哈爾小波轉換，其示意圖如圖 3-54 所示：. LL. HL. LH. HH. 圖 3-54 一階哈爾小波轉換 60.

(75) 1 4. 根據圖 3-54 可知執行一階哈爾小波轉換，其影像的維度變為原來的，若使用二階哈爾小波轉換其低頻 LL2 為原來影像的爾小波轉換，則其最低頻的維度變為. 1 ，如果擴展到 n 階哈 16. 1 ，二階哈爾小波轉換，其示意圖如 4n. 圖 3-55 所示：. (a)一階轉換. (b)二階轉換圖 3-55 二階哈爾小波轉換. 此處以文蛤影像為例，根據哈爾小波轉換，可得三階哈爾小波轉換，如圖 3-56 所示：. 圖 3-56 文蛤三階哈爾小波轉換 61.

(76) 3.7.8 小波家族(Wavelet Families) 小波轉換有許多的轉換基底，以下便列出常用的小波家族及其對應的函數波形[33]。表 3-1 小波家族小波家族. 簡稱. 1. Haar. ' haar '. 2. Daubechies. ' db '. 3. Biorthogonal. ' bior '. 對應波形. 62.

(77) 4. Coiflets. ' coif '. 5. Symlets. ' sym '. 6. Morlet. ' morl '. 7. Mexican Hat. ' mexh'. 8. Meyer. ' meyr '. 63.

(78) 3.7.9 小波與傅立葉轉換整理比較根據前面幾章對於傅立葉轉換、短時間傅立葉轉換及小波轉換介紹，可知短時間傅立葉轉換，是為了改善傅立葉轉換沒有時間訊息的問題，而小波轉換是為了改善短時間傅立葉轉換無法調整窗口尺度的問題，其示意圖如圖 3-57 所示：. 圖 3-57 傅立葉轉換、短時間傅立葉轉換及小波轉換三者比較. 64.