基於延展式區域三元化圖型之特徵描述子 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學 ‧. 基於延展式區域三元化圖型之特徵描述子. n. al. er. io. sit. y. Nat. Feature Descriptor based on Extended Local Ternary Pattern. Ch. engchi. i n U. v. 研究生：楊梃榮指導教授：廖文宏. 中華民國九十九年七月 July 2010.

(2) 基於延展式區域三元化圖型之特徵描述子 Feature Descriptor based on Extended Local Ternary Pattern. 研究生：楊梃榮. Student：Ting Jung Young. 指導教授：廖文宏. Advisor：Wen Hung Liao. 治. 學 ‧. ‧ 國. 立. 政國立政治大學大資訊科學系碩士論文. n. er. io. sit. y. Nat. A Thesis submitted to Department of Computer Science National Chengchi University al v i n Ch in partial fulfillment the U Requirements i e n g of h c for the degree of Master in Computer Science. 中華民國九十九年七月 July 2.

(3) 基於延展式區域三元化圖型之特徵描述子. 摘要. 特徵描述子為電腦視覺中相當重要的一部分，本論文基於知名的特徵描述子：區域二元化圖型的架構上，提出了新的特徵描述子，並將其命名. 治政為延展式區域三元化圖型。我們所提出的特徵描述子與區域二元化圖型大立 ‧ 國. 學. 相比，有著較強的抗噪能力而且保留了區域二元化圖型簡單的計算複雜度。本論文也探討了區域三元化圖型中是否存在著 uniform pattern，基於. ‧. 區域二元化圖型中 uniform pattern 的定義，我們提出了屬於區域三元化. sit. y. Nat. 圖型的 uniform pattern，並在圖像實驗中驗證了其大量存在性。我們將區. er. io. n. al 域三元化圖型應用於材質分析與人臉辨識中，實驗結果驗證了本論文所 iv n U engchi 提出的特徵描述法在這些應用的優越性。. Ch. 關鍵字：區域二元化圖型、延展式區域三元化圖型、uniform pattern、材質辨識. i.

(4) Feature Descriptor based on Extended Local Ternary Pattern. Abstract. Robust feature descriptor is essential in developing effective computer vision applications. In this thesis, we present an extension to the well-known local binary pattern (LBP) feature descriptor. The newly defined descriptor known. 政治大. as extended local ternary pattern (ELTP) exhibits better noise resistivity than. 立. the original LBP, while maintaining computational simplicity. We further. ‧ 國. 學. investigate the presence of uniform patterns in ELTP. With a slight modification of the definition of uniformity, it is found experimentally that. ‧. uniform ELTPs account for 80% of all patterns in texture images. The. sit. y. Nat. proposed ELTP and uniform ELTP are applied to object classification tasks,. er. io. including texture analysis and face recognition. Experimental results validate. n. the superiority of ELTP a over conventional LBP approaches. iv. l C hengchi Un. Keywords：Local binary pattern, Extended local ternary patterns, uniform pattern, texture classification. ii.

(5) 目錄. 第一章. 研究背景與目的 ............................................................................................ 1. 第二章. 相關研究 ........................................................................................................ 4. 2.1. 區域二元化圖型 ............................................................................................ 4. 2.2. 區域三元化圖型 ............................................................................................ 7. 第三章. 延展式區域三元化圖型 ............................................................................... 10. 3.1. 三元化的範圍設定 ...................................................................................... 10. 3.2. 樣式編碼與轉換方式................................................................................... 12. 3.3. Spectral Clustering ........................................................................................ 19. 立. ‧. ‧ 國. 學. 3.3.1. 政治大. 分群簡介 .............................................................................................. 19. Nat. 3.3.3. Graph Laplacian Matrix ........................................................................ 22. 3.3.4. Spectral Clustering 演算法 .................................................................. 23. y. 3.3.2. n. al. er. io. sit. Spectral Clustering 的概念 ................................................................... 20. Ch. engchi. i n U. v. 3.4. 分群結果 ...................................................................................................... 25. 第四章. ELTP 中的 Uniform Patterns ....................................................................... 29. 4.1. LBP 中的 Uniform Pattern ........................................................................... 29. 4.2. ELTP 中的 Uniform Pattern.......................................................................... 30. 4.3. Uniform Pattern 的降維 ................................................................................ 33. 第五章. 抗噪實驗 ...................................................................................................... 36. 5.1. 抗噪力實驗(一):加入高斯雜訊 ................................................................... 36. 5.2. 抗噪力實驗(二):光影變化 ........................................................................... 40. 5.3. 抗噪力實驗(三):加入不同強度雜訊 ............................................................ 43. iii.

(6) 第六章. 延展式區域三元化圖型之應用 ................................................................... 49. 6.1. 材質分類 ...................................................................................................... 49. 6.2. 6.1.1. 材質分類實驗結果 ............................................................................... 50. 6.1.2. 材質分類實驗結果(二) ........................................................................ 56. 人臉辨識 ...................................................................................................... 59 6.2.1. 第七章. 實驗結果 .............................................................................................. 60. 結論與後續研究改進方向 ........................................................................... 63. 政治大附錄 A 材質分類實驗結果(二)數據 ................................................................................... 67 立參考文獻 ............................................................................................................................. 64. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. iv. i n U. v.

(7) 圖目錄. 圖 2. 1 : 基本的 LBP 定義與運算方式 ................................................................................ 4 圖 2. 2 : (4,1), (8,2)與(12,3)的 LBP。其中第一個數字表示參考點數，第二個數字為參考半徑。 ................................................................................................................................... 5 圖 2. 3 : LBP 的抗噪力詴驗 .................................................................................................. 6. 政治大. 圖 2. 4 : 稀疏的正規化直方圖分佈 ..................................................................................... 6. 立. 圖 2. 5 : 在平滑影像上計算 LBP 時易因微幅雜訊干擾造成樣式之極大差異 ................... 7. ‧ 國. 學. 圖 2. 6 : Local ternary pattern 樣式描述方法( =5)................................................................ 8 圖 2. 7 : 將 Local ternary pattern 拆解為兩組 LBP............................................................... 8. ‧. 圖 3. 1 : 選取影像中平滑的區塊，計算其像素值分布以估計雜訊強度 .......................... 11. y. Nat. sit. 圖 3. 2 : 根據區域統計值設定門檻 ................................................................................... 11. n. al. er. io. 圖 3. 3 : ELTP 編碼流程...................................................................................................... 12. i n U. v. 圖 3. 4 : 直方圖 bins 的合併 .............................................................................................. 13. Ch. engchi. 圖 3. 5 : 每個二進位 bin 值對應的三進位 bin 的個數 ...................................................... 14 圖 3. 6 : 以 graph 方式表示樣式間的關係 ......................................................................... 15 圖 3. 7 : 分群演算法的類型 ............................................................................................... 20 圖 3. 8 : 圖形切割式意圖 ................................................................................................... 20 圖 3. 9 : 圖形切割與孤立點 ............................................................................................... 21 圖 3. 10 : Spectral Clustering 流程圖 ................................................................................... 23 圖 3. 11 : Un-normalized Spectral Clustering 演算法........................................................... 24 圖 3. 12 : Normalized Spectral Clustering 演算法 ................................................................ 24 圖 3. 13 : NJW 演算法 ........................................................................................................ 24. v.

(8) 圖 3. 14 :  =1，分成 256 群的分群結果 .......................................................................... 25 圖 3. 15 :  =1，分成 128 群的分群結果 .......................................................................... 25 圖 3. 16 :  =2，分成 256 群的分群結果 .......................................................................... 26 圖 3. 17 :  =2，分成 128 群的分群結果 .......................................................................... 26 圖 3. 18 :  =2，分成 256 群的分群結果 .......................................................................... 26 圖 3. 19 :  =2，分成 128 群的分群結果 .......................................................................... 27 圖 3. 20 :  =2.5，分成 256 群的分群結果 ....................................................................... 27 圖 3. 21 :  =2.5，分成 128 群的分群結果 ....................................................................... 27. 政治大圖 4. 1 : LBP(8,1)的 uniform pattern 圖型樣式 .................................................................. 29 立圖 4.2 : 定義一 uniform pattern 範例.................................................................................. 30. ‧ 國. 學. 圖 4. 3 : 紋理圖像實驗圖像 ............................................................................................... 31. ‧. 圖 4. 4 : 定義二 uniform pattern 範例 ................................................................................ 32. y. Nat. 圖 4. 5 : 定義三 uniform pattern 範例................................................................................. 32. er. io. sit. 圖 4. 6 : 定義四 uniform pattern 範例................................................................................. 32 圖 4. 7 : 環狀排列示意圖 ................................................................................................... 34. al. n. v i n Ch 圖 5. 1 : 實驗影像一........................................................................................................... 37 engchi U 圖 5. 2 : 實驗影像二........................................................................................................... 38 圖 5. 3 : 實驗影像四........................................................................................................... 40 圖 5. 4 : 實驗影像五........................................................................................................... 42 圖 5. 5 實驗影像六.............................................................................................................. 44 圖 5. 6 : 使用 Chi-Square distanc 測量相似度的第一組實驗結果 ..................................... 44 圖 5. 7 : 使用 Chi-Square distance 測量相似度的第二組實驗結果 ................................... 44 圖 5. 8 : 使用 Chi-Square distance 測量相似度的第三組實驗結果 ................................... 45 圖 5. 9 : 使用直方圖相交測量相似度的第一組實驗結果 ................................................. 45 圖 5. 10 : 使用直方圖相交測量相似度的第二組實驗結果 ............................................... 45 vi.

(9) 圖 5. 11 : 使用直方圖相交測量相似度的第三組實驗結果 ............................................... 46 圖 5. 12 : 實驗影像七......................................................................................................... 46 圖 5. 13 : 使用 Chi-Square distance 測量相似度的第一組實驗結果 ................................. 46 圖 5. 14 : 使用 Chi-Square distance 測量相似度的第二組實驗結果 ................................. 47 圖 5. 15 : 使用 Chi-Square distance 測量相似度的第三組實驗結果 ................................. 47 圖 5. 16 : 使用直方圖相交測量相似度的第一組實驗結果 ............................................... 47 圖 5. 17 : 使用直方圖相交測量相似度的第二組實驗結果 ............................................... 48. 政治大圖 6. 1 : Brodatz Textures 樣本 ............................................................................................ 50 立圖 5. 18 : 使用直方圖相交測量相似度的第三組實驗結果 ............................................... 48. 圖 6. 2 : 樣本大小為 64×64 的比較結果............................................................................ 55. ‧ 國. 學. 圖 6. 3 : 樣本大小為 96×96 的比較結果............................................................................ 55. ‧. 圖 6. 4 : 樣本大小為 128×128 的比較結果 ........................................................................ 55. y. Nat. 圖 6. 5 : 樣本大小為 64×64 的比較結果............................................................................ 56. er. io. sit. 圖 6. 6 : 樣本大小為 96×96 的比較結果............................................................................ 57 圖 6. 7 : 樣本大小為 128×128 的比較結果 ........................................................................ 57. al. n. v i n Ch 圖 6. 8 : 樣本大小為 64×64 的比較結果............................................................................ 57 engchi U. 圖 6. 9 : 樣本大小為 96×96 的比較結果............................................................................ 58 圖 6. 10 : 樣本大小為 128×128 的比較結果 ...................................................................... 58 圖 6. 11 : 樣本大小為 64×64 的比較結果 .......................................................................... 58 圖 6. 12 : 樣本大小為 96×96 的比較結果.......................................................................... 59 圖 6. 13 : 樣本大小為 128×128 的比較結果 ...................................................................... 59 圖 6. 14 : 特徵向量組合示意圖 ......................................................................................... 60 圖 6. 15 : The Yale Face Database B .................................................................................... 61 圖 6. 16 : 5×5 區塊權重設定 ............................................................................................... 61. 圖 6. 17 : 7×5 區塊權重設定 ............................................................................................... 61 vii.

(10) 表目錄. 表 3. 1 : 使用式 3.7 之分群結果 ........................................................................................ 17 表 3. 2 : 使用式 3.8 之分群結果，   2 ........................................................................... 18 表 3. 3 : 分群結果 .............................................................................................................. 28 表 4. 1 : 紋理圖像實驗結果 LBP 與 ELTP 中 uniform pattern 百分比(使用定義一) ........ 31. 政治大. 表 4. 2 : 紋理圖像實驗結果:LBP 與 ELTP 中 uniform pattern 百分比(使用定義二) ........ 32. 立. 表 4. 3 : 紋理圖像實驗結果(三)......................................................................................... 33. ‧ 國. 學. 表 5. 1 : 實驗影像一，使用 Chi-Square distance 來測量第一組直方圖相似度 ................ 37 表 5. 2 : 實驗影像一，使用 Chi-Square distance 來測量第二組直方圖相似度 ................ 37. ‧. 表 5. 3 實驗影像一，使用 Chi-Square distance 來測量第三組直方圖相似度 ................... 37. y. Nat. sit. 表 5. 4 : 實驗影像一，使用直方圖相交來測量第一組直方圖相似度 .............................. 38. n. al. er. io. 表 5. 5 : 實驗影像一，使用直方圖相交來測量第二組直方圖相似度 .............................. 38. i n U. v. 表 5. 6 : 實驗影像一，使用直方圖相交來測量第三組直方圖相似度 .............................. 38. Ch. engchi. 表 5. 7 : 實驗影像二，使用 Chi-Square distance 來測量第一組直方圖相似度 ................ 38 表 5. 8 : 實驗影像二，使用 Chi-Square distance 來測量第二組直方圖相似度 ................ 39 表 5. 9 : 實驗影像二，使用 Chi-Square distance 來測量第三組直方圖相似度 ................ 39 表 5. 10 : 實驗影像二，使用直方圖相交來測量第一組直方圖相似度 ............................ 39 表 5. 11 : 實驗影像二，使用直方圖相交來測量第二組直方圖相似度 ............................ 39 表 5. 12 : 實驗影像二，使用直方圖相交來測量第三組直方圖相似度 ............................ 39 表 5. 13 : 實驗影像四，使用 Chi-Square distance 來測量第一組直方圖相似度 .............. 40 表 5. 14 : 實驗影像四，使用 Chi-Square distance 來測量第二組直方圖相似度 .............. 41 表 5. 15 : 實驗影像四，使用 Chi-Square distance 來測量第三組直方圖相似度 .............. 41. viii.

(11) 表 5. 16 : 實驗影像四，使用直方圖相交測量第一組直方圖相似度................................ 41 表 5. 17 : 實驗影像四，使用直方圖相交測量第二組直方圖相似度................................ 41 表 5. 18 : 實驗影像四，使用直方圖相交測量第三組直方圖相似度................................ 41 表 5. 19 : 實驗影像五，使用 Chi-Square distance 來測量第一組直方圖相似度 .............. 42 表 5. 20 : 實驗影像五，使用 Chi-Square distance 來測量第二組直方圖相似度 .............. 42 表 5. 21 : 實驗影像五，使用 Chi-Square distance 來測量第三組直方圖相似度 .............. 42 表 5. 22 : 實驗影像五，使用直方圖相交測量第一組直方圖相似度................................ 42. 政治大表 5. 24 : 實驗影像五，使用直方圖相交測量第三組直方圖相似度................................ 43 立. 表 5. 23 : 實驗影像五，使用直方圖相交測量第二組直方圖相似度................................ 43. 表 6. 1 : 樣本大小為 64×64 的實驗結果(準確率%) .......................................................... 50. ‧ 國. 學. 表 6. 2 : 樣本大小為 96×96 的實驗結果(準確率%) .......................................................... 51. ‧. 表 6. 3 : 樣本大小為 128×128 的實驗結果(準確率%) ...................................................... 51. y. Nat. 表 6. 4 : 樣本大小為 64×64 的實驗結果(準確率%) .......................................................... 52. er. io. sit. 表 6. 5 : 樣本大小為 96×96 的實驗結果(準確率%) .......................................................... 52 表 6. 6 : 樣本大小為 128×128 的實驗結果(準確率%) ...................................................... 53. al. n. v i n Ch 表 6. 7 : 樣本大小為 64×64 的實驗結果(準確率%) .......................................................... 53 engchi U. 表 6. 8 : 樣本大小為 96×96 的實驗結果(準確率%) .......................................................... 54 表 6. 9 : 樣本大小為 128×128 的實驗結果(準確率%) ...................................................... 54 表 6. 10 : 區塊數 5×5 實驗結果(準確率%)........................................................................ 61 表 6. 11 : 區塊數 7×5 實驗結果(準確率%) ........................................................................ 62. ix.

(12) 第一章. 研究背景與目的. 物件辨識(object recognition)向來是電腦視覺領域中的重要課題，準確而有效率的物件辨識演算法，除可作為機器人視覺的伺服控制機制，在視覺搜尋(visual search)、分類(visual object class，VOC)、多媒體內容分析、安全監控也都有直接的應用。然而. 政治大特徵擷取的穩定度外，使用視覺資訊，還有一項最大問題，就是如何從龐大的資料中，立物件辨識是一項具挑戰性的任務，除了外在環境變因的不可控制性，影響影像分析與. ‧ 國. 學. 進行有效率的運算，找出所需追蹤或辨識的特徵，進而獲得辨識或理解週遭事物的能，意謂一張圖像力。英語中有句諺語是這樣說的:「A picture is worth a thousand words」. ‧. 可以勝過千言萬語的描述，然而這是基於人類的認知與理解能力所引申的觀察，從電. sit. y. Nat. 腦的角度而言，一張未經壓縮的百萬畫數的全彩相片(1 million pixels，24-bit color)需. io. er. 要 3 百萬個位元組(byte)來表示，也就是:. al. v i n Ch 而相片內容的分析與處理，通常需要耗費更多的計算資源，但卻很難達到令人滿 engchi U n. "A picture is worth a thousand 'words'. Yet it takes millions of 'bytes' to store a picture.". 意的效果，也就是說，從計算的角度而言，使用視覺的描述方式雖然看似直覺，但卻不一定是最有效率的。近來由於電腦硬體技術的大幅進展與實際需求面的增加，特定類別的物件辨識，如人臉偵測(face detection)[ 1]、行人偵測(pedestrian detection)[2]、文字辨識(text recognition)[3]等，有了長足的進步，部分應用甚至已經從 PC 端轉移至智慧型行動平台，增加了便利性與實用性，例如最近 Google 推出的 Google Goggles 服務[4]，就是利用手機拍攝的照片，進行圖像搜尋，透過其強大的雲端運算後台，有效率地回傳與圖片內容相關的訊息，當然該項服務還屬於實驗階段，並非十全十美，而且僅針對特定物件類別，如著名景點、藝術品、名片、書的封面、商標 logo 等進行最. 1.

(13) 佳化處理，在物件辨識的準確率與通用性方面，仍有改善的空間。. 在物件類別辨識的研究方面，歐盟所支援的 PASCAL (Network of Excellence on Pattern Analysis, Statistical Modeling and Computational Learning) 從 2005 年開始就舉辨 Visual Objects Classes (VOC) Challenge，累積至 2010 年已建立二十項物件資料庫 [5]，包含 •Person: person. 政治大 •Vehicle: aeroplane, bicycle, boat, bus, car, motorbike, train 立 •Animal: bird, cat, cow, dog, horse, sheep. •Indoor: bottle, chair, dining table, potted plant, sofa, tv/monitor. ‧ 國. 學. 該競賽每年均吸引數十個來自世界各地的研究團隊參與，並於 ICCV 舉辦 workshop 發. er. io. sit. y. Nat. 從 30-80%不等，顯示在這方面的研究也還有精進的空間。. ‧. 表比賽結果，以 2010 年最新資料顯示，各類物件辨識的平均準確率(average precision). 一個強健的物件辨識核心，通常需具備幾個要素，包含可靠的特徵描述方式. al. n. v i n Ch descriptor)，以及兼具效能與正確性的分類與辨識演算法。在物件描述方面， engchi U. (feature. 近來常被使用的影像特徵有 Harr-like features[1]、Scale-Invariant Feature Transform (SIFT)[6]、Histogram of Oriented Gradients (HoG)[2]、Edge Histogram (EH)[7]、Local Binary Pattern (LBP)[8]等，這些特徵在描述力、抗噪性與計算效率上各有其優缺點，而在辨識演算法部分，則多採用機器學習方式，如 Support Vector Machine(SVM)[9]、 AdaBoost、K-Nearest Neighbor(KNN)、Local Sensitivity Hashing (LSH)[10]等，透過上述兩項組成元件的組合搭配與參數調校，開發出各式型態的物件辨識引擎。. 本研究的目標在於提出有效的物件辨識機制，而主要的作法則是尋找可靠的圖像特徵描述方式，具體而言，我們將改善近來常被選用的區域二元化圖型(local binary 2.

(14) patterns, LBP)，提出延展式的區域三元化圖型樣式(extended local ternary patterns, ELTP)，並針對其抗噪性、描述力與計算效率與 LBP 進行比較。除了描述力與抗噪性，運算效能也是必須納入考量的重要因素，LBP 之所以被廣為採用，有相當原因是因為其計算相當簡易，如要延伸原始 LBP 的功能，定義新的特徵描述方式，也要同時評估其計算的複雜度，以免顧此失彼。. 本論文於第二章敘述相關之研究及其問題，第三章定義延展式區域三元化圖型，. 政治大圖型之抗噪力與描述力之實驗結果，第六章則探討延展式區域三元化圖型在材質分類立第四章探討延展式區域三元化圖型中的 uniform patterns，第五章為延展式區域三元化. 與人臉辨識的應用，第七章為結論與未來規劃。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 3. i n U. v.

(15) 第二章. 相關研究. 在本章節中，將針對區域二元化圖型與區域三元化圖型這兩組特徵描述子，以實例介紹其的計算方式與應用時機，並討論其限制與可能的解決方案。. 2.1 區域二元化圖型. 立. 政治大. ‧ 國. 學. 區域二元化圖型(local binary patterns, LBP)是由芬蘭的 Oulu 大學 Ojala 等研究學者. ‧. 所提出的[8]，是一種區域紋理變化的特徵描述方式。原始的 LBP 演算法是在一塊 3x3. sit. y. Nat. 的區塊內，藉由中心點 g c 與參考點 g p 像素值的比較，將區塊內像素轉化為二元化表示. io. er. 後，再轉為十進位值。LBP 的計算流程如圖 2.1 所示，首先將 3x3 區塊中心點的像素. al. v i n Ch LBP 設為 1，之後再將 thresholding 後的結果乘上對應的權重，即可算出區塊中心點的 engchi U n. 值設為閥值，當周圍八個參考點的像素值小於閥值時，則將該點的值設為 0，反之則. 值，而要描述一個影像區域時，則對區域內所有點進行 LBP 運算，再統計累加出影像的區域二元特徵直方圖(LBP Histogram)，作為圖像的特徵描述子。. 圖 2. 1 : 基本的 LBP 定義與運算方式 4.

(16) 上面所介紹的原始區域二元特徵所參考的區域只是一個 3x3 的區塊，支援的空間範圍較小，沒有辦法描述出較大的紋理結構，因此 Ojala 等學者把 LBP 的定義延伸，在延伸定義的 LBP 中，對於參考的區域大小以及參考點數不再局限於 3x3 的區塊中，使用者可依需求來改變參考的區域半徑 R 以及參考點數的點數(圖 2.2)。假設中心點的座標為(0,0)，則參考點的座標為  R sin(2p / P), R cos(2p / P) ，R 為區域半徑，P 為參考點數，若是所算出的座標沒有落在像素的中心點，則使用內插法來計算其像素值。. 立. 政治大. ‧ 國. 學 er. io. sit. y. Nat. 半徑。. ‧. 圖 2. 2 : (4,1), (8,2)與(12,3)的 LBP。其中第一個數字表示參考點數，第二個數字為參考. LBP 最早被應用於材質分析(texture analysis)，之後陸續在人臉辨識、表情識別、. al. n. v i n Ch 多媒體搜尋、背景建模、動作分析等方面都有相當不錯的效果，由於 LBP 兼具效率與 engchi U. 準確性的特點，也因此後續有若干的延伸或改善的版本，例如可處理不同角度的 LBP (rotation-invariant LBP)[8]、多重解析度的 LBP(multi-scale LBP)[11]、內含機率資訊的 Bayesian LBP[12]等。. 在觀察 LBP 的計算過程中，我們可以發現幾個問題，第一是關於對雜訊的敏感度，假設圖 2.1 的內容受到了雜訊的干擾而有了微幅的改變(中間偏左的像素值由 53 改為 54，如圖 2.3)，依照 LBP 的定義，得到的二元樣式為 11001011，和原樣式的 Hamming distance 為 1，但化為十進位時卻有相當大的差距 (75 vs. 203)，這也代表著在直方圖進行比對時，兩者會被視為不同的樣式群。 5.

(17) Binary: 11001011 Decimal: 203. 圖 2. 3 : LBP 的抗噪力詴驗. 第二個問題則是樣式的個數與分群的方式，以最簡單的 LBP(8,1)來說，其區域二. 政治大. 元特徵直方圖會有 28= 256 個 bin，而 LBP(16,2)的區域二元特徵直方圖則遽增為 65536. 立. 個 bin，若處理的區塊大小為 32x32，在直方圖上得到的通常是極為稀疏的結果(如圖. ‧ 國. 學. 2.4)，是否具描述力與代表性值得探討，雖然類似的問題可以透過 uniform pattern 的概念稍微紓緩1，然而當樣式的種類過多時，仍有樣式過多而樣本不足的根本問題。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2. 4 : 稀疏的正規化直方圖分佈. 除了上述的兩個問題外，LBP 在平滑影像(例如：天空或海洋)的效果也不理想，這是因為 LBP 作 thresholding 的策略與平滑影像上的灰階值過於接近的緣故。在圖 2.5 中，兩個區塊中心像素值皆為 54，但是其中一個區域內所參考的像素值皆為 54，一個 1. 根據統計，(8,1) 的 LBP 約有 90%為 uniform patterns， (16,2) 的 LBP 約有 70%為 uniform patterns。 6.

(18) 皆為 53，54 與 53 這兩個值只有些微的差距，但是在做 thresholding 時，54 的點會被編碼成 1，53 的點會被編碼成 0，使得兩者不論是在圖型樣式或 LBP 值上均有著相當大的差異(兩者的 Hamming distance 為 8，LBP 值為 255 與 0)。. 立. 政治大. ‧ 國. 學. 圖 2. 5 : 在平滑影像上計算 LBP 時易因微幅雜訊干擾造成樣式之極大差異. ‧ y. Nat. n. al. er. io. sit. 2.2 區域三元化圖型. Ch. engchi. i n U. v. 針對 LBP 容易受到雜訊干擾這個問題，有研究學者提出三元化表示方式(Local Ternary Pattern，LTP)[13]，LTP 的主要作法，是將目前像素值與中心點像素值的關係，分為略大於(設為 1)、略小於(設為-1)和接近(設為 0)等三種狀況，亦即.  1  LTP(i )   0 if  1 . p(i )  p(0)   p(i )  p(0)   p(i )  p(0)  . (2. 1). 其中 P(i)為目前像素值，P(0)為中心點像素值，則為選定的門檻值，所形成的樣式由於涵蓋(-1, 0,1)三種符號，所以被命名為區域三元化圖型。. 7.

(19) 以圖 2.1 為例，若接近的範圍. 定為 5，則可得到如圖 2.6 的表示方式，值得注. 意的是若在圖 2.1 的區塊中加上若干雜訊，並不會影響 LTP 的結果，所以 LTP 在某種程度上處理了雜訊干擾的問題。. 政治大圖 2. 6 : Local ternary pattern 樣式描述方法( =5) 立. ‧ 國. 學. 然而這樣的編碼方式會造成樣式類別劇增；原本LBP(8,1)有28=256種組合，而LTP. ‧. (8,1)則有38=6561種，LTP (16,2)的樣式更高達316=43,046,721種，前述LBP直方圖稀疏的. y. Nat. 問題，在這種編碼方法下只會更為嚴重。而為了避免這個問題，原始的LTP在編碼完後. er. io. sit. 會拆解為兩組LBP，其中一組保留+1的樣式，另一組則保留-1的樣式，如此一來每組的樣式種類就只有256種(如圖2.7所示)，至於後續的圖像相似度計算，也採取分開比對的. n. al. 方式，然後再以平均值代表。. Ch. engchi. i n U. v. 圖 2. 7 : 將 Local ternary pattern 拆解為兩組 LBP. LTP雖然加強了圖型的抗噪力，但同時也產生了若干懸而未決的問題，首先是門檻值的選取方式，固定的門檻值並不是一個好方法，在不同的情況下，適合的門檻值也不 8.

(20) 盡相同，要是改變使用環境，可能會使效果大打折扣，若是使用平滑區域(texture-free region)的統計資訊或可變式的(adaptive)門檻設定，效果應當較佳。再來是編碼方式，使用三元的描述法的目的在於抗噪與強化特徵描述能力，但是在LTP拆解的過程，則又有把原屬不同樣式的合為同一群組的效果，一來一往之間的轉換是否合理，令人質疑，而根據我們初步實驗的結果，在某些情況下，使用此法定義的LTP表現有時尚不如原始的 LBP，因此如何將 LTP作有意義的群組化(降維)，也是本研究的重要目標。最後是直方圖稀疏的問題，雖LTP在編碼完後會拆解成兩組的LBP，但若是增加參考點的數量，所. 政治大得到解決。也因此我們將根據上述所提的特徵描述子的缺點，提出改進的特徵描述子：立拆解出的LBP還是存在著直方圖稀疏的問題，直方圖過於稀疏的問題在LTP中依然沒有. 延展示區域三元化圖型。我們將於下一個章節中詳細的介紹我們所提出的特徵描述子。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 9. i n U. v.

(21) 第三章. 延展式區域三元化圖型. 本研究的目標是改善區域二元化圖型的抗噪性與描述性，期望應用於物件分類或辨識時能有較佳的效能與準確性。我們將新提出的描述子並命名為延展式區域三元化圖型 (Extended Local Ternary Patterns, ELTP)，在定義 ELTP 時，有幾個問題必須注意，包含. 政治大法、不同 ELTP 間相似度的計算方法等。此外，轉換為三元表示法後導致樣式種類大立. 三元化的標準、ternary pattern 對應至十進位數字的方式、ternary pattern 降維的可能作. ‧ 國. 學. 量增加(LBP(8,1)有 256 個 patterns，LTP(8,1)則有 6561 個 patterns)，如何進行有系統的降維，則是 ELTP 成敗的關鍵，以下我們將依序針對前述問題討論可能的作法。. ‧. n. al. er. io. sit. y. Nat. 3.1 三元化的範圍設定. i n U. v. 在 LTP 的定義中，將中心點與鄰近點像素值的關係分為三類的作法其實相當直. Ch. engchi. 覺，也就是分成大於、小於及接近等三種範圍，最簡單的作法是設定固定範圍，也就是在公式(3.1)中取固定的  值.  2  LTP(i)   1 if  0 . p(i)  p(0)   p(i )  p(0)   p(i )  p(0)  . (3. 1). 但是關於門檻值  的選擇，其實需要更進一步來討論。就抗雜訊的角度而言，值應和雜訊的強度有關，因此可以從影像中較為平滑的區塊，計算其像素值分布(如圖 3.1)，並由統計結果來決定  的值(例如 c   )，並且對同一影像中的所有區塊都使用相 10.

(22) 同的門檻值。但並不是每張影像都有較為平滑的區域，若用非平滑的區域來推估雜訊強度則有一定的難度，所以我們將使用另一種方式來設定門檻值。. 治政圖 3. 2 : 選取影像中平滑的區塊，計算其像素值分布以估計雜訊強度大立 ‧ 國. 學. 我們採用的方法是根據 local statistics 來設定門檻，在每一個處理的參考區塊內計. ‧. 算出區塊中心點與參考點的標準差，再對標準差取一定的比例來當作門檻值(見圖 3.2)。根據此方法，我們將 ELTP 的編碼方式定義如下. n. al. p(i )  p(0)   p(i )  p(0)      *  p(i )  p(0)  . Ch. er. io. sit. y. Nat  2  LTP(i )   1 if  0 . engchi. i n U. v. 圖 3. 3 : 根據區域統計值設定門檻. 11. (3. 2).

(23) 圖 3.3 為 ELTP 編碼的流程，為了決定門檻值，我們先算出區塊內中心點與參考點的標準差，再將所算出的標準差乘以  ，算出的值即為門檻值，利用此門檻值即可得到一組 ternary code。所以，因此圖 3.3 的門檻值為 25.94×0.3=7.7 (  設為 0.3)。. 政治大. 圖 3. 4 : ELTP 編碼流程. 學. ‧ 國. 立 3.2 樣式編碼與轉換方式. ‧. sit. y. Nat. 在將區域內容轉換為三元表示法後，得到的是一組 ternary code，若直接用這組. io. er. ternary code 來統計累加直方圖，會產生直方圖過於稀疏的問題。以 ELTP(8,1)為例，所得到的三元樣式會高達 38  6561 種，為了避免這種問題，我們把直方圖內的 bins 做. al. n. v i n Ch 合併來降低直方圖的維度。以下提出數種直方圖的降維方法，並一一討論其妥適性。 engchi U 第一種方式是把每固定數個 bin 合併來降維，如圖 3.4 所示，這是最簡單且直覺的方式，但若使用這種方式做降維，我們無法合理的去把 bin 做合併，主要原因在於直方圖上相鄰的 bin 並不一定是樣式相近的 pattern，舉例而言，111111113(=437310)和 200000003(=437410) 在直方圖上是相鄰的，但若以 Hamming distance 計算其樣式距離，結果為 8，假使強迫將此合併，必然造成後續處理的問題。. 12.

(24) 政治大. 立圖 3. 5 : 直方圖 bins 的合併. ‧ 國. 學. 區塊，ELTP=. ‧. 第二種方式是先將所算出的 ternary code 轉換成十進位值。同樣使用圖 3.3 的影像 =221100113，換算成十進位值為 6072. io. sit. y. Nat n1. n. al. er. H 3   bi 3i i 0. Ch. engchi U. v ni. (3. 3). 再把十進位的值用下面簡易的公式做轉換，這樣的做法是把直方圖的範圍從[0, 3n  1 ] 壓縮至[0, 2 n  1 ]，n 代表 ternary code 的 bit 數。以圖 3.2 的區塊為例，我們所算出的十進位值為 6072，把 6072 依公式(3.4)轉至 2 的冪次方，就可算出該 ternary code 對應至 bin 243。.   H  2log3    H3. (3. 4). 13.

(25) 若照這種方式合併，我們可以得到如圖 3.5 的直方圖，圖 3.5 顯示每個二進位 bin 值對應的三進位 bin 的個數，我們可以的觀察到當 H3 的值越大，就有越多的樣式被對應到同一個 H，這樣的合併方法主要會有兩個問題，首先是新合成的 bin 大小不一，若一張含有較多低值 ternary code 的影像與一張含有較多高值 ternary code 的影像相比，這種分群法會對它們的抗噪與描述能力會造不同程度的影響。再來是對於直方圖要降的維度會有所限制，這是因為我們是把直方圖的範圍壓縮至[0, 2 n  1 ]，所以我們只能把直方圖降到 2 n 維。. 立. 政治大. ‧. ‧ 國. 學. 圖 3. 6 : 每個二進位 bin 值對應的三進位 bin 的個數. sit. y. Nat. n. al. er. io. 最後一種方式則是利用 bin 跟 bin 的關係來做合併，也就是把關係密切的 bin 視為. i n U. v. 同一群，以達到降維的效果。由於每一個 bin 代表一個 ternary code，對 bin 作分群就. Ch. engchi. 等同於對 ternary code 作分群，因此我們把每一個 ternary code 視為一個 pattern，依據 pattern 與 pattern 間的相似度來做分群，而分群的數目就是我們要降的維度。使用這種方式來做降維，對我們所要降的維度不會有所限制，而所分出來的群之間有著不同的大小，也因為是利用 pattern 間的相似度來合併 bins 而有了合理的解釋。. 由於資料表示方法的特殊性，資料分群中常用的 k-means 或 mean-shift 等演算法並不適用於字串型態的輸入樣本。一般針對的字串型態的資料，由於缺乏幾何空間的對應，因此多採取 graph representation 的作法(如圖 3.6)，將每一字串視為 graph 上的節點，而節點與節點間的連結強度，則是字串間的相似度。因此我們使用只需相似矩. 14.

(26) 陣就可進行分群的 spectral clustering 相關演算法進行分群(spectral clustering 會於 3.3 中詳細說明) 。. 立. 政治大. ‧ 國. 學. 圖 3. 7 : 以 graph 方式表示樣式間的關係[14]. ‧. 我們知道兩個 binary pattern ( xn1 ,..., x0 ) ， ( yn1 ,..., y0 ) 可以利用 Hamming distance. n. al. er. io. sit. y. Nat. 來計算其距離:. Ch n 1. D ( x , y )   xi  y i i 0. engchi. i n U. v. (3. 5). 同樣的算法，其實也適用於兩組 ternary pattern，只不過原來距離範圍介於[0,n]，換成 ternary pattern 後距離範圍變成[0,2n]。舉例而言，110020223 和 010020103 的 Hamming distance=4，000000003 和 222222223 的 Hamming distance=16。. 15.

(27) 在我們定義 pattern 與 pattern 間的相似度時，我們會先用 Hamming distance 來定義它們間的距離，之後再用. S e. . D2 ( x, y ). (3. 6). 2 2. 或. S  1. D ( x, y ) 2n. (3. 7). 政治大. 來定義它們之間的相似度。. 立. ‧ 國. 學. 第一個定義相似度的方法是使用高斯模型來計算相似度，其中  為使用者可自行調整的參數。第二個定義相似度的方法，是先把最大的相似度設為 1，而 pattern 間的. ‧. 相似度則依據其距離與最大的 Hamming distance 的比例來做遞減。但若用式 3.7 來定. Nat. sit. y. 義相似度，不同相似度之間的差異太小，會對分群的結果造成影響，因此我們根據式. n. al. er. io. 3.7，重新定義出新的相似度計算方式。. Ch. S  (1 . D( x,eyn ) g c h i ) ,  1 2n. i n U. v. (3. 8). 由於我們希望把相似的 pattern 分在同一群，因此群內 pattern 之間的平均距離應該要越小越好。下面是我們使用式 3.7 與式 3.8 來相似度定義，  2 ，並將 pattern 利用 spectral clustering 的方法分成 128 群，所得到的分群結果之間的比較結果。. 16.

(28) 表 3. 1 : 使用式 3.7 之分群結果. n. Mean Distance 5.94 4.60 4.09 4.55 4.30 3.99 5.58 4.35 4.31 4.75 4.62 4.52 5.06 5.41 4.66 4.37 4.86 4.33 4.50 4.24 4.40 4.95 5.43 4.30 4.86 5.74 4.57 4.64 4.83 4.17 4.45 4.85. 政治大. Ch. engchi. 平均為：4.655. 17. y. sit. io. al. Group Index 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96. er. ‧ 國. 立. Mean Distance 5.00 4.94 4.48 5.27 4.73 5.82 5.21 4.93 4.72 4.28 3.97 4.61 4.91 4.75 5.18 4.55 4.56 4.54 3.77 4.32 4.62 5.18 4.18 4.26 4.70 4.13 4.42 4.37 4.27 4.33 4.71 4.59. Group Index 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128. ‧. Group Index 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64. 學. Mean Distance 4.44 6.59 4.18 4.40 4.55 5.24 4.85 4.45 4.89 4.29 4.31 4.29 4.43 5.01 4.33 4.28 3.99 4.78 5.88 4.45 4.46 4.24 4.22 5.01 4.01 4.77 4.26 4.19 5.80 5.79 4.03 4.95. Nat. Group Index 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32. i n U. v. Mean Distance 4.49 4.81 4.08 4.70 6.35 4.46 4.31 4.63 3.94 4.10 4.34 4.60 4.30 4.32 4.49 4.46 4.44 4.19 4.54 4.01 5.31 4.48 4.77 5.02 4.26 5.04 4.71 4.74 4.37 4.68 5.97 5.06.

(29) 表 3. 2 : 使用式 3.8 之分群結果，   2. n. Mean Distance 3.71 3.43 4.05 3.79 3.39 3.44 3.55 3.52 3.66 3.82 3.82 3.32 3.76 3.35 3.57 3.25 3.62 3.57 3.70 3.19 3.13 3.62 3.50 4.09 3.20 4.06 3.58 4.00 3.42 3.84 3.38 3.23. 政治大. Ch. engchi. 平均為：3.59. 18. y. sit. io. al. Group Index 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96. er. ‧ 國. 立. Mean Distance 3.35 3.55 3.67 3.55 3.76 3.54 3.49 3.65 3.55 3.58 3.91 3.35 3.43 3.61 3.91 3.45 3.63 3.39 3.19 3.60 3.50 3.12 3.87 3.86 3.77 3.52 3.84 3.04 3.39 3.71 3.93 3.70. ‧. Group Index 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64. 學. Mean Distance 3.46 3.34 3.88 3.67 3.19 3.41 3.73 3.49 3.68 3.46 3.77 3.47 3.68 3.60 3.65 3.47 3.94 3.59 3.39 3.49 3.34 3.59 3.61 3.53 3.49 3.53 3.50 3.39 3.20 3.98 3.70 3.76. Nat. Group Index 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32. i n U. v. Group Index 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128. Mean Distance 3.72 3.47 3.60 3.84 3.43 3.25 3.90 3.64 3.58 3.91 3.51 3.65 3.44 3.76 3.73 3.47 3.31 3.88 3.56 3.77 3.47 3.90 3.84 3.58 4.00 3.68 3.40 3.73 3.49 3.82 3.56 3.63.

(30) 根據表 3.1 與表 3.2，我們可以觀察到，用式 3.8 來定義相似度所得的分群結果，其群內的平均距離較使用式 3.7 來定義相似度的分群結果要來的小，較為接近我們所期望的結果。. 在算 ELTP 的三元編碼時，根據 local statistics 來設定門檻，可避免像素受到雜訊干擾而影響編碼的結果，若是所得的三元編碼受到雜訊的影響而改變了編碼的結果，也可經由 spectral clustering 的分群降維，把受到干擾與未受到干擾的三元編碼分為同. 政治大. 一群，使得在統計特徵向量直方圖時不會受到影響。. 立. ‧ 國. 分群簡介. ‧. 3.3.1. 學. 3.3 Spectral Clustering. sit. y. Nat. er. io. 分群(Clustering)是一種常被用於資料分析的技術，從統計學、資訊科學、生物學、. al. v i n Ch 一組，和分類(Classification)不同的是，對於一個分類器(classifier) ，它必須從所得到 engchi U n. 社會科學到心理學等都有著廣泛的應用。簡單來說，分群是把一群相似的東西分到同. 訓練樣本(Training sample)中進行學習，才能具備對未知數據進行分類的能力，這種提供訓練樣本的過程我們稱為監督式學習(supervised learning)。而在分群時，我們並不需要知道某一類別是什麼，我們要做的是把相似的東西分到一起，因此一個分群演算法只需要知道如何計算相似度就可開始進行分群。因為分群並不需要使用訓練樣本進行學習，又被稱為非監督式學習(unsupervised learning)。. 分群的方法大概可分為階層式 (Hierarchical Clustering) 與切割式 (Partitional clustering)兩種分群法，這兩種分群法又可細分成不同的類型(圖 3.7)。階層式分群法. 19.

(31) 是透過一種階層式的架構，將資料反覆的進行聚合或分裂，如果採用聚合的方式，階層式分群法可由樹狀結構的底部開始，將資料或群聚逐次合併，若是採用分裂的分式，則由樹狀結構的頂端開始，將群聚逐次分裂。在使用分割式分群法時，我們必須先指定分群的數目，然後藉著反覆疊代運算，逐次降低一個誤差目標函數的值，直到目標函數不再變化，就達到分群的最後結果。. 立. y. ‧. ‧ 國. 學圖 3. 8 : 分群演算法的類型. Nat. io. sit. Spectral Clustering 的概念. er. 3.3.2. 政治大. al. n. v i n C h Theory)的角度來看分群，它把要分群的資料視 Spectral Clustering 是用圖論(Graph engchi U. 為一個有權重的無向圖(Undirected weight graph)，一個節點代表一筆資料，邊上的權重代表資料間的相似度，分群就是要把圖形切成數個不相交的子圖(如圖 3.8)，讓同一子圖內有著較高的權重值，而不同子圖間的權重值則較低。. 圖 3. 9 : 圖形切割式意圖. 20.

(32) 在圖形切割(Graph Cut)的問題中，我們要將圖形的一些邊給切斷，讓圖形被分割成數個獨立聯通的子圖，對於那些被切斷的邊的權重總和我們稱之為 Cut 值。. A, B  V , A  B   cut ( A, B) . (3. 9). w. iA, jB. ij. 而圖形切割的問題就是將圖形切成數個子圖，並要求切割所得的 Cut 最小。. 立. 政治大. 能發生圖 3.9 的情形，也就是孤立點的問題. 學. ‧ 國. 對於圖形切割的問題，若是只考慮到 Cut 值，而忽略了切割區域的大小，極有可. ‧. n. er. io. sit. y. Nat. al. v i n C 10 : 圖形切割與孤立點圖 3.h engchi U. 為了讓切割區域大小相對均勻，使用的目標函數(Objective function)多採用. k. RatioCut ( A,..., Ak )   i 1. cut ( Ai , Ai ) Ai. A : A 中的節點數. 或是. 21. (3. 10).

(33) k. NormalizeCut ( A,..., Ak )   i 1. cut ( Ai , Ai ) vol( Ai ). (3. 11). vol( A) :  d i iA. 雖然上述兩種函數可避免孤立點的問題，但是要最小化它們卻是屬於 NP-hard 的問題。我們可以藉由放寬(Relax)指示向量(Indicator Vector)，使得對圖型切割的目標函數求極值的問題轉化成了 Rayleigh Quotient 求極值的問題. 治政大 x Ax R A, x   立 xx *. (3. 12). *. ‧ 國. 學 y. Nat. io. sit. Graph Laplacian Matrix. er. 3.3.3. ‧. R A, x  的最大最小值分別為矩陣 A 的最大特徵值(Eigenvalue)與最小特徵值. al. n. v i n C h Laplacian MatrixU扮演著重要的角色，而 Graph 在 Spectral Clustering 中，Graph engchi. Laplacian Matrix 又可分為 Unnormalized Graph Laplacian. L  D W. W  ( wij ),W  R n*n n. D  diag (d1 ,...d n ) ， d i   wij j 1. 與 normalized Graph Laplacian. 22. (3. 13).

(34) Lsym  D. 1. 2. LD. 1. 2. I D. 1. 2. WD. 1. 2. (3. 14) 1. 1. Lrw  D L  I  D W. Graph Laplacian 有著下列重要的特性： n. f ' Lf   wij ( f i  f j ) 2 ， f  R n. １.. i, j. ２.. L 為半正定的對稱矩陣(Symmetric Positive Semi-definite Matrix). ３.. L 的最小特徵值為 0，而對應的特徵向量為１. 治政 L 有 n 個非負的實數特徵值， 0      ...  大立. ４.. 1. 2. n. ‧ 國. 學. 在 Graph Laplacian 中，其值為 0 的特徵值的數量等於圖形中連通單元(Connected. sit. y. Nat. Spectral Clustering 演算法. io. n. al. er. 3.3.4. ‧. Components)的數量。. Ch. engchi. i n U. v. 根據上述所介紹的特性與概念，我們可以了解到 Spectral Clustering 有哪些重要的步驟(圖 3.10)，根據這些步驟，我們可以得到 Spectral Clustering 演算法的雛型。. 圖 3. 11 : Spectral Clustering 流程圖. 23.

(35) 下面是三個較常被使用的 Spectral Clustering 演算法，分別是 Un-normalized Spectral Clustering(圖 3.11)、Normalized Spectral Clustering(圖 3.12)與 NJW algorithm(圖 3.13) [15]。. 立. 政治大. ‧ 國. 學. 圖 3. 12 : Un-normalized Spectral Clustering 演算法. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3. 13 : Normalized Spectral Clustering 演算法. 圖 3. 14 : NJW 演算法 24.

(36) 3.4 分群結果. 在做分群時，我們將 38  6561個 pattern 分成 128 群與 256 群，並使用式 3.7 與式 3.9 來定義相似度。參數設定上，對於相似度 S  e 於相似度 S  (1 . . D2 ( x, y ). ，我們選擇參數  =1、2。對. 2 2. D( x, y )  ) ，我們選擇   2 、2.5。在分群演算法的選擇上，均採用 2n. Normalized Spectral Clustering 演算法。. D ( x, y ). 立. 的分群結果：. 學 ‧ y. Nat. io. sit. 2 2. n. al. er. . 政治大. ‧ 國. 使用 S  e. 2. Ch. engchi. i n U. v. 圖 3. 15 :  =1，分成 256 群的分群結果. 圖 3. 16 :  =1，分成 128 群的分群結果. 25.

(37) 圖 3. 17 :  =2，分成 256 群的分群結果. 政治大. 立. ‧. ‧ 國. 學 y. Nat. n. al. er. io. sit. 圖 3. 18 :  =2，分成 128 群的分群結果. Ch. D( x, y )  ) 的分群結果使用 S  (1  2n. engchi. i n U. v. 圖 3. 19 :  =2，分成 256 群的分群結果. 26.

(38) 圖 3. 20 :  =2，分成 128 群的分群結果. 立. 政治大. ‧. ‧ 國. 學 y. Nat. n. al. er. io. sit. 圖 3. 21 :  =2.5，分成 256 群的分群結果. Ch. engchi. i n U. v. 圖 3. 22 :  =2.5，分成 128 群的分群結果. 27.

(39) 表 3. 3 : 分群結果 g1-128 g1-256 g2-128 g2-256 h2-128 h2-256 h2.5-128 h2.5-256 Mean Distance Max Cluster Size Min Cluster Size Standard Deviation. 3.134. 2.615. 3.17. 2.667. 3.459. 2.94. 3.389. 2.65. 68. 38. 70. 37. 73. 38. 69. 48. 39. 14. 33. 15. 38. 14. 36. 17. 5.66. 4.41. 7.16. 4.28. 6.45. 4.6. 6.04. 4.53. 政治大表使用我們所定義的相似度所得的分群結果，平均距離是依每一群內的平均距離來計立表 3.3 為上面分群結果的數據，g 代表使用高斯模型定義相似度的分群結果，s 代. ‧ 國. 學. 算，代表著分群結果的和諧度，而標準差是依據每一群內 pattern 的個數來計算，代表著分群結果的均衡度。未分群前 pattern 間的平均距離為 7.11，分成 256 群時平均每群. Nat. sit. y. ‧. 內有 25.62 個 pattern，分成 128 群時則有 51.26 個 pattern。. io. al. er. 從表中可觀察到，不管使用何種相似度定義來做分群，所得的分群結果並沒有過. n. 大的差異。在參數設定上，則可以觀察到使用的參數若越能加大 pattern 間相似度的差. Ch. engchi. 異，則所得到的分群和諧度也會越高。. i n U. v. Spectral Clustering 計算複雜度約為 Eigensystem 加上 k-means 的計算複雜度，若迭代次數為 1，則複雜度約為 O(dcN)+O(NK)，c 為 d×N 的資料矩陣中平均每行非零項數，K 為所求的分群數。由於計算繁瑣，因此所有的分群結果皆事先完成並存起來，在計算 ELTP 時再讀取分群結果。. 28.

(40) 第四章. ELTP 中的 Uniform Patterns. Uniform Pattern 是 LBP 中一個重要的性質，更是廣泛的使用在許多 LBP 的應用上，例如：人臉辨識、性別辨識等。不過由於 ELTP 是使用三元編碼，pattern 數比二元編碼的 LBP 多上許多，對於 LBP 中所定義的 uniform pattern 不知是否大量出現於 ELTP. 政治大. 中，若是不存在，我們應該如何去定義屬於 ELTP 的 uniform pattern，本章節中將探討. 立. 這個重要議題。. ‧ 國. 學. 4.1 LBP 中的 Uniform Pattern. ‧. Nat. sit. y. Uniform pattern 的概念是 Ojala 等學者於 2002 年所提出的[8]，他們發現在 LBP 的. n. al. er. io. pattern 中，有著大量且型式特定的 pattern 存在於紋理的圖像中，這些 pattern 之所以. i n U. v. 被稱為 uniform pattern，是因為它們有著共通的一點：在環狀的二元編碼中，最多只有. Ch. engchi. 2 個 0 到 1 或 1 到 0 的轉換，例如:0000011、11001111 和 11111111 等都屬於 uniform pattern。圖 4.1 為 LBP(8,1)中 uniform pattern 的圖型樣式。. 圖 4. 1 : LBP(8,1)的 uniform pattern 圖型樣式. 在經過紋理圖像實驗後，Ojala 等人發現若使用 LBP(8,1)，uniform pattern 最高可佔有 90%，若是使用 LBP(16,2)，最高則有 70%。在 LBP(8,1)中，全部共有 256 種 pattern，. 29.

(41) 其中 58 種 pattern 是屬於 uniform pattern，佔 23%。若使用 uniform pattern 當作特徵向量，則統計累加 58 種 uniform pattern 與其它非 uniform pattern 的直方圖作為特徵向量，而特徵向量的維度為 59 維，與未使用 uniform pattern 的 256 維相比之下，維度要小得多。. 4.2 ELTP 中的 Uniform Pattern. 政治大 LBP 中 uniform pattern 的定義來定義 pattern 其大量出現於影像中。我們首先用類似立. 在 ELTP(8,1)中總共有 6561 種 pattern，我們要從這些 pattern 中找出部分特定的. ‧ 國. 學. ELTP 中的 uniform pattern，其定義如下：. 定義一(UELTP1):在環狀的三元編碼中，相鄰 digit 最多只有 2 次的變換(transition)。. ‧. 例如：00022000、21122222、12111111(圖 4.2)。在 6561 個 pattern 中有 171 個 pattern. n. al. er. io. sit. y. Nat. 屬於定義一的 uniform pattern. Ch. engchi. i n U. v. 圖 4.2 : 定義一 uniform pattern 範例. 我們將使用紋理與一般的圖像作紋理圖像實驗，檢查圖像中 uniform pattern 所佔的比例，以驗證我們所定義的 uniform pattern 是否大量的存在於圖像中。圖 4.2 為紋理圖像實驗圖像。. 30.

(42) 圖 4. 3 : 紋理圖像實驗圖像. 表 4. 1 : 紋理圖像實驗結果 LBP 與 ELTP 中 uniform pattern 百分比(使用定義一) C 0.85 0.23 K 0.85 0.45. D. E. L 0.82 0.34. M 0.84 0.48. F 0.75 0.28 N 0.77 0.26. 治 0.83 政 0.82 大 0.28 0.33. 學. ULBP UELTP1. B 0.68 0.26 J 0.8 0.39. 立. G 0.82 0.33 O 0.67 0.25. H 0.81 0.28 P 0.76 0.31. ‧. ‧ 國. ULBP UELTP1. A 0.78 0.25 I 0.76 0.39. 由表 4.1 我們可以觀察到，我們所定義的 ELTP 的 uniform pattern 在圖像中並沒有. y. Nat. io. sit. 大量的出現，最多也只有占到 48%，與 LBP 的 uniform pattern 相較之下少了許多。因. n. al. er. 此我們需要重新定義 ELTP 中的 uniform pattern，再重新定義 ELTP 的 uniform pattern. Ch. i n U. v. 之前，我們先從另一個角度來看 LBP 的 uniform pattern 定義。我們之前把最多只有 2. engchi. 個 0 到 1 或 1 到 0 的轉換的限制，視為改變的位元個數不得超過 2，而現在我們則把它視為 Hamming distance 不得超過 2，我們則依照此定義來定義 ELTP 的 uniform pattern：定義二(UELTP2):在環狀的三元編碼中，相鄰兩個 digit 間 Hamming distance 總和不得超過 2(圖 4. 4)。例如：11112111、21112222、12111111。在 6561 個 pattern 中有 115 個 pattern 屬於定義二的 uniform pattern。. 31.

(43) 圖 4. 4 : 定義二 uniform pattern 範例. 表 4. 2 : 紋理圖像實驗結果:LBP 與 ELTP 中 uniform pattern 百分比(使用定義二) B 0.68 0.22 J 0.8 0.35. 立. C 0.85 0.18 K 0.85 0.43. D 0.82 0.23 L 0.82 0.31. E 0.83 0.29 M 0.84 0.45. F 0.75 0.24 N 0.77 0.23. 政治大. 學. ULBP UELTP2. ‧ 國. ULBP UELTP2. A 0.78 0.21 I 0.76 0.35. G 0.82 0.3 O 0.67 0.21. H 0.81 0.25 P 0.76 0.27. ‧. 由表 4.2 我們可以觀察到，我們新定義的 uniform pattern 並沒有大量出現於圖像. y. sit. io. al. er. 的定義改為：. Nat. 中，因此我們放寬之前所定義 ELTP 的兩種 uniform pattern 的限制，將 uniform pattern. n. 定義三(UELTP3):在環狀的三元編碼中，最多只有 4 次 digit 的變換(transition)。例如： 22001222、22212112。. Ch. engchi. i n U. v. 定義四(UELTP4):在環狀的三元編碼中，相鄰兩個 digit 間 Hamming distance 總和不得超過 4，。例如：20011112、22100012。值得注意的是，藉由定義四所得之 uniform pattern 是定義三所得 uniform pattern 之子集合。. 圖 4. 5 : 定義三 uniform pattern 範例. 圖 4. 6 : 定義四 uniform pattern 範例. 32.

(44) 表 4. 3 : 紋理圖像實驗結果(三) UELTP3 UELTP4 UELTP3 UELTP4. A 0.79 0.72 I 0.84 0.8. B 0.71 0.62 J 0.9 0.86. C 0.86 0.81 K 0.89 0.86. D 0.83 0.78 L 0.87 0.83. E 0.87 0.82 M 0.9 0.88. F 0.77 0.72 N 0.78 0.72. G 0.88 0.84 O 0.74 0.66. H 0.83 0.79 P 0.8 0.73. 由表 4.3 的實驗結果，我們得知我們所定義的兩種 uniform pattern 都大量出現於圖像中，其中最高可佔到 90%。在所有的 6561 種 pattern 中，有 1767 種 pattern 是屬於. 政治大. 定義三的 uniform pattern，佔 27%，而屬於定義四的 uniform pattern 則有 1067 種，佔. 立. 16%。相較之下，定義三多了 700 個 pattern，但出現的百分比僅相差 4%-11%，因此. ‧ 國. 學. 依定義四所得的 uniform patterns 應屬較有效率的表示方法。. ‧. 相較於 LBP 中的 uniform pattern 個數 58 個，前面所定義的兩種 uniform pattern 數. y. Nat. io. sit. 量都高達一千種以上，若是直接使用這些 pattern 的直方圖做為特徵向量，還是可能會. n. al. er. 有直方圖稀疏的問題，因此我們將在下一節討論直方圖降維的可能做法。. Ch. 4.3 Uniform Pattern 的降維. engchi. i n U. v. 對於 uniform pattern 直方圖的降維方法，我們目前採用了兩種降維方法，第一種方法主要是把 uniform pattern 的種類減少來降低直方圖的維度，而第二種方法則是利用 uniform pattern 作分群來降低直方圖的維度。. 第一種降維方式是把 uniform pattern 的 pattern 種類減少來做降維。舉例來說， 21112222 與 22211122 這兩組三元編碼都符合第三種 uniform pattern 的定義，它們在. 33.

(45) uniform pattern 中是被視為不同種類的 pattern 的，但是若把這兩種 pattern 排成環狀排列，如圖 4.4 所示。. 立. 政治大圖 4. 7 : 環狀排列示意圖. ‧ 國. 學. 如圖 4.4 所見，若是我們把 21112222 排成環狀排列，在經過數次旋轉後，它可轉. ‧. 成與 22211122 的環狀排列相同，因此我們把在經過數次旋轉後，可以轉成相同樣式的. y. Nat. pattern 都視為同一種 pattern。若是用這種方式來降低 pattern 種類，在第三種定義的. er. io. sit. uniform pattern 中，我們可以把 1767 種 pattern 降至 228 種，而在第四種定義的 uniform pattern 中，則可以從 1067 種 pattern 降至 139 種 pattern。這種降維方式具有旋轉不變. al. n. v i n C h pattern 會遭到雜訊破壞而變形，用這種方式降維 (rotation-invariant)的特性，但是由於 engchi U 很難確保變形前的 pattern 與之前的 pattern 還保持著關聯性，因此用這種方式來降維對抗噪力並無明顯的助益，但此種降維方式應可適用於旋轉過的材質分類問題[8]。. 第二種降維方法：把 uniform pattern 作分群來降維，它的概念與第三章所用到的 pattern 分群降維法並無不同，都是每個 bin 代表著一個 pattern。而 pattern 間的距離，我們採用 hamming distance 來定義，在算出 pattern 間的距離後，我們會利用距離來計算 pattern 間的相似度，相似度的定義如下：. 34.

(46) S e. . D2 ( x, y ) 2 2. (4. 1). 或. S  (1 . D( x, y)  ) ,  1 2n. (4. 2). 在算得 pattern 的相似矩陣(similarity matrix)後，我們使用 spectral clustering 來進行分群。. 政治大對於那些不屬於 uniform pattern 的 pattern，我們認為它們還是能提供資訊，因此立. 我們把它們都視為於同一類的 pattern，但是它們並不參與 pattern 的降維，因此特徵向. ‧ 國. 學. 量的維度會為：uniform pattern 所降至的維度＋1。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 35. i n U. v.

(47) 第五章. 抗噪實驗. 在第三章與第四章時，我們介紹了我們所改進的特徵描述子，在此章節中，我們設計了三種實驗來測詴特徵描述子的抗噪力。第一個實驗設計為取一圖像中的若干區塊，比較其加入雜訊後直方圖的變化。實驗二為取一圖像中的區塊，比較該區塊受到光影. 政治大雜訊的強度，最後與未受到雜訊干擾的直方圖做比較。立. 干擾後直方圖的變化。實驗三為取一圖像中的區塊，在區塊中將入雜訊，且逐漸增加. ‧ 國. 學. 5.1 抗噪力實驗(一):加入高斯雜訊. ‧. Nat. sit. y. 抗噪力實驗(一)的實驗設計為先隨機選取一張影像的 10 個區塊，計算那些區塊特. n. al. er. io. 徵描述子的直方圖，然後對影像加上雜訊，再計算相同區塊特徵描述子的直方圖，觀. i n U. v. 察原圖與加入雜訊後的直方圖變化，並用 Chi-Square distance 與直方圖相交(Histogram. Ch. engchi. Intersection)來計算兩組直方圖之間的相似度，最後把每個區塊的相似度加總平均，即可判斷抗噪力的強弱。. 在第一個抗噪力實驗中，參與實驗的特徵描述子皆為(8,1)的設定，即參考半徑為 1 與參考點數為 8，加入雜訊的種類為高斯雜訊，雜訊強度約為 SNR 值 15，而參與實驗的特徵描述子共有三組，分別為：第一組：LBP、LBP 的 uniformPattern(UniformLBP)、LTP(ULTP 與 DLTP)與做分群的降維的 ELTP(Gaussian 表示用高斯模型定義相似度、Hamming 表示用我們自行定義的相似度(式 3.8)，數字部分代表所降至的維度)。. 36.

(48) 第二組：LBP、UniformLBP、ULTP、DLTP 與第三種定義的 ELTP uniform pattern(UELTP3，G 表示用高斯模型定義相似度，H 表示用我們自行定義的相似度)。第三組：LBP、UniformLBP、ULTP、DLTP 與第四種定義的 ELTP uniform pattern. 圖 5. 1 : 實驗影像一. 學. ‧ 國. 立. 政治大. 表 5. 1 : 實驗影像一，使用 Chi-Square distance 來測量第一組直方圖相似度. sit. y. Gaussian 128 0.312 Hamming 128 0.245. Gaussian 256 0.368 Hamming 256 0.328. er. io. Gaussian64 0.238 Hamming64 0.258. ‧. ULTP 0.853 DLTP 0.701. Nat. LBP 0.451 UniformLBP 0.418. al. n. v i n C hChi-Square distanceU來測量第二組直方圖相似度表 5. 2 : 實驗影像一，使用 engchi. LBP 0.451 UniformLBP 0.418. ULTP 0.853 DLTP 0.701. UELTP3-G58 0.361 UELTP3-H58 0.341. UELTP3-G128 0.387 UELTP3-H128 0.362. UELTP3-G256 0.412 UELTP3-H256 0.397. 表 5. 3實驗影像一，使用 Chi-Square distance 來測量第三組直方圖相似度 LBP 0.451 UniformLBP 0.418. ULTP 0.853 DLTP 0.701. UELTP4-G58 0.378 UELTP4-H58 0.391. 37. UELTP4-G128 0.4 UELTP 4-H128 0.395. UELTP4-G256 0.426 UELTP4-H256 0.433.

(49) 表 5. 4 : 實驗影像一，使用直方圖相交來測量第一組直方圖相似度 LBP 0.585 UniformLBP 0.594. ULTP 0.388 DLTP 0.452. Gaussian64 0.702 Hamming64 0.718. Gaussian 128 0.675 Hamming 128 0.713. Gaussian 256 0.633 Hamming 256 0.659. 表 5. 5 : 實驗影像一，使用直方圖相交來測量第二組直方圖相似度 LBP 0.585 UniformLBP 0.594. ULTP 0.388 DLTP 0.452. 立. UELTP3-G58 0.63 UELTP3-H58 0.639. UELTP3-G128 0.616 UELTP3-H128 0.637. 政治大. UELTP3-G256 0.599 UELTP3-H256 0.607. ‧ 國. ULTP 0.388 DLTP 0.452. UELTP4-G58 0.628 UELTP4-H58 0.612. UELTP4-G128 0.605 UELTP 4-H128 0.609. ‧. LBP 0.585 UniformLBP 0.594. 學. 表 5. 6 : 實驗影像一，使用直方圖相交來測量第三組直方圖相似度. Nat. n. al. er. io. sit. y. UELTP4-G256 0.59 UELTP4-H256 0.588. Ch. engchi. i n U. v. 圖 5. 2 : 實驗影像二. 表 5. 7 : 實驗影像二，使用 Chi-Square distance 來測量第一組直方圖相似度 LBP 0.391 UniformLBP 0.336. ULTP 0.579 DLTP 0.582. Gaussian64 0.270 Hamming64 0.255 38. Gaussian 128 0.305 Hamming 128 0.244. Gaussian 256 0.351 Hamming 256 0.333.

(50) 表 5. 8 : 實驗影像二，使用 Chi-Square distance 來測量第二組直方圖相似度 LBP 0.391 UniformLBP 0.336. ULTP 0.579 DLTP 0.582. UELTP3-G58 0.319 UELTP3-H58 0.290. UELTP3-G128 0.362 UELTP3-H128 0.342. UELTP3-G256 0.366 UELTP3-H256 0.353. 表 5. 9 : 實驗影像二，使用 Chi-Square distance 來測量第三組直方圖相似度 LBP 0.391 UniformLBP 0.336. ULTP 0.579 DLTP 0.582. 立. UELTP4-G58 0.321 UELTP4-H58 0.325. UELTP4-G128 0.327 UELTP 4-H128 0.331. 政治大. UELTP4-G256 0.315 UELTP4-H256 0.341. ‧ 國. ULTP 0.497 DLTP 0.499. Gaussian64 0.693 Hamming64 0.705. Gaussian 128 0.675 Hamming 128 0.714. ‧. LBP 0.604 UniformLBP 0.649. 學. 表 5. 10 : 實驗影像二，使用直方圖相交來測量第一組直方圖相似度. Nat. sit. y. Gaussian 256 0.628 Hamming 256 0.641. al. n. LBP 0.604 UniformLBP 0.649. ULTP 0.497 DLTP 0.499. Ch. UELTP3-G58 0.659 UELTP3-H58 0.672. engchi. er. io. 表 5. 11 : 實驗影像二，使用直方圖相交來測量第二組直方圖相似度. i n U. v. UELTP3-G128 0.626 UELTP3-H128 0.638. UELTP3-G256 0.603 UELTP3-H256 0.607. 表 5. 12 : 實驗影像二，使用直方圖相交來測量第三組直方圖相似度 LBP 0.604 UniformLBP 0.649. ULTP 0.497 DLTP 0.499. UELTP4-G58 0.659 UELTP4-H58 0.651. 39. UELTP4-G128 0.634 UELTP 4-H128 0.634. UELTP4-G256 0.613 UELTP4-H256 0.602.

(51) 在抗噪力實驗(ㄧ)的實驗結果可觀察到，與 LBP 和 LTP 相比，ELTP 有較佳的抗噪能力。在欲降至的維度選擇，降至 256 維時抗噪力並沒有特別突出，但其餘的維度 (58,128)皆有不錯的抗噪力。. 5.2 抗噪力實驗(二):光影變化. 在抗噪力測詴(二)的實驗設計為取兩張相同的影像，其中一張有受到光影的干. 政治大與直方圖相交來計算受干擾前與干擾後的差異。參與實驗的特徵描述子與抗噪力測詴立擾，手動框選受到干擾的區塊並計算其特徵向量直方圖，並使用 Chi-Square distance. ‧. ‧ 國. 學. (一)相同。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 5. 3 : 實驗影像四. 表 5. 13 : 實驗影像四，使用 Chi-Square distance 來測量第一組直方圖相似度 LBP 0.189 UniformLBP 0.141. ULTP 0.139 DLTP 0.13. Gaussian64 0.083 Hamming64 0.084. 40. Gaussian 128 0.099 Hamming 128 0.106. Gaussian 256 0.16 Hamming 256 0.158.

(52) 表 5. 14 : 實驗影像四，使用 Chi-Square distance 來測量第二組直方圖相似度 LBP 0.189 UniformLBP 0.141. ULTP 0.139 DLTP 0.13. UELTP3-G58 0.129 UELTP3-H58 0.111. UELTP3-G128 0.156 UELTP3-H128 0.155. UELTP3-G256 0.182 UELTP3-H256 0.179. 表 5. 15 : 實驗影像四，使用 Chi-Square distance 來測量第三組直方圖相似度 LBP 0.189 UniformLBP 0.141. ULTP 0.139 DLTP 0.13. 立. UELTP4-G58 0.134 UELTP4-H58 0.138. UELTP4-G128 0.167 UELTP4-H128 0.138. 政治大. UELTP4-G256 0.182 UELTP4-H256 0.157. ‧ 國. ULTP 0.773 DLTP 0.777. Gaussian64 0.831 Hamming64 0.829. Gaussian 128 0.828 Hamming 128 0.812. ‧. LBP 0.732 UniformLBP 0.761. 學. 表 5. 16 : 實驗影像四，使用直方圖相交測量第一組直方圖相似度. Nat. sit. y. Gaussian 256 0.767 Hamming 256 0.771. al. n. LBP 0.732 UniformLBP 0.761. ULTP 0.773 DLTP 0.777. Ch. UELTP3-G58 0.787 UELTP3-H58 0.782. engchi. er. io. 表 5. 17 : 實驗影像四，使用直方圖相交測量第二組直方圖相似度. i n U. v. UELTP3-G128 0.754 UELTP3-H128 0.76. UELTP3-G256 0.731 UELTP3-H256 0.74. 表 5. 18 : 實驗影像四，使用直方圖相交測量第三組直方圖相似度 LBP 0.732 UniformLBP 0.761. ULTP 0.773 DLTP 0.777. UELTP4-G58 0.773 UELTP4-H58 0.763. 41. UELTP4-G128 0.751 UELTP4-H128 0.761. UELTP4-G256 0.733 UELTP4-H256 0.732.

(53) 圖 5. 4 : 實驗影像五. 政治大 Gaussian64 Gaussian 128. 表 5. 19 : 實驗影像五，使用 Chi-Square distance 來測量第一組直方圖相似度 0.172 Hamming64 0.154. 0.225 Hamming 128 0.182. Gaussian 256 0.237 Hamming 256 0.218. ‧. ‧ 國. 立. ULTP 0.553 DLTP 0.582. 學. LBP 0.318 UniformLBP 0.296. n. al. Ch. UELTP3-G58 0.202 UELTP3-H58 0.206. engchi. UELTP3-G128 0.228 UELTP3-H128 0.223. sit. io. ULTP 0.553 DLTP 0.582. er. Nat. LBP 0.318 UniformLBP 0.296. y. 表 5. 20 : 實驗影像五，使用 Chi-Square distance 來測量第二組直方圖相似度. i n U. v. UELTP3-G256 0.242 UELTP3-H256 0.236. 表 5. 21 : 實驗影像五，使用 Chi-Square distance 來測量第三組直方圖相似度 LBP 0.318 UniformLBP 0.296. ULTP 0.553 DLTP 0.582. UELTP4-G58 0.195 UELTP4-H58 0.186. UELTP4-G128 0.221 UELTP4-H128 0.241. UELTP4-G256 0.252 UELTP4-H256 0.252. 表 5. 22 : 實驗影像五，使用直方圖相交測量第一組直方圖相似度 LBP 0.631 UniformLBP 0.678. ULTP 0.476 DLTP 0.458. Gaussian64 0.767 Hamming64 0.766. 42. Gaussian 128 0.719 Hamming 128 0.747. Gaussian 256 0.685 Hamming 256 0.698.

(54) 表 5. 23 : 實驗影像五，使用直方圖相交測量第二組直方圖相似度 LBP 0.631 UniformLBP 0.678. ULTP 0.476 DLTP 0.458. UELTP3-G58 0.731 UELTP3-H58 0.72. UELTP3-G128 0.707 UELTP3-H128 0.718. UELTP3-G256 0.683 UELTP3-H256 0.673. 表 5. 24 : 實驗影像五，使用直方圖相交測量第三組直方圖相似度 LBP 0.631 UniformLBP 0.678. ULTP 0.476 DLTP 0.458. 立. UELTP4-G58 0.736 UELTP4-H58 0.75. UELTP4-G128 0.721 UELTP4-H128 0.698. 政治大. UELTP4-G256 0.682 UELTP4-H256 0.678. ‧ 國. 學. 在抗噪力實驗(二)的結果中，對於光影變化的影響，ELTP 均有著較佳的抵抗能力，在所降至的維度方面，降至 256 維對光影的抵抗力較其它維度差，相對而言不是. ‧. 一個理想的維度。. sit. y. Nat. n. al. er. io. 5.3 抗噪力實驗(三):加入不同強度雜訊. Ch. engchi. i n U. v. 第三個抗噪力測詴的實驗設計先取一張影像的特定區塊，計算該區塊的特徵描述子，然後對影像加上不同程度的雜訊，再計算同一區塊的特徵描述子，觀察在不同雜訊下的相似度的變化。雜訊加入的方法為對一格像素個產生一高斯常數並乘上一個常數，然後把該結果加回像素中，實驗結果中橫軸代表著所乘上常數值。參與實驗的特徵描述子分為三組，分別為：第一組：LBP、UniformLBP、Gaussian64、Gaussian128、Hamming64、Hamming 128 第二組：LBP、UniformLBP、UELTP3-G58、UELTP3-G128、UELTP3-H58、UELTP3-H128 第三組：LBP、UniformLBP、UELTP4-G58、UELTP4-G128、UELTP4-H58、UELTP4-H128. 43.

(55) 圖 5. 5實驗影像六. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 5. 6 : 使用 Chi-Square distanc 測量相似度的第一組實驗結果. Ch. engchi. i n U. v. 圖 5. 7 : 使用 Chi-Square distance 測量相似度的第二組實驗結果. 44.

(56) 圖 5. 8 : 使用 Chi-Square distance 測量相似度的第三組實驗結果. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i n U. v. 圖 5. 9 : 使用直方圖相交測量相似度的第一組實驗結果. Ch. engchi. 圖 5. 10 : 使用直方圖相交測量相似度的第二組實驗結果. 45.

(57) 圖 5. 11 : 使用直方圖相交測量相似度的第三組實驗結果. 立. 政治大. ‧. ‧ 國. 學. n. Ch. engchi. er. io. sit. y. Nat. al. 圖 5. 12 : 實驗影像七. i n U. v. 圖 5. 13 : 使用 Chi-Square distance 測量相似度的第一組實驗結果. 46.

(58) 圖 5. 14 : 使用 Chi-Square distance 測量相似度的第二組實驗結果. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i n U. v. 圖 5. 15 : 使用 Chi-Square distance 測量相似度的第三組實驗結果. Ch. engchi. 圖 5. 16 : 使用直方圖相交測量相似度的第一組實驗結果. 47.

(59) 圖 5. 17 : 使用直方圖相交測量相似度的第二組實驗結果. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. i n U. v. 圖 5. 18 : 使用直方圖相交測量相似度的第三組實驗結果. Ch. engchi. 對於這三組特徵描述子的比較結果，在實驗影像六(圖 5.5)中，不論是一般的 ELTP 與 ELTP 的 uniform pattern 對雜訊的抵抗力相當的好，相較於 LBP 的 uniform pattern 或是一般的 LBP 都是略勝一籌。不過對於實驗影像七(圖 5.12)這種紋理圖像，ELTP 的抗噪力雖然都比一般的 LBP 要佳，但相較於 LBP 的 uniform pattern，差距就沒有這麼明顯。. 48.

(60) 第六章. 延展式區域三元化圖型之應用. 在本章節中，我們將 ELTP 應用於材質分類與人臉辨識的應用中，並將其結果與 LBP 作比較。. 6.1 材質分類. 立. 政治大. ‧ 國. 學. 在材質分類的應用中，我們從 Brodatz Textures[16]中選了 12 種材質(圖 6.1)來做訓練以及測詴，在取訓練樣本以及測詴樣本方面，對於一張 640×640 的圖我們將它切成. ‧. 64×64、96×96 以及 128×128 的大小，由於 texture 具有高度的重複性，因此我們在切. Nat. sit. y. 割材質樣本時會重疊部分樣本來切割，以增加樣本數目。在經過切割後我們可獲得. n. al. er. io. 64×64 的樣本 361 份，96×96 的樣本 324 份，128×128 的樣本 289 份。我們隨機取一半. i n U. v. 的樣本做訓練樣本，而另一半的樣本做測詴樣本。我們會對測詴樣本加入輕度、中度. Ch. engchi. 以及重度的雜訊，然後測詴其辨識準確度。使用的特徵描述子如表中所示，此外，由於 UTLP 和 DTLP 的效果太差，因此不列入考慮。在分類器的選擇上，我們選擇使用 SVM，kernel 是選擇 RBF。. 49.