中心對稱式延展區域三元化圖型特徵描述子 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文 Master’s Thesis. 政治大. 立中心對稱式延展區域三元化圖型特徵描述子. ‧ 國. 學. Center-Symmetric Extended Local Ternary. Nat. sit. y. ‧. Patterns. n. er. io. 研究生：劉嘉瑜 al v i n Ch 指導教授：廖文宏 engchi U. 中華民國一○三年一月 January 2014.

(2) 中心對稱式延展區域三元化圖型特徵描述子. 摘要. 物件辨識是電腦視覺領域中相當重要的一環，在許多應用中皆可看到物件辨識的身影，而物件辨識的關鍵在於描述物件特徵的描述子。本. 政治大. 論文基於「延展式區域三元化圖型」，提出一種新的特徵描述子，稱. 立. 為「中心對稱式延展區域三元化圖型」，改善繁複的編碼過程，在辨. ‧ 國. 學. 識力、抗噪力，以及處理效率三者之間達到良好的平衡。除此之外，. ‧. 我們也將不同描述子特性加以融合，稱為「混合式描述方式」，實驗. Nat. sit. n. al. er. io. 以及抗噪力。. y. 結果證實在高雜訊的材質影像中，「混合式描述方式」提升了辨識力. Ch. engchi. i n U. v. 關鍵字：延展式區域三元化圖型、中心對稱式延展區域三元化圖型、混合式描述方式、物件辨識、特徵描述子. 1.

(3) Center-Symmetric Extended Local Ternary Patterns. Abstract. Object recognition is an important problem in computer vision. Effective recognition of objects calls for the appropriate selection of feature descriptor. In this thesis, we generalize the “Extended Local Ternary. 政治大. Patterns” (ELTP) to form a novel and compact set of features named. 立. Center-Symmetric Extended Local Ternary Patterns (CS-ELTP). The. ‧ 國. 學. newly defined CS-ELTP requires a simplified encoding procedure and has a lower dimension for a fixed neighborhood region. It achieves good. ‧. balance among feature dimension, recognition rate and noisy resistance. sit. y. Nat. according to our comparative experimental analysis. In addition, we. er. io. combine binary and ternary patterns to create a hybrid descriptor that. n. a possesses the characteristics of both types of descriptor. Experimental v i l C n U results indicate that the hybridhdescriptor the performance in e n g c hcani improve noisy conditions while maintaining a reasonable feature size.. Keywords: Extended Local Ternary Patterns, Center-Symmetric Extended Local Ternary Patterns, Hybrid descriptor, Object recognition, Feature descriptor. 2.

(4) 目錄第一章. 緒論 .................................................... 1 1.1. 研究背景 ................................................................................................. 1. 1.2. 研究目的 ................................................................................................. 1. 1.3. 論文架構 ................................................ 3. 第二章. 相關研究 ................................................ 4 2.1. Local Binary Patterns, LBP ..................................................................... 4. 2.2. Center-Symmetric Local Binary Patterns, CS-LBP ................................ 8. 2.3. Local Ternary Patterns, LTP.................................................................... 9. 2.4. Extended Local Ternary Patterns, ELTP ............................................... 10. 2.5. Extended Center-Symmetric Local Ternary Pattern, eCS-LTP............. 12. 2.6. 其他各種降維方式 ............................................................................... 13. ‧ 國. 旋轉不變的特性(rotational-invariance) ............................................... 14. y. 中心對稱式延展區域三元化特徵描述子 ........................................... 16. io. sit. 第三章. 減少樣本數量 ....................................................................................... 14. Nat. 2.6.3. 合併直方圖相鄰樣式 ........................................................................... 13. ‧. 2.6.2. 學. 2.6.1. 立. 政治大. 中心對稱式延展區域三元化特徵描述子 ........................................... 16. 3.2. CS-ELTP 中的 Uniform Patterns .......................................................... 17. 3.3. Spectral Clustering 分群演算法............................................................ 18. 3.4. 分類方法及材質影像來源 ................................................................... 19. 3.5. CS-ELTP 的 Uniform pattern ................................................................ 20. n. al. er. 3.1. Ch. engchi. i n U. v. 3.5.1. Uniform pattern 代表的意義 ................................................................ 20. 3.5.2. LBP 中的 Uniform pattern .................................................................... 22. 3.5.3. CS-ELTP 中的 Uniform pattern ............................................................ 23. 第四章. 材質影像分類實驗 ............................................................................... 27 4.1. 原始取樣定義描述子的材質分類 ....................................................... 27. 4.2. 經過降維描述子的材質分類 ............................................................... 30. 4.3. 抗噪力實驗 ........................................................................................... 33 3.

(5) 4.3.1. 抗噪力實驗一：材質加入雜訊強度 20dB 的高斯雜訊 ..................... 33. 4.3.2. 抗噪力實驗二：材質加入雜訊強度 40dB 的高斯雜訊 ..................... 35. 4.3.3. 抗噪力實驗三：比較降維前後的抗噪力 ........................................... 37. 4.3.4. 辨識錯誤原因探討 ............................................................................... 40. 第五章. 混合式描述子的融合實驗 ................................................................... 49 5.1. 融合的方式 ........................................................................................... 49. 5.2. 未降維描述子融合實驗 ....................................................................... 51. 5.3. 經降維描述子融合實驗 ....................................................................... 53. 5.4. 調整混合式描述子融合比重 ............................................................... 55. 治政 66 參考文獻 .................................................................................................................................. 大立結論與未來研究方向 ........................................................................... 60. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. 第六章. Ch. engchi. 4. i n U. v.

(6) 圖目錄圖 2.1：LBP 區塊 ...................................................................................................................... 4 圖 2.2：原始的 LBP 運算方式 ................................................................................................ 5 圖 2.3：LBP(4,1)、LBP(8,2)與 LBP(12,3) .............................................................................. 6 圖 2.4：微量雜訊對 LBP 的影響 ............................................................................................. 7 圖 2.5：稀疏的直方圖分佈 ...................................................................................................... 8 圖 2.6：CS-LBP 的編碼方式.................................................................................................... 8 圖 2.7：LTP 的描述方式(θ=5) ................................................................................................. 9 圖 2.8：將 LTP 拆解為兩組 LBP ......................................................................................... 10. 政治大. 圖 2.9：根據 local statistics 設定門檻值................................................................................ 11. 立. 圖 2.10：ELTP 編碼流程........................................................................................................ 11. ‧ 國. 學. 圖 2.11：eCS-LTP 的編碼流程 .............................................................................................. 13 圖 2.12：直接合併相鄰的樣式 .............................................................................................. 13. ‧. 圖 2.13：LBP(4,1) ................................................................................................................... 14. y. Nat. 圖 2.14：利用旋轉不變性得到的樣式 .................................................................................. 15. io. sit. 圖 3.1：CS-ELTP 的編碼方式 ............................................................................................... 17. n. al. er. 圖 3.2：分群演算法的類型 .................................................................................................... 18. Ch. i n U. v. 圖 3.3 圖形切割示意圖 .......................................................................................................... 19. engchi. 圖 3.4：Outex 紋理影像 ......................................................................................................... 20 圖 3.5：LBP uniform pattern 表示的意義 .............................................................................. 21 圖 3.6：CS-ELTP uniform pattern 表示的意義 ..................................................................... 22 圖 3.7：LBP(8,1)的 uniform pattern ..................................................................................... 23 圖 3.8：部分 uniform pattern 實驗影像 ................................................................................. 24 圖 3.9：定義一 uniform pattern 範例 ..................................................................................... 24 圖 3.10：定義二 uniform pattern 範例 ................................................................................... 25 圖 4.1：Outex 影像資料庫中做為實驗影像的部分影像...................................................... 27 圖 4.2：Test image ................................................................................................................ 28 圖 4.3：10 張同類別的 training images ............................................................................... 29 5.

(7) 圖 4.4：材質辨識實驗結果 .................................................................................................... 30 圖 4.5：比較不同降維方式的辨識結果 ................................................................................ 31 圖 4.6：原始定義與經過降維的辨識率變化 ........................................................................ 32 圖 4.7：左圖為無雜訊影像，右圖為加入高斯雜訊影像 .................................................... 33 圖 4.8：高斯雜訊(20dB)影像的實驗結果 ............................................................................. 34 圖 4.9：加入雜訊(20dB)辨識率變化情況 ............................................................................. 34 圖 4.10：加入雜訊(40dB)辨識率變化情況 ........................................................................... 35 圖 4.11：加入雜訊(40dB)辨識率變化情況 ........................................................................... 36 圖 4.12：不同訊噪比辨識率下降情況 .................................................................................. 36. 治政 38 圖 4.14：未降維描述子辨識率(40dB) ................................................................................... 大立圖 4.15：降維前後描述子辨識率(20dB) ............................................................................... 39. 圖 4.13：未降維描述子辨識率(20dB) ................................................................................... 37. ‧ 國. 學. 圖 4.16：降維前後描述子辨識率(40dB) ............................................................................... 39 圖 4.17：原始定義與經過降維的辨識率變化 ...................................................................... 40. ‧. 圖 4.18：兩次抗噪力實驗結果 .............................................................................................. 41. Nat. sit. y. 圖 4.19：測試影像 .................................................................................................................. 41. er. io. 圖 4.20：辨識錯誤結果 .......................................................................................................... 42. al. v i n C himage 之間的 Chi square 圖 4.22：測試影像與 240 張 training e n g c h i U distance n. 圖 4.21：與測試影像同類別的 10 張影像 ............................................................................ 42 ........................... 43. 圖 4.23：測試影像 .................................................................................................................. 43 圖 4.24：辨識錯誤結果 .......................................................................................................... 44. 圖 4.25：與測試影像同類別的 10 張影像 ............................................................................ 44 圖 4.26：測試影像與 240 張 training image 之間的 Chi square distance ........................... 45 圖 4.27：特徵直方圖 .............................................................................................................. 45 圖 4.28：Training image 中與測試影像同類別影像 ............................................................. 46 圖 4.29：取前三 Chi square distance 辨識率變化 ................................................................. 48 圖 5.1：LBP uniform pattern 表示的意義 .............................................................................. 49 圖 5.2：CS-ELTP uniform pattern 表示的意義 ..................................................................... 50 6.

(8) 圖 5.3：融合未降維描述子辨識率(0dB) ............................................................................... 51 圖 5.4：融合未降維描述子辨識率(20dB) ............................................................................. 52 圖 5.5：融合未降維描述子辨識率(40dB) ............................................................................. 52 圖 5.6：融合降維後描述子辨識率(0dB) ............................................................................... 53 圖 5.7：融合降維後描述子辨識率(20dB) ............................................................................. 54 圖 5.8：融合降維後描述子辨識率(40dB) ............................................................................. 55 圖 5.9：比例混合式描述子辨識率(未降維描述子).............................................................. 56 圖 5.10：比例混合式描述子辨識率(降維後描述子)............................................................ 56 圖 5.11：比例混合式描述子辨識率(未降維描述子, 20dB) ................................................. 58. 治政圖 5.13：比例混合式描述子辨識率(降維後描述子, 20dB)大 ................................................. 59 立圖 5.14：比例混合式描述子辨識率(降維後描述子, 40dB) ................................................. 60 圖 5.12：比例混合式描述子辨識率(未降維描述子, 40dB) ................................................. 58. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 7. i n U. v.

(9) 表目錄表 3.1：定義一實驗結果 ........................................................................................................ 24 表 3.2：定義二實驗結果 ........................................................................................................ 25 表 4.1：辨識錯誤結果中正確結果在前三名的比例 ............................................................ 46 表 5.1：混合式描述子在無雜訊材質影像實驗結果 ............................................................ 59 表 5.2：混合式描述子在受雜訊干擾材質影像實驗結果 .................................................... 60 表 6.1：辨識率排名總整理 .................................................................................................... 62 表 6.2：抗噪力排名總整理 .................................................................................................... 62. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 8. i n U. v.

(10) 第一章緒論. 本章節將開宗明義的說明本研究的背景及目的，透過簡單介紹先前學者們的相關研究，以及實務面之應用，讓閱讀者先初步了解何謂物件辨識，以及特徵描述子為何在物件辨識中佔有重要的地位，並闡述本論文希望達成的目標。. 1.1 研究背景物件辨識是電腦視覺裡相當重要的一門分支，以物件辨識作為基礎的應用在. 政治大. 日常生活中已經十分常見，如人臉辨識、文字辨識、監視系統、圖片搜尋等，皆. 立. 整合在各種型式的軟硬體產品中。. ‧ 國. 學. 物件辨識一般的作法，是透過將影像中的特徵取出，再利用取出的特徵進行. ‧. 辨識，而此特徵的描述方式，稱為特徵描述子(Descriptor)。物件辨識發展至今，. y. Nat. sit. 已有許多研究提出各種不同的特徵描述子，常見的如 Scale-Invariant Feature. n. al. er. io. Transform (SIFT)[1] 、 Local Binary Patterns (LBP)[2] 、 Histogram of Oriented. i n U. v. Gradients (HoG)[3]、Haar-like features[4]、Edge Histogram (EH)[5]等，以上這些. Ch. engchi. 特徵描述子在抗噪性、描述力、處理效率方面互有優劣。. 1.2 研究目的物件辨識的應用，首重其辨識率以及處理效率，因此，仍有許多研究紛紛提出改善的特徵描述子。其中一種稱為 Extended Local Ternary Patterns (ELTP)[6] 的特徵描述子，針對 LBP 在抗噪能力上的不足做改善，ELTP 除了將二元編碼方式改成三元編碼之外，編碼過程中，也將計算影像中區域像素值的標準差來取得門檻值(threshold)，相較於 LBP 僅僅比較像素值大小的編碼方式，所取得的特徵.

(11) 編碼更具描述力，經其實驗證明，在多數情況下，ELTP 的確可以避免雜訊對於辨識力的影響。. 雖然 ELTP 改善了 LBP 的抗噪能力，同時卻也產生了另外的問題。ELTP 將 LBP 的編碼方式，從二元 (Binary)改為三元 (Ternary)，使得編碼的維度大幅上升，即 LBP(8,1)維度為 28= 256，而 ELTP(8,1)的維度上升到 38=6561，維度過高使得運算效能低落。為解決此問題，ELTP 使用了 Uniform Pattern[2]以及分群 (clustering)的方式降低維度，但降維後卻又不免犧牲了描述力。. 政治大另有研究提出稱為 Center Symmetric LBP (CS-LBP)的特徵描述子，同樣也是立. 建立在 LBP 的架構上，它改變 LBP 原本的編碼方式，樣式編碼長度可以從八碼. ‧ 國. 學. 減少到四碼，以達到降維的目的。以 CS-LBP 的方法取得的編碼維度是 24=16，. ‧. 相較於 LBP 的維度是 28=256，可看出維度大幅下降，可以減少大量的運算時間，. y. sit. io. er. 誤差。. Nat. 但 CS-LBP 同樣存在抗噪能力不足的問題，容易受到雜訊的影響，導致辨識時的. al. n. v i n 綜合上述所提到的特徵描述子，在抗噪性、描述力、運算效率等方面互有優 Ch engchi U. 劣，顧此則失彼，難以取得平衡。本論文的貢獻有二，首先我們提出一種稱為. Center Symmetric Extended Ternary Pattern (CS-ELTP)的特徵描述子，結合以上各特徵描述子的優點，CS-ELTP 主要的特色如下：. 1.. 改變 LBP 的二元編碼方式，使用三元編碼得到更好的抗噪能力。. 2.. 利用對稱取樣的方式降維，捨棄 ELTP 降維時複雜的分群演算法以提升處理效率。. 3.. 三元編碼改善 CS-LBP 維度過低造成的辨識率不佳問題。. 2.

(12) 4.. 改用 Nearest Neighbor algorithm 作為辨識方法，可以專注於比較描述子的效果，排除分類器帶來的干擾。. 5.. 在抗噪性、描述力、運算效率三者之間取得皆能接受的平衡。. 其次，我們嘗試整合了不同描述子的特點，提出混合式描述方式(Hybrid binary and ternary descriptor)的構想，想法來自於描述子不同的取樣方式，所描述的像素變化關係也會不同，若將兩者加以整合應可得到更完整的影像特徵描述。除此之外，描述子的編碼方式也不同，以二元編碼的描述子搭配三元編碼的描述. 政治大驗驗證之後，肯定了這樣的想法。立. 子所得到的影像特徵，應能提升二元編碼抗噪能力不足的缺點，在經本研究的實. ‧ 國. 學. 1.3 論文架構. ‧. 本論文第一章為緒論，簡略地說明研究的背景及研究的目的；第二章為相關. sit. y. Nat. 研究，將探討幾個與本論文相關的特徵描述子、數個針對特徵描述的降維方式；. al. er. io. 第三章將介紹 CS-ELTP 的定義，並利用實例說明 CS-ELTP 的編碼方式，討論. v. n. CS-ELTP 是否如同 LBP 及 ELTP 存在 uniform pattern；第四章為材質影像辨識實. Ch. engchi. i n U. 驗，除了比較 CS-ELTP 與其他幾個相關的特徵描述子降維前後的辨識力，也針對它們在被不同程度雜訊干擾環境之下所呈現的抗噪能力做測試，最後總結辨識錯誤發生的原因；第五章說明混合式描述方式的概念，以及呈現混合式描述子在各種條件下的實驗結果；最後，第六章為結論及未來進一步改善的可能方向。. 3.

(13) 第二章相關研究. 本章節將探討幾個與本研究相關的特徵描述子，以及數個針對特徵描述子提出的降維方式，並指出其尚不完美或與本研究相關之處。. 2.1 Local Binary Patterns, LBP 區域二元化圖型 (Local Binary Patterns, LBP)是由芬蘭的 Oulu 大學 Ojala 等研究學者所提出的[2]，是一種區域紋理變化的特徵描述方式，即圖型經過 LBP. 政治大. 處理後，可以將圖像中各個區域的特徵提取出來。. 學. ‧ 國. 立. LBP 的運作方式說明如下：. 最初的 LBP 演算法將一張圖型的每個像素依序作為中心點，以此中心點與. ‧. 其周圍的像素形成一塊 3x3 的區塊，定義此區塊的中心點為 gc，周圍的像素為. y. Nat. n. er. io. al. sit. gp(1~8)，如下圖 2.1 所示。. Ch. engchi. 圖 2.1：LBP 區塊. 4. i n U. v.

(14) 以中心點 gc 像素值為門檻值(threshold)，分別與周圍每個點的像素值做比較，其中若像素值大於或等於門檻值，則將該點編碼為 1，反之，若該點的像素值小於門檻值，則將該點編碼為 0，即 2.1 式：. 𝐿𝐵𝑃(𝑖) = {. 1, 𝑔𝑐 ≤ 𝑔𝑖. (2.1). 0, 𝑔𝑐 > 𝑔𝑖. 經此程序可將區塊內的像素以二元化的方式表示，再對周圍每個點定義加權值，將上述二元化的編碼乘上加權值後，得到的數值即為該點的 LBP 值，如圖 2.2 所示。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.2：原始的 LBP 運算方式. 依照上述運算方式，依序取得圖像中所有的像素點的 LBP 值，再統計每個 LBP 值出現的次數作成直方圖，即可以用來代表此圖像的特徵，作為此圖像的特徵描述子。. 以上所說明的即為最初的 LBP 編碼方式，但由於其參考點的選擇方式，每個像素點僅得一3 × 3的區域，在面對較大的紋理結構時，描述的空間範圍顯得. 5.

(15) 不足。因此，提出 LBP 的 Ojala 等學者，再把 LBP 的定義作延伸，使得編碼時參考的區域不再侷限於 3x3 的區塊。. 此延伸的定義為 LBP(P,R)，定義參考的區域半徑 R 與參考點數 P，改變原始 LBP 固定以中心點加上周圍八個參考點的作法，使其可依需求作改變。依此定義，在中心點座標為 (0,0) 時，則參考點的座標為 2πp⁄ 2πp⁄ P) , R cos ( P))，如圖 2.3 所示。. (−R sin (. 立. 政治大. ‧. ‧ 國. 學. 圖 2.3：LBP(4,1)、LBP(8,2)與 LBP(12,3). sit. y. Nat. al. er. io. 雖然 LBP 的處理效率與描述力皆有不錯的表現，且在許多應用上的效果也. v. n. 頗出色，但從 LBP 的編碼過程中，仍可以發現一些問題的存在，第一個問題為. Ch. engchi. i n U. 對雜訊敏感度的問題，當圖型的內容受到雜訊干擾而有些微改變，取得的 LBP 值誤差可能會非常大，如圖 2.4 所示。. 6.

(16) 政治大. 圖 2.4：微量雜訊對 LBP 的影響. 立. 從圖 2.4 可看出，些微的雜訊的確對 LBP 造成很大的影響，使得應該原屬於. ‧ 國. 學. 同一樣式的區塊，被分到不同群中，這代表在進行直方圖比對時，可能會發生誤. ‧. 判，讓辨識率降低。. y. Nat. er. io. sit. 第二個問題為樣式過多，以原始的 LBP 編碼方式來說，就有 28=256 個樣式，而若以延伸定義的 LBP(16,2)來說，樣式更多達 216=65536，形成樣式多，樣本卻. al. n. v i n 不足，表示成直方圖時會得到稀疏的結果，如圖 2.5 所示即樣式數量為 6561 時 Ch engchi U 的直方圖分佈情況，如此狀況下，此特徵對於圖像是否仍具良好的描述力值得探討。. 7.

(17) 圖 2.5：稀疏的直方圖分佈. 政治大. 2.2 Center-Symmetric Local Binary Patterns, CS-LBP. 立. 為解決 LBP 樣式多而樣本少，造成直方圖分佈稀疏的問題，有研究學者提. ‧ 國. 學. 出稱為中心對稱式區域二元化圖型 (Center-Symmetric Local Binary Patterns, CS-LBP)[7]。CS-LBP 與 LBP 相當類似，它只是改變 LBP 以中心點與周圍其他. ‧. 參考點一一做比對的編碼方法，而是由周圍對稱的兩個點互相比較，如圖 2.6 所. n. al. er. io. sit. y. Nat. 示。. Ch. engchi. i n U. v. 圖 2.6：CS-LBP 的編碼方式. 依照此編碼方法，可將 LBP 編碼的字串長度減為一半，然而其與 LBP 存在同樣的問題，即對於有雜訊干擾時，容易發生編碼誤差極大的缺失。. 8.

(18) 2.3. Local Ternary Patterns, LTP 區域三元化圖型(Local Ternary Patterns, LTP)[6]是研究學者針對解決 LBP 易受雜訊干擾的問題所提出的。LTP 主要想法為改變 LBP 編碼時，參考點與中心點像素值的關係，定義如 2.2 式：. 1, 𝑃(𝑖) − 𝑃(0) > 𝜃 |𝑃(𝑖) − 𝑃(0)| ≤ 𝜃. 𝐿𝑇𝑃(𝑖) = { 0, −1,. (2.2). 𝑃(𝑖) − 𝑃(0) < −𝜃. 政治大. 其中 P(i)為參考點的像素值， P(0)為中心點的像素值， θ為選定的門檻值. 立. (threshold)。依此定義，每個參考點與中心點的關係有三種可能性(-1, 0, 1)，. ‧ 國. 學. 因此稱為區域三元化圖型。圖 2.4 為說明 LBP 受雜訊干擾，使得編碼誤差相當大的例子，同樣的情形若改成 LTP 的編碼方式，即可避免雜訊對編碼的影響，如. ‧. 圖 2.6 所示。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.7：LTP 的描述方式(θ=5). 圖 2.6 中，紅圈處的像素值雖受雜訊干擾改變，依照 LTP 的定義仍可得到同樣的編碼，由此例可看出，LTP 的確避免了 LBP 在某些情況之下雜訊干擾的問題，然而 LTP 的三元編碼方式，卻也使得樣式數量急劇上升。原始的 LBP(8,1) 有 28=256 種樣式，LTP(8,1)則劇增為 38=6561 種，可想而知，LTP 編碼的樣式比. 9.

(19) LBP 更多，直方圖稀疏的問題更為嚴重。為解決此問題，LTP 在編碼完成後，將其拆成兩組 LBP 編碼，其中一組為+1 的樣式，另一組則為-1 的樣式，如此一來，樣式的數量則可降為 2x28=512 種，如圖 2.7 所示。. 政治大圖立2.8：將 LTP 拆解為兩組 LBP. ‧ 國. 學. LTP 的設計是為了解決 LBP 抗噪能力不足的問題，同時卻也隨之產生一些. ‧. 負面的影響，如上述所提到的，為了解決樣式劇增的問題，將 LTP 拆解成兩組. sit. y. Nat. LBP 的過程中，可能又把原屬不同群的樣式，卻分到同一群的情形，如此作法所. al. er. io. 得到的特徵描述，是否真的優於 LBP 值得探討。再者，如何選取適合的門檻值. v. n. 懸而未決，在不同的情況下，適合的門檻值理應不同，固定門檻值的作法應當有值得改進之處。. Ch. engchi. i n U. 2.4 Extended Local Ternary Patterns, ELTP 針對 LTP 的缺失，有研究學者提出稱為延展式區域三元化圖型(Extended Local Ternary Patterns, ELTP)[6]的方法。首先，LTP 提出門檻值的選擇應與雜訊的強度有關，因此採用根據 local statistics 的方法，先算出每一個處理區塊內中心點與參考點的標準差(Standard Deviation)，再對標準差取一定的比例作為門檻值，如圖 2.8 所示。. 10.

(20) 圖 2.9：根據 local statistics 設定門檻值. 𝑃(𝑖) − 𝑃(0) > 𝜃. 𝐸𝐿𝑇𝑃(𝑖) = { 1,. |𝑃(𝑖) − 𝑃(0)| ≤ 𝜃. 0,. 𝑃(𝑖) − 𝑃(0) < −𝜃. 𝜃 =𝛼∗𝜎. (2.3). Nat. er. io. sit. y. ‧. 2,. 學. 如 2.3 式：. ‧ 國. 政治大 ELTP 的編碼方式跟立 LTP 很類似，依照上述的方法，將 ELTP 編碼方式定義. ELTP 的編碼流程為，先算出區塊內中心點與參考點的標準差，再乘上σ，. al. n. v i n 即可得到門檻值，接下來的過程皆與 C h LTP 相似，最後得到一組三元編碼，以圖 engchi U 2.9 為例，門檻值的計算方式為 25.94＊0.3=7.7(σ=0.3)。. 圖 2.10：ELTP 編碼流程. 11.

(21) 同樣地，ELTP 與 LTP 皆是三元化的編碼方式，需要處理樣式過多造成直方圖極為稀疏的問題，為此定義了幾種屬於 ELTP 的 uniform pattern，將樣式的數量降低至一千多種，相較於 LBP 的 58 種 uniform pattern，仍是相當龐大的數量，不足以解決直方圖稀疏的情況，因此 ELTP 再對 uniform pattern 利用 Spectral clustering[14]分群的演算法來降維，使樣式數量減為一百多種。. 然而，ELTP 在經過 uniform pattern 與 Spectral clustering 演算之後，對於圖型特徵的描述力必然會有影響，一個良好的降維方法也成為 ELTP 成敗的關鍵，. 政治大. 所以已有許多學者投入降維方式的研究，如[15]所提出的比例式降維法，即得到相當好的成效。. 立. ‧ 國. 學. 2.5 Extended Center-Symmetric Local Ternary Pattern, eCS-LTP. ‧. 同樣也是以 LTP 為基礎的一種的方法，稱為 eCS-LTP[16]。它改變 LTP 的. y. Nat. 取樣方式，強調區域中對稱像素點與中心像素點的關係。雖然 eCS-LTP 與本論. n. al. er. io. 它的定義如下所示：. sit. 文所提出的 CS-ELTP 皆以對稱取樣的方式做為出發點，但本質上是完全不同的，. Ch. engchi. i n U. v. 𝑒𝐶𝑆𝐿𝑇𝑃 (𝐷, 𝑇) = 𝑔(𝑝5 − 𝑝𝑐 , 𝑝𝑐 − 𝑝1 ) + 𝑔(𝑝7 − 𝑝𝑐 , 𝑝𝑐 − 𝑝3 ) × 3 2, 𝑥 > 𝑇 𝑎𝑛𝑑 𝑦 > 𝑇 𝑔(𝑥, 𝑦) = {0, 𝑥 < −𝑇 𝑎𝑛𝑑 𝑦 < −𝑇 1, 𝑒𝑙𝑠𝑒 (2.4). 上式以實際影像區塊為例，如圖 2.11 所示。可看出這樣的取樣方式雖然降低了 LTP 的維度，但僅以對稱像素點與中心像素點的變化關係做為依據，卻忽略了區域中周圍像素彼此之間的變化關係，這樣的取樣方式對於影像的描述顯得. 12.

(22) 不夠全面，本論文提出稱為混合式的描述方法，是一種將各種變化相關通盤考量的方法，將在後續的章節中說明。. 圖 2.11 eCS-LTP 的編碼流程. 立. 政治大. 2.6 其他各種降維方式. ‧ 國. 學. 2.6.1 合併直方圖相鄰樣式. n. al. er. io. sit. y. Nat. 所示。. ‧. 這是最直覺的一種作法，將直方圖上相鄰的兩個樣式直接合併，如圖 2.12. Ch. engchi. i n U. v. 圖 2.12：直接合併相鄰的樣式. 13.

(23) 此作法雖可達到降維的目的，但相鄰的兩個樣式並不一定是相似的，舉例而言，011111112 與 100000002 它們的十進位值分別為 127 與 128，因此在直方圖上是相鄰的樣式，但其實這兩個樣式是完全不同的，強制將此兩個樣式合併的作法並不合理，必然造成後續在辨識上的問題。. 2.6.2 減少樣本數量以 LBP 為例，在同樣的半徑下，加大取樣的間隔，例如 LBP(8,1)及 LBP(4,1)，如圖 2.13 所示。. 立. 政治大. ‧. ‧ 國. 學圖 2.13：LBP(4,1). sit. y. Nat. n. al. er. io. 然而，在相同半徑，而參考點卻只取一半的情況下，勢必會使描述力受到一定的影響。. Ch. engchi. i n U. v. 2.6.3 旋轉不變的特性(rotational-invariance) 顧名思義，此降維方法是將所有經過旋轉後，可得到相同結果的樣式歸為一類，此方法稱為 LBP-ROT[2]，如圖 2.14 所示。. 14.

(24) 圖 2.14：利用旋轉不變性得到的樣式. 政治大樣式數量降為 36 種。由實驗結果得知，此降維方法應用在材質分析上效果較佳，立以原始的 LBP 為例，樣式數量本為 28=256 種，利用旋轉不變的特性，可將. 其他應用如人臉辨識、表情辨識等，辨識效果大幅降低。. ‧ 國. 學 ‧. 以上所介紹的都是基於 LBP 所發展出來的各種變型描述子，目的在於改善. y. Nat. LBP 的缺失，進而提升其辨識力、抗噪力、以及處理效率。但通常改善的方式只. er. io. sit. 針對三者其中一項特別著墨，如 CS-LBP 雖然大幅提升了處理效率，但是犧牲的辨識力及抗噪力是不成比的。. n. al. Ch. engchi. i n U. v. 因此，本研究所提出的 CS-ELTP 亦是一種基於 LBP 變化而來的變型描述子，另外也參考了 ELTP 的三元編碼方式，發現三元編碼的抗噪力有顯著的提升，再搭配對稱的取樣方式將 ELTP 複雜的降維方式化繁為簡，期望能得到一種辨識力、抗噪力、處理效率皆均衡發展的描述子。. 15.

(25) 第三章中心對稱式延展區域三元化特徵描述子. 上一章相關研究所探討的所有關於區域化二元/三元的特徵描述方式，可以發現無論那一種編碼方法，為了解決樣式多而樣本少，而造成直方圖稀疏使得描述力不足，在辨識時比對困難的問題，皆利用不同的降維方式減少樣式的數量。雖然減少樣式是為了提高描述力，但降維的方式同樣也會對描述力造成影響，如直接合併直方圖相鄰的兩個樣式，這種不合理的降維方式，顯然對於描述力會有負面的影響。在物件辨識的應用中，圖像特徵的描述方式是影響辨識率最主要的. 政治大所要討論者，即為本研究所提出一種基於 ELTP 衍生出來的描述子，稱為中心對立. 因素，因此仍不斷有學者投入這方面的研究，以期能找到更有效的方法，而本章. ‧ 國. 學. 稱式延展區域三元化特徵描述子 (Center-Symmetric Extended Local Ternary Patterns, CS-ELTP)。. ‧. Nat. sit. y. 3.1 中心對稱式延展區域三元化圖型特徵描述子. n. al. er. io. 本研究所提出的中心對稱式延展區域三元化圖型特徵描述子. i n U. v. (Center-Symmetric Extended Local Ternary Patterns, CS-ELTP)，定義如 3.1 式：. Ch. engchi. 2, 𝑥>𝜃 𝑝 |𝑥| (𝑐) 1, ≤ 𝜃, 𝜃 = 𝑚𝑎𝑥{𝛼 × 𝜎, 𝜃𝑚𝑖𝑛 } CS-ELTP𝑃,𝑅 = ∑ 𝑠 (𝑔𝑝 − 𝑔𝑝+𝑃 ) 3 , 𝑠(𝑥) = { 2 0, 𝑥 < −𝜃 𝑝=0 𝑃−1. 0 < 𝛼 ≤ 1, 𝜎是區域對稱像素差值的標準差 (3.1) 由上式可知，CS-ELTP 是以 ELTP 為基礎架構，改變原本 ELTP 在編碼時，以區塊內中心點與周圍每個參考點比較的方式，而改為以周圍兩兩對稱的點互相比較，如圖 3.1 所示1。. 1. 此處的 standard deviation 的定義是做完 Pairwise difference 之後再做的統計。 16.

(26) 圖 3.1：CS-ELTP 的編碼方式. 政治大以此編碼的方式好處為編碼的樣式數量可降為 3 =81，相較於 ELTP 的立 4. 38=6561，本身樣式的數量已經在可接受的範圍內，無須如同 ELTP 為了降維而. ‧ 國. 學. 經過 uniform pattern 及 clustering 的繁瑣過程，並且依舊保留了 ELTP 對抗雜訊干. ‧. 擾的能力。. sit. y. Nat. io. al. er. 3.2 CS-ELTP 中的 Uniform Patterns. v. n. 如同延伸定義 LBP 的方式，CS-ELTP 同樣可以擴大取樣的半徑，將取樣的. Ch. engchi. i n U. 點數增加，舉例來說，原始的 CS-ELTP 取樣半徑為 1，取樣的點數為 8，樣式數量為 34=81；若將取樣半徑擴大為 2，則取樣的點數增加為 16，此時 CS-ELTP 的樣式數量為 38=6561，與原始的 ELTP 具有相同的樣式數量。. 在 ELTP 中，Uniform Pattern 是相當重要的一個性質，藉由 Uniform Pattern 將樣式數量從 6561，降至剩下一千多種。因此，本研究將在下一章討論 CS-ELTP 中，類似 ELTP 所定義的 Uniform Pattern 是否存在。. 17.

(27) 3.3 Spectral Clustering 分群演算法分群(Clustering)，簡單地說，即是將相似的東西分類到同一群中，相較於分類(Classification)，不同之處在於分類需要訓練樣本(Training sample)進行學習，而分群則不需要，分群演算法只需知道如何計算相似度即可開始進行分群。一般把需要提供訓練樣本的過程稱為監督式學習(supervised learning)，不需要提供訓練樣本的則稱為非監督式學習(unsupervised learning)。. 政治大兩種，從這兩種分群法又可再細分為不同的類型，如圖 3.2 所示。立. 分群可概分為階層式(Hierarchical Clustering)與切割式(Partitional Clustering). ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.2：分群演算法的類型. 本研究使用 Spectral Clustering 分群演算法，此演算法是用圖論(Graph Theory) 的角度來看分群，把要分群的資料視為一個有權重的無向圖(Undirected weight graph)，一個節點代表一筆資料，邊上的權重代表資料間的相似度，分群就是要把圖形切成數個不相交的子圖(如圖 3.3)，讓同一子圖內有著較高的權重值，而不同子圖間的權重值則較低。. 18.

(28) 圖 3.3 圖形切割示意圖. 利用 Spectral Clustering 對 CS-ELTP 的樣式做分群的動作，可找出屬於同一群的樣式，以達到降維的目的，但在 CS-ELTP(8,1)中並未使用分群的方法，因為 CS-ELTP(8,1)本身的樣式數就已經不多，僅討論是否有 uniform pattern 存在，但. 政治大. 在延伸定義的 CS-ELTP 中，如 CS-ELTP(16,2)的樣式數為 38=6561，才需要對樣. 立. 式做分群。. ‧ 國. 學. 3.4 分類方法及材質影像來源. ‧. 先前針對 ELTP 的效能研究，都是以直方圖向量搭配 Support Vector Machine. y. Nat. sit. (SVM)作為分類的基礎，本研究中為將效能比較的重點放在描述子(descriptor)上. n. al. er. io. 面，所以在圖型辨識的應用上，將改採最近鄰點(Nearest Neighbor, NN)演算法，. i n U. 排除因為分類器而帶來的效果，它的定義如 3.2 式：. Ch 2. engchi. 𝜒 = ∑𝑖. v. (𝑅𝑖 −𝑆𝑖 )2 𝑅𝑖 +𝑆𝑖. (3.2). 其中χ2(Chi square distance)定義為影像 R 與影像 S 的特徵向量距離，i 為影像特徵中的樣式編碼，Ri 及 Si 分別為影像 R 及影像 S 中，該編碼出現的數量。 χ2 越小，代表兩張影像的特徵越相近。. 19.

(29) 在紋理影像的來源部分，也將使用數量更多、內容更多元的 Outex 影像資料庫[12]，使得評估的結果更具說服力，圖 3.4 所示即為來自影像資料庫其中一部分紋理影像。. 圖 3.4：Outex 紋理影像. 學. ‧ 國. 立. 政治大. ‧. 3.5 CS-ELTP 的 Uniform pattern. y. Nat. er. io. sit. 3.5.1 Uniform pattern 代表的意義. 對 LBP 與 ELTP 而言，它們的取樣方式是以一個像素為中心點，與其周圍. al. n. v i n 像素點比較之間的關係，若得到的編碼中每個 digit 相當一致，則可稱此編碼為 Ch engchi U uniform，也代表這個中心點的周圍像素與它的關係幾乎都是相同的。. 如圖 3.5 為影像中的不同的兩個區塊，(a)以 LBP 取樣所得到的編碼為 11000000，圖中可以看出幾乎所有中心點周圍的像素值都是較暗的(像素值小於中心點)；(b)以 LBP 取樣所得到的編碼為 11110011，圖中可看出幾乎所有中心點周圍的像素值都是較亮的(像素值大於中心點)。. 20.

(30) (a). (b). 學. 圖 3.5 LBP uniform pattern 表示的意義. ‧. ‧ 國. 立. 政治大. y. Nat. CS-ELTP 的取樣方式是以中心點周圍的對稱像素兩兩相互比較，因此像素. er. io. sit. 值的變化關係跟中心點無關，若得到的編碼中每個 digit 相當一致，表示這些周圍像素分為對稱兩部分變化關係幾乎是相同的，且 CS-ELTP 是三元編碼，所代. n. al. Ch. 表的意義分為以下三種情況做說明。. engchi. i n U. v. 如圖 3.6 為影像中不同的三個區塊，(a)以 CS-ELTP 取樣所得到的編碼為 1222，圖中可以看出這種型式的 uniform pattern，區塊中下半部皆比上半部亮很多(下半部的像素值高於上半部像素值超過 threshold)；(b) 以 CS-ELTP 取樣所得到的編碼為 2111，圖中可以看出這種型式的 uniform pattern，區塊中的下半部與上半部像素值相當接近(上下半部像素值相差不超過 threshold)；(c) 以 CS-ELTP 取樣所得到的編碼為 0000，圖中可看出這種型式的 uniform pattern，區塊中的上半部皆比下半部亮很多(下半部的像素值低於上半部像素值超過 threshold)。. 21.

(31) (a). 政治大. 立. ‧. ‧ 國. 學. (b). n. er. io. sit. y. Nat. al. Ch. (c). engchi. i n U. v. 圖 3.6 CS-ELTP uniform pattern 表示的意義. 以上說明了 uniform 的概念，而每個描述子的取樣方式及維度皆不相同，因此在不同的描述子中符合 uniform 的條件是不一樣的，須由描述子本身的特性來賦予 uniform 定義，若定義的這些 pattern 以相當高的比例超過其餘 pattern，大量出現在材質影像中，則足以代表影像的特徵，稱之為 uniform pattern。. 3.5.2 LBP 中的 Uniform pattern. 22.

(32) LBP 是由芬蘭學者 Ojala 等所提出的，在他們的實驗中，發現 LBP 從紋理影像中所取得的 pattern，特定型式的 pattern 大量的出現，這些 pattern 的共通點在於環狀的二元編碼中，相鄰的 digit 最多只有兩次的轉換，如圖 3.7 所示。. 圖 3.7 LBP(8,1)的 uniform pattern. 政治大. 在 LBP 總共 256 種 pattern 中，有 58 種屬於 uniform pattern，比例約為 23%，. 立. 這 58 種 uniform pattern 在 LBP(8,1)出現的比例最高約 90%，在 LBP(16,1)最高約. ‧ 國. 學. 70%。其他非 uniform pattern 出現的比例低，較不具描述力，因此將這些 pattern 合併視為一種 pattern，與 58 種 uniform pattern 合計共 59 維的特徵向量，與未使. ‧. 用 uniform pattern 的 256 維明顯降低很多，且依舊保持良好的描述力。. sit. y. Nat. n. al. er. io. 3.5.3 CS-ELTP 中的 Uniform pattern. i n U. v. 在 CS-ELTP(8,1)中總共有 81 種 pattern，要從這 81 種 pattern 中找出部分特. Ch. engchi. 定的 pattern 是否大量出現在材質影像中。本研究設定了兩種定義的 uniform pattern，從 240 張材質影像取得樣本(圖 3.8)，得到共 15876 個樣本數，統計所得到的數據，分別探討是否符合 CS-ELTP 的 uniform pattern。. 23.

(33) 圖 3.8 部分 uniform pattern 實驗影像. 政治大. 定義一(UCS-ELTP1)：在環狀的三元編碼中，相鄰 digit 最多只有 2 次變換。例. 立. 如：1110、1221，如圖 3.9 所示。在 81 種 pattern 中有 39 種符合定義一的 pattern，. ‧ 國. 學. 比例約為 48%。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.9 定義一 uniform pattern 範例. 使用定義一所得到的樣式與對應之出現次數如表 3.1：. 24.

(34) 樣式編碼. 0000. 0001. 0002. 0010. 0011. 0020. 0022. 0100. 出現次數. 1152. 1030. 320. 78. 383. 24. 286. 181. 樣式編碼. 0110. 0111. 0200. 0220. 0222. 1000. 1001. 1011. 出現次數. 101. 255. 17. 26. 227. 653. 343. 61. 樣式編碼. 1100. 1101. 1110. 1111. 1112. 1121. 1122. 1211. 出現次數. 398. 106. 146. 216. 90. 74. 334. 75. 樣式編碼. 1221. 1222. 2000. 2002. 2022. 2111. 2112. 2122. 出現次數. 252. 573. 174. 樣式編碼. 2200. 2202. 出現次數. 312. 26. 立. 2221. 2222. 284. 933. 995. 82. 325 11082 70%. io. y. sit. Nat. 表 3.1 定義一實驗結果. er. ‧ 國. 91. ‧. 出現比例. 166. 學. 合計次數. 政 37治 23大 2211 2212 2220 233. al. 定義二(UCS-ELTP2)：在環狀的三元編碼中，相鄰兩 digit 間的 Hamming distance. n. v i n Ch 總和不超過 2。例如：1001、2111，如圖 i U 81 種 pattern 中有 27 種 e n g3.10 c h所示。在符合定義一的 pattern，比例約為 33%。. 圖 3.10 定義二 uniform pattern 範例. 25.

(35) 使用定義二所得到的樣式與對應之出現次數如表 3.2：. 樣式編碼. 0000. 0001. 0010. 0011. 0100. 0110. 0111. 1000. 1001. 出現次數. 1152. 1030. 78. 383. 181. 101. 255. 653. 343. 樣式編碼. 1011. 1100. 1101. 1110. 1111. 1112. 1121. 1122. 1211. 出現次數. 61. 398. 106. 146. 216. 90. 74. 334. 75. 樣式編碼. 1221. 1222. 2111. 2112. 2122. 2211. 2212. 2221. 2222. 出現次數. 252. 573. 166. 91. 174. 284. 82. 933. 995. 合計次數. 立. 出現比例. 9226 政治大 58%. ‧ 國. 學. 表 3.2 定義二實驗結果. ‧. 從以上兩個定義的結果可以觀察到，符合定義一的 pattern 有 39 種，約佔所. sit. y. Nat. 有 pattern 的 48%，這些 pattern 在所有測試材質影像取得的樣本中，出現的比例. io. er. 約為 70%。符合定義二的 pattern 有 27 種，約佔所有 pattern 的 33%這些 pattern. al. 在所有測試材質影像取得的樣本中，出現的比例約為 58%。相較於 LBP 的 58 種. n. v i n uniform pattern，佔所有 patternC 的h 23%，卻在材質影像的樣本中出現比例高達 90% engchi U 的情況看來，CS-ELTP 的 uniform pattern 定義似乎不那麼具代表性，但尚在可接. 受的範圍，因此我們依舊以定義二作為 CS-ELTP 的 uniform pattern 來實驗其辨識效果。. 26.

(36) 第四章材質影像分類實驗. 此章節要說明的是以本研究所提出的特徵描述子與其他三種主要的特徵描述子(LBP、CS-ELTP、LTP)在各種不同的條件之下的辨識效果做比較，材質影像來源是芬蘭 Oulu 大學一個稱為 Outex 的影像資料庫[12]其中的一個 test suite，共有 24 種不同類別的材質影像(圖 4.1)，且每張影像大小同為 128x128 像素，光源位置、旋轉角度皆固定，性質最單純的一組材質影像，實驗結果將在接下來的各小節呈現。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4.1 Outex 影像資料庫中做為實驗影像的部分影像. 4.1 原始取樣定義描述子的材質分類在實驗設定方面，本次實驗的材質影像分為 24 種不同的類別，每種類別有 20 張影像，所以總共有 480 張影像，再將每種類別的 20 張影像取其中 10 張為 27.

(37) 訓練樣本，另外的 10 張為測試影像，因此可得到 240 張的訓練樣本，以及 240 張的測試影像。在實驗方法方面，分別以 LBP、CS-LBP、LTP、CS-LTP2特徵描述子對每張影像做取樣，取得每張影像以上述四種特徵描述子所描述的特徵編碼。本次實驗中，所取得的編碼將不經過任何降維的方法，僅比較描述子本身取樣方式對於影像的描述力，經過降維的描述子通常使用了各自定義的降維方法，如 uniform pattern、直接直方圖合併、Spectral clustering 分群等，所得到的辨識率摻雜了降維方法影響，並無法單純代表取樣方法的優劣。. 政治大其中必須特別強調的是，本實驗中使用的為 LTP 及 CS-LTP，切勿與 ELTP 立. 及 CS-ELTP 發生混淆，未降維的取樣方式在 ELTP 及 CS-ELTP 中是沒有定義的，. ‧ 國. 學. 因此在本次實驗中未降維的三元編碼方式，只能分別稱為 LTP、CS-LTP，並非. ‧. ELTP、CS-ELTP。. y. Nat. er. io. sit. 在影像辨識方面，為了將效能比較的重點放在特徵描述子上，所以不採用分類器，而採用最近鄰點(Nearest Neighbor, NN)演算法，排除因為分類器帶來的效. al. n. v i n 果。利用 Nearest Neighbor 演算法，算出每張測試影像(圖 4.2)與 240 張的訓練樣 Ch engchi U 本的 Chi square distance，距離最近的影像若為同類別的影像(圖 4.3)，即代表辨. 識正確。. 圖 4.2 測試影像. 2. 因本次實驗使用原始的編碼定義，未經過降維方法，因此稱 LTP，而不稱 ELTP。 28.

(38) 圖 4.3 10 張同類別的訓練樣本. 政治大源及旋轉的角度皆為固定的，因此本次實驗環境非常單純，沒有其他外在的變數，立在影像屬性方面，本次實驗所選擇的影像皆為沒有雜訊的影像，且影像的光. 得到的測試結果應可代表特徵描述子本身對於影像的描述力。. ‧ 國. 學 ‧. 本次的實驗結果如圖 4.4 所示，四種特徵描述子的辨識率由高到低分別為：. y. Nat. LTP(91.25%)、LBP(91.25%)、CS-LTP(88.33%)、CS-LBP(77.92%)。由此實驗結. er. io. sit. 果可看出，CS-LTP 與 CS-LBP 由於較少的取樣數，影響了對影像的描述力，得到了較低的辨識率，的確符合實驗前的推測，但 CS-LTP 的辨識率仍舊優於. n. al. CS-LBP。. Ch. engchi. 29. i n U. v.

(39) 95 91.25. 91.25. Accuracy(%). 90. 88.33. 85. 80. 77.92. 75. 70 LTP-6561. LBP-256. CS-LTP-81. CS-LBP-16. 政治大. 圖 4.4 材質辨識實驗結果. 立. ‧ 國. 學. 4.2 經過降維描述子的材質分類. 在先前的實驗中，為了單純比較編碼方式的優劣，各特徵描述子皆僅以最原. ‧. 始的取樣定義編碼之後，即進行辨識的實驗，因此特徵描述子之間的維度差距甚. sit. y. Nat. 大，最小者如 CS-LBP 僅 16 維；最大者如 LTP 高達 6561 維，發現維度高的描. n. al. er. io. 述子雖然會有直方圖稀疏的問題，但辨識力仍舊優於維度低的描述子。. Ch. engchi. i n U. v. 本次實驗的設定則是考量經過降維方法後的描述子，當維度高的描述子經過降維方法使得維度與維度低的描述子相近之後，各描述子之間的辨識力將會如何變化，藉以了解降維方法對於描述力的影響。. LBP 利用 Ojala 所定義的 uniform pattern 將 LBP(8,1)的 256 維，降成 59 維； ELTP 同樣先利用 Uniform Pattern 將維度降成一千多維之後，再利用 Spectral Clustering 將相似的樣式分成 128 群，也就是最後剩下 128 維；CS-ELTP 雖然在先前 uniform pattern 實驗的結果不甚理想，沒有很明顯的 uniform pattern，但在本次實驗中依舊使用第四章中定義二的 uniform pattern 觀察辨識率的變化，經降 30.

(40) 維後的 CS-ELTP 為 28 維；CS-LBP 本身的取樣已是一種降低維度的方式，並沒有定義其他的降維方法，因此依舊保持 16 維。. 實驗結果如圖 4.5 所示，四種特徵描述子的辨識率由高到低分別為： ELTP(92.5%)、LBP(90%)、CS-ELTP(85.42%)、CS-LBP(77.92%)。由此實驗結果可以發現，經過降維的 ELTP 辨識率是有提升的，而同樣經過降維的 LBP 以及 CS-ELTP 辨識率則是略微下降，各描述子在經過降維後辨識率的變化情形如圖 4.6 所示。. 95. 立. 92.5. 政治大 90 85.42. 85 80. y. sit. al. n. ELTP-128. LBP-59. Ch. CS-ELTP-28. engchi. er. io. 70. Nat. 75. 77.92. ‧. ‧ 國. 學. Accuracy(%). 90. v. CS-LBP-16. i n U. 圖 4.5 比較不同降維方式的辨識結果. 31.

(41) 95 91.25. 92.25. 91.25. 90. Accuracy(%). 90. 88.33. 85.42 85. 80. 77.92 77.92. 75. 70 LTP-6561 ELTP-128. LBP-256 LBP-59. 原始定義. CS-LTP-81 CS-ELTP-28 CS-LBP-16 CS-LBP-16. 經過降維. 政治大. 圖 4.6 原始定義與經過降維的辨識率變化. 立. 從圖 4.6 可以觀察到，經過降維的各描述子，只有 ELTP 的辨識率是上升的，. ‧ 國. 學. 因為未經降維的 ELTP 維度高達 6561，造成直方圖稀疏的問題嚴重，使得描述. er. io. sit. y. Nat. 象。. ‧. 力大受影響，因此在降維後，解決了直方圖稀疏的問題，辨識率反而有提升的現. 原始定義的 LBP 維度為 256，雖然也有些微直方圖稀疏的問題，但因為樣本. al. n. v i n 數夠多，直方圖稀疏對描述力的影響並不明顯，因此在降維後，反而因為維度降 Ch engchi U. 低所犧牲的描述力多於直方圖稀疏問題的描述力，使得辨識率略為下降，但由於 LBP 的 uniform pattern 出現比例相當高，所以縱使維度從 256 維降到 59 維，辨識率僅差距 1.25%，幾乎是在不影響描述力的情況下，卻可大幅提升處理速度。. 未經降維的 CS-ELTP 維度為 81，相較於 ELTP 及 LBP，本身維度已經不高，且 27 個 uniform pattern 僅佔總樣式數的 58%，不若 LBP 的 uniform pattern 佔總樣式數的 90%，降維後對描述力的影響較大，辨識率下降了 2.91%，但若就辨識的效率考量，CS-ELTP 每個 pattern 只須處理 28 個維度，是 LBP 處理量的 50%，. 32.

(42) 但 CS-ELTP 的辨識率僅較 LBP 少了 4.68%，以此觀點來看，CS-ELTP 依舊還是有它的競爭優勢。. 4.3 抗噪力實驗在先前的章節中，介紹了 CS-ELTP 在材質影像分類中的表現，此章節的實驗目的在於測試 CS-ELTP 對於雜訊的抵抗能力，在材質影像受不同程度的雜訊干擾的之下(圖 4.7)，辨識率的變化程度情形，並與其他描述子作比較。. 立. 政治大. ‧. ‧ 國. 學. 圖 4.7 左圖為無雜訊影像，右圖為加入高斯雜訊影像. sit. y. Nat. al. er. io. 4.3.1 抗噪力實驗一：材質加入強度 20dB 高斯雜訊後的辨識實驗. v. n. 本次實驗中的影像來源，使用同樣的一組 test suite，各描述子依照他們各自. Ch. engchi. i n U. 的降維方法取得編碼，唯一的變化是將影像加入了固定強度的高斯雜訊(20dB)，這樣的變數控制是為了測試特徵描述子對於抗雜訊的能力。. 本次的實驗結果如圖 4.8 所示，四種特徵描述子的辨識率由高到低分別為： ELTP(86.67%)、LBP(81.67%)、CS-ELTP(80.42%)、CS-LBP(67.92%)。在加入雜訊之後，所有特徵描述子的辨識率皆是下降的情況。. 33.

(43) 100 86.67. 90. 81.67. 80.42. 80 67.92. Accuracy(%). 70 60 50 40 30 20 10 0 ELTP-128. LBP-59. CS-ELTP-28. CS-LBP-16. 政治大. 圖 4.8 高斯雜訊(20dB)影像的實驗結果. 立. 雖然辨識率的排名依舊不變，但從辨識率變化下降的幅度可以看出各個描述. ‧ 國. 學. 子對於抗雜訊能力的不同，從圖 4.9 可明顯看出辨識率下降幅度由高到低分別為. 80. sit. al. 70. Accuracy(%). 90. 86.67. Ch. iv 80.42 n U. 77.92. CS-ELTP-28. CS-LBP-16. 85.42. 81.67. engchi. er. 92.5. n. 90. io. 100. y. Nat. 降約 5%)。. ‧. CS-LBP(下降約 10%)、LBP(下降約 8.33%)、ELTP(下降約 5.83%)、CS-ELTP(下. 67.92. 60 50 40 30 20 10 0 ELTP-128. LBP-59 0dB. 20dB. 圖 4.9 加入高斯雜訊(20dB)辨識率變化情況. 34.

(44) 4.3.2 抗噪力實驗二：材質加入強度 40dB 高斯雜訊後的辨識實驗承續上個實驗，本次實驗將雜訊強度增加為 40dB，目的在於測試當影像受更嚴重的雜訊干擾時，三元編碼的抗雜訊能力是否會更明顯優於二元編碼的描述子，亦或是在嚴重雜訊的影像中，三元編碼的抗噪表現會不如預期。. 本次的實驗結果如圖 4.10 所示，四種特徵描述子的辨識率由高到低分別為： ELTP(80.42%)、LBP(75.42%)、CS-ELTP(75%)、CS-LBP(60.83%)。在提高雜訊強度之後，所有特徵描述子的辨識率受到更多的雜訊影響，表現皆不佳。. 90. 立. 80.42. 80. y. al. n. 0. io. 10. sit. 20. Nat. 30. 60.83. er. 40. ‧ 國. 50. 75. ‧. Accuracy(%). 60. 75.42. 學. 70. 政治大. Ch. ELTP-128. LBP-59. CS-ELTP-28. engchi. i n U. v. CS-LBP-16. 圖 4.10 加入高斯雜訊(40dB)辨識率變化情況. 在提高雜訊強度後，辨識率的排名依舊不變，但其中值得注意的是，LBP 與 CS-ELTP 的辨識率在雜訊增加的情況下越來越接近，從圖 4.11 可明顯看出辨識率下降幅度由高到低分別為 CS-LBP(下降約 17.09%)、LBP(下降約 14.58%)、 ELTP(下降約 12.08%)、CS-ELTP(下降約 10.42%)。. 35.

(45) 100. 92.5. 90. 90 80.42. 85.42. 75.42. 80. 77.92. 75. Accuracy(%). 70. 60.83. 60 50 40 30 20 10 0 ELTP-128. LBP-59. CS-ELTP-28. 0dB. CS-LBP-16. 40dB. 政治大. 圖 4.11 加入高斯雜訊(40dB)辨識率變化情況. 立. 觀察以上兩次實驗的結果，可以發現三元編碼的描述子，對於雜訊的抵抗能. ‧ 國. 學. 力確實是優於二元編碼的描述子，且在雜訊越嚴重的影像中優勢越明顯，圖 4.12. 80. sit. al. Accuracy(%). 70. 90. Ch. 81.67 75.42. i n 75 U. 85.42 80.42. engchi. er. 92.5 86.67 80.42. n. 90. io. 100. y. Nat. 高。. ‧. 顯示在雜訊強度越高的情況下，二元編碼的辨識率下降幅度要比三元編碼來的. v. 77.92 67.92 60.83. 60 50 40 30 20 10 0 ELTP-128. LBP-59 0dB. CS-ELTP-28. 20dB. 40dB. 圖 4.12 不同雜訊強度的辨識率下降情況. 36. CS-LBP-16.

(46) 4.3.3 抗噪力實驗三：比較降維前後的抗噪力前兩次抗噪力實驗中，使用的是經過降維的描述子，各描述子經過自行定義的降維方法降維，得到三元編碼描述子抗噪力優於二元編碼描述子的結果。然而，本論文所提出的 CS-LTP，以原始定義的取樣方式所得到的維度僅 81 維，且所定義的 uniform pattern 代表性並不理想，若是經 uniform pattern 降維後失去它應有的抗噪力表現，CS-LTP 是否需要降維成為值得思考的問題。因此，本次實驗最主要的目的，在於比較各描述子在降維前後的抗噪力表現差異，藉以討論各描述子降維的必要性。. 政治大本次的實驗分別以雜訊強度 20dB 及 40dB 做為測試條件，圖 4.13 顯示未降立. 維描述子在雜訊強度 20dB 的辨識率；圖 4.14 顯示未降維描述子在雜訊強度 40dB. Accuracy(%). 50 40. ‧ 國. sit. y. 83.75. 67.92. al. n. 60. io. 70. 86.25. 85.42. er. 80. Nat. 90. ‧. 100. 學. 的辨識率。. Ch. 30. engchi. i n U. v. 20 10 0. 20dB LTP-6561. LBP-256. CS-LTP-81. CS-LBP-16. 圖 4.13 未降維描述子辨識率(20dB). 37.

(47) 90 79.58. 80. 82.08. 78.75. 70. 60.83. Accuracy(%). 60 50 40. 30 20 10 0. 40dB. 政治大. 圖 4.14 未降維描述子辨識率(40dB). 立. 觀察兩個實驗結果，可以發現理應抗噪能力較佳的三元編碼 LTP，在未降維. ‧ 國. 學. 時的辨識率反而不如二元編碼的 LBP，且雜訊越多差距越明顯，造成的原因歸究. ‧. 於未降維 LTP 的 6561 維度過高，直方圖非常的稀疏，因此當原始影像稍微受一. er. io. sit. y. Nat. 點雜訊干擾，就很有可能對所得到的 Chi square distance 造成相當大的影響。. 本論文所提出的 CS-ELTP 原始維度為 81 維，雖然在兩次實驗中，帳面上的. al. n. v i n 辨識率略低於 LTP 及 LBP，但以相對低於 LTP 及 LBP 好幾倍的維度來說，辨識 Ch engchi U 率僅降低幾個百比分，是相當不錯的結果。. 另外，同樣以對稱取樣方法的 CS-LBP，在各種情況下的辨識率皆遠遜於本論文所提出的 CS-LTP，雖然它的維度是最低的，但是過低的維度犧牲了太多的辨識力，無法在效能與辨識力之間取得可接受的平衡。. 圖 4.15 與圖 4.16 分別為降維前後的描述子，在雜訊強度 20dB 及 40dB 的條件下的辨識率結果比較。從這兩張圖表可以明顯觀察到，除了 ELTP 降維前維度. 38.

(48) 過高的問題，造成即使是三元編碼，抗噪能力卻反而低於二元編碼的 LBP 之外，同樣身為三元編碼的 CS-ELTP，無論在降維前後的抗噪表現，皆呈現出在雜訊越多的情況下，辨識率下降程度越低的結果。. 100 90. 85.42 86.67. 86.25. 81.67. 83.75. 80.42. 80 67.92 67.92. 60 50. 40 30 20. 立. 10 0. y. 79.58 80.42. al. 82.08 75.42. 78.75. 50. sit. ‧ 國 Accuracy(%). ‧. 60. 降維後. n. 70. CS-LTP-81 CS-ELTP-28 CS-LBP-16 CS-LBP-16. 圖 4.15 降維前後描述子辨識率(20dB). io. 80. 降維前. Nat. 90. LBP-256 LBP-59. 學. LTP-6561 ELTP-128. 政治大. 75. er. Accuracy(%). 70. Ch. engchi. i n U. v. 60.83 60.83. 40 30 20 10 0 LTP-6561 ELTP-128. LBP-256 LBP-59. 降維前. CS-LTP-81 CS-ELTP-28 CS-LBP-16 CS-LBP-16. 降維後. 圖 4.16 降維前後描述子辨識率(SNR=40). 39.

(49) 4.3.4 辨識錯誤原因探討在前面章節的兩次實驗中，第一次使用未降維的描述子，純粹以原始的取樣定義比較編碼方法，除了 CS-LBP 之外，其他的描述子皆有九成左右的辨識率，辨識效果算是相當不錯。第二次實驗使用各描述子的降維方法降維後，只有 ELTP 的辨識率略微提升，其他描述子的辨識率皆是稍遜於降維前，如圖 4.17 所示。. 95 91.25. 92.25. 91.25. 90 88.33 85.42. 85. 立. 80. 77.92 77.92. LTP-6561 ELTP-128. LBP-256 LBP-59. 原始定義. ‧. 70. 政治大. 學. 75. ‧ 國. Accuracy(%). 90. CS-LTP-81 CS-ELTP-28 CS-LBP-16 CS-LBP-16. Nat. y. 經過降維. er. io. sit. 圖 4.17 原始定義與經過降維的辨識率變化. al. n. v i n 在抗噪力的兩次實驗中，第一次加入雜訊強度 20dB Ch engchi U. 的高斯雜訊後，除了. CS-LBP 以外，其餘描述子皆維持八成以上的辨識率；第二次加入雜訊強度 20dB 的高斯雜訊，剩下 ELTP 有八成以上的辨識率，兩次實驗的辨識率結果如圖 4.18 所示。. 40.

(50) 100 90. 86.67 80.42. 80. 81.67. 80.42. 75.42. 75 67.92. Accuracy(%). 70. 60.83. 60 50 40 30 20 10 0 ELTP-128. LBP-59. CS-ELTP-28. 20dB. CS-LBP-16. 40dB. 政治大. 圖 4.18 兩次抗噪力實驗結果. 立. 除了 CS-LBP 的辨識率差距較大，其餘描述子的還算不錯，但對於那些少數. ‧ 國. 學. 發生辨識錯誤的影像，它們發生辨識錯誤的原因值得我們探討。因此，在觀察許. ‧. 多辨識錯誤的影像之後，將從四次實驗中分別取出幾個較具代表性的辨識錯誤結. y. sit. io. er. 有跡可尋。. Nat. 果做說明，分析這些辨識錯誤的影像之間是否具有關聯性，錯誤產生的原因是否. al. n. v i n 首先提出討論的這組辨識錯誤結果案例，從外觀上就很難分辨是否屬於同類 Ch engchi U. 別的影像，測試的材質影像如圖 4.19 所示。. 圖 4.19 測試影像. 41.

(51) 在與 240 張訓練樣本分別計算 Chi square distance 之後，得到距離最小的是一張並不屬於同類別的影像(圖 4.20)。. 圖 4.20 辨識錯誤結果. 政治大比較圖 4.19 及圖 4.20 兩張影像，可以看出是非常相似材質表面影像，即便立. 人類來做辨識也很難斷定是否來自於同樣的材質表面。在訓練樣本中，真正與測. ‧ 國. 學. 試影像同類別的影像如圖 4.21 所示。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4.21 與測試影像同類別的 10 張影像. 因此，這類型的辨識錯誤結果是可以從外觀上理解的，雖然實際上分屬不同類別的材質，但材質之間的性質相似度極高，容易造成混淆。圖 4.22 顯示的是圖 4.19 的測試影像與 240 張訓練樣本之間的 Chi square distance。. 42.

(52) 100 90. Chi square distance. 80 70 60 50 40 30 20 10 1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 181 190 199 208 217 226 235. 0. Training image number. 政治大. 圖 4.22 測試影像與 240 張訓練樣本之間的 Chi square distance. 立. 圖 4.22 的直方圖中，水平軸為訓練樣本的編號，其中編號 191 到 200 是跟. ‧ 國. 學. 測試影像同類別的 10 張影像(即圖 4.21)，辨識錯誤結果為編號 183 的影像(圖 4.20)。. ‧. 從圖中可以觀察到，編號 181 到 190 這個類別的 Chi square distance 皆與測試影. y. sit. io. er. 況。. Nat. 像非常接近，其中編號 183 這張影像算出的距離最小，因而造成辨識錯誤的情. al. n. v i n 接著討論的這組辨識錯誤結果案例，無法從外觀上找出相似之處，以人類的 Ch engchi U. 角度作判斷，應該可以分辨出並不屬於同類別的材質表面，圖 4.23 為測試影像。. 圖 4.23 測試影像. 43.

(53) 在與 240 張訓練樣本分別計算 Chi square distance 之後，得到距離最小的是一張並不屬於同類別的影像(圖 4.24)。. 圖 4.24 辨識錯誤結果. 政治大比較圖 4.23 及圖 4.24 兩張影像，可以發現兩種材質表面的紋理分佈並不相立. 同，但辨識結果卻認為它們屬於同一個類別。在訓練樣本中，真正與測試影像同. ‧ 國. 學. 類別的影像如圖 4.25 所示。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4.25 與測試影像同類別的 10 張影像. 這類型的錯誤並無法從外觀直接理解發生錯誤的原因，圖 4.26 為測試影像與 240 張訓練樣本的 Chi square distance。. 44.

(54) 140. Chi square distance. 120 100 80 60 40 20. 1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 181 190 199 208 217 226 235. 0. Training image number. 政治大. 圖 4.26 測試影像與 240 張訓練樣本之間的 Chi square distance. 立. 圖 4.26 的直方圖中，水平軸為訓練樣本的編號，其中編號 141 到 150 是跟. ‧ 國. 學. 測試影像同類別的 10 張影像(即圖 4.25)，辨識錯誤結果為編號 171 的影像(圖 4.24)。. ‧. 雖然測試影像與錯誤結果影像在外觀上明顯有差異，兩者之間的 Chi square. y. Nat. distance 卻最接近，因此將這兩張影像的特徵直方圖列出做比較，觀察錯誤發生. n. al. er. io. sit. 的原因(圖 4.27)。. 7000 6000. Ch. engchi. i n U. v. 5000 4000 3000 2000 1000 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28. 特徵向量測試影像. 錯誤結果影像. 圖 4.27 特徵直方圖. 45.

(55) 觀察圖 4.27 的特徵直方圖，可以發現兩張影像的特徵直方圖竟然十分相似，也因此造成它們的 Chi square distance 會如此接近的原因。我們同樣將訓練樣本中與測試影像同類別影像的特徵向量列出，如圖 4.28 所示。. 7000 6000 5000 4000 3000 2000 1000. 0. 立. 政治大特徵向量. 測試影像. 同類別影像. 學. ‧ 國. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28. ‧. 圖 4.28 訓練樣本中與測試影像同類別影像. y. Nat. er. io. sit. 從圖 4.28 的特徵直方圖，可以觀察到呈現的樣貌與圖 4.27 是類似的，如果沒有圖 4.27 這樣的結果出現，應該圖 4.28 才是正確的辨識結果，然而卻意外的. al. n. v i n 在不同類別的影像，取得了類似的特徵，甚至得到的 Chi square distance 比同類 Ch engchi U 別的影像還要來的小。. 最後一種辨識錯誤情形發生的機率並不高，在偶然的狀況下才會形成這種錯誤，發生的主因在於描述子對特徵的描述沒有考慮到空間，僅以影像整體的像素值取樣得到特徵向量，至於這些像素值分佈在影像上的什麼位置則無法描述，因此當兩張影像擁有相似的像素值，即使分佈的位置不相同，還是有可能得到相同的特徵描述，造成錯誤的辨識結果，想要改善此類的錯誤，必須將空間分佈的因素納入考量，而最常使用的方式就是取用小塊區域(sub-region) 進行比對。. 46.

(56) 在本章節的最後，我們重新檢視某些辨識率較低的情況，由於目前辨識的條件是很嚴苛的，在比對 Chi square distance 時只取最小的為正確結果，因此某些辨識錯誤的情況可能與正解僅僅些微的差距，我們嘗試將辨識的條件放寬為取 Chi square distance 的前三名，並觀察辨識率的變化情形。. 首先針對 4.3.2 節的抗噪力實驗辨識結果，找出各描述子的辨識錯誤結果中，正確結果排在三名內的比例，結果如表 4.1 所示。. CS-ELTP-28 政治大 33.87% 立48.21%. ELTP-128. LBP-59. 42.86%. CS-LBP-16 31.87%. 表 4.1 辨識錯誤結果中正確結果在前三名的比例. ‧ 國. 學 ‧. 從表 4.1 發現，在辨識錯誤的結果中，正確結果在前三名的比例大約. sit. y. Nat. 30%~50%之間，僅有一半的比例，與預期的應該要有更高的比例有落差，再去. io. er. 詳細觀察這些錯誤辨識結果，發現正確結果在前三名比例不高的原因在於，本研究在實驗時，將同類別的 20 張影像拆為 10 張測試影像，另外 10 張為訓練樣本，. al. n. v i n Ch 所以當某一張測試影像被誤認為是另一類別時，通常與誤認類別的 10 張訓練樣 engchi U 本的 Chi square distance 皆很接近，它們經常出現在辨識結果的前三名，因此雖. 然與訓練樣本同類別的 10 張測試影像的 Chi square distance 也很接近，但常常僅以些微的差距而排不進前三名，因而導致正確結果不容易出現在三名內的情形。若以正確結果在前三名做為辨識正確條件，4.3.2 節的辨識率變化情形如圖 4.29 所示。. 47.

(57) 100 90. 88.33 80.42. 87.92. 82.92. 75.42. 80. 75. 73.33 60.83. 60 50 40 30 20 10 0 ELTP-128. LBP-59. CS-ELTP-28. 取唯一最小Hamming distance. CS-LBP-16. 取前三Hamming distance. 政治大. 圖 4.29 取前三 Chi square distance 辨識率變化. 立. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. Accuracy(%). 70. Ch. engchi. 48. i n U. v.

(58) 第五章混合式描述子的融合實驗. 將描述子取得的特徵資訊合併起來，稱為描述子的融合(fusion)。本章節將說明描述子融合的方式，並以實驗測試混合式描述子在不同環境下的辨識力變化。. 5.1 融合的方式在本論文第四章討論 CS-ELTP 的 uniform pattern 時，曾經提及描述子取樣. 政治大. 方式不同，得到的編碼表示的意義是有區別的，例如 LBP 以中心點與其周圍像. 立. 素的比較像素值的方式，描述的是每個像素與其周圍像素之間的變化關係，圖. ‧ 國. 學. 5.1(a)所描述的變化關係是周圍像素幾乎都比中心像素暗，圖 5.1(b)所描述的變化關係是周圍像素幾乎都比中心像素亮。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. (a). (b) 圖 5.1 LBP uniform pattern 表示的意義. 49.

(59) 本論文所提出的 CS-ELTP 採用的是對稱取樣方式，描述的是中心點周圍像素對稱的變化關係，圖 5.2(a)所描述的變化關係是中心點周圍像素的上半部比下半部暗，圖 5.2(b)所描述的變化關係是中心點周圍像素的上半部比下半部亮。. 政 (a) 治大. 立. ‧. ‧ 國. 學. al. er. io. sit. y. Nat. (b). v. n. 圖 5.2 CS-ELTP uniform pattern 表示的意義. Ch. engchi. i n U. 因此，若將不同取樣方法所得到的特徵合併做為辨識時的資訊，是否會比單一種取樣方式得到更完備的特徵，使得辨識力可以有所提升，是值得研究的課題。本論文所採用的融合實驗方法，是以 LBP 及 CS-ELTP 做為融合的對象，分別將 LBP 的 Chi square distance(𝑑𝑏 )及 CS-ELTP 的 Chi square distance(𝑑𝑡 )做平均，得到最終融合的 Hybrid distance(𝑑ℎ )，即 5.1 式。. 1. 𝑑ℎ = 2 (𝑑𝑏 + 𝑑𝑡 ). 50. (5.1).

(60) 5.2 未降維描述子融合實驗在本次的融合實驗中，使用與先前實驗中同樣的一組 test suite，測試未降維的 LBP 融合 CS-LTP，以及 LBP 融合 CS-LBP，比較它們在無雜訊、雜訊強度 20dB，以及雜訊強度 40dB 的條件下得到的辨識率，結果呈現如下。. 92. 91.25 90. 90. 政治大. 86. 立. 84. 80. 83.75. 學. 82. LBP-256. CS-LTP-81. LBP-256+CS-LTP-81. ‧. ‧ 國. Accuracy(%). 88.33 88. LBP-256+CS-LBP-16. al. er. io. sit. y. Nat. 圖 5.3 融合未降維描述子辨識率(無雜訊). v. n. 圖 5.3 將融合的結果與 LBP 及 CS-LTP 做比較，可以看出未降維描述子在無. Ch. engchi. i n U. 雜訊材質影像的融合效果並不理想，LBP 融合 CS-LTP 的辨識率比原始定義的 LBP 還要低了 1.25%，而 LBP 融合 CS-LBP 更是比原始定義的 LBP 低了 7.5%。. 51.

(61) 86.25. 86.5. 85.83. 86 85.5. Accuarcy(%). 85 84.5 83.75. 84. 83.33. 83.5 83 82.5 82 81.5 LBP-256. CS-LTP-81. LBP-256+CS-LTP-81. LBP-256+CS-LBP-16. 政治大. 圖 5.4 融合未降維描述子辨識率(20dB). 立. 圖 5.4 為融合描述子在雜訊強度 20dB 材質影像的辨識率，得到的實驗結果. ‧ 國. 學. 同樣並不理想，LBP 融合 CS-LTP 的描述子辨識率仍舊比原始定義的 LBP 還要. ‧. 低，但在影像加入雜訊之後差距似乎有降低，僅較低了 0.42%，是否是因為融合. y. Nat. 描述子加入了 CS-LTP 抗噪力較佳的特性使得差距縮小了，下一個實驗將在材質. er. io. sit. 影像中添加更多的雜訊來驗證，而 LBP 融合 CS-LBP 的描述子辨識率，仍然比原始定義的 LBP 低了許多。. al. n. 84. Ch. 82.08. 82. Acuuracy(%). 80. i n U. 82.92. engchi. v. 78.75. 78 76 74. 72.08. 72 70 68 66 LBP-256. CS-LTP-81. LBP-256+CS-LTP-81. LBP-256+CS-LBP-16. 圖 5.5 融合未降維描述子辨識率(40dB). 52.

(62) 從圖 5.5 的結果證實了先前的猜測，在材質影像加入雜訊強度 40dB 的雜訊之後，出現 LBP 融合 CS-LTP 描述子的辨識率高於原始定義 LBP 的結果，在影像受嚴重雜訊干擾的情況下，融合描述子因為合併了 CS-LTP 三元編碼的特性，使得辨識率能優於 LBP，而 LBP 融合 CS-LBP 的描述子因為兩者皆為二元編碼，從實驗結果得知，在增加雜訊的情形下辨識率並沒有得到改善。. 雖然在高雜訊的條件下融合描述子的辨識率有所改善，但提升的幅度相當有限，多了一道融合的程序，辨識率卻僅高於 LBP 約 0.84%，犧牲的處理時間與. 政治大子做為融合的對象，測試其融合之後是否能改善原有描述子的辨識力。立. 得到的辨識力改善仍舊不算理想，因此在下個階段的實驗中，將以降維後的描述. ‧ 國. 學. 5.3 經降維描述子融合實驗. ‧. 本次的實驗分別以降維後的 LBP、CS-ELTP 以及 LBP、CS-LBP 做為融合的. sit. y. Nat. 對象，測試其在無雜訊、雜訊強度 20dB，以及雜訊強度 40dB 條件之下的辨識率，. n. al. er. io. 結果分別呈現如下。. 91. Ch. 90. engchi. i n U. v. 89.58. 90. Accuracy(%). 89 88 87.08 87 86. 85.42. 85 84 83 LBP-59. CS-ELTP-28. LBP-59+CS-ELTP-28. LBP-59+CS-LBP-16. 圖 5.6 融合降維後描述子辨識率(無雜訊) 53.