第五章 結合模糊理論與 ELTP
5.2 利用 GPU 平行運算加速計算時間
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
而以上說明了fuzzy ELTP 的編碼方式及 histogram 計算方式後，為了要評估其效能，
本研究也對其在紋理影像辨識及抗噪性等方面，與CDR-ELTP、fuzzy LBP 等做出比較，
將在後面的章節中說明結果。
5.2 利用 GPU 平行運算加速計算時間
本 節 將 透 過 NVIDIA 所 推 出 的 平 行 運 算 平 台 CUDA （ Compute Unified Device Architecture），利用 GPU 的運算能力，降低 fuzzy ELTP 在計算 histogram 花費的時間。
以下將說明本研究使用的平行化方式，及其計算時間與使用 CPU 運算時間的比較。而 在此使用的CUDA 版本為 CUDA 4.2。
在CUDA 的架構中，其利用 thread hierarchy 的概念來規劃平行處理的方式，即 thread block 與 grid of thread block 兩階層的概念。在擷取影像特徵的部分，我們的實作方式如 圖5.4 與 5.5 所示。在圖 5.4 中，我們規劃每個 block 含有 16x16 個 thread，分別計算影 像 中 一 個 16x16 之 區 塊 的 特 徵 值 ， 而 在 圖 5.5 中 ， 則 是 利 用 一 個 grid 包 含
x （H、W 為影像之高度與寬度）個 block 以計算整張影像之特徵值。
圖5.4 計算模糊化特徵時的一個 thread block 示意圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖5.5 計算模糊化特徵時的一個 grid 示意圖
在計算histogram 方面，以 Fuzzy LBP(8,1)或 Fuzzy ELTP(8,1)為例，影像中每個點 算出的特徵值有可能分配給28=256 個樣式，因此如圖 5.6 及圖 5.7 所示，我們將一個 block 規劃成一維的 256 個 thread，計算單一像素點的 histogram，而同樣利用單一 grid 包含 HxW 個 block 計算整張影像的 histogram。
圖5.6 計算 soft histogram 時的一個 thread block 示意圖
圖5.7 計算 soft histogram 時的一個 grid 示意圖
‧
Fuzzy LBP 與 Fuzzy ELTP 在擷取特徵與計算 histogram 的計算時間做比較，結果如表 5.1、表5.2 所示。本測試使用的電腦 CPU 為 Intel Core 2 6300，顯示卡為 NVIDIA Geforce GT
‧
個群集，而是分別屬於多個群集之中。如此，在計算 histogram 時，亦將貢獻給多個群 集，達到模糊化的目的。而這樣的好處是，只要事先計算出分群結果，在每個點計算出 clustering 演算法中，以 fuzzy C-means 演算法取代原本的 K-means 演算法。4. 依照 fuzzy C-means 分群得到的 membership function，可算出每個樣式對這 K 個群 集的貢獻度。
‧
ELTP 中，除了編碼時要依照成員函式計算，在統計 histogram 時，還要考慮每個模糊樣 式是否要分配給所有三元樣式的情形，如此，可大大降低計算的複雜度。而此方法，我而針對以上問題，我們嘗試以fuzzy K-medoids clustering 演算法取代原來的分群演 算法，如此原先的步驟將改變如下：
1. 選定取樣的個數 P，以及降維後希望得到的維度 K。
2. 針對此 3P 個樣式，利用 fuzzy K-medoids clustering 演算法分群，得到一個 membership function，如此可知每個樣式對 K 個群集的貢獻值。
3. 利用步驟 2 結果，即可計算影像的 K 維 soft histogram 為其特徵。
上述步驟2 中，雖可得到每個樣式對於 K 個群集的貢獻值，但為了進一步加速計算 時間，我們只取權重最大的前10 名，捨去其餘的，然後再重新分配權重至總和為 1。
‧
以上即為在分群過程中結合模糊化機制的作法，由於以fuzzy K-medoids cluster 取 代原來的fuzzy C-means clustering，因此另將此方法稱為 FKM-ELTP，在下一節中，將 與其他方式比較此方法在紋理影像辨識的效果。 spectral clustering。
表5.3 fuzzy ELTP 在紋理影像實驗中的準確率
SNR Fuzzy ELTP Fuzzy LBP CDR-ELTP
w/o noise 99.98 99.96 99.96
44.30 99.96 99.96 99.98
42.11 99.96 99.96 99.93
39.63 99.98 99.96 99.74
37.34 99.93 99.96 98.11
35.06 99.81 99.96 95.48
33.49 99.76 99.94 93.83
30.74 99.20 99.93 90.59
29.16 97.85 99.81 88.56
27.85 95.65 99.46 86.50
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖5.8 fuzzy ELTP 在紋理影像實驗中的準確率比較圖
從圖5.8 中可以看出，相較於 CDR-ELTP，使用模糊化特徵樣式編碼的兩個方法，
在影像受到較高的雜訊干擾時，仍有相當高的辨識率，然而其代價則是在計算直方圖時 的多花的256 倍的計算量。而在另一方面，fuzzy ELTP 的效果則不如 fuzzy LBP。討論 其原因，可能由於fuzzy ELTP 中的 H 值，為參考 fuzzy LBP 中影響模糊化程度的 d 值得 來，而該值是經由實驗所得的最佳值，但未必能完全適用於fuzzy ELTP。此外，fuzzy ELTP 延用ELTP 的方式決定 d 值，而在 ELTP 中，d 由計算中心點與周圍參考點像素值的標 準差而來，為一變動的門檻值，若應用在fuzzy ELTP 中，則可能因為太接近 H，使的模 糊化的程度下降，此時便與ELTP 差不多。因此，以下的實驗，將 d 值固定在 10，測試 H 值對 fuzzy ELTP 的影響。實驗結果如表 5.4 與圖 5.9 所示。
‧
由於在雜訊程度不高的情況下，fuzzy ELTP 均有相當高的辨識率，故僅列出雜訊程 度較高的部份。由表中可以看出H 值的選定，的確對 fuzzy ELTP 的效能有所影響，而
SNR H=20 H=30 H=40
25.7 91.78 96.48 97.74
24.81 82.96 89.63 93.89
24.03 74.37 79.78 87.41
23.35 69.24 73.29 81.83
22.66 64.93 67.18 74.18
21.51 56.11 56.70 67.54
20.45 48.50 48.31 55.35
‧
CDR-ELTP 做對照。圖中可以看出，FKM-ELTP 的表現不如 CDR-ELTP。討論其可能的 原因，或許以K-medords clustering 為基礎的分群方式，並不是非常適用於位元樣式的分 群。如在之前的實驗中，曾以K-medoids clustering 取代原來的 Spectral clustering，而結 果顯示在紋理影像的辨識率上，不如原分群方式的效果。若要實作模糊化的分群方式，需再做其他嘗試。
表5.5 FKM-ELTP 於紋理影像辨識之準確率
圖5.10 FKM-ELTP 於紋理影像辨識準確率比較圖
SNR FKM-ELTP
w/o noise 99.98
44.30 99.94
‧
在這個情況下，其前後樣式編碼的Hamming distance。我們想以類似的方式，評估 fuzzy LBP 與 fuzzy ELTP 的抗噪性，不過這時每個點的特徵在計算 histogram 時，會貢獻給多 個維度，因此無法以之前的方式，計算其由某個維度改變至另一維度的次數。而兩個模 糊化的樣式編碼，也無法直接計算Hamming distance，但考慮到每個模糊化樣式，是由 多個二元或是三元樣式，依各種比例組合而成，因此我們可以透過這些組成樣式之間的 Hamming distance，以及各自在模糊化樣式中佔的比例，間接計算出類似於 Hamming distance 的距離，假設有 A、B 兩個模糊化樣式，其距離計算方式定義如下：而計算出的值，等同於兩個樣式間的Hamming distance。因此，若要與之前的實驗結果 比較，也應合理。表5.6 即為 fuzzy LBP 與 fuzzy ELTP 根據式(5.6)，計算在影像受到雜 訊干擾時，前後模糊樣式的平均距離。而在將最大距離正規化為1 後，在加入先前實驗 中的方法比較，結果如圖5.11 所示。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表5.6 fuzzy LBP 與 fuzzy ELTP 抗噪性分析結果
圖5.11 fuzzy LBP 與 fuzzy ELTP 抗噪性分析之比較圖
由圖5.11 中可以看出，使用模糊化樣式的 fuzzy LBP 與 fuzzy ELTP，相較於之前的 各種方法，在變動的距離上均減少了許多，其中fuzzy LBP 為目前所有方法中表現最佳 者，或許表示fuzzy ELTP 仍有改善的空間，例如在其模糊化的機制中，d 與 H 的選定是 否有更合理的方式。或者其在降維的過程中，模糊化的樣式是否會因為多個樣式合併成 一個維度，而抵消了模糊化的效果。這些問題均值得繼續深入研究。
SNR Fuzzy LBP fuzzy ELTP
44.25 0.0023 0.0282
40.88 0.0177 0.1162
37.68 0.0474 0.244
34.78 0.0888 0.3953
32.19 0.1431 0.5703
29.89 0.196 0.758
27.82 0.2542 0.9286
25.98 0.3077 1.1064
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第六章 結論與未來展望
本研究的主要目的，是改善ELTP 的降維方式，使其在描述力或者抗噪性上有更好的表 現。所提出的方法，稱為比例式降維法。從實驗中可以證實，其在描述力與抗噪性的的 表現均優於原始的降維方式。而我們提出的H2 distance，更適合計算三元樣式間的距離，
也進一步改善了ELTP 的描述力。
而本研究的另一個重點，即提出了結合模糊理論與ELTP 的特徵描述方式，以及模 糊化的樣式分群法。前者稱為fuzzy ELTP，後者則為 FCM-ELTP 與 FKM-ELTP。Fuzzy ELTP 在影像受到較高雜訊的影響下，仍保持相當不錯的辨識率，其描述力遠超越沒有 結合模糊理論的其他方法，但代價則是龐大的計算量。而針對此點，本論文實作了在 NVIDIA 的 CUDA 平台上運行的平行化運算方式，借此提昇計算速度。
而Fuzzy ELTP 在抗噪性，以及影像受到高度雜訊影響時的辨識率，沒有 Fuzyy LBP 來的好，但其應仍有改善的空間。首先，在模糊化的過程中使用的d 值與 H 值是否有最 佳值、或者更合理的定義方式。其次，在降維的過程中，模糊化的樣式有可能又被合併 在同一維度中，如此帶來的影響如何，也是可以進一步討論的主題。
另外，在模糊化的分群方式上，FCM-ELTP 嘗試以 fuzzy C-means clustering 取代
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
Spectral clustering 中的 K-means clustering 步驟，但未能找出合理的分群結果。而 FKM-ELTP 以 fuzzy K-medoids clustering 對樣式分群，在實驗中並未有出色的結果。兩 者均相當可惜，未來仍可繼續研究樣式的分群方式，以即將其模糊化的可能性。
而在人臉辨識的實驗上，ELTP 的辨識率均不如 LBP，很有可能是由於測試影像過 於陰暗，使的整體像素值偏低，限制了三元樣式的表現。未來可嘗試對該測試資料做前 處理，以減低上述的影響，或嘗試將ELTP 使用在其他人臉影像資料庫上，期能增加 ELTP 應用的範圍。
‧
[1] T. Ojala, M. Pietikainen, and T. Maenpaa, “Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 7, pp. 971-987, July 2002.
[2] D. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” Int'l J. Computer Vision, vol. 2, no. 60, pp. 91-110, 2004.
[3] H. Bay, A. Ess, T. Tuytelaars, L. V. Gool, “SURF: Speeded Up Robust Features”, Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359, 2008.
[4] A. Alahi, R. Ortiz, P. Vandergheynst, “FREAK: Fast Retina Keypoint”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
[5] S. Leutenegger, M. Chli, R. Y. Siegwart, “BRISK: Binary Robust Invariant Scalable Keypoints”, IEEE International Conference on Computer Vision (ICCV), 2011.
[6] W. H. Liao, “Region Description Using Extended Local Ternary Patterns”, Proceedings of the 20th International Conference on Pattern Recognition, pp. 1003-1006, 2010.
[7] X. Tan and B. Triggs. “Enhanced local texture feature sets for face recognition under difficult lighting conditions”. In Analysis and Modeling of Faces and Gestures, volume 4778 of LNCS, pages 168–182. Springer, 2007.
[8] A. Shobeirinejad and Y. S. Gao, “Gender Classification Using Interlaced Derivative Patterns“, Proceedings of the 20th International Conference on Pattern Recognition, pp.
‧
1509-1512, 2010.
[9] T. Ojala, M. Pietikainen and T. Maenpaa, ”Multi-resolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24(7), pp.971-987. July 2002.
[10] M. Heikkilä, M. Pietikäinen and C. Schmid, “Description of Interest Regions with Center-Symmetric Local Binary Patterns”, Computer Vision, Graphics and Image Processing, Lecture Notes in Computer Science, 2006.
[11] T. Ahonen, M. Pietikainen, “Soft Histograms for Local Binary Patterns”, in Proc. Fin.
Signal Process. Symp., Oulu, Finland, 2007.
[12] J. C. Dunn, “A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters”, Journal of Cybernetics 3: 32-57, 1973
[13] R. Krishnapuram, A. Joshi, L. Yi, “A Fuzzy Relative of the k-Medoids Algorithm with Application to Web Document and Snippet Clustering”, Snippet Clustering, in Proc.
IEEE Intl. Conf. Fuzzy Systems - FUZZIEEE99, Korea, 1999.
[14] T. Ahonen, A. Hadid, and M. Pietikainen, “Face Description with Local Binary Patterns:
Application to Face Recognition”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 28, no. 12, pp.2037-2041, Dec. 2006.
[15] N. P. Doshi, G. Schaefer, “A Comprehensive Benchmark of Local Binary Pattern Algorithms for Texture Retrieval”, International Conference on Pattern Recognition (ICPR), 2012.
[16] Everingham, M., Van~Gool, L., Williams, C. K. I., Winn, J., Zisserman, A., “The PASCAL Visual Object Classes Challenge 2012 (VOC2012) Results”, http://www.pascal-network.org/challenges/VOC/voc2012/workshop/index.html.