基於點群排序關係的動態設定特徵描述子建構及優化 - 政大學術集成

全文

(1)立. 政治大. •. • 國. ㈻. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(2) 致謝. 政治大. 首先，感謝廖文宏老師的照顧以及教導，讓我不受限的多方嘗試各種有趣的議題，. 立. 並讓我在研究的過程中每次遇到問題都能迅速迎刃而解。很高興在兩年多前決定要加. ‧ 國. 學. 入到 VIPL 的行列裡，除了一開始就被門口上的眾多出遊照吸引之外，謝謝當初帶領我. ‧. 進入狀況的育如學姊，讓我感受到這間 Lab 溫暖的氣氛，讓我從那時起就一直很喜歡. sit. y. Nat. VIPL 的氛圍。感謝 Maty 學姊每次都不厭其煩的讓我求救並想辦法幫我解決問題，有. io. al. er. 個厲害的博士班學姊在真的很不一樣；謝謝貞佑這些日子的幫忙，有個能一起討論排. v. n. 版的人在真好；謝謝義瑋總是幫助我解決大大小小的問題，並到各國玩耍時不忘寄各. Ch. engchi. i n U. 地明信片給留在國內的我們；謝謝依凡總是非自願犧牲自己帶給所有人歡笑；謝謝崇銘以及子萲，一起抓寶可夢的日子可不能少；謝謝所有 VIP 的成員這些日子對我的幫助、包容以及照顧。最後，謝謝我的家人尤其是我的爸媽，讓我很幸運的只需要專注在學業上而不用有其他多餘的煩腦，感謝他們從小對我的栽培、肯定以及放手並鼓勵我去進行各種嘗試，讓我能夠繼續朝向我的夢想前進。. i.

(3) 摘要. 政治大. 隨著智慧型手機的普及，在移動裝置上直接處理圖像的需求也大幅增加，故對於影. 立. 像特徵描述子的要求，除了要表現出區域特徵的穩健性，同時也要維持良好的特徵比. ‧ 國. 學. 對效率與合理的儲存空間。過去所提出的區域影像特徵描述子建構方法之中，LIOP 方. ‧. 法具有相當不錯的表現力，但其特徵描述子維度會隨著點群取樣數量的提高而以倍數. sit. y. Nat. 增加，因此本研究提出 Dynamic Local Intensity Order Relations (DLIOR) 特徵描述子建構. io. al. er. 方法，利用 LIOR 方法探討點群中點與點之間的關係，減緩其維度增長幅度；透過動態. v. n. 設定像素差距門檻值，處理影像間像素差距分佈不均的問題，並使用線性轉換、點對. Ch. engchi. i n U. 歐幾里德距離等方式，重新定義描述子欄位的權重設定。經過實驗證實，DLIOR 方法能夠使用比 LIOP 方法更少的維度空間，描述更多點群數的特徵資訊，並且具有更高的特徵比對能力。. 關鍵字：特徵描述子、點群排序關係、影像比對. ii.

(4) Abstract. 政治大. With the popularity of smart phones, the amounts of images being captured and processed on. 立. mobile devices have grown significantly in recent years. Image feature descriptors, which play. ‧ 國. 學. crucial roles in recognition tasks, are expected to exhibit robust matching performance while. ‧. at the same time maintain reasonable storage requirement. Among the local feature descriptors. sit. y. Nat. that have been proposed previously, local intensity order patterns (LIOP) demonstrated superior. io. al. er. performance in many benchmark studies. As LIOP encodes the ranking relation in a point set. v. n. (with N elements), however, its feature dimension increases drastically (N!) with the number. Ch. engchi. i n U. of the neighboring sampling points around a pixel. To alleviate the dimensionality issue, this thesis presents a local feature descriptor by considering pairwise intensity relation in a pixel group, thereby reducing feature dimension to the order of C2N . In the proposed method, the threshold for assigning order relation is set dynamically according to local intensity distribution. Different weighting schemes, including linear transformation and Euclidean distance, have also been investigated to adjust the contribution of each pairing relation. Ultimately, the dynamic local intensity order relations (DLIOR) is devised to effectively encode intensity order relation of each pixel group. Experimental results indicate that DLIOR consumes less storage space than LIOP but achieves better feature matching performance using benchmark dataset.. iii.

(5) Keywords: local feature descriptors, dynamic intensity order relations, image matching. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. iv. i n U. v.

(6) 目錄摘要.......................................................................................................................................... ii. Abstract ................................................................................................................................... iii v 政治大表目錄..................................................................................................................................... vii 立圖目錄..................................................................................................................................... viii 目錄.......................................................................................................................................... ‧ 國. 學. 第一章. 論 ...................................................................................................................... 1 1. 1.2 流程與架構.................................................................................................... 2. ‧. 1.1 研究背景與目的............................................................................................ y. Nat. sit. 第二章相關研究............................................................................................................. 4. n. al. er. io. 2.1 區域影像特徵................................................................................................ i n U. v. 2.1.1、基於梯度方向統計..................................................................... Ch. engchi. 4 4. 2.1.2、基於點對關係............................................................................. 6. 2.1.3、基於點群關係............................................................................. 8. 2.2 Kendall tau 相關係數 ................................................................................... 11. 第三章研究方法............................................................................................................. 14 3.1 Local Intensity Order Relations (LIOR) ....................................................... 14 3.2 像素值差距閾值........................................................................................... 17 3.3 權重設定....................................................................................................... 19 3.3.1、權重差距調整............................................................................ 19 3.3.2、動態配置.................................................................................... 20 3.3.3、基於歐幾里德距離的欄位權重設定........................................ 21 3.4 基於 Kendall 相關係數的欄位權重設定.................................................... 22. v.

(7) 第四章實驗結果與分析 .............................................................................................. 23 4.1 測試樣本....................................................................................................... 23 4.2 評估方法....................................................................................................... 23 4.3 LIOP 實驗..................................................................................................... 25 4.4 LIOR 實驗 .................................................................................................... 27 4.5 DLIOR 實驗 ................................................................................................. 29 4.5.1、DLIOR：動態閾值設定 ........................................................... 29 4.5.2、DLIOR：權重設定 ................................................................... 33 4.6 實驗結果小結............................................................................................... 39. 政治大基於 Kendall 相關係數的欄位權重設定.................................................... 立. 4.7 前處理改善................................................................................................... 41 4.8. 45. 第五章結論 ...................................................................................................................... 47. ‧ 國. 學. 參考文獻................................................................................................................................. 48. ‧. 附錄一 LIOP 實驗數據...................................................................................................... 51 附錄二 LIOR 像素值差距分佈 ......................................................................................... 53. n. er. io. sit. y. Nat. al. Ch. engchi. vi. i n U. v.

(8) 表目錄表 2.1 序列 X 與序列 Y 所有點對各別的一致性與不一致性關係範例 . . . . . .. 12. 表 4.1 表 4.2 表 4.3 表 4.4 表 4.5 表 4.6 表 4.7 表 4.8 表 4.9 表 4.10 表 4.11 表 4.12 表 4.13 表 4.14 表 4.15 表 4.16 表 4.17 表 4.18 表 4.19. 25 26 26 26 28 29 29 33 34 36 36 38 38 39 40 41 44 45 46. LIOP 方法參數定義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LIOP 方法調整參數實驗結果 . . . . . . . . . . . . . . . . . . . . . . . LIOP 方法調整參數 N=4 至 N=7 的實驗結果 . . . . . . . . . . . . . . 比較 LIOP、LIOR 與 DLIOR 之區域特徵描述子維度大小 . . . . . . . LIOR 與新舊版 LIOP 比較 . . . . . . . . . . . . . . . . . . . . . . . . . 相似維度下 LIOR 與新舊版 LIOP 比較 . . . . . . . . . . . . . . . . . . DLIOR：patch 點群取樣範圍擴增以及使用平方根作為權重設定實驗 . DLIOR：動態閾值測試 . . . . . . . . . . . . . . . . . . . . . . . . . . DLIOR：線性轉換調整權重差距 . . . . . . . . . . . . . . . . . . . . . DLIOR：動態權重設定 . . . . . . . . . . . . . . . . . . . . . . . . . . DLIOR：動態權重設定 equal . . . . . . . . . . . . . . . . . . . . . . . DLIOR：距離倒數權重設定 . . . . . . . . . . . . . . . . . . . . . . . DLIOR：距離倒數平方為權重設定 . . . . . . . . . . . . . . . . . . . DLIOR：距離倒數平方根為權重設定 . . . . . . . . . . . . . . . . . . DLIOR 參數調整 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . DLIOR 與 LIOP 比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . HSV 前處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . YCbCr 前處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LIOP-tau 與 LIOP 比較 . . . . . . . . . . . . . . . . . . . . . . . . . .. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v. . . . . . . . . . . . . . . . . . . ..

(9) 圖目錄圖 1.1 影像比對流程架構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. 5 6 7 7 8 9 10. LIOR [2]：門檻值 θ p 區別像素質值差距程度 . . . . . . . . . . LIOR [2] 建構描述子流程圖 (以 N=4 為例) . . . . . . . . . . . . bikes 類別原圖與 patch 分佈 . . . . . . . . . . . . . . . . . . . . bikes 類別原圖前 8 個 patches 各別點對像素值差距統計直方圖 LIOR [2]：θ p = 20 θw = 30 直方圖累加示意圖 . . . . . . . . . DLIOR 點群間點對距離 . . . . . . . . . . . . . . . . . . . . . .. . . . . . .. . . . . . .. . . . . . .. . . . . . .. . . . . . .. 15 16 17 18 19 21. 圖 4.1 Affine Covariant Feature 資料圖庫種類 . . . . . . . . . . . . . . . 圖 4.2 Graf 類別中 6 種不同程度的視角轉換影像 . . . . . . . . . . . . . 圖 4.3 bikes 類別影像取 5 個 patches 各別點對像素值差距統計累積圖 . 圖 4.4 bikes 類別影像取 5 個 patches 各別點對像素值差距統計累積圖-2 圖 4.5 Leuven 類別六張不同程度光線變化原圖 . . . . . . . . . . . . . . 圖 4.6 均衡化 V 通道結果圖，以 Leuven 類別為例 . . . . . . . . . . . . 圖 4.7 均衡化 Y 通道結果，以 Leuven 類別為例 . . . . . . . . . . . . . 圖 4.8 LIOP-tau 特徵描述子建構方式 . . . . . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. 24 24 31 32 42 43 44 46. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. ‧. n. al. er. io. sit. y. Nat. 圖 3.1 圖 3.2 圖 3.3 圖 3.4 圖 3.5 圖 3.6. 政治大. ‧ 國. 立. . . . . . . .. 學. 圖 2.1 SIFT 特徵描述子建構方式 . . . . . . . . . 圖 2.2 DAISY 方法的對數極座標分割方式 . . . 圖 2.3 LBP 特徵描述子建構方式 . . . . . . . . . 圖 2.4 BRISK 與 FREAK 點對取樣方法 . . . . . 圖 2.5 LIOP 描述子建構流程 [1] . . . . . . . . . 圖 2.6 LIOP 描述子建構方法 [1] (以 N = 4 為例) 圖 2.7 新舊 LIOP 在 patch 內提取點群的範圍 . .. Ch. engchi. viii. i n U. v. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. 2.

(10) 第一章 1.1. 論. 研究背景與目的. 政治大. 近年來電腦視覺領域相關技術已經廣泛運用在我們的生活之中，舉例來說位於機場. 立. 的出境快速通關運用了人臉識別技術、停車場的自動繳費機運用了文字辨識技術，除. ‧ 國. 學. 此之外還有物件識別、追蹤、偵測、監控影像、醫學影像等應用。而隨著智慧型手機的普及，人們對於資料的需求逐漸從數字、文字逐漸演變成影像來呈現資訊，因此影. ‧. 像識別技術在電腦視覺領域中顯得越來越重要。而區域特徵描述子是影像中相當重要. sit. y. Nat. 的資訊，他廣泛運用在影像匹配、影像修補、全景影像拼接、影像檢索以及場景的三. io. er. 維重建等方面。然而，現代人最常使用且隨身攜帶的載體是智慧型手機，但其空間以及處理資料的運算能力都會受到限制，可能造成在進行大量運算時無法即時的獲得回. al. n. v i n 饋，因此運算時間以及空間都是設計上不可忽視的重要考量因素。 Ch engchi U 本篇研究將對其中一項議題「影像比對」來進行探討，其主要偵測影像與影像之間. 是否有相同、相似的物件或區域，透過區域特徵描述子的比對，我們可以評估出影像之間的相似性。描述子指的是描述特徵的方法，而區域特徵描述子就是將每個特徵點為中心的區域進行特徵的描述。本篇研究使用 Harris-Affine detector [3] 來偵測影像的特徵點以及特徵區域，並研究過去的各種區域特徵描述子建構方式，預期在不影響運算空間的條件下，提高特徵點群的取樣數量，並利用特徵點群之間的排序關係以及權重設定來簡化計算複雜度以及增加描述子的穩定性，提出一種在影像經過各種變化後，仍能識別出相同特徵的區域特徵描述子的建構方法。並透過實驗來進行驗證以及分析，期望該建構方法能在有限空間的條件下獲得更好的辨識度。. 1.

(11) 1.2. 流程與架構. 立. 政治大. ‧ 國. 學. 圖 1.1 影像比對流程架構. 首先，影像比對的流程主要分成三個步驟如圖 1.1 所示，第一步為從影像偵測若干. ‧. 個特徵點 (detector) 後，擷取出各個以特徵點為中心的區塊 (local patch) 就如圖中黃線圈. sit. y. Nat. 出所示，來進行特徵描述。第二步，利用特徵描述子建構方法，分別將各個特徵區域. er. io. 轉換成描述子 (descriptor)。最後將多張影像分別執行上述步驟後進行跨影像的特徵點對. al. v i n Ch 本篇論文將針對流程的第二步驟將區域影像特徵描述成特徵描述子的方法進行研 engchi U n. 應，比較兩兩影像的特徵描述子，互相比對後進而得出彼此的相似性。. 究，並對過去特徵描述子的建構方法進行探討，改善由 Chia-Chen Wu 等人在 2016 年提出的 Local Intensity Order Relations (LIOR) [2] 方法，當影像中的特徵區域轉換成描述子時，該方法以點群中鄰近點相對應位置與其值排序關係的一致性與不一致性關係作為降低維度增長幅度的依據。因此我們希望能基於該方法的排序關係，因應每個區域影像強度分布不均的問題設計動態的閾值，並使用了線性轉換以及點與點之間的歐幾里德距離作為權重設定的依據，預期提出基於點群關係的動態設定區域特徵描述子建構方法 Dynamic Local Intensity Order Relations (DLIOR)，使其建構方式所得到的特徵描述子得到更準確且更具代表性的區域影像特徵匹配結果。此外，我們也嘗試利用 Kendall 相關係數來改進 Local Intensity Order Pattern (LIOP) [1] 方法，希望透過加入序列的相關性作為權重，提高該方法對影像的光度變化以及幾何變換處理後的辨識能力。. 2.

(12) 本論文共有五個章節，本章說明研究背景、實驗目的以及研究主要的方向。第二章將探討過去區域影像特徵描述擷取方式並將其分類並比較，同時介紹基於 Kendall tau 相關係數的排序權重設定。第三章則是提出本論文的研究方法 Dynamic Local Intensity Order Relations (DLIOR)，以區域影像的點群關係作為基礎，在與 LIOP 相似的維度的限制下搭配權重設定，增加特徵提取點的數量，提升特徵描述子的穩健性。第四章以實驗驗證本研究方法，並透過實驗數據進行分析討論。第五章為本論文提出的方法以及實驗結果進行總結，以及未來可改進方向。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 3. i n U. v.

(13) 第二章. 相關研究. 近年來，區域影像特徵擷取的方法持續受到關注，伴隨著科技進步、影像資訊量的逐漸龐大，以及演算法在移動裝置上使用的普及化，如智慧型手機以及平板電腦已變. 政治大. 成最常被使用的載體，因此對於特徵描述子的要求除了要表現出區域特徵的穩健性且. 立. 不能占用太多的空間，同時也要維持良好的特徵比對效率，因此新的區域影像特徵描. ‧ 國. 學. 述子建構的相關方法持續不斷的被提出來。第一小節將對過去被提出具代表性的區域影像特徵擷取方法統整分類並做介紹，而在第二小節將介紹基於 Kendall rank correlation. sit er. io. 2.1. y. Nat. 相似度作為我們賦予不同欄位權重的方法。. ‧. coefficient (Kendall’s τ) [4] 相關係數的排序權重設定，並透過比較序列以及序列之間的. 區域影像特徵a. n. iv l C n hengchi U 目前關於區域影像特徵擷取方式有很多種，在這裡我們根據描述子建構方式將其分. 成三種類別，分別為基於梯度方向統計、基於點對關係以及基於點群關係的特徵描述子建構方式。該研究的目標是產生該影像最具代表性的描述內容，使其能對影像的光度變化以及幾何變換處理具有不變性，舉例來說像是對影像進行光度變化、視角轉換、旋轉影像、模糊影像、尺寸變化、改變景深、壓縮影像、加入雜訊等變化。在此節我們將整理以及對於過去那些具代表性的區域影像特徵方法進行分類，並根據類別分別介紹。. 2.1.1 基於梯度方向統計當我們從影像中取得區域特徵描述點，並將其描述成特徵描述子最簡單的方法，就是將區域影像中每個像素的灰階強度值列出，但這種方式容易因為位移而造成很大的 4.

(14) 改變，其解決方式就是利用直方圖統計方法來避免。而目前已被廣泛使用的區域影像特徵描述子建構方法為 Scale-Invariant Feature Transform (SIFT) [5]，他在 1999 年首次由 D. Lowe [6] 提出，並在 2004 年得以完善，其主要應用於物件識別以及圖像索引。SIFT 是一種尺寸不變特徵描述建構方法，其主要的概念為使用矩形的區域分割將各個區域影像分割成 4 × 4 個子區塊，並分別利用直方圖來統計並記錄各子區塊在與鄰近像素的梯度方向 (將 360 度分成 8 個梯度) 大小以及分佈使其具有旋轉不變性，來形成維度為 4 × 4 × 8 = 128 維的特徵向量如圖 2.1 所示，用以描述區域影像特徵。而 Speeded Up Robust Feature (SURF) [7] 是 SIFT 的加速版本，利用積分圖以及哈爾小波轉換的概念來簡化並產生 64 維的特徵向量，主要應用於需要即時回饋的影像比對。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.1 SIFT 特徵描述子建構方式在 SIFT 的做法裡使用了加權的梯度直方圖，當在提取特徵點稠密的區域時會不斷重複計算，因此 DAISY [8] 被提了出來，他的基本概念跟 SIFT 一樣是利用分割區域來統計梯度方向的直方圖，但他採用對數極座標 (Log-polar) 的方式來進行分割如圖 2.2 所示，利用高斯卷積的可快速並不重複計算梯度直方圖，快速稠密的進行特徵描述子的提取。基於梯度統計的描述子建構方式其特徵向量都有加入權重，因此通常都會以實數表示，其距離的定義則採用歐幾里德距離 (Euclidean distance) 計算方式如式 2.1.1所. 5.

(15) 示。 d( x, y) =. 立. !. n. ∑ ( x i − y i )2. (2.1.1). i =1. 政治大. ‧ 國. 學. 圖 2.2 DAISY 方法的對數極座標分割方式. ‧. Nat. io. sit. y. 2.1.2 基於點對關係. n. al. er. 儘管以上的方法在特徵匹配獲得不錯的分數，但隨著影像資料量的逐漸龐大，對於. Ch. i n U. v. 演算法的速度也提出了更嚴格要求，因此 LBP 以及其相關延伸的方法逐漸崛起。Local. engchi. Binary Pattern (LBP) [9] 在 1990 年代首次被提出，而現在廣為人知的方法則是結合了方向梯度直方圖概念後重新定義的 LBP [10]。原本 LBP 主要是用在提取紋理的特徵，透過比較區域影像內的像素值而生成的二元描述子，其方法具有顯著的旋轉不變性以及灰度不變性。該方法最基本的概念為將區域影像分割成 3 × 3 個區域，將周圍 8 個區域與中心區域進行簡單的點與點之間的像素值比較，若周圍像素大於中心像素標示為 1，反之則標示為 0。處理完便可得到 8 碼二進位的值，這種方式共產生 28 = 256 種編碼可能，將其轉換成十進位即可得到基本的 LBP 描述子如圖 2.3 所示，並將該區域影像中各個像素值處理完後在直方圖中做累積統計。在距離計算上 LBP 採用 Hamming distance 的方式，因此特徵比對速度相當快且其資料量與 SIFT 相較之下非常不佔空間。而根據點對取樣方式的不同，延伸出許多不同的方法，舉例來說 Binary Robust Independent Element Feature (BRIEF) [11] 利用區域影像的 6.

(16) 圖 2.3 LBP 特徵描述子建構方式鄰近區域內，隨機點對比較像素值大小的方式來建立區域影像特徵描述子。但這種方式並不具備尺寸不變性以及旋轉不變性，因此 Oriented BRIEF (ORB) [12] 提出並解決了旋轉不變性，該方法利用區域影像旋轉後方向的變化決定隨機點對的相關性，並根據貪婪算法找到相關性最小也就是最具代表性的 256 個特徵點。而 Leutenegger 等人提出. 政治大. 了 Binary Robust Invariant Scalable Keypoints (BRISK) [13] 解決了尺寸不變性，其取樣點. 立. 對的方式有點類似 DAISY，但不同的是各個圓互相不重疊如圖 2.4(a) 所示。Fast Retina. ‧ 國. 學. Keypoint (Freak) [14] 則是利用人類視網膜接收影像資訊的原理來進行點對取樣，將感興趣的區域劃分為大小不同的感受區如圖 2.4(b) 所示，再利用與 ORB 相似的貪婪算法. ‧. 找到最具代表性的四組各別為 128 對點對進行處理。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.4 BRISK 與 FREAK 點對取樣方法由於有良好的表現力以及計算的簡單性，LBP 及其延伸出的其他方法逐漸在電腦視覺領域逐漸普及，並已成為現實世界中應用於影像處理相當廣泛的運算方法，主要應用於臉部識別、臉部偵測等都有很好的效果。 7.

(17) 2.1.3 基於點群關係基於點群關係的特徵描述子建構方法是近年來才被提出來討論的，與基於點對關係的編碼方式最大的不同在於基於點群關係的建構方法同時考慮多個鄰近點之間的關係，而不只是單純考慮兩點之間的關係。但在同時考慮多點之間的關係時，點群關係的排列組合數量會因為取點數量的增加而以倍數增加，不論是時間還是空間都相當不利於計算，因此過去較少有利用點群關係作為建構區域特徵描述子的方法。然而在 2011 年 Local Intensity Order Pattern (LIOP) [1] 首次被提出，該方法就是利用點群關係來對區域影像進行特徵描述的鮮少例子，並納入由英國牛津大學創辦的開源平台 VLFeat.org，該. 政治大比對演算法，讓任何有興趣專研的研究人員能夠更容易的進行開發研究。立. 平台主要提供過去曾被提出並擁有相當高穩定性的區域影像特徵擷取演算法以及特徵. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. 圖 2.5. engchi. i n U. v. LIOP 描述子建構流程 [1]. LIOP 是藉由點群中多個點所有的排序關係作為特徵來建構出區域影像特徵描述子，其主要建構流程如圖 2.5所示，在 (a) 利用 Harris-Affine 方法偵測完區域影像的特徵點 (detector) 之後，(b) 將該特徵區域 (local patch) 正規化成固定半徑的圓形區域 (半徑必須是奇數，而此篇使用 41 像素作為半徑值)。接著 (c) 將該區域中所有像素根據灰階值進行排序再分成 B 個階層的子區塊 (d)-(f) 並稱之為 Ordinal Bins，每個 Bin 計算各自範圍內的點群關係完後，將 B 個子區域的描述子串連在一起便形成 LIOP 描述子。 8.

(18) 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.6 LIOP 描述子建構方法 [1] (以 N = 4 為例). 9.

(19) 而從每個 Bin 各別建構出特徵描述子的方法如圖 2.6 所示，以對每個像素取的點群數量 N = 4 當作範例，在每個 Bin 的中心點為圓心，固定半徑 R = 6 像素逆時針方向等距依序取樣，取得 4 個點分別為 ( x1 , x2 , x3 , x4 )，其中設定距離 Bin 中心點最遠的點 x1 當作第一個取樣點，因此可以得到四個具有旋轉不變性的描述點。在此範例中，取出四點分別對應的像素值分別為 (86, 217, 152, 101)，根據像素值大小可得到排序關係為 (1, 4, 3, 2)。在點群數量 N = 4 的情況下，所有點的排序關係總共有 4! = 24 種排列組合，並對所有關係的排列組合個別賦予唯一的索引值 (index) 如圖 2.6(d) 所示。從索引表可以得知序列 (1, 4, 3, 2) 所對應到的索引值為 6，接著就可以在相對應的直方圖欄位上做累加如圖 2.6(c) 所示。當該 Bin 中所有的像素都累加完後，便可得到維度為. 政治大. 4! = 24 維的描述子，並將所有的 Bin 所得到的描述子串連起來，此篇假設 B = 6 的情. 立. 況下可以得到維度為 B × N! 維也就是 6 × 4! = 144 維的 LIOP 描述子。. ‧ 國. 學. 雖然 LIOP 有效的提高區域影像特徵的匹配分數，但其特徵描述子維度會隨著點群取樣數量的提高而倍數增加，其維度增加的幅度對於計算空間上以及時間上都有相. ‧. 當大的影響，因此該方法在點群取樣數量上有著相當大的限制。於是在 2016 年 Local. sit. y. Nat. Intensity Order Relations (LIOR) [2] 方法首次被提出，該方法探討點群中點與點之間的關. io. er. 係，根據兩點之間的像素值差距與排序關係的一致性或不一致性關係、以及像素值差距的強度，所建構出的區域影像特徵描述子。當取樣點群數增加時，該方法有效的減. n. al. Ch. i n U. v. 緩維度增加的幅度，但並沒有完整保存 LIOP 的特徵描述能力。. engchi. 圖 2.7 新舊 LIOP 在 patch 內提取點群的範圍而在 2016 年 LIOP 的作者再度提出改進的 LIOP 與其相關的特徵描述子建構方法 10.

(20) OIOP 以及 MIOP [15]，原本 LIOP 在每個 patch 中擷取點群去建構描述子時（如圖 2.6 (a) 所示），對每個像素點提取點群的範圍為 patch 向內縮點群取樣半徑 R（預設 R = 6）個單位，但這樣的邊界設定導致描述子損失了部分資訊。於是在新的 LIOP 方法在建構描述子時，對 patch 每個像素點提取點群的範圍半徑，更改為向外增加 8 個單位如圖 2.7所示。除此之外，新的 LIOP 方法分別對每個 patch 根據該 patch 中最大以及最小的像素值將整個 patch 正規處理，上述的改進方式在經過實驗後證實對於特徵描述比對分數上有明顯的提升。因此我們基於 LIOR 的點群中探討點對關係的方法以及新 LIOP 取點群範圍的方式來進行改進，並希望能提出在提高點群取樣數時減緩維度增加幅度的情況下，同時擁. 政治大. 有更高的特徵描述能力的區域特徵描述子建構方法。本研究往後所提到的 LIOP 方法或. 立. 新版 LIOP 方法皆為 2016 年重新提出的 LIOP 方法，並將 2011 年所提出的 LIOP 方法稱. ‧ 國. ‧. 2.2. 學. 為舊版 LIOP 以此區別。. Kendall tau 相關係數. y. Nat. io. sit. 基於點群關係的特徵描述方法 LIOP 在建構描述子時，是將點群中所有點排序關係. n. al. er. 用排列組合的方式全部列出，並對每個排序欄位各自獨立累計。而 LIOR 特徵描述建構. i n U. v. 方法則是利用 Kendall rank correlation 的一致性與不一致性，以及像素值差異程度的不. Ch. engchi. 同來建構特徵描述子。但我們認為序列與序列之間存在著不同強度的相關性，希望能藉由加入排序欄位相似性的權重設定來獲得更高的區域影像特徵匹配成果，因此我們使用了 Kendall’s tau coefficient (Kendall’s τ) [4] 相關係數方式計算序列之間的相似度。首先根據排序的順序性以及像素值前後大小關係區分為一致性關係與不一致性關係。在這裡先定義兩序列皆擁有相同元素數量以及相同的前後順序關係時，當兩序列中相同順序的兩個點其像素值大小關係同時都是小於或皆為大於時稱為一致性關係；當兩序列中相同順序的兩點像素值大小關係其中一個序列是小於而另一個序列的像素值關係是大於時稱為不一致關係。完整定義如下：假設有兩個序列 X : { x1 , x2 , x3 , x4 , ..., xn } 以及 Y : {y1 , y2 , y3 , y4 , ..., yn }，取任一組 i, j 點對關係也就是 ( xi , x j ) 以及 (yi , y j )，且 i ̸= j。當同時滿足 xi ≥ x j 以及 yi ≥ y j 條件; 或同時滿足 xi ≤ x j 以及 yi ≤ y j 的條件時稱為一致性關係 (concordant)。反之，當同時滿足 xi ≥ x j 11.

(21) 以及 yi ≤ y j 條件; 或同時滿足 xi ≤ x j 以及 yi ≥ y j 條件則稱為不一致關係 (discordant)，但當 xi = x j 或 yi = y j 時皆不屬於一致或不一致關係。舉例來說有兩組各有三個元素的序列分別為 X : {20, 40, 60} 以及 Y : {100, 150, 50}，三個元素的所有排序位置 (i, j) 總共有 (1, 2) (1, 3) (2, 3) 三種點對關係組合，因此在序列 X 中所有的點對共有 {20, 40}{20, 60}{40, 60} 三組，而在序列 Y 中所有的點對共有 {100, 150}{100, 50}{150, 50} 三組，而根據上述定義的排序位置各別兩點像素值大小關係分別為 20 < 40, 20 < 60, 40 < 60 以及 100 < 150, 100 > 50, 150 > 50，其中具有一致性關係的點對關係為位置 (1, 2) 的 X : {20, 40} 以及 Y : {100, 150} 這一組，兩者的像素值關係皆為小於; 而具有不一致性關係的點對關係為位置 (1,3) 也就是. 政治大. X : {20, 60} 與 Y : {100, 50} ，以及位置 (2, 3) 也就是 X : {40, 60} 與 Y : {150, 50} 這. 立. 兩組，如表 2.1所示。. X. Y. 關係. (1,2). 20 < 40. 100 < 150. 一致性. (1,3). 20 < 60. 100 > 50. 不一致性. (2,3). 40 < 60. 150 > 50. 不一致性. y. sit. io. n. al. er. Nat. (i, j). ‧. ‧ 國. 學. 表 2.1 序列 X 與序列 Y 所有點對各別的一致性與不一致性關係範例. i n U. v. 接著我們利用 Kendall 的方法為將兩組序列關係進行比對，根據定義的公式 2.2.1計算其相似度 (τ )。. Ch. engchi. τ ( X, Y ) =. (nc − nd ) n (n − 1) /2. (2.2.1). 其中 X 與 Y 為兩組排序，皆有 n 個元素，nc 代表具有一致關係的點對數量，而 nd 代表具有不一致關係的點對數量。經過公式計算得到的相關係數 τ 值會介於 -1 到 1 之間，值越大代表兩序列關聯性越高，值越小代表兩序列關聯性越低。在序列 X 以及 Y 經過公式計算後得出的相關係數值 τ 為. (1−2) (1+2). = −0.3。. 使用 Kendall 方法的優點在於兩組排序關係可以以單一的數值表示，特徵維度不會因為選取的點群數量增加而提升，而 τ 值可以根據公式 2.2.2將其值線性轉換至 0 到 1 之間，而求得的 τ ′ 值則作為我們實驗的參考依據。延續上個例子，經過轉換可以求得. 12.

(22) 到序列 X 以及序列 Y 的相關係數為 τ ′ =. 1+(−0.3) 2. τ ′ ( X, Y ) =. = 0.35。. 1 + τ ( X, Y ) 2. (2.2.2). 本研究將對 LIOP 加入 τ ′ 值當作累計欄位權重設定依據，並透過特徵比對實驗結果進行探討，詳細內容將於第三章進行討論。然而從單一的 τ ′ 值我們無法表達多個元素之間的相對應的位置關係，舉例來說序列 {1,2,3,4} 分別對序列 {1,2,4,3} 以及 {1,3,2,4} 所得到的 τ ′ 值是相等的。但前者是 index (3), index (4) 具不一致關係，而後者則是 index (2), index (3) 具不一致關係。另外 τ ′ 值也無法呈現排序之間的像素差距大小. 政治大值。因此本研究將主要採取 LIOR 加入排序之間多個元素兩兩之立. 關係，舉例來說序列 {5,6,7,8} 分別與序列 {8,7,6,5} 以及 {80,70,60,50} 進行相關性比較時也會得到相同的. τ′. 間的相對位置關係的方式，以及透過相對位置上進行一致性以及不一致性關係的判斷，. ‧ 國. 學. 並更近一步的對像素質差距加入動態閾值以及動態權重設定，以符合各區塊其像素值. ‧. 差異程度上的不同。再者，由於我們取點群的方式是以區域影像特徵點為中心並以固定距離為半徑逆時針依序取樣，因此我們預期再加入點與點之間的歐幾里德距離作為. Nat. sit. n. er. io. al. y. 該點對關係的權重值設定依據。. Ch. engchi. 13. i n U. v.

(23) 第三章. 研究方法. 基於點群關係的特徵描述子建構方式，由於同時考慮多點之間的關係，點群關係的排列組合數量會因為取的點數量的增加而以倍數增加，不論是時間還是空間都相當不. 政治大. 利於計算，因此過去鮮少有利用點群關係作為建構區域特徵描述子的方法。然而 Local. 立. Intensity Order Pattern (LIOP) [15] 就是利用點群關係來對區域影像進行特徵描述的鮮少. ‧ 國. 學. 例子，但其維度會隨著取樣的點群數量增加而以倍數增加。為了解決維度隨點群取樣數增加而大幅度增加的問題，Local Intensity Order Relations (LIOR) [2] 方法被提出，該. ‧. 方法是根據點群中點與點兩點之間的像素值差距與排序關係的一致性或不一致性關係、. y. Nat. 以及像素值差距的強度，所建構出的區域影像特徵描述子，該方法的詳細編碼方式將. io. sit. 於本章第一小節進行說明。然而該方法雖然有效的減緩維度增加的幅度，但並沒有完. n. al. er. 整保存 LIOP 的特徵描述能力。因此本研究希望能基於 LIOR 的點群中的點對關係，來. Ch. i n U. v. 探討這類別的建構方法其問題以及可以改善的方向，並將在第二節和第三節分別針對. engchi. 閾值以及權重提出新的設定方式，預期提出在提高點群取樣數時減緩維度增加幅度的情況下，同時擁有更高的特徵描述能力的區域特徵描述子建構方法。此外，我們將在第四節探討 LIOP 基於 Kendall τ 相關係數作為累計欄位權重設定的改進方法，並透過特徵比對實驗結果進行探討。. 3.1. Local Intensity Order Relations (LIOR). LIOR 是藉由點群中多個點兩兩的排序關係作為特徵來建構出區域影像特徵描述子，該論文認為使用兩點之間的排序關係作為依據而建構出的特徵描述子，在像素值受到干擾時比 LIOP 描述方法具有更高的穩定性。舉例來說以 N = 4 的點群序列 {10, 11, 12, 13} 為例，在 LIOP 方法中所對應到的索引值為 1，但若其中一個像素值受 14.

(24) 到干擾而使得序列有所變動成為 {14, 11, 12, 13}，其所對應到的索引值則變為 19，其統計的欄位就跟著改變。而以兩兩之間的關係進行像素值大小的比較關係時，只會改變部分點對關係，從 {10, 11}, {10, 12}, {10, 13} 變成 {14, 11}, {14, 12}, {14, 13}，在總共 C2N = C24 = 6 種關係中只改變了 3 組關係，有助於提升描述子的穩定性。. 立. 政治大. 圖 3.1 LIOR [2]：門檻值 θ p 區別像素質值差距程度. ‧ 國. 學. LIOR 區域影像特徵描述子建構方法主要建構流程為 (a) 使用 Harris-Affine detector 區. ‧. 域影像特徵點擷取方法取得特徵區域，(b) 接者使用 LIOP 描述子建構流程（圖 2.5）以. y. Nat. 及擷取點群的方式，以對每個像素取的點群數量 N = 4 當作範例，在每個 Bin 的中心. io. sit. 點為圓心，固定半徑 R = 6 逆時針方向等距依序取得 4 個點分別為 ( x1 , x2 , x3 , x4 )，其. n. al. er. 中設定距離 Bin 中心點最遠的點 x1 當作第一個取樣點，因此可以得到四個具有旋轉不. i n U. v. 變性的描述點。然後 (c) 將此 4 個點所構成的序列兩兩排序，可以得到 C2N = C24 = 6 種. Ch. engchi. 排序關係，分別為 (1, 2) (1, 3) (1, 4) (2, 3) (2, 4) (3, 4)，(d) 根據第二章第二節所定義的一致性以及不一致性關係，將各組點對各分為兩個維度。接著 (e) 將點對的像素值差距程度根據設定的門檻值 θ p 區別灰階值差距的程度（預設門檻值為 20），將所有關係各自區分為差距很大以及差距不大（如圖 3.1 所示），最後再加上一欄相等關係欄位，用來記錄像素值大小關係為相等的點對組合數，就可以得到 C2N × 4 + 1 = C24 × 4 + 1 = 25 維的描述子（如圖 3.2 所示）。以序列 {165, 165, 197, 163} 為例，根據排序關係可以得到 {165, 165} {165, 197} {165, 163} {165, 163} {197, 163} 六組點對關係，每組點對根據一致性與不一致關係以及灰階值差距程度的大小共 2 × 2 = 4 個維度來進行計算，若其點對關係為一致性且像素值差距程度很大，則在第一個欄位累加；若其點對關係為一致性且像素值差距程度很小，則在第二個欄位累加；若其點對關係為不一致性關係且像素值差距很小， 15.

(25) 立. 政治大. ‧ 國. 學. 圖 3.2. LIOR [2] 建構描述子流程圖 (以 N=4 為例). ‧. 則在第三個欄位進行累加；若其點對關係為不一致性關係且像素值差距很大，則在. sit. y. Nat. 第四個欄位進行累加；若其關係為相等關係（預設容許值為 2 像素），則一致累加在. er. io. 最後一個欄位。當該 Bin 中所有的像素都累加完後，便可得到維度為 25 維的描述子，. al. 並將所有的 Bin 所得到的描述子串連起來，此篇假設 B = 6 的情況下可以得到維度. n. v i n Ch 4 × 4 + 1) = 150 維的區域影像特徵描為 B × (C2N × 4 + 1) 維也就是產生維度為 e n g6c×h(Ci 2 U 述子。其 LIOR 的維度計算公式如下：. Total Relations : C2N =. N × ( N − 1) 2. (3.1.1). Single Dimension : C2N × 4 + 1 = 2N × ( N − 1) + 1. (3.1.2). Dimension : (2N × ( N − 1) + 1) × 6 = 12N 2 − 12N + 6. (3.1.3). 16.

(26) 3.2. 像素值差距閾值. 在原本的 LIOR 方法中，像素值差距的門檻值是以靜態常數設定的，也就是說當該區域的點群像素值兩兩差距大於一定的門檻值 θ p = 20 時，代表點對像素差距程度大，也就會被分配至 LIOR 描述子關係的第一欄位或第四欄位進行累計。但是不同的區域特徵影像其像素值的差異程度分佈皆不相同，若以靜態常數設定門檻值可能會造成不同欄位的統計數量不平衡的問題。. 立. 政治大. ‧. ‧ 國. 學 sit. y. (b) bikes 類別原圖 patch 分佈. 圖 3.3 bikes 類別原圖與 patch 分佈. io. n. al. er. Nat. (a) bikes 類別原圖. i n U. v. 於是我們初步觀察，以 bikes 類別第一張圖 3.3取前 8 個 patches 為例，圖 3.4(a)-(h). Ch. engchi. 分別為前 8 個 patches 的點群之間點對像素值差距統計直方圖。我們可以發現即使這些 patches 都出自同一張影像，但不同的區域影像特徵其像素值差距分佈皆明顯不同。其中 patch 4 像素值差距小於 θ p = 20 的數量明顯高於其他 patches，因此該 patch 在建構 LIOR 特徵描述子時累積在第二欄位（一致性且像素值差距程度小）以及第三欄位（不一致性且像素值差距程度小）的累計數量總和會明顯高於第一欄位（一致性且像素值差距程度大）以及第四欄位（不一致性且像素值差距程度大）的累計數量總和。而累計數量在欄位上的分配不均可能降低了特徵描述子的描述能力，因此我們認為根據每個 patch 點群中點對像素值差距分佈情形動態的設定門檻值 θd 用以取代靜態門檻值 θ p ，或許可以增加區域影像特徵描述子的描述能力。. 17.

(27) (a) patch 1. (b) patch 2. 立. 政治大. ‧ 國. 學 (d) patch 4. ‧. (c) patch 3. n. er. io. sit. y. Nat. al. (e) patch 5. Ch. engchi. (g) patch 7. i n U. v. (f) patch 6. (h) patch 8. 圖 3.4 bikes 類別原圖前 8 個 patches 各別點對像素值差距統計直方圖 (紅色代表點對像素值差距小於 θ p = 20 的數量). 18.

(28) 3.3. 權重設定. LIOR 在建構區域影像特徵描述子時，當點群中的點對根據排序以及像素值差距關係所對應的直方圖欄位，並非直接加 1，而是加入權重設定。但是 LIOR 權重設定的方法只是單純的加入一個權重門檻值 θw （預設 θw = 30），當點對像素值差距小於 θw 則直接在該欄位加上像素差距值; 而當點對像素值差距大於 θw 時則加入 θw 值作為權重值累計上限，如圖 3.5所示，其目的是要防止累計權重值差距過大而降低描述子的描述力，但這樣所累加的單位差距程度其實還是相當大的。而且如同上一節的說明，不同的 patch 像素值差距分佈也不盡相同。因此我們認為是否可以透過線性轉換、平方根等. 政治大. 方式調整權重值差距，減緩累計權重值的差異程度，並同樣使用上一小節所提出的動. 立. 態設定門檻值 θd 取代權重門檻值 θw ，用以解決 patch 像素值差距分佈不均的現象。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.5 LIOR [2]：θ p = 20 θw = 30 直方圖累加示意圖. 3.3.1 權重差距調整在 LIOR 方法中，假設像素值差距為 x，權重值 w，其權重設定方式如下： ⎧ ⎪ ⎨ x , if x < θw w= ⎪ ⎩ θw , if x ≥ θw 19. (3.3.1).

(29) 而根據該論文的設定，權重門檻值預設 θw = 30 且相等容許範圍 equal = 2，也就是在利用權重值統計直方圖時，對單一欄位一次最少累加 2 個單位; 最多一次累加 30 個單位，所以累加的單位差距程度其實還是相當大的。為了減緩累加權重的差異程度，我們提出以下兩種做法： (1) 平方根首先，我們使用平方根將點對像素值差距做處理，公式如式3.3.2 所示。藉由這個公式，已知像素值差距 x 的範圍為 0 ≤ x ≤ 255，而權重值 w 的範 √ 圍則縮小至 0 ≤ w ≤ 255 − θw ≤ 15。. 立. (3.3.2). ‧. ‧ 國. 學. (2) 線性轉換. 政治大. ⎧ ⎪ ⎨ √x , if x < θw w= √ ⎪ ⎩ x − θw , if x ≥ θw. 接著，我們使用線性轉換讓累加級距縮小如式3.3.3 所示。透過這個方. y. sit. io. n. al. er. 過高權重。. Nat. 法，我們有效的使不同點對的累計權重不會因像素值差距程度太大，而具有. C hw = base + α ×Uw n i engchi ′. v. (3.3.3). 3.3.2 動態配置而根據本章第二節的說明，我們認為在不同的 patch 中由於點群中點對像素值差距分佈皆不同，因此要根據不同 patch 中每個像素所擷取的點群間點對的像素質相差程度的不同而有所調整，不能使用單一的固定變數。因此，我們將嘗試使用上一節所提出的動態設定門檻值 θd 取代原本的靜態權重門檻值 θw ，並以像素值差距標準差來作為依據如式 3.3.4 所示。而根據標準差作為權重的設定方式，將於第四章有詳細的說明以及討論。 & ' N '1 σ = ( × ∑ ( x i − µ )2 N i =1 20. (3.3.4).

(30) 3.3.3 基於歐幾里德距離的欄位權重設定不同數量的點群中，各別點對的幾何距離也都不同，當 N = 4 時，x1 , x2 之間的歐幾里德距離與 x2 , x3 之間、x1 , x4 之間皆相同，但 x1 , x3 得點對距離相較之下較遠些，因此我們假設：點群間點對欄位的重要性是否能根據不同的距離遠近給予不同的權重，也就是賦予 x1 , x2 欄位相較於 x1 , x3 欄位還高的權重值。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. (b) N = 5 點群間點對距離範例. er. io. (a) N = 4 點群間點對距離範例. n. a圖l 3.6 DLIOR 點群間點對距離 v i n Ch engchi U. 如圖 3.6所示，我們假設當點群取樣固定半徑 R = 1 時，以幾何距離倒數作為權重依據。公式如式 3.3.5 以及式 3.3.6 所示，其中 xi , x j 為任一組點對關係且 i ̸= j，而 d 為點對相隔數。舉例來說當 N = 4 時，x1 , x3 的點對相隔數 d = 2，而 x1 , x4 的點對相隔數 d = 1。 1 1 dist( xi , x j ) = 2 × cos(( − × d) × π ) 2 N. (3.3.5). d(i, j) = min(|i, j|, |i + N − j|). (3.3.6). 從上列公式可得，distmax = 2 而 distmin = 0.76（當 N = 8, d = 1 時發生），取其倒數作為權重值依據可得範圍落在最大值 1.315 與最小值 0.5 之間。為求後續計算方便， 21.

(31) 我們將其權重值正規到 0 到 1 之間，如式 3.3.7 所示。並根據此式，即可求得根據點對幾何距離的基本權重值如式 3.3.8 所示。 1 1 dist′ ( xi , x j ) = cos(( − × d) × π ) 2 N. Pairw ( xi , x j ) =. 1 dist′ ( x. i,. xj ). =. (3.3.7). 1 cos(( 12. −. 1 N. × d) × π ). (3.3.8). 接著我們將求得到的點對幾何距離的基本權重，進行權重幅度的增加以及減緩兩種變形，如式 3.3.9 以及式 3.3.10 所示。. 立. 政治大 1 1 N. × d) × π ) 1. cos(( 12 −. (3.3.9). × d) × π ). (3.3.10). y. 1 N. )2. ‧. !. Nat. io. sit. 基於 Kendall 相關係數的欄位權重設定. er. 3.4. ′′ Pairw ( xi , x j ) =. cos(( 12 −. 學. ‧ 國. ′ Pairw ( xi , x j ) = (. al. v i n Ch 但若序列其中一個值受到干擾使得序列有所變動，就會導致該序列累計到其他欄位。 engchi U n. LIOP 建構描述子的方法是根據點群的排序關係所對應到的索引值欄位進行累加，. 因此我們認為是否可以根據 Kendall 相關係數值設定 LIOP 各個欄位的權重值，將相. 似的欄位根據相似度當作權重累加，成為更具有穩定性的區域影像特徵描述子。以 N = 4 的序列 {1, 2, 3, 4} 為例，根據第二章第二節 Kendall τ 的計算方式，N = 4 的點群總共有 24 種排序可能，其中與 {1, 2, 3, 4} 序列進行比對後，6 組點對關係中只有 1 組關係是不一致的序列有 {1, 2, 4, 3} {2, 1, 3, 4} {1, 3, 2, 4} 這三組，其相似度皆為 τ′ =. 1+ 23 2. = 0.83。因此我們假設：根據相似度作為欄位的權重，該欄位權重為 α，與該. 欄位最相似的 k 個類別的權重則分別為 (1 − α)/k，將 k 個與該欄位相似的序列根據權重值累加至該欄位，作為該欄位新的累計次數，並期望能得到更具穩定性的區域影像特徵描述子。. 22.

(32) 第四章. 實驗結果與分析. 此章將介紹本論文評估特徵描述子所使用的樣本圖庫，以及所使用的特徵描述子評估方法。接著針對新版 LIOP 方法進行不同變數的測試進行驗證，並對其結果與 LIOR. 政治大. 方法的實驗結果進行分析討論。最後再根據第三章所提出的方法進行實驗，透過分析. 立. 特徵區域的像素差分佈而動態設定像素值差距閾值與權重門檻值，以及基於歐幾里. ‧ 國. 學. 德距離與線性轉換的權重設定，實際透過資料樣本來進行比對，並觀察我們所提出的 DLIOR 方法是否符合預期或是否有其他改進方式待嘗試。最後我們嘗試對 LIOP 方法. sit. y. Nat. n. al. er. 測試樣本. io. 4.1. ‧. 加入 Kendall 相關係數作為累計欄位的權重設定，並透過特徵比對實驗結果進行探討。. i n U. v. 本篇論文所使用的實驗樣本為由英國牛津大學 K. Mikolajczyk 等人提出的 Affine. Ch. engchi. Covariant Feature [16] 標準資料圖庫，該標準資料圖庫已被許多影像特徵相關的論文來作為測試樣本。其種類如圖 4.1所示，其圖庫總共有八組影像分別對影像做視角轉換、旋轉變化、延伸變化、模糊化、壓縮及亮度變化等處理，每種類別都有六張不同程度的變化影像共 8 × 6 = 48 張影像。舉例來說，圖 4.2為其中的 Graf 類別，呈現出六種不同程度的視角變化影像。. 4.2. 評估方法. 本研究採用同樣由 Affine Covariant Feature 資料圖庫提供的 [17] 以及 [18] 區域特徵描述子評估方法來進行驗證。此評估方式以 Nearet Neighbor distance ratio (NNDR) 方式來進行描述子的配對檢測，其方法可進行雙向比對，去除錯誤的匹配特徵點。當 (距離 23.

(33) 立. 政治大. ‧. ‧ 國. 學. 圖 4.1 Affine Covariant Feature 資料圖庫種類. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4.2 Graf 類別中 6 種不同程度的視角轉換影像. 24.

(34) 最近的點距離/排名第二近的點距離) < 門檻值時，即視為配對成功，反之為配對失敗。資料圖庫中八個類別中，每個類別各有一張原始影像以及五張不同變化程度的影像，將五張不同程度的變化影像分別跟該類別原始影像經過此方式倆倆進行比對，可得到正確以及錯誤的這徵點配對數量，再透過評估計算公式 4.2.1計算所得到的分數作為驗證成果。在計算過程中，我們將設定是否為正確配對的門檻值設為 0.5，用於計算兩兩影像的比對分數。. Matching score = 100 ×. 4.3. LIOP 實驗. 立. correct matchs min{the number o f f eatures o f images}. (4.2.1). 政治大. ‧ 國. 學. 在這裡我們將對 LIOP 方法中各個參數 (表 4.1) 做調整來觀察其效能變化，首先固定 N=4 調整參數 B 以及 R，實驗結果如表 4.2所示，在經過測試後證實如同該論文所提出. ‧. 當參數 B = 6 以及 R = 6 時具有最佳的表現結果，因此在往後的所有實驗數據皆使用. y. Nat. 參數 B = 6 以及 R = 6 來進行其他實驗。. sit. io. al. LIOP 方法參數定義. er. 表 4.1. n. Parameters. Ch. engchi U. v ni. Value. N. the number of the neighboring sample points. 4. B. the number of ordinal bins. 6. R. the sampling radius. 6. 25.

(35) 表 4.2 LIOP 方法調整參數實驗結果 N. B. 4 4 6. R. Bark. Bikes. Boat. Graf. Leuven. Ubc. Wall. Trees. Avg.. 4. 18.06. 57.24. 30.00. 24.32. 51.50. 72.52. 28.64. 14.10. 37.05. 6. 18.00. 58.02. 30.02. 23.86. 53.52. 73.42. 28.12. 15.76. 37.59. 8. 17.26. 57.26. 29.18. 23.00. 52.48. 73.70. 26.16. 15.66. 36.84. 4. 18.08. 58.08. 31.06. 25.02. 52.08. 73.10. 29.56. 15.12. 37.76. 6. 18.52. 58.60. 30.78. 24.80. 54.00. 74.04. 29.32. 16.84. 38.36. 8. 17.54. 58.36. 29.98. 23.82. 53.16. 73.92. 27.32. 16.60. 37.59. 政治大以實驗結果來看，雖然在 N = 6 時獲得最好的效果，但其維度已高達至 4320 維，在實立際應用於影像辨識時，其計算時間以及空間都需要相當高的成本。因此，我們之後在. 接著我們固定參數 B = 6 以及 R = 6，調整參數 N 進行實驗，結果如表 4.3所示。. ‧ 國. 學. 進行不同特徵描述子建構方法的比較時，根據 LIOP 方法中平均表現力次高的點群數量. ‧. N = 5 作為比較基準，再根據維度比較表 4.4 取與 LIOP 方法 N = 5 的 720 維相似的維度，也就是取 DLIOR 方法 N = 8 的 678 維度作為主要比較的對象。. Nat. 18.60. 58.06. N=6. 18.80. 59.24. N=5. 18.76. N=4. 18.52. Graf. Leuven. Ubc. sit. N=7. Boat. a l33.28 25.70 54.54 74.90 v i n Ch engchi U. n. Bikes. Wall. Trees. Avg. 31.48. 19.08. 39.46. er. io. Bark. y. 表 4.3 LIOP 方法調整參數 N=4 至 N=7 的實驗結果. 34.44. 26.28. 54.84. 75.72. 32.32. 20.96. 40.33. 58.98. 33.80. 25.94. 55.36. 75.02. 31.44. 19.80. 39.89. 58.60. 30.78. 24.80. 54.00. 74.04. 29.32. 16.84. 38.36. 表 4.4 比較 LIOP、LIOR 與 DLIOR 之區域特徵描述子維度大小 N. LIOP. LIOR. DLIOR. 4. 6 × 4! = 144. 6 × 25 = 150. 6 × 25 = 150. 5. 6 × 5! = 720. 6 × 41 = 246. 6 × 41 = 246. 6 × 6! = 4320. 6 × 61 = 366. 6 × 61 = 366. 7. 6 × 7! = 30240. 6 × 85 = 510. 6 × 85 = 510. 8. 6 × 8! = 214920. 6 × 113 = 678. 6 × 113 = 678. 6. B. 6. 26.

(36) 4.4. LIOR 實驗. 我們分別重新測試 LIOR 的實驗結果並與 2011 年提出的 LIOP 以及 2016 年重新提出的 LIOP 方法並同時進行比較，如表 4.5 所示。其中新舊 LIOP 特徵描述子擷取方式以及 LIOR 特徵描述子擷取方式皆使用 B = 6 以及 R = 6 做為參數設定，而 LIOR 的其他參數設定經過測試後使用該篇文章所設定的參數，權重門檻值 θw = 30、像素門檻值. 政治大高達 214920 維，其運算時間及空間都過大，因此不加入討論。從表中可以發現 LIOR 立. θ p = 20 以及相等容許值 equ = 2 進行實驗。由於 LIOP 方法當點群取樣數 N = 8 時維度. ‧ 國. 學. 在部分類別的比對分數勝過舊版 LIOP，但是其表現力皆不如 2016 年重新提出的 LIOP 描述子建構方法。. ‧. 我們取出相似維度的比對分數來進行更近一步的比較，也就是取新舊 LIOP 的點群. y. Nat. 數量 N=5 的 720 維與 LIOR 的點群數量 N=8 的 678 維來進行比較，如表 4.6所示。將舊. io. sit. 版 LIOP 與 LIOR 單獨比較可以發現在八個類別中 LIOR 在 Boat、Ubc、Wall 以及 Trees. n. al. er. 四個類別分數高於舊版 LIOP，但在 Leuven 類別的表現上 LIOP 方法較為突出。而將. i n U. v. 新版 LIOP 方法與 LIOR 方法一起比較可以發現 LIOR 方法的類別平均比對分數比新版. Ch. engchi. LIOP 方法低了 7 分，而在 Leuven 類別（光度變化類別）LIOR 則是低了將近 20 分，因此希望透過我們的改進方法 DLIOR 能夠有效將所有類別的比對分數提升甚至高於新版 LIOP。. 27.

(37) 表 4.5 LIOR 與新舊版 LIOP 比較 θw=30, θp=20. N=7. N=8. LIOP_old. 13.84. 14.43. 15.65. 13.15. -. LIOR. 13.2. 12.52. 13.79. 13.84. 14.04. LIOP. 18.52. 18.76. 18.8. 18.6. -. LIOP_old. 46.22. 49.27. 48.97. 42.07. -. LIOR. 45.03. 45.61. 47.87. 47.26. 48.32. LIOP. 58.6. 58.98. 59.24. 58.06. -. LIOP_old. 23.63. 25.24 26.06 治政22.26 23.24 大 25.27. 22.73. -. 25.65. 26.34. 33.28. -. LIOR. ‧ 國. 34.44. LIOP_old. 21.08. 22.34. 22.39. 20.96. -. LIOR. 20.22. 21.7. 21.8. 22.31. 22.3. LIOP. 24.8. 25.94. 26.28. 25.7. -. LIOP_old. 46.94. 48.28. 46.7. 44.07. -. LIOR. 30.32. 32.99. 35.34. 54. 55.36. 54.84. 54.54. -. C h 67.7 69.08 U67.54 engchi. 63.52. -. Nat. 33.8. io. Leuven. al. n. LIOP LIOP_old. Ubc. Wall. Trees. LIOR. 學. Graf. 30.78. ‧. 立. LIOP. y. Boat. N=6. sit. Bikes. N=5. 34.94. er. Bark. N=4. v ni. 35.72. 68.52. 69.47. 70.85. 70.99. 71.48. LIOP. 74.04. 75.02. 75.72. 74.9. -. LIOP_old. 21.77. 24.92. 25.25. 23.08. -. LIOR. 21.65. 23.52. 25.05. 25.55. 26.45. LIOP. 29.32. 31.44. 32.32. 31.48. -. LIOP_old. 9.4. 11.5. 11.79. 9.71. -. LIOR. 9.02. 10. 11.73. 11.96. 12.53. LIOP. 16.84. 19.8. 20.96. 19.08. -. 28.

(38) 表 4.6 相似維度下 LIOR 與新舊版 LIOP 比較 N. Dim.. Bark. Bikes. Boat. Graf. Leuven. Ubc. Wall. Trees. Avg.. LIOP_old. 5. 720. 14.43. 49.27. 25.24. 22.34. 48.28. 69.08. 24.92. 11.5. 33.13. LIOR. 8. 678. 14.04. 48.32. 26.34. 22.3. 35.72. 71.48. 26.45. 12.53. 32.15. LIOP. 5. 720. 18.76. 58.98. 33.8. 25.94. 55.36. 75.02. 31.44. 19.8. 39.89. 4.5. DLIOR 實驗. 此節將針對第三章所提出的新的研究方法，以動態設定的閾值 θd 並使用線性轉換以. 政治大. 及歐幾里德距離作為權重設定來進行實驗，並提出改進的區域影像特徵描述子建構方. 立. 法 Dynamic Local Intensity Order Relations (DLIOR)。. ‧ 國. 學. 4.5.1 DLIOR：動態閾值設定. ‧. 首先我們根據 2016 年重新提出的 LIOP 方法將 patch 點群取樣範圍擴增的方法套用. sit. y. Nat. 在 LIOR 方法，接著使用第三章所提出的公式 3.3.2初步調整權重並減緩權重差距程度，. er. 果如表 4.7所示。. io. 根據不同門檻值、調整相等容許值以及點群的取樣數量進行測試，擷取部分的實驗結. al. 表 4.7. n. v i n Ch DLIOR：patch 點群取樣範圍擴增以及使用平方根作為權重設定實驗 engchi U. 其他參數：B = 6, R = 6, equal = 2 權重設定：w = 像素值差距取平方根 N. Bark. Bikes. Boat. Graf. Leuven. Ubc. Wall. Trees. Avg. 8. 18.24. 58.44. 33.20. 25.56. 49.90. 75.22. 31.42. 19.96. 38.99. 7. 18.10. 57.36. 32.90. 25.66. 50.56. 75.16. 31.28. 19.50. 38.82. 18.20. 57.64. 32.70. 25.44. 49.62. 75.26. 31.00. 19.10. 38.62. 5. 17.64. 57.04. 31.86. 25.44. 50.12. 75.24. 30.18. 17.78. 38.16. 4. 17.54. 56.78. 31.08. 24.20. 47.52. 75.08. 29.22. 16.30. 37.22. 6. θp. 50. 29.

(39) 8. 18.14. 58.54. 33.34. 25.98. 50.10. 75.16. 31.66. 20.22. 39.14. 7. 18.06. 57.76. 33.06. 25.84. 50.36. 75.32. 31.42. 19.76. 38.95. 18.20. 57.84. 32.98. 25.50. 49.82. 75.46. 31.18. 19.18. 38.77. 5. 17.78. 57.28. 31.78. 25.50. 49.94. 75.32. 30.30. 18.12. 38.25. 4. 17.82. 56.86. 31.20. 24.28. 47.18. 75.04. 29.34. 16.40. 37.27. 8. 18.22. 58.72. 33.54. 26.18. 50.54. 75.10. 31.78. 20.42. 39.31. 7. 18.14. 57.82. 33.20. 26.08. 50.44. 75.36. 31.54. 19.78. 39.05. 18.34. 57.80. 32.90. 25.74. 49.94. 75.42. 31.10. 19.38. 38.83. 5. 18.04. 58.04. 31.96. 25.68. 30.22. 18.06. 38.44. 4. 17.82. 56.64. 50.20 75.32 治政 31.14 24.50 47.36 大 74.96. 29.20. 16.30. 37.24. 8. 18.38. 58.60. 31.60. 20.44. 39.22. 7. 18.08. 57.40. 18.34. 5. 6. 立 33.56. 75.04. 33.22. 26.30. 50.60. 75.20. 31.40. 19.88. 39.01. 57.82. 33.16. 25.84. 49.84. 75.26. 31.18. 19.40. 38.86. 18.32. 57.80. 32.04. 25.54. 50.06. 75.14. 30.16. 17.88. 38.37. 4. 17.96. 56.60. 31.14. 24.74. 47.38. 74.94. 29.08. 16.16. 37.25. 8. 18.38. 58.40. 33.46. 26.46. 50.54. 75.00. 20.30. 39.28. 7. 18.02. 5. 18.24. 4. 17.92. 31.70. a l 33.10 26.44 50.66 74.98 v i n C h 26.04 49.98U75.12 57.72 33.12 engchi. 31.36. 19.70. 38.98. 31.16. 19.30. 38.86. 57.80. 32.06. 26.02. 49.92. 75.06. 29.84. 17.74. 38.34. 56.58. 31.10. 24.80. 47.86. 74.98. 29.08. 16.28. 37.33. 57.56. n. 18.44. io. 70. ‧. Nat. 6. 65. er. 6. ‧ 國. 49.92. 學. 26.24. y. 60. sit. 6. 55. 從實驗結果表 4.7可以發現，將 patch 點群取樣範圍擴增方法以及使用平方根的方式減緩權重值累加的差距，與 LIOR 的結果相比確實有效提升特徵描述子的描述能力，並在參數 N = 8, θ p = 60, equal = 5 時有最好的成效。我們更嚴謹地觀察不同區域特徵影像其像素值的差距程度分佈是否皆不太相同，以靜態常數設定門檻值可能會造成不同欄位的統計數量不平衡的問題。因此我們統計單一影像中各個 patch 的點對像素值差距分佈情形，為了避免隨機選取可能取到特例的疑慮，我們以點群數 N = 4 為例根據 K-Means 方法取出該張影像最具代表性的 5 個 patches，分別將各個 patch 的點對像素值差值統計完再累加（當點群數 N = 4 就會有 30.

(40) C24 = 6 組點對關係，也就是每個點都會產生 6 個點對像素差值），以 Bikes 類別為例如圖 4.3、 4.3所示。. (a) image 1. 立. 點對像素值差距統計累積圖政治(b) image1 大. ‧. ‧ 國. 學 er. io. sit. y. Nat (c) image 2. (d) image2 點對像素值差距統計累積圖. n. al. Ch. engchi. (e) image 3. i n U. v. (f) image3 點對像素值差距統計累積圖. 圖 4.3 bikes 類別影像取 5 個 patches 各別點對像素值差距統計累積圖 (紅色虛線為點對像素值差距小於 θ p = 20 的累積數量). 31.

(41) (a) image 4. 立. (b) image4 點對像素值差距統計累積圖. 政治大. ‧. ‧ 國. 學 (d) image5 點對像素值差距統計累積圖. n. al. er. io. sit. y. Nat. (c) image 5. Ch. engchi. (e) image 6. i n U. v. (f) image6 點對像素值差距統計累積圖. 圖 4.4 bikes 類別影像取 5 個 patches 各別點對像素值差距統計累積圖 (紅色虛線為點對像素值差距小於 θ p = 20 的累積數量) 我們可以發現當像素值差距門檻值為靜態的 θ p = 20 時，即使 5 個 patches 都從同張影像取出，像素值差距小於 20 的累積數量差距甚大，因此我們將嘗試使用像素值差距的標準差作為我們動態設定的像素值差距門檻值依據。並使用 patch 中所有點對像素值差距的標準差作為我們動態閾值 θd 的依據，並固定其他參數，實驗結果如表 4.8所示。 32.

(42) 表 4.8 DLIOR：動態閾值測試其他參數：B = 6, R = 6 權重設定：w = 像素值差距取平方根 Boat. Graf. Leuven. UBC. Wall. Trees. Avg.. 8. 18.44. 58.86. 34.24. 26.72. 51.26. 74.68. 32.54. 21.50. 39.78. 7. 18.48. 58.72. 33.92. 26.76. 51.64. 75.10. 32.12. 21.22. 39.75. 18.56. 58.40. 33.66. 26.58. 51.16. 75.48. 32.02. 20.56. 39.55. 5. 18.36. 57.80. 32.80. 25.94. 51.10. 74.94. 31.10. 19.16. 38.90. 4. 17.94. 57.32. 31.76. 24.94. 49.14. 75.22. 29.92. 17.28. 37.94. 8. 18.48. 58.96. 33.72. 26.12. 50.76. 74.94. 31.88. 21.06. 39.49. 7. 18.30. 58.96. 33.44. 75.14. 31.62. 20.40. 39.34. 75.62. 31.48. 19.86. 39.20. 5. 26.20 50.66 治政 18.28 58.42 33.08 25.88 51.00 大立 18.20 58.26 32.42 25.66 50.38. 75.30. 30.58. 18.84. 38.71. 4. 17.54. 57.42. 31.16. 24.58. 48.22. 75.14. 29.50. 16.82. 37.55. 18.52. 59.14. 34.28. 26.80. 50.90. 74.76. 32.58. 21.74. 39.84. 18.68. 58.66. 34.30. 26.90. 51.26. 75.06. 21.30. 39.80. 18.56. 58.34. 33.70. 26.68. 51.38. ‧. 32.20. 75.40. 32.26. 20.70. 39.63. 18.40. 58.16. 33.02. 26.10. 51.06. 75.18. 31.22. 19.42. 39.07. 4. 57.42. 31.78. 24.98. 49.10. 75.20. 30.12. 17.54. 38.03. 8. 18.36. 74.92. 31.98. 20.94. 39.41. 75.26. 31.50. 20.34. 39.19. 5. 8 7 σ×2. 8. 5. Nat. 6. 18.12. y. σ × 1.5. 5. n. a l58.64 33.78 26.18 50.44i v n Ch U i h 49.92 n g c26.28 18.24 58.46 e 33.50. 7 6. sit. 6. σ×2. er. 6. equal. ‧ 國. Bikes. θd. 學. Bark. io. N. σ × 1.5. 8. 18.34. 58.28. 33.18. 25.80. 50.82. 75.66. 31.62. 20.02. 39.22. 5. 18.12. 58.32. 32.48. 25.56. 50.12. 75.26. 30.58. 19.00. 38.68. 4. 17.54. 57.20. 31.44. 24.58. 48.12. 75.26. 29.74. 16.88. 37.60. 觀察實驗結果發現當 θd = σ × 2, equal = 8 時有著比靜態閾值 θ p 有著更好的表現。因此從實驗結果證實動態調整閾值的方式，確實有助於比對分數的提升。. 4.5.2 DLIOR：權重設定 4.5.2.1 權重差距調整除了使用平方根的方式初步減緩權重值的差距程度，我們接著使用線性轉換方式細部調整權重值差距程度，根據公式 4.5.1我們將對參數 base 以及參數 α 進行調整測試， 33.

(43) 測試結果如表 4.9所示。 w′ = base + α × w 表 4.9. 其他參數：θd = σ × 2, equal = 5 權重設定：w′ = base + α × w Bikes. Boat. Graf. Leuven. UBC. Wall. Trees. Avg.. 8. 18.76. 58.94. 34.18. 26.82. 52.72. 75.00. 32.46. 21.58. 40.06. 7. 18.52. 58.82. 33.90. 26.84. 52.38. 75.12. 32.2. 20.96. 39.84. 18.72. 59.14. 33.56. 26.56. 52.06. 75.24. 32.2. 20.46. 39.74. 5. 18.38. 58.62. 32.5. 25.98. 51.68. 74.92. 30.82. 18.86. 38.97. 4. 17.68. 58.14. 74.62. 30.06. 17.28. 38.02. 8. 18.84. 立 59.16. 治 49.82 政 25.06 31.52 大 34.24. 26.78. 52.86. 75.10. 32.52. 20.96. 40.06. 7. 18.62. 59.26. 33.78. 26.90. 53.02. 75.02. 32.18. 20.74. 39.94. 18.72. 59.00. 33.48. 26.52. 52.38. 75.22. 32.20. 20.34. 39.73. 18.54. 58.74. 32.60. 26.00. 51.78. 74.78. 30.92. 18.78. 39.02. 17.96. 58.26. 31.52. 25.04. 50.24. 74.66. 30.10. 17.26. 38.13. 7. 5. 0.3. 58.88. 34.14. 26.74. 51.92. 74.72. 32.48. 21.54. 39.88. 7. 18.72. 58.92. 33.88. 26.80. 52.12. 75.16. 32.32. 21.12. 39.88. 32.06. 20.36. 39.72. 30.90. 19.04. 38.94. 3. 0.7. 18.76. sit. er. a59.02 l C 33.54 26.64 52.06 n i v75.30 U 74.88 e n g26.08 58.12 h 32.70 c h i51.42. n. 6. y. 18.58. io. 8. Nat. 4. 0.5. ‧ 國. 6. 5. α. ‧. Bark. 6. base. DLIOR：線性轉換調整權重差距. 學. N. (4.5.1). 5. 18.34. 4. 17.94. 58.14. 31.66. 24.96. 49.64. 74.90. 30.00. 17.32. 38.07. 8. 18.76. 59.14. 34.18. 26.80. 52.90. 75.36. 32.46. 21.32. 40.12. 7. 18.56. 59.38. 33.74. 26.82. 52.72. 75.36. 32.20. 20.92. 39.96. 18.72. 59.20. 33.46. 26.52. 52.36. 75.44. 32.16. 20.46. 39.79. 5. 18.38. 58.60. 32.70. 25.92. 51.98. 75.06. 30.80. 18.82. 39.03. 4. 17.88. 58.18. 31.44. 25.10. 50.04. 74.68. 30.04. 17.30. 38.08. 6. 8. 0.5. 34.

(44) 8. 18.76. 59.30. 34.20. 26.68. 52.86. 75.72. 32.36. 21.26. 40.14. 7. 18.62. 59.46. 33.66. 26.84. 52.74. 75.58. 32.12. 20.74. 39.97. 18.72. 59.22. 33.30. 26.42. 52.16. 75.66. 32.16. 20.36. 39.75. 5. 18.54. 58.84. 32.44. 26.02. 52.00. 75.12. 30.76. 18.68. 39.05. 4. 17.96. 58.38. 31.48. 25.02. 50.24. 74.44. 30.12. 17.14. 38.10. 8. 18.84. 59.10. 34.08. 26.76. 52.84. 75.78. 32.34. 21.30. 40.13. 7. 18.52. 59.58. 33.72. 26.78. 52.70. 75.56. 32.10. 20.74. 39.96. 18.72. 59.16. 33.20. 26.46. 52.18. 75.74. 32.14. 20.30. 39.74. 5. 18.48. 58.92. 32.52. 26.10. 30.74. 18.56. 39.03. 4. 17.96. 58.32. 51.72 75.18 治政 31.54 24.92 50.32 大 74.42. 30.16. 17.10. 38.09. 6. 6. 15. 20. 0.5. 0.5. 立. ‧ 國. 學. 從實驗結果我們可以得知當 base = 15, α = 0.5 時有最好的表現力，也證實利用線性轉換的方式調整權重差距確實有助於比對結果，並使得八個類別的比對分數平均值. ‧. 突破 40 分。. sit. y. Nat. 4.5.2.2 動態配置接著我們也將權重值的門檻值使用與像素值差距相同的動態設定門檻值 θd ，取代原. er. io. 本的靜態門檻值 θw 來進行實驗，因此基本權重公式更改如式 4.5.2所示。並也將嘗試將. al. v i n Ch 素值差距的標準差的動態參數，擷取部分結果如表 e n g c h i U4.10所示。 n. 部分靜態參數調整為動態設定，首先將對線性轉換公式的參數 base 設定為基於點對像. ⎧ ⎪ ⎨ √x , if x < θd w= √ ⎪ ⎩ x − θd , if x ≥ θd. 35. (4.5.2).

(45) 表 4.10. DLIOR：動態權重設定. 其他參數設定： α = 0.5, equal = 5, θd = σ × 2 權重設定：w′ = base + α × w. N. Bark. Bikes. Boat. Graf. Leuven. UBC. Wall. Trees. Avg.. 8. 18.88. 59.26. 34.16. 26.66. 52.82. 75.78. 32.42. 21.46. 40.18. 7. 18.62. 59.62. 33.72. 26.84. 52.78. 75.56. 32.14. 20.84. 40.02. 18.72. 59.18. 33.24. 26.52. 52.36. 75.66. 32.16. 20.40. 39.78. 5. 18.54. 59.08. 32.58. 26.02. 51.92. 75.16. 30.90. 18.74. 39.12. 4. 17.90. 58.56. 31.40. 25.00. 50.16. 74.52. 30.10. 17.02. 38.08. 6. base. σ/2. 從上述實驗結果可知，當 base = σ/2, α = 5 時確實比靜態設定 base 參數更好的表. 政治大方式設定，實驗結果如表 4.11所示。立. 現。接著我們也嘗試將相等容許值 equal 使用基於點對像素值差距的標準差的動態參數. 8. ‧ 國. 學. 表 4.11 DLIOR：動態權重設定 equal. 7. 18.66. 59.12. 33.60. 26.64. 52.72. 75.50. 32.22. 20.66. 39.89. 18.84. 58.46. 33.22. 26.32. 52.34. 75.64. 32.08. 20.20. 39.64. 74.92 v i n C31.40 h e n25.02 i U 74.58 g c h50.12. 30.92. 18.68. 38.99. 30.14. 17.16. 38.05. 其他參數設定：base = σ/2, α = 0.5, θd = σ × 2 權重設定：w′ = base + α × w Boat. Graf. Leuven. UBC. 18.92. 58.76. 33.90. 26.82. 53.08. 75.82. 18.68. 58.46. 4. 17.98. 57.96. 8. 18.88. 58.94. 7. 18.70. 32.34. 25.94. 51.94. Trees. Avg.. 32.38. 21.14. 40.10. sit. er. n. al. 5. Wall. y. Bikes. io. σ/10. Bark. Nat. 6. equal. ‧. N. 34.08. 26.96. 52.64. 75.88. 32.36. 21.36. 40.14. 59.24. 33.84. 26.80. 52.46. 75.74. 32.18. 20.74. 39.96. 18.96. 58.92. 33.38. 26.48. 52.02. 75.78. 32.10. 20.12. 39.72. 5. 18.42. 58.46. 32.50. 26.24. 51.96. 75.10. 31.02. 18.74. 39.06. 4. 18.08. 58.48. 31.44. 25.08. 50.06. 74.72. 30.06. 17.18. 38.14. 6. σ/6. 36.

(46) 8. 18.80. 59.04. 34.02. 26.92. 52.38. 75.92. 32.40. 21.46. 40.12. 7. 18.68. 58.92. 33.76. 26.82. 52.48. 75.88. 32.14. 20.76. 39.93. 18.78. 58.92. 33.48. 26.52. 52.06. 75.82. 32.16. 20.34. 39.76. 5. 18.48. 58.62. 32.48. 26.10. 51.74. 75.16. 30.94. 18.68. 39.03. 4. 18.00. 58.24. 31.60. 25.16. 50.12. 75.10. 30.12. 17.30. 38.21. 8. 18.74. 59.24. 34.26. 26.82. 52.24. 76.06. 32.48. 21.34. 40.15. 7. 18.78. 58.88. 33.70. 26.78. 52.26. 76.18. 32.06. 20.56. 39.90. 18.72. 58.70. 33.46. 26.44. 51.78. 75.86. 32.16. 20.20. 39.67. 5. 18.42. 58.90. 32.44. 26.14. 30.84. 18.76. 39.04. 4. 17.98. 58.10. 51.60 75.20 治政 31.70 25.04 49.52 大 74.92. 30.06. 17.10. 38.05. 8. 18.72. 58.84. 32.60. 21.76. 40.09. 7. 18.78. 58.82. 18.84. 5 4. 26.68. 51.78. 76.16. 33.92. 26.82. 52.02. 76.32. 32.22. 20.92. 39.98. 58.46. 33.86. 26.48. 51.60. 76.12. 32.22. 20.28. 39.73. 18.52. 58.84. 32.54. 26.14. 51.52. 75.50. 30.92. 18.88. 39.11. 18.08. 57.46. 31.64. 24.98. 49.26. 75.20. 30.16. 17.22. 38.00. ‧. Nat. y. σ/3. 立 34.16. 學. 6. σ/4. sit. 6. σ/5. ‧ 國. 6. n. al. er. io. 從實驗結果得知，當 equal 參數使用動態配置的方式設定時，比對分數反而都下降. i n U. 了，因此我們在 equal 值仍維持使用靜態變數來設定。. Ch. engchi. v. 4.5.2.3 基於歐幾里德距離的欄位權重設定接著我們根據第 3.3 節的假設，使用歐幾里德距離作為權重的依據並做了以下幾種嘗試： (1) 首先嘗試使用距離倒數作為權重設定，公式如式 4.5.3所示，實驗結果如表 4.12所示。 Pairw ( xi , xk ) =. 1 1 = dist′ ( xi , xk ) cos(( 12 − N1 × d) × π ). 37. (4.5.3).

(47) 表 4.12. DLIOR：距離倒數權重設定. 其他參數設定：base = σ/2, α = 0.5, θd = σ × 2, equal = 5 權重設定：Pairw ( xi , xk ) × w′ N. Bark. Bikes. Boat. Graf. Leuven. UBC. Wall. Trees. Avg.. 8. 18.78. 59.18. 33.90. 26.74. 52.98. 75.46. 32.54. 21.02. 40.08. 7. 18.78. 59.26. 33.78. 26.78. 53.10. 75.14. 32.22. 20.38. 39.93. 6. 18.94. 59.28. 33.44. 26.44. 52.66. 75.28. 32.02. 19.78. 39.73. 5. 18.58. 58.40. 32.26. 25.84. 52.06. 75.02. 30.82. 18.34. 38.92. 4. 17.92. 58.30. 31.32. 24.94. 50.28. 74.38. 29.88. 16.90. 37.99. (2) 接著我們嘗試使用距離倒數平方為權重設定，實驗結果如表 4.13所示。. 政治 1大 Pair ( x , x ) = ( ) 立 cos(( − × d) × π ) ′ w. i. k. 1 2. 1 N. 2. (4.5.4). DLIOR：距離倒數平方為權重設定. ‧. ‧ 國. 學. 表 4.13. Bark. Boat. Graf. Leuven. UBC. Wall. Trees. Avg.. 8. 18.62. 58.14. 33.26. 26.40. 52.52. 74.88. 31.70. 18.66. 39.27. 7. 18.44. 58.30. 32.68. 26.46. 52.80. 74.58. 31.48. 18.32. 39.13. 6. 18.48. 58.58. 5. 18.56. a 32.88 i v 31.36 l C 26.22 51.80 74.82 n h e n g51.92 c h i U74.40 30.30 57.66 31.80 25.72. 18.36. 39.06. 17.26. 38.45. 4. 17.84. 57.92. 16.32. 37.74. er. n. 31.02. 24.60. 50.38. sit. y. N. Nat. Bikes. io. ′ ( x , x ) × w′ 其他參數設定：base = σ/2, α = 0.5, θd = σ × 2, equal = 5 權重設定：Pairw i k. 74.38. 29.48. (3) 再來我們嘗試使用距離倒數的平方根作為權重設定，實驗結果如表 4.14所示。 ′′ Pairw ( xi , x k ) =. !. 1 cos(( 12 −. 38. 1 N. × d) × π ). (4.5.5).

(48) 表 4.14 DLIOR：距離倒數平方根為權重設定 ′′ ( x , x ) × w′ 其他參數設定：base = σ/2, α = 0.5, θd = σ × 2, equal = 5 權重設定：Pairw i k. N. Bark. Bikes. Boat. Graf. Leuven. UBC. Wall. Trees. Avg.. 8. 18.92. 59.10. 34.16. 26.96. 53.32. 75.72. 32.50. 21.46. 40.27. 7. 18.54. 59.62. 33.78. 26.92. 53.22. 75.76. 32.36. 20.82. 40.13. 6. 18.92. 59.16. 33.52. 26.56. 52.58. 75.68. 32.24. 20.24. 39.86. 5. 18.54. 58.94. 32.48. 26.04. 52.06. 75.14. 30.94. 18.64. 39.10. 4. 17.72. 58.46. 31.44. 24.98. 50.24. 74.48. 30.08. 17.12. 38.07. 從上述三個實驗我們可以發現，當使用歐幾里德距離倒數平方根作為權重設定值. 政治大我們決定將歐幾里德距離倒數的平方根方法加入 DLIOR 方法的權重設定。立. 時，比對分數有非常顯著的提升，並使得八個類別的比對分數平均值達到 40.27，因此. ‧ 國. 學. 4.6. 實驗結果小結. ‧. 在此節，我們將所提出的改進方法進行統整，並提出完整的 DLIOR 方法以及其實. y. Nat. sit. 驗最佳參數組合。首先我們證實使用動態的點對像素差距門檻值 θd 作為我們 DLIOR 方. n. al. er. io. 法的閾值設定，用以取代 LIOR 方法的靜態像素值差距門檻值 θ p 以及靜態權重門檻值. i n U. v. θw 確實有效提升各個類別的比對分數。接著我們為 DLIOR 方法設定更具表現力的權重. Ch. engchi. 設定，根據上一節的實驗我們可以總結出 DLIOR 方法的權重 w′′ 設定公式如下： ⎧ ⎪ ⎨ √x , if x < θd w= √ ⎪ ⎩ x − θd , if x ≥ θd w′ = base + α × w. ′′ Pairw ( xi ,. xk ) =. !. (4.6.2). 1 cos(( 12. −. 1 N. × d) × π ). ′′ w′′ = Pairw ( xi , x k ) × w ′. 39. (4.6.1). (4.6.3). (4.6.4).