第三章 研究方法
3.4 特徵點匹配和篩選
本研究使用的特徵點匹配方法使用最接近距離法(NN, Nearest Neighbor)，
因為是兩個最接近的候選點比較距離並以門檻值作過濾是比較好的方式[2]。但
21
經過 NN 配對後仍發現會有不屬於書籍封面的群外值，以本研究的應用來看，即
為可能存在於背景的其他書籍封面、背景本身，故引進隨機抽樣一致性(RANSAC)
過濾掉這些配對錯誤的特徵點。接著本研究利用書本封面皆為矩形的特徵，利
用透視變換做進一步的篩選。
3.4.1 最接近距離法(NN)和 RANSAC
在找到特徵點後，本研究根據 Lowe 的建議使用最接近距離法。NN 的方法
是找出鄰近的兩個相似點，過濾掉距離差異小於一定門檻的特徵，但由於本研
究的應用需考慮到辨識的圖片可能存在有其他書籍封面和背景本身的干擾，所
以使用了 RANSAC 方法來除去不在對比影像範圍內的群外值來提升準確度。
RANSAC 的做法是先在對比的圖片的特徵點中隨機取出 n 個點計算出 model
parameters ， 如 果 有 對 比 圖 片 的 特 徵 點 和 model 的 誤 差 小 於 該 model 的
threshold，則將其加入 Consensus set 中，即表示此點為內群(inliers)。重
複 N 次後，如果超過一定數量的點在 Consensus set 中則表示此 model 為可行
之 model，最後將上述步驟重複一定次數找出誤差最小的 model 即為 RANSAC 的
結果，結果如下圖所示。
22
圖 14RANSAC 結果示意圖。
3.4.2 𝐍𝐍𝐍𝐍Area 篩選和 RANSAC 殘留率(RANSAC Remain Rate)
RANSAC 篩選因其演算法的關係，會出現兩張圖雖有成功的配對點但是從圖
中的相對位置來看卻是落於不同的區域內，如圖 15 中的 a 圖和 c 圖所示。利用
書本大部分為矩形的特性，可將特徵點的相對位置分成於書本內和書本外，且
書本內的特徵點也可更進一步劃成等份區塊來做判斷，如果特徵點落於不同的
區塊內便可將其列為錯誤的配對。所以本研究提出一個篩選方法稱為N2Area 篩
選，利用書本封面大部分為矩形的特性和上一節 RANSAC 篩選的配對特徵點計算
的兩張圖片間透視變換矩陣(perspective matrix)[12]，透過此法將上述之配
對錯誤的特徵點剔除。
首先，將資料庫的書本封面圖分成N2份(N > 2)，稱為N2Area，將各矩形
23
的四頂點座標利用透視矩陣對映至目標圖片上，如圖 15 的 a 圖所示。接著檢查
所有配對的特徵點是否各自落在兩張圖片同對映區塊內，如果不是則將該配對
剔除。最後N2Area 篩選的結果如圖 15 的 b 圖所示。而圖 15 的 c 圖和 d 圖則可
看出，RANSAC 在相似度高的特徵點情況會將特徵點做匹配(在這個例子上為圖
中文字字型)，但實際上來看匹配的特徵點所坐落的區域不同，所以不應該被匹
配在一起。
篩選過的 RANSAC 配對特徵點即為處於書本封面內且為同區域的特徵點，利
用本研究提出之 RANSAC 殘留率(Remain Rate)可算出其與 RANSAC 結果之比例。
比例越高者，則代表該圖為正確配對的可能性越高。下列算式為 RANSAC 殘留率
(Remain Rate)的計算方式:
RANSACRemainRate =RANSAC𝑅𝑅𝑅𝑅𝑅𝑅𝑔𝑔𝑅𝑅𝑅𝑅 𝑅𝑅𝑔𝑔𝑚𝑚𝑐𝑐ℎ 𝑝𝑝𝑐𝑐𝑅𝑅𝑅𝑅𝑚𝑚𝑝𝑝 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 𝑅𝑅𝑅𝑅𝑝𝑝𝑅𝑅𝑐𝑐𝑚𝑚
故本研究可使用 RANSAC 殘留率做為篩選圖片的閾值(Threshold)，並藉此
對於在 RANSAC 無法檢驗到的細部對配對特徵點做更進一步的篩選，來達到提升
準確率的目的。
24
圖 15 範例為 16Area 篩選，a 圖和 c 圖為特徵點篩選前的配對結果，b 圖和 d 圖則為篩選後的 配對結果。a、b 圖組可看出下方四格的特徵點匹配因與原圖所在的區塊不同而遭剔除，而 c、d 圖組雖是不同圖片，但可看出因文字字型這類特徵點類似情況也可透過N2Area 篩選。
3.4.3 基於重複率(Repeatability score)的評估準則
本研究對圖片匹配結果的評估準則是採用 Miksik 研究[19]中用來判斷常用
的 區 域 特 徵 比 對 演 算 法 優 劣 的 方 法 。 其 所 提 出 的 重 複 率 (Repeatability
score)[19]主要是依據配對點是否有正確配對和匹配的數量多寡[25]來設計的，
25
這樣設計主要在避免最接近距離法取出的匹配點過少但 RANSAC 篩選下皆屬於正
確配對的情形，同時對於本研究的研究對象來說正好相符合。但因為 Miksik 所
提出的重複率的分子部分是使用 RANSAC 篩選的結果，而本研究則是於 3.4.2 節
有進一步改善 RANSAC 篩選的過程，所以計算式中分子的部分改為 RANSAC 和基
於透視變換的N2Area 篩選法的匹配特徵點數量，計算的式子為
R =R+ R∗
其中，R+為經由 RANSAC 和基於透視變換的N2Area 篩選法的匹配特徵點數量，
R∗為最接近距離法所選出的匹配特徵點數量。
26