Fingerprint Identification)。接觸式指紋辨識又分為全指紋(Full Fingerprint)與片段指紋 (Partial Fingerprint)兩種辨識方法。以創新性與前瞻性的角度對指紋辨識演算法進行
樣板是需要由許多不同按壓位置的片段指紋縫合成一個接近全指紋的縫合影像。縫
Patch-Whole Scan
& Correlation
(a) 後置式
(b) 側面
(c) 前置式
圖 1-6、感測器搭載於手機上的各種型式。
而 本 研 究 曾 實 現 片 段 指 紋 縫 合 演 算 法 [30] ， 利 用 相 關 性 匹 配 (Correlation Matching)結合隨機抽樣一致(RANdom SAmple Consensus，RANSAC)演算法來對齊 指紋，但是成功縫合片段指紋的機率不高，推論為使用 RANSAC 演算法原因。以 RANSAC 歸納具有一致性的特徵對應點對數量需要大於一定數量以上才能使指紋 對齊(Fingerprint Alignment)成功，但這剛好是片段指紋所達不到的要求，片段指紋 影像越小造成特徵點數量過少的情況下，RANSAC 歸納具有一致性的特徵對應點對 就達不到所需數量來對片段指紋縫合。所以本研究排除 RANSAC 演算法，期望單 獨使用相關性匹配就能直接使指紋對齊甚至達到縫合指紋的目的，但指紋縫合會受 到指紋扭曲(Distortion)的影響，單以相關性匹配沒有辦法處理指紋扭曲的問題，因 此本論文以不處理曲扭過於嚴重的指紋圖像的方式測試指紋在相關性匹配下使用不 同相似度(Similarity)計算方式對於指紋縫合的效果。
如圖 1-5 白色區塊紅色粗框的部分，自研究方向定為片段指紋為開始，片段指 紋縫合為目的，以曲扭狀況不嚴重的片段指紋影像的縫合率為成果，呈現本論文的 研究主體架構。而藍色粗框則是論文具有的創新性與前瞻性所在即使用 4 種相似度 進行指紋相關性匹配的效果差異，與製作輔助標記標準答案的軟體工具。
圖 1-5 綠色區塊加上黃色區塊即為本論文的研究架構圖，綠色區塊為本論文的 相關性匹配演算法模組，將在第三章的部分進行介紹，相關性匹配分別使用 4 種相 似度分數來計算相似性，這四種相似度分數分別為均方差(Mean Square Error)、結構
相 似 性 指 標 (Structural SIMilarity Index ， SSIM) 、 正 規 化 互 相 關 (Normalized Cross-correlation，NCC)，Dice 係數(Dice coefficient，DC)，相關性匹配會計算出特 徵點的對應點對集合(Correspondence Points Pairs Set，CPPS)，指紋圖透過綠色區塊 的演算法模組得到相關性匹配的 CPPS，指紋依照 CPPS 中的對應點對為基準進行縫 合，從所有對應點對產生的縫合圖中挑選曲扭率最低的作為輸入兩張指紋的縫合圖，
透過曲扭率(Distortion rate)門檻值篩選出縫合成功與失敗的影像，再來與 GT 的縫合 結果進行驗證判斷出透過相關性匹配的縫合效果。曲扭率則是在縫合圖重疊區域對 兩張指紋進行 SSIM 的相似度計算，SSIM 分數越低則表示兩指紋重疊區域曲扭情況 較為嚴重，。
黃色區塊是用來檢測相關性匹配結果而製作的標準答案(Ground Truth，GT)與專 家鑑識的部分，GT 是專家透過所開發的 GT Tool 進行標記特徵貼片對應的標準答案，
如何製作的標準答案的方式將於論文第四章進行介紹。再從標記好的對應點對進行 指紋縫合，計算每一組對應點對產生的縫合圖重疊區域的曲扭率，從所有對應點對 產生的縫合圖中挑選曲扭率最低的作為輸入兩張指紋的縫合圖。最後再由專家鑑識 所有 GT 所產生的縫合指紋圖像，判定可接受的縫合影像，依此界定出曲扭率門檻 值用來對 CPPS 的縫合進行篩選。而如何檢測相關性匹配結果與專家鑑識曲扭率的 部分則在第五章實驗部分來解說。
圖 1-5 中的紅色箭號表示 4 種相似度會得到 4 份縫合率的統計，這 4 份縫合率 的統計呼應到論文的目的，指紋在相關性匹配下使用不同相似度(Similarity)計算方 式對於指紋縫合的效果。
研究問題與挑戰 1.2
要測試不同相似度計算下的相關性匹配的的縫合結果會遇到兩大問題，第一為 指紋扭曲問題，因接觸式指紋擷取影像時手指表面受力不均，導致兩張指紋能夠對
準但無法完美縫合成功，如圖 1-7 指紋已對準但縫合受到曲扭因數影響而部分紋路 出現交錯狀況。第二個問題是必須要建立與其驗證的標準答案，而在閱讀及蒐集的 文獻中並未發現在指領域中與對於特徵貼片相關性匹配的標準答案製作方式，也沒 有可驗證特徵貼片相關性匹配正確與否的標準答案，所以必須自行產生指紋特徵匹 配 標準答 案來驗 證 Patch-Whole 相關 性匹 配的準確 率。因 此如 何產生精 準的 Patch-Whole 相關性匹配標準答案與驗證方式即為本研究中的問題所在。
圖 1-7、指紋扭曲問題。
標準答案在影像識別技術(Image Recognition Technology)中是通過專門領域的 專家經由一定方法所觀察判定的訊息，而不是由模型或模擬得來，可認為是準確且 可靠的數據，用來檢驗影像識別的結果。應用在不同的影像識別領域所需產生的標 準答案資料不會一樣，且產生標準答案的難易度也有落差。由於本研究的目的是要 測試出在指紋中的特徵貼片使用相關性匹配演算法找到正確對應位置的準確率。所 需要產生的標準答案就是特徵貼片對應的位置座標及特徵貼片的旋轉角度，如圖 1-8 展示了特徵貼片的對應關係、圖 1-9 則為特徵貼片對應到查詢指紋上時的旋轉 角度。。
Reference Query Reference Query Ground Truth
圖 1-8、本研究的標準答案圖解之一(特徵點對應的位置座標)。
Reference Query
Rotation 260°
圖 1-9、本研究的標準答案圖解之二(特徵貼片對應的旋轉角度)。
應用於不同指紋領域的標準答案，如指紋辨識的標準答案只需分類出一系列指 紋影像由同一隻手指所擷取出的影像是那些，如圖 1-10 藍色框中的指紋，其標準 答案為紅色框中的所有影像，這類型的標準答案可以直接由公眾資料庫[37][38]收集 或自行指紋擷取時進行編號分類儲存。而應用於指紋細節擷取(Minutiae Extraction) 的標準答案[39]-[45]，如圖 1-11 Minutiae 的特徵“端點(End Point)”跟“分岔點 (Bifurcation Point)”在指紋上可以很輕易地被專家挑選出來。
Ground Truth
圖 1-10、指紋辨識的標準答案圖解(相同手指指紋影像) 。
Ground Truth
圖 1-11、指紋特徵擷取的標準答案圖解(指紋端點與分岔點) 。
本研究的標準答案必須要由參考指紋(Reference Fingerprint)上擷取出的特徵點 並擴充成特徵貼片的區域，找到其在查詢指紋(Query Fingerprint)的對應位置座標以 及特徵貼片對應到查詢指紋時的旋轉角度。製作 Patch-Whole 相關性匹配的標準答 案困難比上述兩種標準答案在製作上更為困難。困難的地方有三點，第一點是無效 的特徵點問題。所謂的無效特徵是指參考指紋特徵點擴充成特徵貼片時所涵蓋區域 超出影像範圍，或特徵貼片在查詢指紋找不到對應位置以及所對應的偵測區域超出 影像範圍。如圖 1-12，藍色框的特徵貼片本身超出參考指紋影像範圍；綠色框的特 徵貼片雖然在查詢指紋上找的到對應位置，但對應區域超出查詢指紋影像範圍；紫 色框的特徵貼片在查詢指紋上找不到相對應的位置。上述的三種狀況的特徵點為無 效的特徵，在製作標準答案時必須將其排除在外，但專家在標記時並不容易分辨出 那些是無效特徵。
Reference Query 圖 1-12、貼片區域超出範圍問題。
第二點是特徵擷取時位置不夠準確，在參考指紋上的特徵點並不是很完美的落 在端點跟分岔點上，而是常會有些許偏差，如圖 1-13 (a)端點被擷取出的三種位置 狀況。以專家來觀察端點，偏向尖端是最直觀可以標記的類型；其餘兩種都要仔細 觀察對應位置，且標記上也比較誤差也較大。圖 1-13 (b)舉例出分岔點標記時的兩 種狀況，這兩種狀況在尋找準確的對應位置時都相當困難。尤其是深入岔點的特徵，
這類型的分岔點紋路交接處都十分的寬大，專家不容易分辨對應點位置。如此，對 應點的位置就不能直觀的標記在相對應的特徵點上，還必須要根據偏差的位置來仔 細觀察相對應於查詢指紋的座標所在。但在標記時容易受到指紋細節類型的影響而 直接標記在端點尖端或是分岔點交接處，而忽略掉參考指紋上的特徵點的偏差而導 致標記的誤差產生。
端點內
偏向側面
偏向尖端
深入岔點
偏向分支
(a)端點 (b)岔點
圖 1-13、特徵點擷取位置類型。
最後是角度的標記問題。相關性匹配並不是只有匹配位置的對應關係，還包含 了特徵貼片匹配時所具有的旋轉角度，因此標準答案也必須標記特徵貼片對應到查 詢指紋時的旋轉角度。以指紋對齊的觀點，兩張指紋對齊時會有一組對齊的旋轉角 度，在理想的狀況下同一張指紋圖下所切割的特徵貼片應該會具有相同的位移量與 旋轉角度。但是接觸式指紋影像有扭曲變形(Distortion)的情況，會使得兩張指紋紋 路無法在重疊區域完全吻合的，如圖 1-14 為相同的兩張指紋圖在不同的特徵為基 準點對齊時的範例圖，由對齊時的旋轉角度可觀察得知因指紋扭曲的問題手動對齊 指紋時只能保證在特徵點鄰近區域的紋路吻合，而其他區域發生沒有吻合的狀況，
且會造成不同的特徵點對齊時的旋轉角度不同，如圖 1-14 的兩個旋轉角度，一個 為 118 度，一為個 111 度相差了 7 度。這些狀況都會使專家在進行標記時要決定對 齊時的旋轉角度的難度增加。
118度 111度
圖 1-14、指紋無法完全吻合範例。
章節組織與架構 1.3
本論文的章節組織與架構一共安排有六個章節：
第一章描述了指紋辨識現今的在於行動生物辨識的前景與市場，並根據創新性 與前瞻性分析指紋辨識的的研究趨勢，藉此引導出本論文的研究動機與目的、問題 與挑戰。同時說明測試使用相關性匹配進行指紋縫合所會遇到的問題與挑戰。
第一章描述了指紋辨識現今的在於行動生物辨識的前景與市場，並根據創新性 與前瞻性分析指紋辨識的的研究趨勢，藉此引導出本論文的研究動機與目的、問題 與挑戰。同時說明測試使用相關性匹配進行指紋縫合所會遇到的問題與挑戰。