本研究以四種準確率來檢測 CPPS 的縫合效果,分別為縫合的命中率(True Positive Rate,TPR)、縫合成功率(Stitched Success Rate,SSR)、縫合的精準度(Precision) 以及縫合的正確拒絕率(True Negative Rate,TNR)。透過曲扭率分數門檻值的判斷將 GT 與 CPPS 的縫合圖進行判別, CPPS 的縫合結果再與 GT 的縫合結果進行比 較後會得到四種比較數據:
(1) TP (True positive):GT 的指紋縫合成功且 CPPS 也判斷縫合成功的數量。
(2) FP (False positive):GT 的指紋縫合失敗但 CPPS 判斷縫合成功的數量。
(3) TN (True negative):GT 的指紋縫合失敗且 CPPS 也判斷縫合失敗的數量。
(4) FN (False negative):GT 的指紋縫合成功但 CPPS 判斷縫合失敗的數量。
透過 TP、FP、TN、FN 這 4 個數據則可計算出縫合的命中率、縫合成功率、縫 合的精準度以及縫合的正確拒絕率,其計算方式將於下列介紹:
1. 縫合的命中率(True Positive Rate,TPR)
定義是 CPPS 中所有實際縫合成功的縫合圖裡(TP+FN),被正確地判斷為縫合 成功的比率,其計算公式如(5-1)。
TPR TP
TP FN
………..……….(5-1)
2. 整體縫合成功率(Stitched Success Rate,SSR)
定義是 CPPS 在實際縫合成功的縫合圖中被判斷為縫合成功數量(TP)占整體縫 合次數的比率,即在所有的縫合圖中成功縫合的機率。
SSR TP
TP FP FN TN
……….(5-2)
3. 縫合的精準度(Precision,P)
定義是 CPPS 中所有被判斷為縫合成功中的縫合圖裡(TP+FP),實際縫合成功的 縫合圖(TP)佔有多少比率,其計算公式如(5-3)。
P TP
TP FP
………..….(5-3)
4. 縫合的正確拒絕率(True Negative Rate,TNR)
定義是 CPPS 中所有實際縫合失敗的縫合圖裡(FP+TN),被正確的判斷為縫合 失敗的比率,其計算公式如(5-4)。
TNR TN
FP TN
………..……..….(5-4)
實驗數據 5.4
曲扭率分數是以 SSIM 作為衡量標準,根據專家的鑑定本實驗 GT 的縫合結果 所得到的曲扭率門檻值為 0.354194,則曲扭率落在 0.354194 以上分數的 GT 指紋縫 合圖與相似度使用 SSIM 的 SSIM-CPPS 指紋縫合圖就判定為縫合成功,落在包含 0.354194 以下分數的 GT 指紋縫合圖與 CPPS 指紋縫合圖就判定為縫合失敗。
數據統計結果:
1) GT 的 23 張指紋縫合圖中,共有 11 個縫合成功,12 個縫合失敗。
2) SSIM-CPPS 的 23 張指紋縫合圖中,共有 12 個縫合成功,11 個縫合失敗。
3) SSIM- CPPS 這 23 張判斷結果與 GT 進行比較可得到:
TP:GT 的指紋縫合成功且 CPPS 也判斷縫合成功的縫合圖有 11 張。
FP:GT 的指紋縫合失敗但 CPPS 判斷縫合成功的縫合圖有 1 張。
TN:GT 的指紋縫合失敗且 CPPS 也判斷縫合失敗的縫合圖有 11 張。
FN:GT 的指紋縫合成功但 CPPS 判斷縫合失敗的縫合圖有 0 張。
1. 縫合的命中率(True Positive Rate,TPR)
GT 的指紋縫合成功且 CPPS 也判斷縫合成功的縫合圖有 11 張(TP),GT 的指紋 縫合成功但 CPPS 判斷縫合失敗的縫合圖有 0 張(FN),將 TP 與 FN 代入精準度公式 (5-1)可得式(5-5),SSIM-CPPS 的指紋縫合命中率為 100%。
TPR TP
TP FN
………..……….(5-1)
11 100%
TPR11 0
………..….(5-5)
2. 整體縫合成功率(Stitched Success Rate,SSR)
GT 的指紋縫合成功且 CPPS 也判斷縫合成功的縫合圖有 11 張(TP)所有的縫合 圖數量有 23 張,帶入公式(5-2)可得式(5-6),SSIM-CPPS 的指紋整體縫合成功 率為 47.83%。 可得式(5-7),SSIM-CPPS 的指紋縫合精準度為 91.67%。
P TP
4. 縫合的正確拒絕率(True Negative Rate,TNR)
GT 的指紋縫合失敗但 CPPS 判斷縫合成功的縫合圖有 1 張(FP),GT 的指紋縫 合失敗且 CPPS 也判斷縫合失敗的縫合圖有 11 張(TN),將 TP 與 FN 代入精準度公 式(5-4)可得式(5-8),SSIM-CPPS 的指紋縫合的正確拒絕率為 91.67%。
TNR TN
圖 5-13 可以看到 SSIM-CPPS 計算縫合成功的縫合圖,圖 5-14 為 SSIM-CPPS 計算縫合失敗的縫合圖,圖 5-15 為 SSIM-CPPS 誤判為成功的縫合圖,可以發現這 23 張縫合圖都有使指紋對齊,但是會因為指紋扭曲的關係而導致只有對齊的特徵點 周圍紋路吻合,而其他區域受到扭曲影響而產生紋路交錯的狀況,這樣的問題會反 應在曲扭率的分數上從而區分出是否縫合成功。
圖 5-13、SSIM-CPPS 指紋縫合成功的縫合圖。
圖 5-14、SSIM-CPPS 指紋縫合失敗的縫合圖。
圖 5-15、SSIM-CPPS 指紋誤判為縫合成功的縫合圖。
最後測試了 4 種相似度所計算出的 CPPS 縫合圖與 GT 縫合結果進行驗證所得 到的縫合的命中率、縫合的成功率、縫合的精準度以及縫合的正確拒絕率如表 5-3 所示。
表 5-3、4 種相似度所計算出的 CPPS 之縫合準確率。
相似度方法 TPR SSR P TNR MSE-CPPS 100% 47.83% 91.67% 91.67%
SSIM-CPPS 100% 47.83% 91.67% 91.67%
NCC-CPPS 100% 47.83% 91.67% 91.67%
DC-CPPS 100% 47.83% 91.67% 91.67%
由表 5-3 可知四種相似度計算出的縫合結果沒有任何差別,四個結果的縫合成 功率皆是相同的 47.83%,但其中的縫合命中率(TPR)數據可發現數值是 100%,這表 示實際有縫合成功的縫合圖裡,每一張縫合圖都被正確地判斷為縫合成功,也代表 在兩指紋之間扭曲情況不嚴重的片段指紋 Patch-Whole 相關性匹配都能成功縫合。
實驗結果分析 5.5
為了找出為何 4 種相似度計算出的縫合結果會相同的原因,分析 4 種相似度所 計算出的 23 組縫合圖的曲扭率分數條列於表 5-4 顯示。而在表 5-4 可以發現只有 DC 於查詢指紋編號 9,12,18 的縫合圖曲扭率分數與其他 3 種相似度所計算出得縫合 圖曲扭率分數不一樣。但這分數的差異不大,沒有對縫合成功與失敗的判斷造成影 響,所以統計的縫合率還是一樣。而造成這樣的原因可能是 4 種相似度經過相關性 匹配找到的對應點,在經過縫合測試所挑出的最佳縫合圖,其對應點對計算出的轉 換公式具有十分相近的位移量及旋轉角度,造成曲扭率分數相差非常小,所以需要 再分析曲扭率分數不同的縫合圖之間的位移量與旋轉角度。
表 5-4、4 種 CPPS 的曲扭率分數。
Query MSE-CPPS SSIM-CPPS NCC-CPPS DC-CPPS 01 0.253683 0.253683 0.253683 0.253683 02 0.349869 0.349869 0.349869 0.349869 03 0.280883 0.280883 0.280883 0.280883 04 0.721668 0.721668 0.721668 0.721668 06 0.359236 0.359236 0.359236 0.359236 07 0.38867 0.38867 0.38867 0.38867 08 0.195611 0.195611 0.195611 0.195611 09 0.259478 0.252015 0.252015 0.259478 10 0.23203 0.23203 0.23203 0.23203 11 0.355327 0.355327 0.355327 0.355327 12 0.172429 0.172429 0.172429 0.205726 13 0.37667 0.37667 0.37667 0.37667 14 0.217775 0.217775 0.217775 0.217775 15 0.342623 0.342623 0.342623 0.342623 16 0.398381 0.398381 0.398381 0.398381 17 0.382621 0.382621 0.382621 0.382621 18 0.475304 0.475304 0.475304 0.47144 19 0.482358 0.482358 0.482358 0.482358 20 0.304826 0.304826 0.304826 0.304826 21 0.250455 0.250455 0.250455 0.250455 22 0.461557 0.461557 0.461557 0.461557 23 0.506383 0.506383 0.506383 0.506383 24 0.464554 0.464554 0.464554 0.464554
分析 DC 所縫合的這三組指紋所計算出的位移量及旋轉角度與其他 3 種相似度
度,是因為作為最佳縫合圖的特徵基準點不一樣的情況,受到指紋扭曲的影響,以 不同的特徵點作為對齊的基準點所匹配的角度會受到影響,但因為特徵都有使指紋 對齊,所以對曲扭率的分數也影響不大。
表 5-5、分數差異的指紋縫合圖之位移量與旋轉角度。
MSE-CPPS SSIM-CPPS NCC-CPPS DC-CPPS Query 位移量 角度 位移量 角度 位移量 角度 位移量 角度
09 120.304 238 120.304 238 120.304 238 122.544 246 12 53.235 147 53.235 147 53.235 147 54.562 144 18 124.680 331 124.680 331 124.680 331 123.822 331
NCC-CPPS DC-CPPS SSIM-CPPS
MSE-CPPS
圖 5-16、4 種相似度對查詢指紋編號 09 的縫合圖。
DC-CPPS MSE-CPPS SSIM-CPPS NCC-CPPS
圖 5-17、4 種相似度對查詢指紋編號 12 的縫合圖。
MSE-CPPS SSIM-CPPS NCC-CPPS DC-CPPS 圖 5-18、4 種相似度對查詢指紋編號 18 的縫合圖。
再分析同一對指紋裡各個特徵所縫合之影像的曲扭率分數,觀察各特徵所縫合
Query FP_Num MSE-CPPS SSIM-CPPS NCC-CPPS DC-CPPS 18 1 0.391323 0.391323 0.391323 0.391323
SSIM-CPPS
MSE-CPPS NCC-CPPS DC-CPPS
圖 5-19、4 種相似度對查詢指紋編號 18,特徵點編號 3 的縫合圖。
SSIM-CPPS
MSE-CPPS NCC-CPPS DC-CPPS
圖 5-20、4 種相似度對查詢指紋編號 18,特徵點編號 5 的縫合圖。
SSIM-CPPS
MSE-CPPS NCC-CPPS DC-CPPS
圖 5-21、4 種相似度對查詢指紋編號 18,特徵點編號 8 的縫合圖。
SSIM-CPPS
MSE-CPPS NCC-CPPS DC-CPPS
圖 5-22、4 種相似度對查詢指紋編號 18,特徵點編號 13 的縫合圖。
觀察以上圖表可發現這一對指紋 ‘各特徵’的縫合圖分數的差異比 ‘各指紋’的 縫合圖分數的差異來的大。而發生分數的差異較大的情況是在 DC 所計算的特徵並 未能命中實際的對應區域,使得縫合失敗因此曲扭率分數與其他相似度差距較大。
所以假設要使曲扭率分數差異較大的情況需要某種相似度所計算的特徵並未能命中 實際的對應區域。表 5-8 舉例了 2 組曲扭率分數差異較大的縫合圖數據,圖 5-23、
圖 5-24 為這 2 組數據的縫合圖。
表 5-8、4 種 CPPS 縫合圖曲扭率分數差異較大的範例。
Query FP_Num MSE-CPPS SSIM-CPPS NCC-CPPS DC-CPPS 12 8 0.01464 0.102167 0.102167 0.01464 14 1 0.002946 0.107112 0.107112 0.107112
DC-CPPS MSE-CPPS SSIM-CPPS NCC-CPPS
圖 5-23、4 種相似度對查詢指紋編號 12,特徵點編號 8 的縫合圖。
MSE-CPPS SSIM-CPPS NCC-CPPS DC-CPPS 圖 5-24、4 種相似度對查詢指紋編號 14,特徵點編號 1 的縫合圖。
由圖 5-23 可以看出 MSE-CPPS 與 DC-CPPS 的特徵並未命中其正確的對應區域 導致縫合失敗曲扭率分數較低。而圖 5-24 是 MSE-CPPS 未命中其正確的對應區域 導致縫合失敗。因此可認定要 4 種相似度的縫合結果出現極大差異必須出現某種相 似度所有的特徵點都匹配失敗而其他相似度能成功縫合的情況出現。
經過以上研究分析,特徵經過不同的相似度的相關性匹配所計算出的對應點對 只要特徵貼片能命中實際的對應區域使指紋對齊,其對應座標及旋轉角度會十分接 近,因此其曲扭率分數也會相近。而代表一對指紋的縫合曲扭率分數是由所有特徵 的對應點對進行縫合,再從中挑選最佳的縫合結果,若基準點相同其位移量與旋轉 角度會趨近一致,這樣縫合曲扭率分數的差異就會極小。若基準點不同,其位移量 與旋轉角度會受到指紋扭曲影響差異會較大,但同樣有使指紋對齊所以曲扭率分數 也差異不大。如此並沒有出現能跨越門檻值的分數差異,因此 4 種相似度的縫合圖 所計算出的縫合率相同。
第6章 結論與未來展望
6.1 結論
本論文提出以縫合片段指紋,探討曲扭率來衡量指紋重疊區域的扭曲程度,依 此而訂定一門檻值,判別片段指紋是否有成功縫合。為了達到主要目標,我們除了 提出四種相似度分數的 Patch-Whole 相關性匹配方法,也創新開發了自製的標準答 案輔助工具 FingerprintGTMarker 來製作供檢測的答案,進而驗證本論文提出的方法 是否能夠成功縫合指紋影像。
以四種相似度進行的 Patch-Whole 相關性匹配方法,主要是要讓指紋能夠對齊,
並進一步的縫合在一起,但受限於指紋的扭曲而無法完美的縫合。因此在檢測之前,
先以專家區分出指紋扭曲過於嚴重的指紋影像,即縫合圖的標準答案,共有 11 組能 成功縫合指紋與 12 組曲扭過於嚴重的縫合指紋。透過本論文提出的方法縫合的 23 對的指紋影像中,經驗證後有 11 對確認為縫合成功,1 對誤判為縫合成功,有 11 對確認為縫合失敗,可得到縫合成功率為 47.83%,但其中的縫合命中率(TPR)數據 可發現數值是 100%,這表示實際有縫合成功的縫合圖裡,每一張縫合圖都被正確 地判斷為縫合成功,也代表在兩指紋之間扭曲情況不嚴重的片段指紋 Patch-Whole
先以專家區分出指紋扭曲過於嚴重的指紋影像,即縫合圖的標準答案,共有 11 組能 成功縫合指紋與 12 組曲扭過於嚴重的縫合指紋。透過本論文提出的方法縫合的 23 對的指紋影像中,經驗證後有 11 對確認為縫合成功,1 對誤判為縫合成功,有 11 對確認為縫合失敗,可得到縫合成功率為 47.83%,但其中的縫合命中率(TPR)數據 可發現數值是 100%,這表示實際有縫合成功的縫合圖裡,每一張縫合圖都被正確 地判斷為縫合成功,也代表在兩指紋之間扭曲情況不嚴重的片段指紋 Patch-Whole