ROC 曲線比較

接收者操作特徵曲線(Receiver Operating Characteristic Curve, ROC)或者叫 ROC曲線，在信號偵測理論中，ROC曲線是以圖像的方式呈現二分類系統(Binary Classifier System)在特定的分類的表現，是一種座標圖式的分析工具，本節是使用 LIBSVM中提供的ROC分析工具做量測。

圖形的 縱軸(y-axis) 為真陽性率(True Positive Rate, TPR)，又稱為敏感度 (Sensitivity)，如(4-3)式所示，橫軸(x-axis)為偽陽性率(False Positive Rate, FPR)，

也有以 1 − 特異度 (Specificity)表示之，如(4-4)式所示。在本論文所代表的意義 則是：

真陽性(True Positive, TP)：判斷為USM影像，實際上也確實有USM處理。

偽陽性(False Positive, FP)：判斷為USM影像，實際上卻沒有USM處理。

真陰性(True Negative, TN)：判斷為原始影像，實際上也確實沒有USM處理。

偽陰性(False Negative, FN)：判斷為原始影像，實際上卻有USM處理。

真陽性率(TPR)：在所有實際為陽性的樣本中，被正確地判斷為陽性之比例。

𝑇𝑃𝑅 = 𝑇𝑃

𝑇𝑃 + 𝐹𝑁 (4-3)

偽陽性率(FPR)：在所有實際為陰性的樣本中，被錯誤地判斷為陽性之比例。

𝐹𝑃𝑅 = 𝐹𝑃

𝐹𝑃 + 𝑇𝑁 (4-4)

如圖 4-9 所示，在鑑別ROC曲線於分類結果的好與壞時，主要是以一個對角 線為參考，若離左上角越近的點預測的準確率越高，也就是說TPR越接近1越好且

- 65 -

FPR越接近0越好，反之離左上角越遠的點，預測則越不準確。

圖 4-9 ROC 空間示意圖

除了看曲線的圖形之外，也可以利用曲線下的面積(Area under curve, AUC) 來判別ROC曲線的鑑別力的輔助判斷，AUC數值的範圍從0到1，數值愈大愈好。

AUC數值一般的判別規則為以下四點：

AUC = 0.5 ：無鑑別力(No Discrimination)

0.7 ≤ AUC ≤ 0.8：可接受的鑑別力(Acceptable Discrimination) 0.8 ≤ AUC ≤ 0.9：優良的鑑別力(Excellent Discrimination) 0.9 ≤ AUC ≤ 1.0：極佳的鑑別力(Outstanding Discrimination)

圖 4-10到圖 4-13表示為BMP格式在各N值之ROC曲線與AUC值，圖 4-14到 圖 4-17為JPEG格式在各N值之ROC曲線AUC值。

- 66 -

BMP格式：

圖 4-10 BMP 格式在 N=5 情況下之 ROC 曲線

圖 4-11 BMP 格式在 N=7 情況下之 ROC 曲線

- 67 -

圖 4-12 BMP 格式在 N=9 情況下之 ROC 曲線

圖 4-13 BMP 格式在 N=11 情況下之 ROC 曲線

- 68 -

觀察BMP格式的圖 4-10到圖 4-13，在各N值下的ROC曲線，依照觀察方法，

其呈現的狀況依序為 M3 > M4 > M1 > M2 ，以M4與M3表現比M1與M2的表現 還要好，說明了使用Otsu門檻化方法可以提高辨識結果的可靠度，而其中M3又比 M4好，是因為二進位編碼方法的特徵類別較多，所以辨識率的表現會比格雷編 碼方法好；輔助判斷的AUC的數值一樣也是 M3 > M4 > M1 > M2 ，各N值下之 AUC範圍都落在 0.9 ≤ AUC ≤ 1.0 之間，因此具有好的鑑別力。在BMP格式與各 N值下，綜合ROC曲線與AUC來看四種實驗方法，N=11配M3的情況為最佳，配 M4次之。

JPEG格式：

圖 4-14 JPEG 格式在 N=5 情況下之 ROC 曲線

- 69 -

圖 4-15 JPEG 格式在 N=7 情況下之 ROC 曲線

圖 4-16 JPEG 格式在 N=9 情況下之 ROC 曲線

- 70 -

圖 4-17 JPEG 格式在 N=11 情況下之 ROC 曲線

觀察JPEG格式的圖 4-14到圖 4-17 ，在各N值下的ROC曲線，其呈現的狀況 依序為 M3 > M4 > M1 > M2 ，如同BMP格式一樣，說明了使用Otsu門檻化方 法可以提高辨識結果的可靠度，但由於JPEG的方塊效應，造成邊緣的雜訊干擾，

使得JPEG的ROC曲線不像BMP格式比較接近左上角；輔助判斷的AUC的數值為 M3 > M4 > M1 > M2 ，各N值下之AUC範圍都落在 0.9 ≤ AUC ≤ 1.0 之間，因 此具有好的鑑別力。在JPEG格式與各N值下，綜合ROC曲線與AUC來看四種實驗 方法，一樣以N=11與M3的情況為最佳，配M4次之。

- 71 -