利用Otsu門檻化與格雷碼改良式鈍化遮罩偵測於影像竄改辨識之應用
91
0
0
全文
(2) 應用於影像竄改辨識之利用 Otsu 門檻化與格雷 碼改良式鈍化遮罩偵測系統 學生：林俊霖. 指導教授：蘇崇彥. 博士. 國立臺灣師範大學電機工程學系碩士班. 摘. 要. 近幾年來，科技快速地發展使得行動裝置普及，拍攝數位照片變得越來越容 易，再加上數位影像的技術愈來愈成熟，影像編輯軟體也因此盛行。由於數位影 像的內容資訊容易被修改，衍生數位影像鑑識的議題。因此該如何確認其攝影內 容的真實性變得越來越重要。本研究的目的在於快速偵測經過鈍化遮罩處理後的 影像，也就是將銳化後的影像偵測出來，以垂直邊緣二進位編碼演算法為基礎加 以改良，利用格雷碼對稱的特性，降低特徵的運算量，改善其執行時間。再加上 使用 Otsu 門檻化方法搭配 Canny 邊緣偵測，保留對比明顯的邊緣，增加辨識的 成功率。最後，比較兩種編碼方式並且觀察原始影像與銳化後影像的特徵對分類 結果的影響。. 經由實驗結果顯示，本論文之改良式鈍化遮罩偵測系統，對於一般拍攝環境 下，經過鈍化遮罩處理過的影像具有快速且較佳的檢測效果。. 關鍵字：影像竄改、鈍化遮罩偵測、Otsu 門檻化、格雷碼. i.
(3) Modified Unsharp Masking Detection System Using Otsu Thresholding and Gray Code for Image Tampering Recognition Student：Lin, Chun-Lin. Advisors：Dr. Su, Chung-Yen. Institute of Industrial Education National Taiwan Normal University. ABSTRACT. In recent years, the development of the wireless technologies is growing rapidly. People generally have more than one mobile device such as smart phones or tablet PCs. Therefore, taking a picture becomes a simple thing in our live. Due to the fact that digital image processing software is easy to use, the research of digital image forensics becomes popular in the world.. In this study, we focus on Unsharp Masking (USM) detection. The proposed detecting system is based on Edge Perpendicular Binary Coding (EPBC). We use Otsu thresholding to enhance the performance of Canny edge detection, so that the accuracy of USM detection is increased. Moreover, the symmetric property of Gray encoding is used to reduce the number of feature points. This improves the execution time of the detecting system. Experimental results show that our proposed method has faster execution and better accuracy of USM detection for the normal shooting environment.. Keywords: Image Tampering Recognition, Unsharp Masking Detection, Otsu thresholding, Gray code ii.
(4) 誌. 謝. 時光飛逝，季節輪替，又到了鳳凰花開、驪歌響起時，以最誠摯的感謝指導 教授 蘇崇彥老師，在兩年的研究生活中，老師總是不厭其煩地給予建議、協助 並適時的提供正確的研究方向，讓學生在碩士生涯中學會了如何發現問題、分析 問題及解決問題，才得以完成本論文。由於以前沒接觸過影像處理相關學科，老 師願意花時間從一些基礎的原理開始教起，並且分享撰寫程式上的一些觀念與技 巧。除了在影像處理的專業及研究上，在老師的身上還學到了許多待人處事的方 法，嚴謹的做事態度與做研究的正確方式，讓學生知道一個完整的研究並非一蹴 可幾，而未來進入職場後，老師的諄諄教誨學生將銘記在心。在此同時也要感謝 口試委員. 瞿忠正教授、. 林政宏教授給予的建議與指導，使本論文更臻完整。. 感謝在師大這段期間所遇到的人、事、物，讓我有所成長。感謝實驗室學長 鈺棠和哲揚在研究上給予的幫助、建議與照顧，讓我很快的能夠融入實驗室；感 謝榮堃學長，在我投稿研討會論文的時候，幫忙英文的潤稿與建議；感謝實驗室 同學英浩，幫忙處理實驗室的大大小小的雜務，互相討論研究問題；感謝實驗室 學弟力安一起分享並討論動漫心得，感謝學弟乃魁，在我研究中遇到的問題，幫 忙分析與釐清，感謝學弟政鈞，在程式上的討論與建議；感謝實驗室專題生學弟 張弘燁、陳彥良在球場上一起揮灑熱血。因為有 VIP 實驗室的你們，讓煩悶的研 究生涯有所樂趣與歡笑，特別是哲揚。另外感謝兄弟們相挺，晨祐、治東、翊堯、 廷瑞、家瑋，在這段時間能夠為我分憂解勞。 最後，最感謝的還是我的父母與家人，因為他們的包容、支持與幫助，讓我 可以心無旁鶩的完成碩士學位，謹以此文獻給我摯愛的家人。 林俊霖. 謹誌于. 臺灣師範大學影像處理實驗室 2016 年 6 月. iii.
(5) 目 摘. 錄. 要 .................................................................................................................... I. ABSTRACT ................................................................................................................. II 誌. 謝 ...................................................................................................................... III. 目. 錄 ...................................................................................................................... IV. 圖目錄 .......................................................................................................................... VI 表目錄 .......................................................................................................................... IX 第一章 緒論 .......................................................................................................... - 1 1.1 1.2 1.3 1.4. 研究背景 ..................................................................................................... - 1 研究動機 ..................................................................................................... - 3 研究目的 ..................................................................................................... - 3 論文架構 ..................................................................................................... - 4 -. 第二章 背景知識與技術 ...................................................................................... - 5 2.1 2.2 2.3 2.4 2.5. 鈍化遮罩(UNSHARP MASKING, USM)原理介紹 ........................................ - 5 OTSU 門檻化(OTSU THRESHOLDING)原理.................................................. - 8 格雷碼(GRAY CODE)的特性 ..................................................................... - 13 鈍化遮罩之偵測方法 ............................................................................... - 15 文獻回顧整理 ........................................................................................... - 18 -. 第三章 研究方法 ................................................................................................ - 19 3.1. 改良式垂直邊緣格雷編碼(EPGC)之架構 .............................................. - 20 3.1.1 利用 Otsu 門檻化計算門檻值.................................................................. - 21 3.1.2 Canny 邊緣偵測 ......................................................................................... - 23 3.1.3 擷取局部區域 ........................................................................................... - 26 3.1.4 格雷編碼 ................................................................................................... - 28 3.1.5 特徵直方圖統計 ....................................................................................... - 30 3.1.6 支持向量機(Support Vector Machine, SVM) .......................................... - 34 -. 3.2 3.3 3.4. BMP 檔案格式特徵直方圖分析 .............................................................. - 37 JPEG 檔案格式特徵直方圖分析 ............................................................. - 41 鈍化遮罩架構 ........................................................................................... - 48 -. 第四章 實驗結果與數據分析 .............................................................................. - 50 4.1. 實驗設計 ................................................................................................... - 50 -. iv.
(6) 4.2 4.3 4.4. 特徵直方圖統計的執行時間比較 ........................................................... - 54 辨識率與系統整體執行時間比較 ........................................................... - 57 ROC 曲線比較 .......................................................................................... - 64 -. 第五章 使用者介面實現 ...................................................................................... - 71 5.1 5.2. 介面設計工具 ........................................................................................... - 71 應用程式操作說明 ................................................................................... - 73 -. 第六章 結論與未來展望 ...................................................................................... - 75 參. 考. 自 學. 文. 獻 ...................................................................................................... - 77 -. 傳 .................................................................................................................. - 80 術. 成. 就 ...................................................................................................... - 81 -. v.
(7) 圖目錄. 圖 1-1 2014 年臺灣智慧型裝置持有者經常使用的 APP 類型[1] .................. - 2 圖 2-1 鈍化遮罩方塊圖 ..................................................................................... - 5 圖 2-2 USM 技術原理[4] ................................................................................... - 7 圖 2-3 鈍化遮罩後在邊緣產生的差異 ............................................................. - 8 圖 2-4 Otsu 門檻化示意圖 ................................................................................. - 9 圖 2-5 二進位碼與相對應的格雷碼 ............................................................... - 13 圖 2-6 兩種邊緣的灰階變化圖 ....................................................................... - 14 圖 2-7 文獻[6]之系統架構示意圖 .................................................................. - 15 圖 2-8 文獻[7]之擷取局部區域示意圖 .......................................................... - 16 圖 2-9 文獻[8]局部二值模式之局部區域示意圖 .......................................... - 17 圖 2-10 文獻[9]邊緣垂直二進位編碼(EPBC)局部區域示意圖 ................... - 17 圖 3-1 邊緣垂直二進位編碼(EPBC)之架構 .................................................. - 19 圖 3-2 邊緣垂直格雷編碼(EPGC)之架構 ...................................................... - 20 圖 3-3 Otsu 門檻化演算法流程圖 ................................................................... - 22 圖 3-4 典型 Canny 與結合 Otsu 計算門檻值的 Canny 比較 ........................ - 25 圖 3-5 類別間變異數統計圖 ........................................................................... - 26 圖 3-6 正規化邊緣梯度的八個方向 ............................................................... - 27 圖 3-7 擷取局部區域示意圖 ........................................................................... - 27 圖 3-8 格雷編碼正規化直方圖 ....................................................................... - 32 圖 3-9 二進位編碼正規化直方圖 ................................................................... - 32 圖 3-10 SVM 超平面示意圖 ............................................................................ - 34 圖 3-11 一對多的示意圖 ................................................................................. - 35 圖 3-12 LIBSVM 規定之資料內容格式與檔案格式...................................... - 36 -. vi.
(8) 圖 3-13 BMP 格式使用 Otsu 演算法 ............................................................... - 37 圖 3-14 BMP 格式無使用 Otsu 演算法 ........................................................... - 38 圖 3-15 Orig 與 USM 對於有無使用 Otsu 之特徵趨勢圖 ............................. - 40 圖 3-16 在相同邊緣點比較 BMP 與 JPEG 的不同 ....................................... - 42 圖 3-17 邊緣點於(50, 20)之局部區域像素值(灰階值) ................................. - 43 圖 3-18 邊緣點於(3, 98)之局部區域像素值(灰階值) .................................... - 44 圖 3-19 邊緣點於(3, 185)之局部區域像素值(灰階值) .................................. - 45 圖 3-20 原始影像的 BMP 格式與 JPEG 格式特徵直方圖比較 ................... - 46 圖 3-21 USM 影像的 BMP 格式與 JPEG 格式特徵直方圖比較 .................. - 47 圖 3-22 USM 流程圖 ........................................................................................ - 49 圖 4-1 SVM 訓練模型架構圖 .......................................................................... - 51 圖 4-2 USM 偵測系統架構圖 .......................................................................... - 53 圖 4-3 BMP 格式中各 N 值的 pr 值程度 ........................................................ - 55 圖 4-4 JPEG 格式中各 N 值的 pr 值程度 ....................................................... - 56 圖 4-5 BMP 格式之四種實驗方法在各 N 值的辨識率 ................................. - 58 圖 4-6 JPEG 格式之四種實驗方法在各 N 值的辨識率 ................................. - 60 圖 4-7 比較測試影像中的原始影像與訓練用的 USM 影像之特徵直方圖 - 61 圖 4-8 比較測試影像中的 USM 影像與訓練用的原始影像之特徵直方圖 - 61 圖 4-9 ROC 空間示意圖................................................................................... - 65 圖 4-10 BMP 格式在 N=5 情況下之 ROC 曲線 ............................................. - 66 圖 4-11 BMP 格式在 N=7 情況下之 ROC 曲線 ............................................. - 66 圖 4-12 BMP 格式在 N=9 情況下之 ROC 曲線 ............................................. - 67 圖 4-13 BMP 格式在 N=11 情況下之 ROC 曲線 ........................................... - 67 圖 4-14 JPEG 格式在 N=5 情況下之 ROC 曲線 ............................................ - 68 圖 4-15 JPEG 格式在 N=7 情況下之 ROC 曲線 ............................................ - 69 圖 4-16 JPEG 格式在 N=9 情況下之 ROC 曲線 ............................................ - 69 vii.
(9) 圖 4-17 JPEG 格式在 N=11 情況下之 ROC 曲線 .......................................... - 70 圖 5-1 Matlab 之 GUI 工具介面 ...................................................................... - 71 圖 5-2 USM 偵測程式之使用者介面佈局 ...................................................... - 72 圖 5-3 USM 偵測程式 ...................................................................................... - 73 圖 5-4 USM 偵測程式執行後的情況 .............................................................. - 74 -. viii.
(10) 表目錄. 表 2-1 文獻優缺點比較 ................................................................................... - 18 表 3-1 格雷碼與𝐸𝑃𝐺𝐶𝐺十進位 ...................................................................... - 29 表 3-2 二進位編碼與十進位 ............................................................................ - 29 表 3-3 格雷編碼之原始影像(Orig)與 USM 影像的特徵類別計算 .............. - 31 表 3-4 二進位編碼之原始影像(Orig)與 USM 影像的特徵類別計算 .......... - 33 表 3-5 格式範例所代表之意義 ........................................................................ - 36 表 3-6 邊緣點於(50, 20)之 BMP 格式局部區域編碼結果：........................ - 43 表 3-7 邊緣點於(50, 20)之 JPEG 格式局部區域編碼結果： ........................ - 43 表 3-8 邊緣點於(3, 98)之 BMP 格式局部區域編碼結果：........................... - 44 表 3-9 邊緣點於(3, 98)之 JPEG 格式局部區域編碼結果： .......................... - 45 表 3-10 邊緣點於(3, 185)之 BMP 格式局部區域編碼結果：....................... - 46 表 3-11 邊緣點於(3, 185)之 JPEG 格式局部區域編碼結果： ...................... - 46 表 4-1 硬體配置與開發環境 ........................................................................... - 52 表 4-2 BMP 格式之統計特徵直方圖平均的執行時間 .................................. - 54 表 4-3 JPEG 格式之統計特徵直方圖平均的執行時間.................................. - 56 表 4-4 BMP 格式之辨識率與系統平均執行時間 .......................................... - 57 表 4-5 JPEG 格式之辨識率與系統平均執行時間.......................................... - 59 表 4-6 辨識失敗的 40 張影像 ......................................................................... - 62 -. ix.
(11) 第一章 緒論. 1.1 研究背景 近十年來，隨著科技的快速發展，行動網路的普及，各種資訊的傳遞與交換 越來越快速，再加上越來越多的人擁有一台甚至多台的行動裝置(Mobile Device) ， 例如：智慧型手機、平板電腦。根據2014年，財團法人資訊工業策進會創新應用 服務研究所FIND團隊與Mobile First研究調查報告[1]中指出，2014年臺灣12歲(含) 以上的民眾，持有智慧型行動裝置的人口半年內增加101萬人，其中12歲以上人 口達7成，推估全臺行動族群約有1,432萬人，且同時持有智慧型手機及平板電腦 的人口約達527萬人。由此可知，持有智慧型裝置的人口成長相當可觀。. 由於攝影功能成為了智慧型裝置的基本配備，使得數位攝影日益普及，人們 可以很方便且快速的獲取大量的數位影像。與此同時，各種影像處理的應用程式 (Application, APP)應運而生，越來越多功能強大的影像處理和編輯軟體可以讓使 用者能夠很容易的對數位影像進行編輯和修改，達到使用者所需的效果。例如: Adobe PhotoShop(PS)、Adobe LightRoom(LR)、PhotoImpact或以照片為主的社群 軟體Instagram……等等，都是與影像處理軟體相關的軟體。. -1-.
(12) 圖 1-1 2014 年臺灣智慧型裝置持有者經常使用的 APP 類型[1] 如圖 1-1所示，照片剪輯類的相關應用軟體使用情況排名第五。由此可知， 數位影像處理相關應用已漸漸普及，進入百家爭鳴的時代。但也因為如此，使得 數位影像的真實性越來越讓人感到懷疑。. 舉個例子，在法院中提出一項證據欲使法官信服，於法律上便需取得其證據 能力及證明力。若證物為數位影像，取得證據能力即可證明此數位影像具有「證 據」的性質。為了提高數位影像的證明力，基於民法三百五十五條：「公文書之 真偽有可疑者，法院得請作成名義之機關或公務員陳述其真偽」之精神，法院可 將司法警察證明為證據之數位影像，證明為無人為力量介入編輯。也就是說，若 欲取得法官之信任，除了在製作過程中必須遵循法律程序外，尚須證明其未受編 輯、修改。. 有鑑於此，數位影像鑑識(Digital Image Forensics) [2][3]的相關議題在近幾年 越來越熱門，如何在大量的數位影像中，使用一套便利快速的方法，去過濾影像 是否經過人為處理，成為了目前重要的課題。 -2-.
(13) 1.2 研究動機 在上述的研究背景下，數位影像具有易取得、易修改的特性，所以在數位影 像鑑識領域裡，所有可能是人為處理的操作，都需要被偵測出來。. 整體而言，數位影像鑑識主要可以分為兩種，來源辨識與竄改檢測。影像來 源辨識的重點在於，利用探討數位相機在影像（光線）進入之後不同階段處理的 獨有特點，與各家廠商的硬體特性相關，主要目的在確認影像來源的數位設備， 如: 相機、手機、攝影機等等；而影像竄改檢測目的則是發現人為篡改之過程， 通常為影像的處理軟體做後製處理，與各種影像處理的演算法的特性相關，以檢 測出這些特性當作證據，確保數位影像之真實性，例如：視頻剪輯、影像編輯等 等。. 在眾多數位影像處理相關應用技術中，一種最容易最方便使用的技術就是 「影像銳化」，其效果能夠增加影像的清晰度、輪廓的對比度，影像銳化已經是 所有影像處理軟體的基本功能，而鈍化遮罩(Unsharp Masking, USM) [4]為銳化處 理的主要方法。. 影像銳化的功能在現今影像編修軟體盛行的時代常常被使用，因為可以使人 們自拍的照片，五官更深邃；使美麗的風景照，對比更加鮮明。雖然影像銳化的 目的是增強人們的視覺感受，但基於確保影像的真實性這些修改是不被允許的。. 1.3 研究目的 由於影像銳化功能常被使用，因此我們針對人為後製的鈍化遮罩作為偵測的 目標，可以協助影像鑑識領域的使用者判斷數位影像是否經過後製的銳化處理。 在這方面已經有專家學者提出一些相關的研究[5]-[9]，但大多數的研究中，辨識 -3-.
(14) 效果還是有其限制。. 以F. Ding [9]等人的演算法為基礎，其優點是相較其他研究方法辨識效果佳， 缺點是特徵的數量會隨著擷取局部區域的大小增加而增加，主要是將其演算法改 良，希望能夠改善其執行效率並且提升鈍化遮罩的辨識率。. 1.4 論文架構 本論文的內容主要分為六個章節，第一章為緒論，主要介紹研究的背景、動 機及目的；第二章為背景知識與技術，將介紹鈍化遮罩、Otsu門檻化、格雷碼的 特性與鈍化遮罩的相關偵測方法；第三章為研究方法，將介紹本論文實驗的流程 及架構，以及實驗的過程中參考F. Ding [9]演算法所遇到的問題與解決的方法； 第四章為實驗的結果與數據分析整理；第五章為使用者介面實現；最後一章為本 論文的結論與未來展望分析。. -4-.
(15) 第二章 背景知識與技術. 2.1 鈍化遮罩(Unsharp Masking, USM)原理介紹 在影像銳化(Image Sharpen)的技術中，鈍化遮罩(Unsharp Masking, USM)為一 種常用的技術，其主要目的在於銳化影像輪廓邊緣部分，為一個有遮罩(Mask)屬 性的銳化濾波器，使得鈍化遮罩在數位影像處理中有著廣泛的應用。. 一般影像濾波的做法是將影像一部份加回到影像濾波的結果，也就是說把整 個影像加回到濾波影像，稱為「高增幅濾波」(High-boost Filtering)，這個方法則 是鈍化遮罩的一般式，主要是藉由減去影像自己的低頻成份，單純的在影像高頻 成份做銳化的處理之後，再將原本減去的低頻成份部分加回，以確保影像低頻部 分的完整性。鈍化遮罩是用來銳利化影像邊緣的複合技巧，基本的方塊圖如圖 2-1 所示：. I(x,y). +. IM(x,y) HP Filter. ×. HP = 1- LP. 圖 2-1 鈍化遮罩方塊圖. -5-. IS(x,y). λ.
(16) 如前面方塊圖所述過程，鈍化遮罩(USM)依序可以用下列數學式表示之：. 步驟一： 使原始影像模糊化，也稱之為「鈍化」。 𝐼𝐵 (𝑥, 𝑦) = 𝐿𝑃(𝜎) ∗ 𝐼 (𝑥, 𝑦). (2-1). 其中 LP 為低通濾波器(Low-pass filter)。. 步驟二： 將原始影像減去模糊化影像，其差異即為遮罩(Mask)。 𝐼𝑀 (𝑥, 𝑦) = 𝐼(𝑥, 𝑦) − 𝐼𝐵 (𝑥, 𝑦). (2-2). 步驟三： 將遮罩加回到原始影像上，可得銳化的影像。 𝐼𝑆 (𝑥, 𝑦) = 𝐼 (𝑥, 𝑦) + 𝜆 × 𝐼𝑀 (𝑥, 𝑦). (2-3). 其中，𝐼(𝑥, 𝑦)為原始影像，𝐼𝐵 (𝑥, 𝑦)表示模糊後的影像，𝐿𝑃 (𝜎)為低通濾波之 核，𝐼𝑀 (𝑥, 𝑦)為遮罩，最後遮罩乘上一個權重比例 (𝜆) 加回到原始影像，𝐼𝑆 (𝑥, 𝑦)為 銳化的影像。. 為了通用性我們乘上一個權重值 𝜆 (𝜆 ≥ 0)。當 𝜆 = 1 時，為上述所定義之 鈍化遮罩；當 𝜆 > 1 時，稱為高增幅濾波(High-boost Filtering)；另外，當 𝜆 < 1 時， 去除鈍化遮罩強化的貢獻，亦即無銳化效果。依照上述步驟把過程以圖 2-2 表示 之。. -6-.
(17) (a). (b). (c). (d). 圖 2-2 USM 技術原理[4]. 圖 2-2.(a)為垂直於邊緣從亮到暗變遷的灰階強度剖面圖。 (b)為模糊後的結 果。 (c)為遮罩(Mask)，由原始訊號減去模糊後的訊號而得。 (d)為銳化後結果， 將遮罩加回原始訊號而得。其結果即為增強在影像中強度斜率改變的區域； 𝜆 值 可以視為銳化強度的調整參數，若 𝜆 值夠大，圖 2-2.(d)尖峰部分會造成正增益 效果，谷底部分則會造成負增益效果；其尖峰與原始訊號的差值還有谷底與原始 訊號的差值在文獻[7]-[9]上又稱為超越量(Overshoot)，如圖 2-3 所示。. -7-.
(18) Overshoot artifact. Gray-level. Original image Filtered image Sharpened image. Overshoot artifact. Position of the pixels. 圖 2-3 鈍化遮罩後在邊緣產生的差異. 在了解鈍化遮罩的原理後，可以將鈍化遮罩的Mask或稱為超越量的幅度大小， 視為鈍化遮罩的特徵，知道特徵後便可做後續的量化處理。. 2.2 Otsu 門檻化(Otsu Thresholding)原理 由於鈍化遮罩主要目的在於增強影像輪廓邊緣的對比，而邊緣對比明顯的區 域大部分都在影像的前景與背景的交界處，前景例如被拍攝之目標物體、人物、 建築……等等，背景則為非被拍攝目標之其他區域或顏色、亮度接近的區域， 所 以要如何找到前景與背景交界處就需要用到影像分割相關技術。. 在影像分割(Image Segmentation)中，邊緣檢測(Edge Detection)為重要的一環， 如何決定一個好的門檻值給邊緣檢測使用，已經有許多學者專家提出一些相關研 究，其中 Nobuyuki Otsu 於 1979 年發表了一個門檻化方法的研究，Otsu 門檻化[10] 方法提供了一個分離前景與背景的最佳門檻值參考。. -8-.
(19) Otsu門檻化的主要想法為，在影像之直方圖中，對於好的門檻化下的各類別， 他們的灰階值(Gray-level)會很不一樣，也就是說，就其灰階值而言，可以得到類 別之間最好分隔的門檻值即為最佳門檻值，如圖 2-4所示。. Pixel Count. Threshold. Gray-level 圖 2-4 Otsu 門檻化示意圖. Otsu 門 檻 化 使 用 了 一 種 統 計 區 別 分 析 的 量 測 方 式 ， 類 別 之 間 變 異 數 (Between-class Variance)最大化，使得Otsu在影像分割有著不錯的效果，以下將會 介紹Otsu門檻化的過程。. 假設大小為𝐻 × 𝑊個像素(Pixel)的數位影像，有L ({0, 1, 2, …, L-1})個不同的 灰階值準位，並令 𝑛𝑖 表示有灰階值 i 的像素個數。影像中的像素總數為 HW = 𝑛0 + 𝑛1 + ⋯ + 𝑛𝐿−1 ，其直方圖含有𝑝𝑖 = 𝑛𝑖 /𝐻𝑊成分，由此可得 𝐿−1. ∑ 𝑝𝑖 = 1 ,. 𝑝𝑖 ≥ 0. (2-4). 𝑖=0. 假設選取某一門檻值𝑇(𝑘 ) = 𝑘, 0< k < L-1，將輸入影像分成兩個類別𝐶1 和𝐶2 ， 其中𝐶1 由影像中灰階值在範圍[0, k]內的所有像素組成，𝐶2 則為灰階值在範圍[k+1, -9-.
(20) L-1]內的所有像素組成。此門檻值會給類別𝐶1 的機率𝑃1 (𝑘)，由累積之和得到： 𝑘. 𝑃1 (𝑘) = ∑ 𝑝𝑖. (2-5). 𝑖=0. 亦即類別𝐶1 所發生的機率。而類別𝐶2 發生的機率為 𝐿−1. 𝑃2 (𝑘) = ∑ 𝑝𝑖 = 1 − 𝑃1 (𝑘). (2-6). 𝑖=0. 而在類別𝐶1 中之像素的平均灰階值為 𝑘. 𝑚1 (𝑘 ) = ∑ 𝑖𝑃 (𝑖 | 𝐶1 ). (2-7). 𝑖=0 𝑘. = ∑ 𝑖𝑃 (𝐶1 | 𝑖) 𝑖=0. 𝑃 (𝑖 ) 𝑃(𝐶1 ). (2-8). 𝑘. 1 ∑ 𝑖𝑝𝑖 = 𝑃1 (𝑘). (2-9). 𝑖=0. 其中，(2-7)式 𝑃(𝑖 | 𝐶1 ) 是已知 𝑖 (灰階值)來自於類別𝐶1 的情況下，有 𝑖 的機率。 (2-8) 式 則 是 依 據 機 率 中 的 貝 氏 定 理 (Bayes’ Theorem) 之 公 式 而 來 ： 𝑃(𝐴|𝐵) = 𝑃(𝐵|𝐴)𝑃(𝐴)/𝑃(𝐵)。 (2-9)式為已知 𝑖 的情況下，類別𝐶1 的機率𝑃(𝐶1 | 𝑖) = 1，主要是因為只處理來自類 別𝐶1 的值 𝑖 。另外，𝑃(𝑖) 為第 i 個值的機率，此即為直方圖第 i 個成分 𝑝𝑖 。. - 10 -.
(21) 同理，類別𝐶2 中之像素的平均灰階值為 𝐿−1. 𝑚2 (𝑘 ) = ∑ 𝑖𝑃 (𝑖 | 𝐶2 ) 𝑖=𝑘+1 𝐿−1. =. (2-10). 1 ∑ 𝑖𝑝𝑖 𝑃2 (𝑘) 𝑖=𝑘+1. 到灰階值準位 𝑘 的累積平均(即平均灰階值)為： 𝑘. 𝑚(𝑘) = ∑ 𝑖𝑝𝑖. (2-11). 𝑖=0. 整張影像的整體平均(即整體平均灰階值)為： 𝐿−1. 𝑚𝐺 = ∑ 𝑖𝑝𝑖. (2-12). 𝑖=0. 將上述的各個結果整理帶入可以得到 𝑚𝐺 = 𝑃1 𝑚1 + 𝑃2 𝑚2. (2-13). 1 = 𝑃1 + 𝑃2. (2-14). 為方便觀察，暫時將 𝑘 省略。 為評估在灰階值準位 𝑘 之門檻值好壞，利用正規化且無單位的量測方式： 𝜎𝐵2 𝜂= 2 𝜎𝐺. (2-15). 其中，𝜎𝐺2 為整體變異數(Global Variance)，亦即影像中所有像素的灰階值變異數： 𝐿−1. 𝜎𝐺2. = ∑(𝑖 − 𝑚𝐺 )2 𝑝𝑖. (2-16). 𝑖=0. 而𝜎𝐵2 為類別間變異數(Between-class Variance)，定義為： 𝜎𝐵2 = 𝑃1 (𝑚1 − 𝑚𝐺 )2 + 𝑃2 (𝑚2 − 𝑚𝐺 )2. - 11 -. (2-17).
(22) 亦可表示成 𝜎𝐵2 = 𝑃1 𝑃2 (𝑚1 − 𝑚2 )2 =. (𝑚𝐺 𝑃1 − 𝑚) 𝑃1 (1 − 𝑃1 ). (2-18). 2. (2-19). 其中，(2-18)式為(2-13)式與(2-17)式的關係導出，(2-19)式則由(2-6)式與(2-12)式 的關係導出。而以(2-19)式這樣表示的好處為整體平均𝑚𝐺 只需計算一次，對於任 意的𝑘值，只有𝑚與𝑃1 需要計算而已。. 從(2-18)式可以觀察到，兩個平均值 𝑚1 和 𝑚2 若相互遠離，𝜎𝐵2 則會越大，代 表著類別間變異數是類別間可分離度(Separability)的一個量測指標。因為 𝜎𝐺2 為一 常數值，所以由此得 𝜂 也為分離度的量測指標，且對此量測指標最大化等同於使 𝜎𝐵2 最大化。所以Otsu方法的目標，即是取得門檻值 𝑘 以使得類別間變異數最大化。. 重新把 𝑘 帶回(2-15)式與(2-19)式可得： 𝜎𝐵2 (𝑘) 𝜂(𝑘) = 𝜎𝐺2. (2-20). 和 𝜎𝐵2 (𝑘). (𝑚𝐺 𝑃1 (𝑘) − 𝑚(𝑘))2 = 𝑃1 (𝑘)(1 − 𝑃1 (𝑘)). (2-21). 最後，最佳的門檻值為使 𝜎𝐵2 (𝑘 ) 最大化的 𝑘 ∗ ： 𝑘 ∗ = arg max 𝜎𝐵2 (𝑘 ) 0≤𝑘 ≤𝐿−1. (2-22). 其中arg max 意思為：𝑘 ∗ 是𝜎𝐵2 (𝑘 )中，產生最大值的參數𝑘。. 也就是說，若要求得𝑘 ∗ ，只要針對所有𝑘的整數值計算(2-21)式之值，並選出 產生最大 𝜎𝐵2 (𝑘 )的𝑘值。假若最大值存在一個以上的𝑘值，則是取出使 𝜎𝐵2 (𝑘 )最大 的各個𝑘值，然後取平均值。另外，可以看到(2-21)式的所有參數皆可以用輸入影 - 12 -.
(23) 像的直方圖計算得到。 求得到 𝑘 ∗ 後，就可以將輸入影像𝑓(𝑥, 𝑦)做分割的動作，最後得到分割的影像 𝑔(𝑥, 𝑦)： 𝑔(𝑥, 𝑦) = {. 1. 若𝑓 (𝑥, 𝑦) > 𝑘 ∗. 0. 若𝑓 (𝑥, 𝑦) ≤ 𝑘 ∗. (2-23). 𝑥 = 0, 1, 2, … , 𝐻 − 1; 𝑦 = 0, 1, 2, … , 𝑊 − 1 而在最佳門檻值所計算的正規化量測 𝜂 (𝑘 ∗ ) 就用來評估類別之間的可分離性，其 範圍為 0 ≤ 𝜂 (𝑘 ∗ ) ≤ 1 。. 回到本節一開始所提到的，Otsu門檻化方法優點就是只需要用到影像直方圖， 就可以將直方圖上的兩個類別做分割，而影像直方圖本身就是一個容易計算的一 維陣列，所以Otsu門檻化具有快速且分割效果佳的性質。. 2.3 格雷碼(Gray code)的特性 這邊我們主要討論的是格雷碼的鏡射特性或著稱為對稱特性(Symmetric Property)，在這裡以 𝑁 (bit) = 4 舉例說明， 0~(2𝑁 − 1)表示十進位，B為二進位 碼，以 𝐵𝑁−1 , … , 𝐵1 , 𝐵0 表示，G為格雷碼，以 𝐺𝑁−1 , … , 𝐺1 , 𝐺0 表示，如圖 2-5所示。. 圖 2-5 二進位碼與相對應的格雷碼 - 13 -.
(24) 可以觀察到，在格雷碼的部分，十進位為0到7的最後三個位元與十進位為15 到8的最後三個位元為相同的編碼排列，這就是格雷碼的對稱性質，若忽略格雷 碼的最高位元(Most Significant Bit, MSB)，如此一來，便可以簡化格雷碼的過程， 以(2-24)式表示： 𝐺𝑛 = 𝐵𝑛+1 ⊕ 𝐵𝑛. (2-24). 𝑛 = 0, 1, 2, … , 𝑁 − 1 其中， ⊕ 表示互斥或(XOR)運算子。. 在這個例子中，主要利用格雷碼的對稱特性，把十進位15到8的部分，分別歸 類到十進位0到7的部分，把這兩個部分視為同一類，原本二進位類別數量為16個 (0~15)，減少一半到8個(0~7)，這樣一來便可以降低類別的數量，而這個類別之 後會成為我們的鈍化遮罩的特徵類別，詳細的編碼過程會在3.1.4節說明。. 另外，忽略格雷碼的最高位元(MSB)這個動作並不會造成影像資訊減少，以 圖 2-5十進位0與15來舉例，並以圖 2-6的兩種邊緣說明，是因為我們編碼是以邊. 225. 200. 195. 灰階值. 灰階值. 緣點為中心，擷取邊緣附近的局部區域像素做編碼：. 180 150. 165. 120. 140 100. P0. P1. P2 P3. P4. 120. 像素位置. P0. (a). P1. P2. P3. P4. 像素位置. (b) 圖 2-6 兩種邊緣的灰階變化圖. 圖 2-6 (a)的邊緣，在二進位編碼的結果為「1111」，十進位為「15」，而經 過格雷編碼後，結果為「1000」，忽略MSB則十進位為「0」。而圖 2-6 (b)的邊 緣，在二進位編碼的結果為「0000」，十進位為「0」，經過格雷編碼後，結果 - 14 -.
(25) 為「0000」，忽略MSB則十進位為「0」。. 以格雷編碼結果而言，這兩種邊緣皆會視為十進位「0」；而在影像邊緣上面 的意義就是，把圖 2-6 (a)的邊緣，水平翻轉180度(對摺)後，就會變成圖 2-6 (b) 的邊緣，這也就是格雷碼的對稱特性在影像邊緣上變成水平翻轉180度的概念。. 2.4 鈍化遮罩之偵測方法 在2.1節討論了鈍化遮罩的原理，由於鈍化遮罩的來源主要是原始訊號減去模 糊後的訊號得到的差值當作遮罩(Mask)，然後將此遮罩加回原始訊號而得到銳化 後的訊號，如圖 2-3所示，所以這些差異可以被拿來當作經過鈍化遮罩處理的特 徵。已經有專家學者提出相關方法去偵測鈍化遮罩，下面會介紹相關文獻所提出 的方法。. G. Cao等人[6]首先提出一種方法，他們發現經過鈍化遮罩處理的影像與原始 影像的灰階直方圖(Gray-level Histogram)中的梯度方向有所變化，他們以灰階直 方圖上的差異當作主要特徵來處理鈍化遮罩的偵測，並且以振鈴效應(Ringing Artifacts)為輔助判斷，系統架構圖如圖 2-7所示，其文獻中的震鈴效應指的是其 他文獻與2.1節最後所提到的超越量現象相似，由於此方法主要在灰階直方圖上作 處理，影像的直方圖分佈會影響其結果，因此缺點為若影像具有較窄的直方圖 (Narrow Histogram)的特性的時候，其偵測方式的辨識率不佳。. Yes. Images. Can Histogram-Sides Gradients Features be Gained? No. Histogram-Sides Gradients Features Extraction. Fisher Linear Classifaction. Ringing Artifacts Features Extraction. 圖 2-7 文獻[6]之系統架構示意圖. - 15 -. Decision: Sharpened or Not Sharpened.
(26) 而G. Cao等人對文獻[6]的偵測方式進行改良，但改變方法不以直方圖作為依 據，在文獻[9]中，針對超越量(Overshoot)現象的特性，他們以邊緣點(Edge Point) 為中心，分成左右兩邊並設定一個範圍，擷取此一橫向區域中的像素序列，並計 算這範圍的超越量強度(Overshoot Strength)，在這範圍內超越量之最大值或最小 值若超過一個經由他們實驗出來的雙門檻值，則會判斷成經過鈍化遮罩處理，如 圖 2-8所示。此方法改善了文獻[6]的缺點，對於一般影像來說，比[6]的泛用性來 的廣，且提升了辨識率，但其缺點為對JPEG壓縮過於敏感，導致辨識率下降。. 圖 2-8 文獻[7]之擷取局部區域示意圖. 在文獻[8]中，F. Ding等人後來導入了局部二值模式(Local Binary Pattern, LBP)[11][12]的方式，局部二值模式在電腦視覺中為一種典型且有效的紋理 (Texture)特徵運算，在紋理分類問題上可以提供有效的特徵，它可以表示中心像 素與周圍像素的關係，根據這個關係進行邊緣點附近的編碼當作特徵，如圖 2-9 所示，比較原始影像與鈍化遮罩後的影像，其編碼數值會不同，利用這個結果， 結合機器學習中的支持向量機(Support Vector Machine, SVM)進行分類，而局部二 值模式的辨識率在文獻[8]中證實比文獻[7]來的好，但缺點為計算出來的特徵數量 過多，導致運算量變大，執行效率偏低。. - 16 -.
(27) 圖 2-9 文獻[8]局部二值模式之局部區域示意圖。(a)原始影像；(b)原始影像中擷 取 3×3 大小的區塊(Block)；(c)銳化後影像；(d)銳化影像中擷取 3×3 大小的區塊。. F. Ding等人持續對文獻[8]進行改良，在文獻[9]中，他們考慮到鈍化遮罩產生 的超越量現象，主要是沿著影像中邊緣的垂直方向會有明顯的變化，所以他們提 出一種改良方法，稱之為邊緣垂直二進位編碼(Edge Perpendicular Binary Coding, EPBC)，改良LBP擷取局部區域的範圍，不像LBP擷取正方形的局部區域，而是 改成長方形的局部區域，如圖 2-10所示，以降低特徵數量，提升運算效率，最後 也是結合支持向量機(SVM)進行分類，依據他們的實驗結果顯示，辨識率比文獻 [7]和[8]來的更好，但是其缺點為，當擷取的局部區域大小增加，運算量也會跟著 增加。. 圖 2-10 文獻[9]邊緣垂直二進位編碼(EPBC)局部區域示意圖 - 17 -.
(28) 2.5 文獻回顧整理 經過前一節鈍化遮罩相關的偵測方法介紹之後，進行一個表格的整理，如表 2-1所示，方便比較各個方法的優缺點。. 表 2-1 文獻優缺點比較 文獻作者. 優點. 缺點. G. Cao等人[6]. 單純以灰階直方圖上的差. 對灰階直方圖的分佈方式. 異判斷，並以振鈴效應輔. 會有很大的影響，導致辨. 助。. 識率偏低，泛用性低。. 以邊緣點為中心，擷取一. 對JPEG壓縮過於敏感，導. 橫向區域中的像素序列，. 致辨識率偏低。. G. Cao等人[7]. 計算此範圍的超越量，以 雙門檻值分辨，泛用性比 [6]好。 F. Ding等人[8]. 導入了局部二值模式. 計算特徵的運算量過大，. (LBP)進行特徵編碼，並結 執行效率偏低。 合SVM進行分類，辨識率 比[6]、[7]好。 F. Ding等人[9]. 以邊緣垂直二進位編碼減. 局部區域大小增加，運算. 少局部區域的範圍，降低. 量也會跟著增加。. 特徵數量，執行效率提 高，結合SVM進行分類， 辨識率為目前最佳。. - 18 -.
(29) 第三章 研究方法. 從各個鈍化遮罩偵測文獻中了解到，分辨原始影像與經過鈍化遮罩處理之影 像(以下簡稱 USM 影像)的特徵，主要還是以超越量(Overshoot)產生的現象之偵測 方法較好，其中又以擷取邊緣附近局部區域的方式為佳。. 比較擷取局部區域方法[8][9]中，又以邊緣垂直二進位編碼(EPBC) [9]表現最 好，因此本論文以邊緣垂直二進位編碼偵測方式為基礎提出改良方法，垂直二進 位編碼的基本架構如圖 3-1 所示。. 輸入影像. Canny邊緣偵測. 計算特徵 直方圖. 擷取邊緣 局部區域 SVM分類器. 二進位編碼. 結束. 圖 3-1 邊緣垂直二進位編碼(EPBC)之架構. 關於改良的方法，在邊緣偵測部分，本研究增加了 Otsu 計算門檻值提供給 Canny 邊緣偵測，希望保留影像中對比明顯的邊緣，以突顯邊緣附近超越量產生 - 19 -.
(30) 的差異性，進而增加辨識效果；然後編碼部分以格雷碼對稱的特性，降低特徵類 別的數量，達到加快偵測的速度，我們把改良式的偵測方法稱為邊緣垂直格雷編 碼(Edge Perpendicular Gray Coding , EPGC)，接下來將會講解詳細過程。. 3.1 改良式垂直邊緣格雷編碼(EPGC)之架構 在本節將會說明本論文的邊緣垂直格雷編碼(EPGC)之架構，而邊緣垂直格雷 編碼之架構主要可分為六個步驟，分別為 Otsu 門檻值計算、Canny 邊緣偵測、擷 取局部區域、格雷編碼、計算特徵直方圖、支持向量機(Support Vector Machine, SVM )的訓練與分類，如圖 3-2 所示。. 輸入影像 格雷編碼. Otsu計算 門檻值. 計算特徵 直方圖. Canny邊緣偵測 SVM分類器. 擷取邊緣 局部區域. 結束. 圖 3-2 邊緣垂直格雷編碼(EPGC)之架構. - 20 -.
(31) 3.1.1 利用 Otsu 門檻化計算門檻值 利用Otsu門檻化的方式計算門檻值給邊緣偵測使用，已經有專家學者提出相 關研究文獻[11]-[15]，這些相關研究文獻的主要探討如何改善邊緣偵測，主要目 的為對於真實邊緣的完整性、主要偵測目標的邊緣保留、減少非真實邊緣或雜訊 影響或強弱邊緣的調整，這些實驗結果顯示有使用Otsu門檻化的方式計算門檻值 對於邊緣偵測的效果會比沒有使用的還要好。. 首先，在輸入影像的部分，先把原本輸入的彩色影像轉成灰階影像作為後續 流程的輸入影像，利用RGB轉成YUV的轉換公式，如(3-1)式所示，其中Y平面為 我們所需的灰階影像： 𝑌 0.299 [𝑈] = [−0.147 𝑉 0.615. 0.587 −0.289 −0.515. 0.114 𝑅 0.436 ] [𝐺 ] −0.100 𝐵. (3-1). 在2.2節中有討論了Otsu門檻化的原理，整理Otsu演算法後大致上分為以下六 個步驟，其流程圖如圖 3-3所示：. 步驟一： 計算輸入影像的正規化直方圖 𝑝𝑖 。 𝑝𝑖 =. 𝑛𝑖 𝐻𝑊. 𝑖 = 0, 1, 2, … , 255. 其中，𝑛𝑖 表示有灰階值 i 的像素個數，影像大小為 𝐻 × 𝑊 像素。 步驟二： 計算累積和 𝑃1 (𝑘)，如(2-5)式所示。. 步驟三： 計算累積平均值 𝑚(𝑘)，如(2-9)式所示。 - 21 -. (3-2).
(32) 步驟四： 計算整體灰階平均值 𝑚𝐺 ，如(2-12)式所示。. 步驟五： 計算類別間變異數 𝜎𝐵2 (𝑘)，如(2-21)式所示。. 步驟六： 判斷此門檻值 𝑘 是否為類別間變異數的最大值，是的話則輸出此門檻值 𝑘 ∗ ， 若存在超過一個最大值，則取所有最大值的灰階平均值當作門檻值，如(2-22)式 所示。 𝑘 ∗ = arg max 𝜎𝐵2 (𝑘 ). 0 ≤ 𝑘 ≤ 255. (2-22). 輸入灰階影像 計算整體灰階 平均值 mG. 計算影像 直方圖 pi. 計算類別間 變異數取最大值 arg maxσB2(k). 計算累積和 P1(k) 計算累積 平均值 m(k). 輸出k*值. 圖 3-3 Otsu 門檻化演算法流程圖. 經由Otsu門檻化演算法計算後，得到一個門檻值 𝑘 ∗ ，接下來我們就將此門檻 值輸出給下一階段，當作Canny邊緣偵測的門檻值。. - 22 -.
(33) 3.1.2 Canny 邊緣偵測 邊緣偵測的目的是找出影像中亮度變化明顯的點，影像屬性中的顯著變化通 常反映了屬性的重要事件和變化，一般稱之為邊緣像素(Edge Pixel)。. Canny 邊緣偵測[16]是 John F. Canny 於1986年發表出來的一個多級邊緣偵 測演算法。而Canny的目標是找到一個最佳的邊緣偵測演算法，其最佳邊緣 偵測的定義為： (1). 低錯誤率： 能偵測到所有邊緣，而且只偵測到邊緣。 (2). 邊緣點應有好的局部性： 所找到的邊緣應盡可能接近真實邊緣。亦即，一個被偵測器標記為邊緣 的點和真實邊緣中心點之間的距離應該最小。 (3). 單一邊緣點響應： 對每一個真實的邊緣點，偵測器應該只偵測出一個點。亦即，環境真實 邊緣附近的局部極大值的數目應該要最小，這意味當只有單一邊緣點存 在時，偵測器不應指認出多重邊緣像素。. 為了滿足這些要求Canny 使用了變分法，這是一種尋找滿足特定功能的函數 的方法。最佳偵測使用四個指數函數項的和表示，但是它非常近似於高斯函數的 一階倒數。以下簡介Canny演算法的步驟如下： 步驟一： 以一高斯濾波器對輸入影像作平滑處理。任何邊緣偵測演算法都不可能在未 經處理的原始影像上有很好的效果，所以第一步是將原始影像𝑓(𝑥, 𝑦)與高斯函數 𝐺𝑎𝑢𝑠𝑠𝑖𝑎𝑛(𝑥, 𝑦)做卷積，即可得到平滑影像𝑓𝑆 (𝑥, 𝑦)。 𝑓𝑆 (𝑥, 𝑦) = 𝑓(𝑥, 𝑦) ∗ 𝐺𝑎𝑢𝑠𝑠𝑖𝑎𝑛(𝑥, 𝑦). - 23 -. (3-3).
(34) 步驟二： 計算梯度大小和角度。 𝑀(𝑥, 𝑦) = √𝑔𝑥2 + 𝑔𝑦2. (3-4). 𝑔𝑦 ) 𝑔𝑥. (3-5). 𝛼(𝑥, 𝑦) = tan−1 ( 其中𝑔𝑥 =. 𝜕𝑓𝑆 𝜕𝑥. 和 𝑔𝑦 =. 𝜕𝑓𝑆 𝜕𝑦. 步驟三： 運用非最大值抑制(Non-maximal Suppression)到梯度大小的影像上。利用水平、 垂直和對角線四個濾波器遮罩來比較原始梯度大小，以及量化後梯度方向所指的 像素的梯度大小。. 步驟四： 用 雙 門 檻 和 連 通 性 分 析 偵 測 並 連 結 邊 緣 。 Canny 使 用 了 遲 滯 門 檻 值 (Hysteresis Threshold)的技巧，設定兩個門檻值：低門檻值 𝑇𝑙 和高門檻值 𝑇ℎ 。 若高於 𝑇ℎ 的像素便是邊緣點；與邊緣點鄰接的像素點，其像素值 p 符合 𝑇𝑙 ≤ 𝑝 ≤ 𝑇ℎ 則也屬於邊緣點。. 介紹完Canny邊緣偵測後，在EPGC的上個階段使用Otsu演算法得到一個門檻 值 𝑘 ∗，然後將此門檻值設定為Canny邊緣偵測的高門檻值𝑇ℎ，而我們所設定的高、 低門檻值比例為：. 𝑇𝑙 = 0.4 × 𝑇ℎ. 接下來，以實驗中所使用的原始影像其中一張當作例子：. - 24 -. (3-6).
(35) (a) 原始影像. (b) 典型Canny邊緣偵測. (c) 結合Otsu計算門檻值的Canny邊緣偵測 圖 3-4 典型 Canny 與結合 Otsu 計算門檻值的 Canny 比較. 經由Otsu門檻化計算出來的類別間變異數 𝜎𝐵2 (𝑘)進行統計，如圖 3-5所示，其 值最大的範圍大約落在灰階值120到135之間，取這區間的平均值127作為門檻值 𝑇ℎ 。 - 25 -.
(36) 圖 3-5 類別間變異數統計圖. 如圖 3-4所示，比較(b)和(c)可以觀察到，典型Canny邊緣偵測的邊緣點總數 共37871個，其高門檻值為63.75，低門檻值為25.5；而結合Otsu計算門檻值的Canny 邊緣偵測，邊緣點總數共25318個，其高門檻值為126.99，低門檻為50.796。大約 可以減少原本Canny邊緣偵測33.15%的邊緣點數量。. 使用Otsu計算門檻值的方法可以保留對比較明顯的邊緣，也就是綠葉(前景) 的邊緣，而這些邊緣為主要影響特徵的統計直方圖的分佈，我們會在後面的3.2 節討論。. 3.1.3 擷取局部區域 在取局部區域之前，先計算每個邊緣點的梯度方向，並正規化到 0°、45°、90°、135°、180°、 − 45°、 − 90°、 − 135° 八個方向，如圖 3-6所示， 然後設定一個長方形並垂直於邊緣的區域，其區域方向也就是沿著梯度方向，其 大小為 𝑁 × 1 或 1 × 𝑁 個像素， 𝑁 的限制為不小於5的奇數。 - 26 -.
(37) Y. 135º. 90º. 180º. -135º. 45º. 0º. -90º. X. -45º. 圖 3-6 正規化邊緣梯度的八個方向. 局部區域的像素序列為 [𝑃0 , 𝑃1 , … , 𝑃𝑁−1 ] ，而 𝑃(𝑁−1)/2 的位置為邊緣點，以 𝑁 = 5 為例進行說明，如圖 3-7所示，此為影像中某一部分的區域，其中「黃色 區域」為水平的邊緣點，垂直於邊緣的「綠色區域」( 𝑁 × 1 )即是我們設定的局 部區域。. 圖 3-7 擷取局部區域示意圖. 紅色箭頭為局部區域的像素排列方向，可以觀察到相同的邊緣點位置，原始 影像經過EPGC的編碼與USM影像經過EPGC的編碼會是不一樣的，這使得我們可 以區分影像是否經過USM處理，其中的編碼方式會在下一節討論。 - 27 -.
(38) 3.1.4 格雷編碼 以格雷編碼的結果當作每一個邊緣點的特徵，因為原始影像與USM影像在同 一個邊緣點經過編碼後會產生不一樣的結果，利用這種差異性的統計，來區分原 始影像或是USM影像。. 在2.3節中，講解了格雷碼的對稱特性，目的是為了減少二進位編碼方式的特 徵數量，在這邊主要以四個步驟來實現格雷編碼：. 步驟一： 計算局部區域內相鄰的兩個像素 𝑃 ，兩兩相減的差值設為 𝐶。 𝐶 = [𝑃0 − 𝑃1 , 𝑃1 − 𝑃2 , … , 𝑃𝑛 − 𝑃𝑛+1 ] = [𝐶0 , 𝐶1 , … , 𝐶𝑁−2 ]. 𝑛 = 0, 1, … , 𝑁 − 2 (3-7). 其中 𝑁 為局部區域大小。. 步驟二： 判斷 𝐶 為正值還是負值，若為負值則設為0，反之則設為1，其結果設為 𝑆。 𝑆={. 0, 1,. 𝐶𝑛 < 0 otherwise. 𝑛 = 0, 1, … , 𝑁 − 2 (3-8). = [𝑆0 , 𝑆1 , … , 𝑆𝑁−2 ]. 步驟三： 計算相對應的格雷碼，其結果設為 𝐺 。 𝐺 = 𝑆𝑖 ⊕ 𝑆𝑖+1. 𝑖 = 0, 1, … , 𝑁 − 3 (3-9). = [𝐺0 , 𝐺1 , … , 𝐺𝑁−3 ] 其中 ⊕ 代表互斥或(XOR)運算。. - 28 -.
(39) 步驟四： 將格雷碼的結果轉成十進制(Decimal)，在這裡我們使用的方式是直接乘上二 的次方數，其結果以 𝐸𝑃𝐺𝐶 (𝐺 ) 表示。 𝑁−3. 𝐸𝑃𝐺𝐶 (𝐺 ) = ∑ 𝐺𝑖 × 2𝑖. 𝑖 = 0, 1, … , 𝑁 − 3 (3-10). 𝑖=0. 𝐸𝑃𝐺𝐶 (𝐺 )十進位的範圍從0到(2𝑁−2 − 1)，與前一節同樣以 𝑁 = 5為例子，表 3-1列出格雷碼與𝐸𝑃𝐺𝐶 (𝐺 )的結果：. 表 3-1 格雷碼與𝐸𝑃𝐺𝐶 (𝐺 )十進位 Gray code 𝐸𝑃𝐺𝐶 (𝐺 ) G2 G1 G0 0 0 0 0 0. 0. 1. 1. 0 0 1 1 1 1. 1 1 1 1 0 0. 1 0 0 1 1 0. 3 2 6 7 5 4. 而EPBC的二進位編碼方式，其十進位的範圍從0到(2𝑁−1 − 1)，表 3-2列出二 進位編碼方式的結果：. B3 0 0 0 0. 表 3-2 二進位編碼與十進位 Binary code 十進位 B2 B1 B0 0 0 0 0 0 0 1 1 0 1 0 2 0 1 1 3 - 29 -.
(40) 0 0 0. 1 1 1. 0 0 1. 0 1 0. 4 5 6. 0. 1. 1. 1. 7. 1 1. 0 0. 0 0. 0 1. 8 9. 1 1 1. 0 0 1. 1 1 0. 0 1 0. 10 11 12. 1 1 1. 1 1 1. 0 1 1. 1 0 1. 13 14 15. B3. B2. B1. B0. 十進位. 以同樣的局部區域大小𝑁 = 5 來比較表 3-1 與表 3-2 ，可以看到格雷編碼十 進位的數量為 2𝑁−2，範圍從0到7共8個，會比二進位編碼十進位的數量 2𝑁−1，範 圍從0到15共16個，其數量上會少了一半，這可以幫助減少下一節會介紹的特徵 直方圖統計的計算量，達到加快執行速度的效果。. 3.1.5 特徵直方圖統計 將上一步驟得到的𝐸𝑃𝐺𝐶 (𝐺 )十進位當作特徵的類別，其數量共有 2𝑁−2 個， 利用這些特徵的統計來描述每一張影像的狀況，經由正規化直方圖統計可以看得 出，原始影像與USM影像兩者是有所差異。. 首先，我們將每一個類別的數量，進行個別的統計： 𝐻 (𝑗) = ∑ 𝛿(𝐸𝑃𝐺𝐶 (𝐺 ) − 𝑗). 𝑗 = 0, 1, … , 2𝑁−2 − 1. (3-11). 𝐺∈∆. 其中，函數𝛿(𝑥)表示指標函數，當x = 0，輸出1，否則輸出0，Δ則表示從給定的 影像中，所有邊緣像素的局部區域所計算出G的集合。 - 30 -.
(41) 經由(3-11)式的計算，可以知道每一個類別的數量，而得到影像的特徵直方圖 𝐻 ，但由於每張實際的影像，其內容或紋理不盡相同，因此經由Canny邊緣偵測 計算出的邊緣像素數量，會因為不同影像而有明顯的變化，使得直方圖的變化會 很大。. 所以為了使直方圖 𝐻 ，不會因為每張影像不同的內容或紋理所產生的劇烈變 化，將其正規化成為機率值，而機率的範圍為0到1之間： ̃ (𝑗 ) = 𝐻. 𝐻(𝑗) 𝑁−2 −1. ∑2𝑗=0. 𝑗 = 0, 1, … , 2𝑁−2 − 1. 𝐻(𝑗). (3-12). ̃(𝑗) 為正規化直方圖。(3-12)式的分子表示每一個類別的數量，其分母表 其中，𝐻 ̃(𝑗) 得到的會是每一個類別 示輸入影像的邊緣像素的總數，所以正規化直方圖 𝐻 的機率值。. 為了方便說明，以下是以3.1.2節中的圖 3-4 (a)的原始影像與局部區域大小 ̃ (𝑗) 正規化直方圖數據如表 3-3所列，其直方圖如圖 𝑁 = 5 為例子，格雷編碼的 𝐻 3-8所示：. 表 3-3 格雷編碼之原始影像(Orig)與USM影像的特徵類別計算 影像 特徵類別. 0 1 2 3 4 5 6 7. Orig. USM. 0.268 0.092 0.007 0.080 0.075 0.004 0.141 0.330. 0.046 0.048 0.071 0.272 0.056 0.024 0.292 0.193. - 31 -.
(42) 格雷編碼特徵統計 0.35 0.3. 機率值. 0.25 0.2 Orig. 0.15. USM. 0.1 0.05 0 0. 1. 2. 3. 4. 5. 6. 7. 特徵類別. 圖 3-8 格雷編碼正規化直方圖 ̃(𝑗) 正規化直方圖的數據如表 3-4所列，而其直方圖如圖 3-9 二進位編碼的 𝐻 所示：. 二進位編碼特徵統計 0.18 0.16 0.14. 機率值. 0.12 0.1 0.08. Orig. 0.06. USM. 0.04 0.02 0 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10 11 12 13 14 15. 特徵類別. 圖 3-9 二進位編碼正規化直方圖. - 32 -.
(43) 表 3-4 二進位編碼之原始影像(Orig)與 USM 影像的特徵類別計算 影像 特徵類別. 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15. Orig. USM. 0.123 0.050 0.003 0.036 0.038 0.003 0.066 0.167 0.164 0.076 0.002 0.038 0.044 0.004 0.042 0.145. 0.022 0.032 0.034 0.155 0.035 0.016 0.123 0.108 0.085 0.169 0.008 0.021 0.116 0.037 0.016 0.024. 觀察圖 3-8與圖 3-9的直方圖可以發現，原始影像(Orig)與USM影像的特徵直 方圖分佈模式很不一樣，詳細內容會在3.2節討論；經由正規化特徵直方圖的統計， 我們利用這種差異性來區分原始影像與USM影像，結合使用支持向量機(SVM)去 辨別。. - 33 -.
(44) 3.1.6 支持向量機(Support Vector Machine, SVM) 在機器學習(Machine learning)領域中，支持向量機器(Support Vector Machine, SVM) [17]-[19]為一種廣泛被使用的方法，使用的是一種監督式學習(Supervised Learning)的方式，主要用在分類(Classification)問題和回歸(Regression)問題上。而 監督式學習也是機器學習中的一種方式，可以藉由訓練資料中學習到或建立一個 模式(Learning Model)，並依此模式預測未知的資料。 支持向量機的主要目的是找出一個超平面(Hyperplane)，可以使兩個集合或兩 個群體分開，集合或群可以是高維度，因此超平面亦同於在高維度中的平面，這 裡以二維平面來解釋SVM的基本概念，如圖 3-10所示，左圖中綠點與藍點無法 直接使用一條直線分開，不過可以用一個圓的方程式表示將其分為兩個不同群集 的線，因此轉換到右圖時，可以發現高維度用二維平面表示時，圓方程式即為其 超平面，此外，右圖中灰色虛線為兩群集中，最靠近超平面的邊界(Margin)，當 邊界越大時，其分類效果越好，否則反之。. (x+a)2+(y+b)2=c. y. (y+b)2 Margin. Hyperplane. x. (x+a)2. 圖 3-10 SVM 超平面示意圖. SVM在解決高維度集合分類問題中展現許多特有的優勢，目前在影像相關應 用很多都在辨識領域，例如手寫辨識、人臉辨識、圖像辨識……等等，或其他領域 分類等問題中。 - 34 -.
(45) SVM基本上為一個二元分類器(Binary Classifier)，實際上在各領域中SVM常 常應用到多元分類上，以下介紹兩種主要方式：. (1). 一對多(One-against-rest)： 假設有10個不同的集合 a 到 j，那就需要10個SVM分類器 A 到 J，如 圖 3-11所示，A 分類器可將藍點 a 集合與其他綠點 b 到 j 集合分開，亦 即 A 分類器只辨別得出來是否為 a 集合，所以整體需要透過10個分類器， 才可將10個不同集合分類開來。 b d. j. c a a a. 圖 3-11 一對多的示意圖. (2). 一對一(One-against-one)： 訓練部分：假設共有 k 個集合，對其中任兩個集合進行SVM的訓練， 𝐶2𝑘 共 𝑘(𝑘 − 1)⁄2 個SVM分類器，換句話說，就是每一個分類器都可以分辨出兩 個集合，而這兩個集合都為 k 集合中的其中之一。 測試部分：將每筆測試資料分別丟入經由每兩個集合訓練出來的分類器， 每筆資料會總共有𝑘(𝑘 − 1)⁄2 次的分類結果，經由各個SVM分類器分辨出來 的結果投票，獲得最多票數的集合就是此筆資料的分類結果。. - 35 -.
(46) 本論文主要目的是分辨影像是否經過USM處理，屬於二元分類問題，因此主 要分成兩個類別，所以較上述多元分類方法單純，而我們使用的SVM工具是由台 大 林智仁 教授開發的LIBSVM [19]，這個開源的函式庫為目前發展最完整且最 廣泛被使用的SVM分類器，其功能完整且支援多元分類，只需將擷取到的特徵資 訊，依照其規定的資料內容格式與檔案格式儲存，如圖 3-12所示，每一欄所代表 之意義如表 3-5所列，即可使用LIBSVM建立訓練模組以及測試、預測等功能。 格式範例： [label] [index 1]:[value] [index 2]:[value] [index 3]:[value]… [label] [index 1]:[value] [index 2]:[value] [index 3]:[value]…. 表 3-5 格式範例所代表之意義 格式 意義 分類的類別，我們的設定以 0 代表原始影像，1 代表 [label] USM 影像。 [index] 特徵類別，範圍為 0 到(2𝑁−2 − 1)。 [value] 各特徵類別的機率值。. 圖 3-12 LIBSVM 規定之資料內容格式與檔案格式 - 36 -.
(47) 3.2 BMP 檔案格式特徵直方圖分析 在3.1.5節介紹了特徵直方圖的處理方式，可以觀察到原始影像(Orig)與經過鈍 化遮罩處理之影像(以下簡稱USM影像)的特徵直方圖分佈的差異性，本節主要以 局部區域大小𝑁 = 5為例，討論與比較這些具有差異的地方。我們分為兩種影像 檔案格式：BMP檔與JPEG檔，主要是因為BMP影像格式為無損的影像檔，而JPEG 影像格式因為經過壓縮的關係為有損的影像檔，會造成兩者的特徵直方圖分佈不 盡相同，所以我們分開討論。. 特徵直方圖的部分，除了 BMP 與 JPEG 兩種檔案格式外，又再細分成有使用 Otsu 演算法與沒有使用 Otsu 演算法，方便比較有無使用 Otsu 演算法對特徵直方 圖分佈的影響。如圖 3-13 與圖 3-14 所示，紅色與藍色為有使用 Otsu 演算法的 直方圖，綠色與黃色為沒有使用 Otsu 演算法的直方圖；這些直方圖是使用 840 張影像進行統計，420 為原始影像，另一半的 420 張為相對應的 USM 影像。. 使用 Otsu 演算法. 0.3. 機率值. 0.25 0.2 0.15 0.1. Orig. 0.05. USM. 0. 0 1 2 3 4 5 6 7 Orig 0.2812 0.0744 0.0807 0.0855 0.0881 0.0678 0.1442 0.1781 USM 0.138 0.0722 0.0863 0.1487 0.0936 0.065 0.2043 0.192. 特徵類別. 圖 3-13 BMP 格式使用 Otsu 演算法. - 37 -.
(48) 觀察圖 3-13，比較原始影像(Orig)的數值與USM影像的數值差異，例如： (1). 類別0： USM的值比Orig的值降低一半。 (2). 比較類別0與3： Orig值：0的值比3的值大。 USM值：與Orig值相反，3的值比0的值大。 (3). 比較類別3與4： Orig值：4的值比3的值大。 USM值：與Orig值相反，3的值比4的值大。 (4). 比較類別6與7： Orig值：7的值比6的值大。 USM值：與Orig值相反，6的值比7的值大。 (5). 比較類別0與6： Orig值：0的值比6的值大。 USM值：與Orig值相反，6的值比0的值大。. 無使用 Otsu 演算法 0.3. 機率值. 0.25 0.2 0.15 0.1. Orig. 0.05. USM. 0. 0 1 2 3 4 5 6 7 Orig 0.2246 0.0791 0.0651 0.1022 0.089 0.0578 0.1637 0.2185 USM 0.1104 0.0718 0.1019 0.1401 0.1002 0.0903 0.211 0.1743. 特徵類別. 圖 3-14 BMP格式無使用Otsu演算法 - 38 -.
(49) 觀察圖 3-14，比較原始影像(Orig)的數值與USM影像的數值差異，例如： (1). 類別0： USM的值比Orig的值皆降低一半。 (2). 比較類別1跟2： Orig值：1的值比2的值大。 USM值：與Orig值相反，2的值比1的值大。 (3). 比較類別0與3： Orig值：0的值比3的值大。 USM值：與Orig值相反，3的值比0的值大。 (4). 比較類別6與7： Orig值：7的值比6的值大。 USM值：與Orig值相反，6的值比7的值大。 (5). 比較類別0與6： Orig值：0的值比6的值大。 USM值：與Orig值相反，6的值比0的值大。. 上述幾個特徵類別當作例子中，其Orig值與USM值的差異，或是指其兩者值 的趨勢，就可以拿來分辨是原始影像還是USM影像。. 了解原始影像與USM影像在特徵直方圖上的差異後，但為何有使用Otsu演算 法會比未使用Otsu演算法的辨識率來的高？接下來以趨勢線分析觀察，會比較知 道其中的不同。. - 39 -.
(50) 格雷碼趨勢線 什麼是趨勢線[20]？趨勢線與輸入的資料數據有關，但不代表該資料的數據， 而是用來描述目前資料數據的趨勢或未來資料的預測，這種分析也稱為迴歸分 析。 多項式迴歸(Polynomial Regression) [21]或多項式趨勢線是一種曲線，為了找 出一個多項式來配適這些資料，適合擺動不定的資料使用，例如這種曲線適合用 來分析大量資料的增減。多項式的冪次可由資料波動的次數或曲線彎曲點(波峰和 波谷)的個數決定，趨勢線在其R平方值是1或接近1時最為準確。使用下列公式來 計算最小平方配適穿透點的多項式趨勢線： 𝑦 = 𝑏 + 𝑐1 𝑥 + 𝑐2 𝑥 2 + ⋯ + 𝑐6 𝑥 6 其中 𝑏 和 𝑐1 ~ 𝑐6 為常數。. 把圖 3-13與圖 3-14的直方圖做趨勢線的分析，其結果如下圖 3-15所示，有 使用Otsu演算法的Orig值和USM值分別以「藍色實線」和「紅色實線」代表，無 使用Otsu演算法的Orig值和USM值分別以「綠色虛線」和「黃色虛線」代表：. 0.3 0.25. 機率值. 0.2 0.15 0.1 0.05. R² = 0.9931. Orig(Otsu). R² = 0.9947. USM(Otsu). R² = 0.9992. Orig(無Otsu). R² = 0.9989. USM(無Otsu). 0 0. 1. 2. 3. 4. 5. 6. 7. 特徵類別. 圖 3-15 Orig 與 USM 對於有無使用 Otsu 之特徵趨勢圖. - 40 -.
(51) 在圖 3-15可以觀察到，藍線與紅線在三個波峰的部分，和綠色與黃色相比較， 可以發現藍線與紅線兩者的差距比較大，而綠色與黃色兩者的差距比較小；也就 是說有使用Otsu演算法的時候，可以把對比明顯邊緣保留下來，而這些邊緣使得 特徵直方圖的趨勢所呈現的差距更能夠突顯出原始影像與USM影像不同的地方。 所以有使用Otsu演算法的方法在實驗結果的表現比沒有使用來的好，我們會在下 一章實驗結果裡面介紹。. 3.3 JPEG 檔案格式特徵直方圖分析 JPEG(Joint Photographic Experts Group) [4][22][23]為一種影像壓縮的標準，優 點是檔案大小輕巧，在有限的網路頻寬下可以快速地完成傳輸，所以是目前廣泛 被使用的影像格式之一，缺點是對於數位影像資訊來說，它是有損(Lossy)的壓縮 方式。. JPEG的轉換編碼中，主要是以方塊為基底(Block Based)的離散餘弦轉換 (Discrete Cosine Transform, DCT)，此種編碼方式會將影像切割成 8 × 8 像素大小 的方塊(或稱之區塊)，並將此方塊的每個像素利用DCT轉換成頻率係數，然後再 執行量化與編碼。然而這種轉換方式高度壓縮下，在解碼後的影像上，相鄰兩方 塊之間會產生明顯的不連續斷層，這個現象稱之為方塊人造物(Blocking Artifact) 或方塊效應(Blocking Effect)，使得視覺效果下降。方塊效應基本上分為三種類別， 分別為： (1). 階梯式雜訊(Staircase Noise)： 沿著影像邊緣所產生的階梯狀雜訊。 (2). 格狀雜訊(Grid Noise)： 在平滑區域產生的方格狀雜訊。. - 41 -.
(52) (3). 角落剝離(Corner Outlier)： 在方塊角落的地方產生雜訊。. 本節主要討論的是JPEG格式造成的影響，這個部分以同一張原始影像(圖 3-4 (a)的原始影像)來說明BMP與JPEG兩者的差異，以及 𝑁 = 5 的二進位編碼講解， 原因是二進位編碼的特徵類別比較多，有比較多的變化可以舉例。. 在實驗中主要影響的方塊效應是屬於第一類的階梯式雜訊，因為我們的編碼 方式，主要是以邊緣點為中心的局部區域進行編碼。如圖 3-16所示，紅色點為邊 緣點，若在同一個邊緣點的情況下，階梯式雜訊會造成兩種格式邊緣點附近的像 素值不太一樣，如圖 3-17所示，因此使得擷取的局部區域內像素值(灰階值)不同， 導致編碼結果不相同的狀況，詳細如後面幾個範例解說。. BMP格式. JPEG格式. 圖 3-16 在相同邊緣點比較 BMP 與 JPEG 的不同. - 42 -.
(53) 圖 3-17 邊緣點於(50, 20)之局部區域像素值(灰階值) 範例1： 在圖 3-16中，邊緣點(紅色點)的位置，位於影像中(50, 20)的地方，如圖 3-17 之X軸的中心，以邊緣點為中心其左右兩個像素的範圍，為我們設定的局部區域 𝑁 = 5 的大小，二進位編碼為依據(3-7)式與(3-8)式而得：. 表 3-6 邊緣點於(50, 20)之 BMP 格式局部區域編碼結果： 位置(x, y). (48, 20). (49, 20). (50, 20). (51, 20). (52, 20). 灰階值. 52. 53. 54. 64. 129. 二進位編碼. 0. 0. 特徵類別. 0. 0. 0. 表 3-7 邊緣點於(50, 20)之 JPEG 格式局部區域編碼結果： 位置(x, y). (48, 20). (49, 20). (50, 20). (51, 20). (52, 20). 灰階值. 53. 50. 55. 70. 136. 二進位編碼. 1. 0. 特徵類別. 0 8. - 43 -. 0.
(54) 上面兩個表列出兩種格式編碼的結果，可以看到在BMP格式中，相同邊緣點 的局部區域編碼結果為特徵類別「0」，而JPEG格式的局部區域編碼結果為特徵 類別「8」，由此可知，原本在BMP格式中歸類為「0」的邊緣點局部區域，因為 方塊效應的影響可能在JPEG格式中歸類為「8」，可能會造成JPEG特徵直方圖的 特徵類別「8」增加的原因之一。這樣的結果會導致兩種格式其特徵直方圖分佈 會有些許不同。. 範例2： 邊緣點在(3, 98)的位置。. 圖 3-18 邊緣點於(3, 98)之局部區域像素值(灰階值). 表 3-8 邊緣點於(3, 98)之 BMP 格式局部區域編碼結果： 位置(x, y). (3,96). (3,97). (3,98). (3,99). (3,100). 灰階值. 220. 222. 224. 98. 30. 二進位編碼. 0. 0. 特徵類別. 1 3. - 44 -. 1.
(55) 表 3-9 邊緣點於(3, 98)之 JPEG 格式局部區域編碼結果： 位置(x, y). (3,96). (3,97). (3,98). (3,99). (3,100). 灰階值. 218. 227. 225. 104. 23. 二進位編碼. 0. 1. 特徵類別. 1. 1. 7. 在 BMP 格式中，編碼結果為特徵類別「3」，而 JPEG 格式編碼結果為特徵 類別「7」；原本在 BMP 格式中歸類為「3」的邊緣點局部區域，因為方塊效應 的影響可能在 JPEG 格式中歸類為「7」，可能會造成 JPEG 特徵直方圖的特徵類 別「7」增加的原因之一。. 範例 3： 邊緣點在(3, 185)的位置。. 圖 3-19 邊緣點於(3, 185)之局部區域像素值(灰階值). - 45 -.
(56) 表 3-10 邊緣點於(3, 185)之 BMP 格式局部區域編碼結果： 位置(x, y). (1, 187). (2, 186). (3, 185). (4, 184). (5, 183). 灰階值. 197. 201. 96. 33. 32. 二進位編碼. 0. 1. 1. 特徵類別. 1. 7. 表 3-11 邊緣點於(3, 185)之 JPEG 格式局部區域編碼結果： 位置(x, y). (1, 187). (2, 186). (3, 185). (4, 184). (5, 183). 灰階值. 201. 194. 105. 36. 28. 二進位編碼. 1. 1. 1. 特徵類別. 1. 15. 在BMP格式中，編碼結果為特徵類別「7」，而JPEG格式編碼結果為特徵類 別「15」；原本在BMP格式中歸類為「7」的邊緣點局部區域，因為方塊效應的 影響可能在JPEG格式中歸類為「15」，可能會造成JPEG特徵直方圖的特徵類別 「15」增加的原因之一。. 0.2. 範例1 範例3. 0.18 0.16. 範例2. 0.14 0.12 0.1. BMP. 0.08. JPEG. 0.06 0.04. 0.02 0 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10 11 12 13 14 15. 圖 3-20 原始影像的 BMP 格式與 JPEG 格式特徵直方圖比較 - 46 -.
(57) 上述的三個例子，把原始影像的BMP格式與JPEG格式做特徵直方圖統計，方 便觀察特徵類別的一些變動，如圖 3-20所示，範例1的狀況用「黑色虛線」表示， 範例2的狀況用「綠色虛線」表示，範例3的狀況用「橙色虛線」表示，可以看得 出JPEG的方塊效應對我們的編碼造成影響。 基本概念就是，因為機率值總和為1，原本在BMP特徵類別機率值比較大的， 卻在JPEG降低，而減少的這些機率值就會跑到JPEG其他特徵類別的地方，使得 有些特徵類別的機率值JPEG會比BMP多。而USM影像因為JPEG的方塊效應也會 有類似情況發生，如圖 3-21所示。. 0.18 0.16 0.14 0.12 0.1. BMP. 0.08. JPEG. 0.06 0.04 0.02 0 0. 1. 2. 3. 4. 5. 6. 7. 8. 9 10 11 12 13 14 15. 圖 3-21 USM 影像的 BMP 格式與 JPEG 格式特徵直方圖比較. 由於JPEG格式經過壓縮，其方塊效應造成的不連續雜訊影響了我們的編碼結 果，進而影響了BMP格式與JPEG格式的特徵直方圖分佈，使得兩者特徵直方圖 分佈情況不一致，會導致SVM分類不佳，因此，在SVM訓練模型的時候，將兩者 分開訓練以達到較佳分類效果。. - 47 -.
(58) 3.4 鈍化遮罩架構 我們所使用的USM是依照2.1節所介紹的方法，主要是在灰階影像上進行USM 處理，而低通濾波的部分我們採用的是高斯低通濾波器(Gaussian Low-pass Filter)， 其步驟如下： 步驟一： 先判斷輸入影像 (𝐼𝑚𝑔) 是否為彩色影像，若是則利用RGB轉成YUV的轉換公 式，如(3-1)式所示，得到的Y平面為我們所需的灰階影像 (𝐼𝑔 )。. 步驟二： 將原始灰階影像 (𝐼𝑔 ) ，帶入(2-1)式中，得到模糊影像 (𝐼𝐵 )，其中 𝐿𝑃(𝜎) 使用 的是𝐺𝑎𝑢𝑠𝑠𝑖𝑎𝑛(𝜎)高斯低通濾波器。. 步驟三： 將原始灰階影像(𝐼𝑔 )與模糊化影像(𝐼𝐵 )，帶入(2-2)式中，可以得到遮罩影像 (𝐼𝑀 )。. 步驟四： 將遮罩影像(𝐼𝑀 )與原始灰階影像(𝐼𝑔 )，帶入(2-3)式中，可以得到銳化的灰階影 像(𝐼𝑆 )。. 步驟五： 若輸入影像為彩色影像，則利用YUV轉RGB的轉換公式，也就是(3-1)式的反 矩陣，把Y平面(已經銳化過的灰階影像 𝐼𝑆 )與U、V平面合成為RGB彩色影像。 𝑅 1 [𝐺 ] = [1 𝐵 1. 0 −0.39 2.03. 0.14 𝑌 −0.58] [𝑈] 0 𝑉. - 48 -. (3-13).
(59) 其流程圖如圖 3-22 所示。. 輸入影像 ( Img ). 是. 是否為彩色影像?. 取出Y平面 (灰階影像Ig). 灰階影像( Ig). 否 高斯低通濾波 ( IB ). Ig - IB = IM. USM處理. IS = Ig + ( λ × IM ). 是. Img是否為 彩色影像?. 將YUV合成為 RGB影像. 輸出銳化影像 ( IS ). 否. 輸出USM影像 ( IS ). 結束. 圖 3-22 USM 流程圖. - 49 -.
(60) 第四章 實驗結果與數據分析. 4.1 實驗設計 本論文提出改良的編碼方式為格雷編碼，主要是為了降低二進位編碼的特徵 類別數量，加快計算特徵類別的速度，所以我們會針對兩種編碼方式，在4.2節計 算特徵類別的執行時間進行比較；而本論文還有提出結合Otsu門檻化的方式，保 留對比較明顯的邊緣，預期可以增加原始影像與USM影像在特徵直方圖的差異性， 以達到增加辨識率的效果，在4.3節調整局部區域大小做系統整體的平均執行時間 與 辨 識 率 的 比 較 ， 以 及 4.4 節 的 接 收 者 操 作 特 徵 曲 線 (Receiver operating characteristic curve，ROC)[26]比較。我們設計四種方法進行實驗比較：. M1：二進位編碼未使用Otsu門檻化方法。(EPBC) M2：格雷編碼未使用Otsu門檻化方法。 M3：二進位編碼使用Otsu門檻化方法。 M4：格雷編碼使用Otsu門檻化方法。(EPGC). 其中，M1的方法為文獻[9] EPBC的方法，為我們主要的比較對象，而M4為本論 文改良的EPGC方法。. 本論文實驗用的影像來自於兩個影像資料庫：NRCS [24]與UCID [25]，NRCS 影像資料庫的主題以自然與農業為主，UCID影像資料庫的主題以城市與人文為 主。所有影像皆轉為灰階影像做處理，在BMP格式，利用840張影像做為SVM的 訓練使用，JPEG格式也是利用840張影像做為SVM的訓練使用，建立兩種格式的 SVM訓練模型，而其中420張為原始影像與420張相對應的USM影像，而產生USM - 50 -.
(61) 影像的方法如3.4節所述，採用的是高斯低通濾波，其高斯核( 𝜎 )設定為1.3，而權 重值( 𝜆 )設定為1.5，其架構圖如圖 4-1所示，格雷編碼有16個訓練資料庫，包含 二進位編碼則總共有32個訓練資料庫，其中UCID使用的影像大小為 384 × 512 像 素，NRCS使用的影像大小為 768 × 512 像素。. BMP N=5. JPEG BMP. N=7 使用Otsu 門檻化方法. JPEG. BMP N=9 JPEG BMP N=11 JPEG. Gray code. BMP. N=5 JPEG. BMP 未使用Otsu 門檻化方法. N=7 JPEG BMP N=9 JPEG BMP N=11. JPEG. 圖 4-1 SVM 訓練模型架構圖 - 51 -.
(62) 在4.3節測試SVM訓練模型所用的影像總共3000張，其中1500張為原始影像， 1500張為相對應的USM影像，SVM最後會輸出此訓練模型經過這3000張影像測試 的辨識率，依據此結果作為我們的辨識率比較。. 系統硬體配置與開發環境如表 4-1所示： 表 4-1 硬體配置與開發環境 中央處理器. Intel® Core™ i5-3450 Processor. 記憶體. 4 GB. 作業系統. Windows 7 (32位元). 硬碟大小. 500 GB. 開發環境. MATLAB R2014a (Ver. 8.3.0.532). LIBSVM版本. Ver. 3.20. 本論文的USM偵測系統之架構圖如圖 4-2所示，其中SVM分類器裡的「依照 使用者設定讀取SVM訓練模型」之方塊，其訓練資料庫架構如圖 4-1所示，為了 能夠方便使用者操作，我們以圖形化介面的方式呈現，設計與操作細節會在第五 章介紹。. - 52 -.
(63) 圖 4-2 USM 偵測系統架構圖. - 53 -.
相關文件
應用閉合電路原理解決生活問題 (常識) 應用設計循環進行設計及改良作品 (常識) 以小數加法及乘法計算成本 (數學).
口罩國家隊加利公司於 8 月份進口 337
All necessary information is alive in IRIS, and is contin- uously updated according to agreed procedures (PDCA) to support business processes Data Migration No analysis of
介面最佳化之資料探勘模組是利用 Apriori 演算法探勘出操作者操作介面之 關聯式法則，而後以法則的型態儲存於介面最佳化知識庫中。當有
A., and Revang, O., “A Strategic Framework for Analying Professional Service Firms — Developing Strategies for Sustained Performance”, Strategic Management Society
Considering the safety of construction and the limitation of the narrow site, we build these land-improving supporters on the inner side of the slurry wall, and through the
Mutual information is a good method widely used in image registration, so that we use the mutual information to register images.. Single-threaded program would cost
並且利用裂紋感測器兩端支腳張開與閉合時電壓訊號的改變，量測梁 的上下端所承受的彎矩應變。此外運用應變規與 LVDT
