• 沒有找到結果。

應用於數位相機之以小波轉換為主的插補分類器設計

N/A
N/A
Protected

Academic year: 2021

Share "應用於數位相機之以小波轉換為主的插補分類器設計"

Copied!
58
0
0

加載中.... (立即查看全文)

全文

(1)國立臺灣師範大學應用電子科技研究所 碩士論文. 指導教授:蘇崇彥博士. 應用於數位相機之以小波轉換為主的插補分類器設計 Design of Wavelet-Based Interpolation Classifiers for Digital Still Cameras. 研究生:林宜賢. 撰. 中 華 民 國 九十七年六月.

(2) 應用於數位相機之以小波轉換為主的插補分類器設計. 學生:林宜賢. 指導教授:蘇崇彥 博士. 國立臺灣師範大學應用電子科技研究所碩士班 摘. 要. 本論文研究中,我們提出一個適用於數位相機色彩插補之小波分類 器。其目的是為了解決現行插補演算法中最常使用的插補分類器中頻率響 應不一的問題。由於傳統分類器是採用不同階數的微分項所組成,我們的 研究中發現在某些頻率下,其頻率響應的強度甚至達到兩倍的差異。這隱 含著不同頻率中分類器的組成項是具有不同的權重值,因此,造成方向上 的誤判產生錯色的問題。為了解決前述問題,我們提出以小波轉換為基礎 的插補分類器來取代傳統的分類器,我們透過小波轉換後得到的高低頻係 數矩陣當作其方向判斷的依據。因為在我們的小波分類器中所使用的組成 項,均出於小波轉換後的同一個子頻帶。因此,我們解決了頻率響應不同 的問題。經由實驗測試,我們所提出的小波分類器的確得到較佳的方向判 斷準確性,比傳統分類器平均增加 5863 點的正確方向判斷點數。應用小 波分類器到三個不同的演算法上,PSNR 值分別提高了 0.50dB、0.19dB 與 0.20dB,也明顯地大幅改善重建影像視覺上的效果。 關鍵字:色彩插補、解馬賽克、貝爾圖形. i.

(3) Design of Wavelet-Based Interpolation Classifiers for Digital Still Cameras –––––––––––––––––––––––––––––––––––––––––––––––––––––––– Student:Yi-Shien Lin. Advisor:Dr. Chung-Yen Su. Institute of Applied Electronics Technology National Taiwan Normal University ABSTRACT. In this research, we propose wavelet-based interpolation classifiers for digital still cameras. With them, we solve the issue of the different frequency responses of different terms in traditional interpolation classifiers. The different responses may lead to wrong interpolation directions and result in the color artifacts. To solve this problem, the proposed classifiers are composed from the coefficients in the same subband of wavelet transform domain. Since these coefficients have the identical frequency response, they may lead to more accurate interpolation directions than traditional ones. Simulation results confirm this assumption. The new classifiers averagely increase more 5863 pixels at the correct interpolation directions than traditional classifiers. Applying the proposed classifiers to three demosaicing algorithms, we can elevate peak signal-to-noise ratio up to 0.50dB, 0.19dB and 0.20dB respectively. In addition, the image quality of interpolated images is improved.. Keywords: Color interpolation、demosaicing、Bayer pattern. ii.

(4) 誌. 謝. 本篇論文得以順利完成,真的要感謝許多曾幫過我的人。首先感謝要 蘇老師,感謝老師在課程與研究上的指導,老師的教學方式使我對影像處 理的觀念與技術有深刻的瞭解,尤其在課程的期末考後,老師還特地對考 卷中我不了解的地方,講解題目的原理與解法,非常感謝老師的用心指導。 感謝實驗室的同學張述理在 h.264 演算法的講解與程式方面的討論,使我在 找尋工作上有莫大的幫助,感謝林啟銘同學在色彩插補研究上的互相討論 與協助,感謝范耿豪學弟在計畫執行上的幫忙,還有在假日一起去打球運 動的同學,謝謝大家在研究所生活上的協助與陪伴,在此獻上我最誠摰的 祝福與謝意。最後,僅以此篇論文獻給我最愛的家人,有你們在背後的支 持真好。. 林宜賢. 謹誌. 于台灣師範大學影像處理實驗室 2008 年 6 月 iii.

(5) 目. 摘. 錄. 要 ................................................................................................................. i. ABSTRACT ................................................................................................................... ii 誌. 謝 ....................................................................................................................... iii. 目. 錄 ....................................................................................................................... iv. 圖 目 錄 ....................................................................................................................... vi 表 目 錄 ..................................................................................................................... viii 第一章. 緒論 .............................................................................................................1. 1.1 研究背景...........................................................................................................1 1.2 研究動機...........................................................................................................5 1.3 論文架構...........................................................................................................7 第二章. 文獻探討 .....................................................................................................9. 2.1 非遞迴式插補演算法.....................................................................................10 2.2 遞迴式插補演算法.........................................................................................19 第三章. 小波轉換分類器 .......................................................................................23. 3.1 插補分類器討論.............................................................................................23 3.2 二維離散小波轉換.........................................................................................24 3.3 小波分類器.....................................................................................................26 3.4 方向判斷準確性探討.....................................................................................30 第四章. 實驗數據與模擬結果 ...............................................................................32. 4.1 實驗流程與模擬測試.....................................................................................34 4.2 MSE 與 PSNR 模擬結果 ................................................................................34 4.3 S-CIELab 模擬結果 ........................................................................................38 4.4 影像視覺品質比較.........................................................................................39 4.5 小波轉換係數的選擇.....................................................................................44 iv.

(6) 4.6 計算複雜度統計.............................................................................................45 第五章. 結論與未來工作 .......................................................................................46. 參考文獻 .......................................................................................................................47. v.

(7) 圖 目 錄. 圖 1-1 3CCD 取像系統................................................................................................1 圖 1-2 1CCD 取像系統................................................................................................2 圖 1-3 Bayer CFA Pattern [2] .......................................................................................3 圖 1-4 CFA 影像資料示意圖 (a)自然界景物 (b)相機擷取原始資料 .....................3 圖 1-5 拉鍊效應 (a)原始圖 (b)插補重建圖..............................................................4 圖 1-6 錯色 (a)原始圖 (b) 插補重建圖....................................................................5 圖 1-7 影像訊號處理程序...........................................................................................6 圖 1-8 變焦插補演算法 (a)先插補後變焦 (b)先變焦後插補 (c)合併變焦與插補 ..................................................................................................................................6 圖 2-1 (a) 原始圖 (b) 非邊緣偵測插補 (c) 邊緣偵測插補 .................................10 圖 2-2 插補演算法基本流程.....................................................................................10 圖 2-3 CFA pattern 的四種 3×3 區塊 .......................................................................11 圖 2-4 ACPI 的 G 平面插補流程圖..........................................................................14 圖 2-5 重建影像(a) ACPI (b) ECI ..........................................................................16 圖 2-6 中心位置誤判方向的情況.............................................................................17 圖 2-7 HEID [14] 演算法流程圖..............................................................................20 圖 3-1 ACPI 插補分類器頻譜圖...............................................................................24 圖 3-2 二維小波轉換架構.........................................................................................26 圖 3-3 無降低取樣頻率之二維小波轉換架構.........................................................27 圖 3-4 小波轉換輸出影像 (a)輸入影像 (b)HL 頻帶影像 (c)LH 頻帶影像 ........28 圖 3-5 將 CFA 取樣成四張子影像 ...........................................................................30 圖 3-6 小波係數矩陣 CHL、CLH 示意圖 ...................................................................30 圖 4-1 Kodak 24 張全彩測試影像 ............................................................................33 圖 4-2 img8 演算法重建影像局部放大圖 (a)原始影像 (b)ACPI (c)ACPI with wc vi.

(8) (d)SA (e)SA with wc (f)HEID (g)HEID with wc ..................................................41 圖 4-3 img4 演算法重建影像局部放大圖 (a)原始影像 (b)ACPI (c)ACPI with wc (d)SA (e)SA with wc (f)HEID (g)HEID with wc ..................................................43 圖 4-4 不同小波轉換係數在 HEID 中 G 平面的 PSNR .........................................44. vii.

(9) 表 目 錄. 表 3-1 JPEG2000 5/3 濾波器係數.............................................................................30 表 3-2 ACPI 分類器與小波分類器正確判斷的像素點個數 ..................................31 表 4-1 測試影像 img1~img12 之 PSNR 值 ..............................................................36 表 4-2 測試影像 img13~img24 之 PSNR 值 ............................................................37 表 4-3 測試影像之平均 MSE 與 PSNR 值 ..............................................................38 表 4-4 測試影像之 S-CIELab 值...............................................................................39 表 4-5 MN 大小影像經過小波轉換所需要的運算單元數 .....................................45. viii.

(10) 第一章. 緒論. 1.1 研究背景 近幾年來,在消費性電子市場,由於晶片技術的大幅發展,數位相機 體積大幅的縮小,在價格日趨便宜下漸漸取代大部分傳統相機的市場。在 數位相機中所採用的是電荷耦合元件(Charge Coupled Device,CCD)或互 補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS) 感光元件。由於感光元件本身只對光的強度有反應,並無法分辨光的色 彩,因此,若想要得到彩色影像則必須設法將紅色(R)、綠色(G)、藍色(B) 三原色訊號分離出來,也就是需要三個感光元件分別覆蓋 RGB 三種顏色 的濾光片來擷取訊號,如圖 1-1 所示。但是由於使用三個感光元件所需要 的成本較高,而且也擴大晶片的尺寸,因此目前在市場中 3 個 CCD 的數 位相機仍不普遍。. Array sensors. Scene Optical system. 圖 1-1. 3CCD 取像系統. 1.

(11) 在消費性電子市場輕、薄、短、小的主張下,目前市場上的仍然是以 單一感應器的數位相機為主流。然而以一個感光元件要記錄三種顏色的像 素 值 , 目 前 的 作 法 是 排 列 三 種 顏 色 濾 光 片 成 為 一 色 彩 濾 波 陣 列 (Color Filter Array,CFA),在每一個像素點只讓三原色光穿透其中一種,擷取一 種顏色的訊號量,如圖 1-2 所示,然後再透過色彩插補演算法計算該像素 點另外兩個顏色值,進而完成原始全彩影像圖。對於彩色數位攝影系統, 影像的品質是最重要的關鍵,而色彩插補演算法的效能則直接地影響到輸 出影像的品質。. 圖 1-2. 1CCD 取像系統. 色彩濾波陣列目前普遍採用貝爾圖形(Bayer’s CFA Pattern [2]),如圖 1-3 所示。由於醫學與色彩學上的研究,人眼對於綠色亮度變化較為敏感, 且綠色訊號對於亮度訊號的變化有較大的相關性,故在 CFA pattern 上使 用總像素點的二分之一來擷取綠色訊號值,而紅色與藍色訊號各佔四分之 一,經過研究設計結構性排列而成 CFA pattern。. 2.

(12) 圖 1-3. Bayer CFA Pattern [2]. 由於 CFA pattern 的影響,從數位相機取得影像原始資料,其視覺上 的效果將如下圖 1-4 所示。. (a) 圖 1-4. (b). CFA 影像資料示意圖 (a)自然界景物 (b)相機擷取原始資料. 如何從 CFA pattern 得到全彩輸出影像,最直覺且簡易的方法,即將 兩相鄰的顏色值平均,對所有像素點做平均計算,填補缺少的顏色像素 值,即可得到全彩影像,此稱為雙線性(Bilinear)色彩插補演算法,但是單 純平均的方法對於影像中物體的邊緣部分,由於兩邊界通常值差異很大, 3.

(13) 平均後會產生模糊的效果或出現顏色與原始色彩不同的結果,即稱之為人 工錯色(Artifacts)。一般所謂人工錯色可分為拉鍊效應(Zipper Effects)與錯 色(False Color)。拉鍊效應通常產生於顏色的過渡區域,由於過渡區域顏 色像素值變化起伏不定,造成參考到錯誤的鄰近點資訊,導致顏色值高低 交錯排列現象,如圖 1-5 所示。. (a) 圖 1-5. (b) 拉鍊效應 (a)原始圖 (b)插補重建圖. 而另一個類型為錯色,此現象會在重建影像中出現與原始景物完全不 同的顏色點,此現象通常出現在邊緣上,色彩轉變陡峭的情況,由於不適 當的色彩平均運算,形成另一種顏色,如圖 1-6 所示。. 4.

(14) (a). 圖 1-6. (b). 錯色 (a)原始圖 (b) 插補重建圖. 因此,如何從不完整的 CFA pattern 完美的重建原始全彩影像,並且 使用少量的計算量、減少人工錯色的情況,以達成完美重建影像的目標, 即為本研究色彩插補演算法所欲達成的目標。. 1.2 研究動機 在數位相機拍攝影像到儲存成一張圖檔的過程中,內部作了非常多影 像處理的校正運算,如圖1-7所示。感光元件從自然界影像透過色彩濾波陣 列擷取CFA影像,經過數位變焦、色彩插補、雜訊濾除與幾個後處理步驟, 得到全彩輸出影像,由於色彩插補通常位於前面的處理順序,因此要是在 一開始便產生顏色誤差以及模糊邊界,誤差將影響後級處理再衍生更多的 誤差。因此色彩插補演算法在整個數位相機相關演算法中扮演相當重要的 角色。. 5.

(15) Scene Input. Output Image. Sensor with CFA. Digital Zooming. Color Interpolation. Denoising. Sharpness. Auto Level. AWB. Gamma Correction. 圖 1-7. 影像訊號處理程序. 目前已經有許多文章在研究插補演算法,例如 Hamilton and Adams [3] and Pei [4]等 人 , 主 要 是 研 究 單 純 的 色 彩 插 補 。 但 是 , 有 些 文 章 如 Lukac [5][6]、Chung [7]則探討如何將數位變焦演算法與色彩插補合併,以減低誤 差的交互影響,如圖1-8所示,探討變焦與色彩插補的先後執行順序或合併 兩者造成的影響與優缺點。[8][9]等文章則探討色彩插補與雜訊濾除步驟的 相關性。對於數位相機而言,相片品質固然重要,減低晶片處理運算量也 同等重要,通常兩者是成反比,高運算量雖然有高影像品質,但在運算時 間與電量消耗上降低實用性價值,因此一套完美的色彩插補演算法在數位 相機上佔有舉足輕重的地位。. CFA image. Color Interpolation. Digital Zooming. Zoomed full color image. Color Interpolation. Zoomed full color image. (a) CFA image. Digital Zooming (b). CFA image. Joint color interpolation and digital zooming. Zoomed full color image. (c). 圖 1-8. 變焦插補演算法 (a)先插補後變焦 (b)先變焦後插補 (c)合併變焦 與插補. 6.

(16) 在目前插補演算法的文獻中,大部分都採用有邊緣偵測的方法。由於 在影像中,不同物件的交界,通常會有明顯的邊緣,而邊緣偵測是使用鄰 近像素值的變化程度,判斷中心插補點可能的邊緣方向。採用邊緣偵測的 演算法,可以完整保存影像的輪廓,不會引入不同物件的像素值而在邊緣 上產生錯色。通常邊緣偵測的方法是使用 Hamilton 的方向分類器,它是 以水平與垂直的兩個梯度值判斷邊緣變化的方向。在我們的研究中發現 Hamilton 的方向梯度存在頻率響應不同的問題,在某些頻率下會造成方向 的誤判。因此,我們提出以小波轉換為基礎的分類器,來解決頻率響應不 同的問題。. 1.3 論文架構 第一章為論文簡介,介紹本論文的研究背景與研究動機,與色彩插補 演算法的重要性。. 第二章將介紹目前現存的色彩插補演算法,並加以分類與討論其優點 與缺點,將色彩插補演算法廣義分為兩種類型:非遞迴式演算法與遞迴式 演算法,再進一步細部分類為有邊緣偵測與無邊緣偵測類型,並詳細說明 其演算法定義數學式與處理流程。. 第三章為本研究所提出的小波轉換方向分類器,以 CFA pattern 取得 的原始資料經過小波轉換後取得其不同子頻帶的係數矩陣,將其矩陣作為 判斷方向的依據,建立方向分類器,以改正原始方向分類器在不同頻率下 響應不同,所佔權重不同的問題。. 第四章為實驗與模擬結果,將我們所提出演算法應用到不同的色彩插 補演算法,並比較其效能與重建影像品質。. 7.

(17) 第五章為本研究之演算法的結論與未來研究方向。. 8.

(18) 第二章. 文獻探討. 目前已有許多色彩插補演算法被提出來,依演算法的架構可以被廣義 分類成非遞迴式 (Non-iterative) 或遞迴式 (Iterative) ,通常遞迴式的演 算法比非遞迴式在輸出影像方面有較高品質效能,遞迴式演算法的基本觀 念是 G 平面的插補結果可以增進 RB 平面的插補效能,然而 RB 平面的結 果可再進一步增進 G 平面的效能,因此重複執行插補的流程,至所設定 的停止條件成立為止,故有較高品質的輸出影像,但是相對的比非遞迴式 的方法花費較多的計算量。從這兩大類演算法可再細分成有邊緣偵測 (Edge Detection)與無邊緣偵測(Non Edge Detection),邊緣偵測是對於影像 內的物件做方向的判斷,判斷其邊緣可能的方向,再由該方向執行插補計 算,減少影像物件邊緣插補時引入鄰邊非相同物件的色彩值,造成色彩插 補的錯誤。以圖 2-1 為例,插補點位於中心位置,圖 2-1(a)為真實影像數 值,影像邊緣位於垂直方向,H 與 L 代表數值高低,以簡易平均式插補為 例,無邊緣偵測時插補值由上下左右 4 點平均,如圖 2-1(b)中心點數值降 低破壞邊緣的資訊,造成鋸齒狀;而有邊緣偵測的方法,需先經過水平與 垂直的梯度判斷,判斷出該點屬於垂直方向,再取垂直上下兩點平均,如 圖 2-1(c)所示。因此有邊緣偵測的演算法可以保留影像物體輪廓,提高影 像的品質,但也相對地將多付出一些計算負擔。因此在我們提出插補演算 法時,影像品質與計算量為我們所需考量的重點。. 9.

(19) (a) 圖 2-1. (b). (c). (a) 原始圖 (b) 非邊緣偵測插補 (c) 邊緣偵測插補. 2.1 非遞迴式插補演算法 在目前已發表的色彩插補論文,其基本架構大部分是採用 Hamilton 在 1997 年所提出的專利文章[3]內的方法。此方法簡稱為適應性色彩平面 插補(Adaptive Color Plane Interpolation,ACPI),其插補流程如圖 2-2 所 示。由於 CFA pattern 的排列方式,感應元件擷取到較多的 G 色彩像素值, 故所有的色補演算法在第一步均是由 G 平面先執行插補,以較多無誤差 的真實色彩值先做處理,如此可以減低誤差的產生。第二步再由第一步完 成插補的 G 值,插補 R、B 像素值,如此便完成所有遺失像素值的插補。. G interpolation at R(B) pixels. R(B) interpolation at G pixels. 圖 2-2. R(B) interpolation at B(R) pixels. 插補演算法基本流程. 從 CFA pattern 色彩排列的結構下,可將其分為四種 3×3 的區塊,如 圖 2-3 所示。以圖 2-3(a)為例,中心點(i, j)位置缺少 G、B 色彩資訊,故 10.

(20) 需要執行 G 平面插補與 B 平面插補。. j-1. j. j+1. j-1. j. j+1. i-1. B. G. B. i-1. R. G. R. i. G. R. G. i. G. B. G. i+1. B. G. B. i+1. R. G. R. (a). (b). j-1. j. j+1. j-1. j. j+1. i-1. G. B. G. i-1. G. R. G. i. R. G. R. i. B. G. B. i+1. G. B. G. i+1. G. R. G. (c) 圖 2-3. (d). CFA pattern 的四種 3×3 區塊. 在 ACPI 中,第一步 G 平面插補,是採用邊緣偵測的方式,先建立以 一階微分項與二階微分項組成的方向梯度分類器,再由水平、垂直與對角 三種像素值估測器做插補的動作,以圖 2-3(a)為例,其方向分類器方程式 如下:. DH = G (i, j − 1) − G (i, j + 1) + 2 R (i, j ) − R (i, j − 2) − R (i, j + 2) ........(2-1). DV = G (i − 1, j ) − G (i + 1, j ) + 2 R (i, j ) − R (i − 2, j ) − R (i + 2, j ) ........(2-2). DH、DV 分別代表水平方向梯度與垂直方向梯度值,由 G 的一階微分值 與 R 的二階微分值組成,判斷與鄰近點水平與垂直方向像素值的改變趨 勢,分類出中心點位置其可能的邊緣的方向為水平、垂直或對角方向。數 11.

(21) 學上梯度的觀念與物理意義代表一條線或一個平面的陡峭度,中心點梯度 愈大代表它與周圍相鄰點的差異度愈大,故由 DH 與 DV 的數值大小,分 類該由哪種方向的估測器執行插補。ACPI 定義三種方向的估測器分別為 水平估測器(GH)、垂直估測器(GV)與平均估測器(GA),其方程式如下:. GH =. G (i, j − 1) + G (i, j + 1) 2 R (i, j ) − R (i, j − 2) − R (i, j + 2) + ........(2-3) 2 4. GV =. G (i − 1, j ) + G (i + 1, j ) 2 R (i, j ) − R (i − 2, j ) − R (i + 2, j ) + ........(2-4) 2 4. G (i, j − 1) + G (i, j + 1) + G (i − 1, j ) + G (i + 1, j ) 4 ........(2-5) 4 R (i, j ) − R (i, j − 2) − R (i, j + 2) − R (i − 2, j ) − R (i + 2, j ) + 8. GA =. 在估測器中,採用的是色彩差值相關性(Color Difference Correlation) 的觀念。在真實世界的影像中,一個影像物件的小區塊 RGB 三個色彩值 的 變 化 曲 線 通 常 具 有 正 關 連 性 (Positive Correlation), 例 如 在 光 影 變 化 時,RGB 值以同量上升或下降,故可以假設一區塊中 RGB 三色相互差值 或相互比值為常數。由於電腦的運算方式,對於乘除法需要比較多的計算 時間,而且會有比值過大的問題,所以在色彩插補演算法中大部分都使用 色彩差值相關法。根據差值相關法的假設色彩差值為一個常數,故可以假 設 兩 個 色 彩 差 值 訊 號 K R (i,j)=G(i,j)-R(i,j)與 K B (i,j)=G(i,j)-B(i,j)。 假 設 圖 2-3(a) 經 過 前 述 分 類 器 分 類 為 水 平 方 向 , 則 中 心 點 K R (i,j)=[K R (i,j-1)+ K R (i,j+1)]/2,其水平插補方程式定義如下:. [G (i, j − 1) − Rˆ (i, j − 1)] + [G (i, j + 1) − Rˆ (i , j + 1)] Gˆ (i, j ) − R (i , j ) = ...(2-6) 2 R (i , j − 2 ) + R (i , j ) Rˆ (i, j − 1) = .................................(2-7) 2 12.

(22) R (i , j ) + R (i , j + 2 ) Rˆ (i , j + 1) = ................................(2-8) 2. 在此 Rˆ 為非 CFA 取樣點, Gˆ 為插補值,以左右兩點 R 值的平均,故上式 可整理成:. G (i , j − 1) + G (i , j + 1) 2 R (i , j ) − R (i , j − 2) − R (i , j + 2) + Gˆ (i , j ) = ...(2-9) 2 4. 即為上述之水平插補方程式 GH。同理,GV、GA 也可以用相同的方式推 導出來。另外,將上式 R 改成 B 即為圖 2-3(b)的中心點為 B 像素的插補 式。整個 ACPI 的 G 平面插補流程則如下圖 2-4 所示。. 13.

(23) Begin. No. DH < DV. Yes DH > DV. No. Yes. G(i,j) = GH. G(i,j) = GV. G(i,j) = GA. End. 圖 2-4. ACPI 的 G 平面插補流程圖. 在 ACPI 的 R 與 B 平面作插補時,則由於 CFA 的 R、B 取樣點較少, 所以不採用方向分類的方式,改以單純的區塊色彩差值平均方式處理,如 圖 2-3(a)與 2-3(b)中心點位置的 B 與 R 值則以下列方程式插補:. Bˆ (i, j ) = Gˆ (i, j ) KB (i − 1, j − 1) + KB (i − 1, j + 1) + KB (i + 1, j − 1) + KB (i + 1, j + 1) ..(2-10) − 4 KB (i, j ) = Gˆ (i, j ) − B(i, j ) ............................0.......(2-11) 14.

(24) Rˆ (i, j ) = Gˆ (i, j ) KR (i − 1, j − 1) + KR (i − 1, j + 1) + KR (i + 1, j − 1) + KR (i + 1, j + 1) ..(2-12) − 4 KR (i, j ) = Gˆ (i, j ) − R(i, j ) ...................................(2-13). 在此 Gˆ 代表前步 G 插補流程計算出來的值,而 Rˆ 、 Bˆ 則為目前的插補值, 它將採用四個對角方向的色彩 差值平均來插補。另外,對於圖 2-3(c)與 2-3(d) 中心點位置的 R 與 B 值,其插補方程式如下:. KR (i, j − 1) + KR (i, j + 1) Rˆ (i, j ) = G (i, j ) − .....................(2-14) 2. KR(i − 1, j ) + KR (i + 1, j ) Rˆ (i, j ) = G (i, j ) − .....................(2-15) 2 KB(i, j − 1) + KB (i, j + 1) Bˆ (i, j ) = G (i, j ) − .....................(2-16) 2 KB(i − 1, j ) + KB (i + 1, j ) Bˆ (i, j ) = G (i, j ) − .....................(2-17) 2. 根據 CFA 取樣的色彩排列結構,以左右或上下的色彩差值 K R、K B 平均方 式插補,如此便完成整個 ACPI 的插補流程。. 貝 教 授 們 [4] 提 出 一 有 效 的 色 彩 插 補 演 算 法 (Effective Color Interpolation,ECI),它簡化了 ACPI 在 G 平面的插補,只採用對角方向 的插補估測器(GA),以減少執行分類動作的計算時間。在影像品質上,由 於使用兩個方向平均的插補方式,在物體內均勻色彩的部分優於 ACPI, 但是在物件邊緣部分,由於是將非物件本身的色彩值引入做平均的動作, 所以在邊緣會產生模糊和錯色的情形,如下圖 2-5 所示。 15.

(25) (a). (b) 圖 2-5. 重建影像(a) ACPI. (b) ECI. Lee [10] 提出對於 ACPI 方向分類器的改良,在分類器 DH、DV 中加 入參考鄰近點方向資訊,增加判斷的準確性。他們的作法是先對影像執行 一次整體方向判斷,產生一個方向地圖(Direction Map)紀錄像素點的方向 性,將 ACPI 分類器與方向地圖合併定義一個新的分類器 DH’、DV’如下 式:. DH ' = DH − ω × d map (i, j − 2) ...........................(2-18) DV ' = DV + ω × d map (i − 2, j ) ...........................(2-19) ω 為一個大於 0 的權重值,d_map(i,j-2)與 d_map(i-2,j)分別代表目前插補 點左邊與上面相鄰點的方向參考值,方向地圖 d_map(i,j)定義如下:. 16.

(26) if DH < DV. ⎧1 ⎪ d map (i , j ) = ⎨ 0 ⎪− 1 ⎩. if DH = DV if DH > DV. ....................(2-20). 由於物件的邊緣通常具有一致性與連續性的特徵,當左邊鄰近點為水平 時,DH’值會下降,增加 DH’小於 DV’的機率,增加方向判定為水平的機 率,當上面像素點為垂直方向時,增加 DV’小於 DH’的機率,增加方向判 定為垂直的機率,當左、上各為水平或垂直時,即可能為邊緣轉角,維持 原本 ACPI 分類器不變。但是單純只參考左、上相鄰點的方向值,並無法 保證插補點的方向性,所以在文獻[11]提出加入右邊與下面的方向性,參 考四個方向資訊來加強區域方向一致的可靠性,其分類器 DH”與 DV”定 義為:. DH ' ' = DH − ω × [ d map (i, j − 2) + d _ map (i , j + 2)] .........(2-21) DV ' ' = DV + ω × [ d map (i − 2, j ) + d _ map (i + 2, j )] .........(2-22). 當左右參考點方向均為水平時,更增加插補點為水平插補的機會。文獻[11] 更進一步提出改良方向地圖的方法,改善在光影變化或雜訊影響可能使 ACPI 的分類造成誤判的情況,根據方向一致性的觀念修正如圖 2-6 的兩 種可能誤判的情形。. 1. 1. -1. -1 1. 1 1. 圖 2-6. -1. -1 中心位置誤判方向的情況. 17. -1.

(27) Chung [12] 對於 ACPI 分類器 DH、DV 在互相差距不大情況,也就 是在較為平坦的區域,提出使用區域的變異數做進一步的分類,先以 DH 與 DV 的比值定義一個門檻值,大於門檻值為較陡峭之區域,使用 ACPI 分類的觀念插補,小於門檻值即為較平滑的區域,對於此區域使用擴大為 9×9 的區塊來計算色彩變異數值,計算變異數方程式如下:. 2. 2 ⎞ ⎛ 1 1 H σ (i , j ) = ∑ ⎜⎜ d (i, j + n ) − ∑ d (i , j + k ) ⎟⎟ .............(2-23) 9 n∈Ψ ⎝ 9 k∈Ψ ⎠ 2. 2 ⎛ ⎞ 1 1 V σ (i, j ) = ∑ ⎜⎜ d (i + n, j ) − ∑ d (i + k , j ) ⎟⎟ .............(2-24) 9 n∈Ψ ⎝ 9 k ∈Ψ ⎠ 2 ⎛1 2 ⎛ ⎞ 1 σ B (i , j ) = ⎜ ∑ ⎜⎜ d (i + n, j ) − ∑ d (i + k , j ) ⎟⎟ ⎜ 9 n∈Ψ ⎝ 9 k ∈Ψ ⎠ ⎝. ⎛ ⎞ 1 1 + ∑ ⎜⎜ d (i , j + n ) − ∑ d (i , j + k ) ⎟⎟ 9 n∈Ψ ⎝ 9 k ∈Ψ ⎠. 2⎞. .............(2-25). ⎟ ⎟ ⎠. d(i,j)為 G、R 或 G、B 之色彩差值,對三個方向變異數選擇變異數最小值 之方向,以 ACPI 方向估測器插補,這個方法雖然可以更精準的判斷出模 糊區域或雜訊影響地區的方向,但相對地花費大量的運算量在計算區域變 異數,對於單晶片及時系統有很大的負擔。文中另外提出一個理想 ACPI (Ideal ACPI) 的觀念,它是假設在方向判斷完全正確的情況下,以 ACPI 的估測器插補時所能達到的最佳品質,理想 ACPI 的好處是可用於當作改 良分類器的演算法其改善效能評估與尚可改進的空間,ACPI 演算法與理 想 ACPI 在 PSNR (Peak-signal to Noise Ratio) 上大約有 3~5 dB 的改善空 間 , 在 高 效 能 遞 迴 式 插 補 演 算 法 如 Prof. Li 提 出 的 連 續 逼 近 插 補 法 (Successive Approximation,SA)[13] 與 Prof. Su 提出的高效率遞迴插補法 (Highly Effective Iterative Demosaicing,HEID)[14] 仍然與理想 ACPI 差距 1~2 dB。 18.

(28) 2.2 遞迴式插補演算法 遞迴式演算法就定義來看,即為執行一次以上的 RGB 完 整 插 補 流 程,在文獻中有些插補演算法會在完成插補後,再加上一個優化步驟,進 一步抑制錯色點的殘留,通常採是用由 Lu [15] 提出的色彩差值中值濾波 器來濾除區域的雜訊錯色點,對色彩差值平面 K R、K B 以 3×3 的區塊做中 值處理,其 RGB 三個平面的處理方式如下:. R (i, j ) = G (i, j ) − median ( KR ) ...............................(2-26) G (i, j ) =. (R(i, j ) + B(i, j ) + median( KR) + median( KB) ) 2. .........(2-27). B (i, j ) = G (i, j ) − median ( KB ) ...............................(2-28) median(.)代表一個 3×3 的中值濾波器,輸入值為以(i,j)為中心 3×3 區塊內 的 9 個色彩差值。在文獻[16]、[17]中提出改良 Lu 的方法,只以上下左右 與中心 5 點為輸入的中值濾波器,這些中值濾波方法有效的濾除零星的雜 訊點,不過對於較密集的錯色點(如圖 2-5 區域),單純中值濾波仍然效果 不大。SA [13] 與 HEID [14] 提出重複執行優化程序的方式,反覆的執行 提高輸出影像的品質。在 HEID [14]的演算法定義三個執行階段,執行順 序分別為初始化階段、優化階段與疊代階段,其演算法流程如下圖 2-7:. 19.

(29) Begin. Initialization step G edge-detected interpolation. RB bilinear interpolation. Refinement step G bilinear interpolation. Var(R) > T. No Var(B) > T. Yes R bilinear interpolation. No. Yes G bilinear interpolation. Var(B) > T. No. Var(R) > T & Var(B) > T & Var(G) > T. Yes. No. G bilinear interpolation End. 圖 2-7. Iteration step. HEID [14] 演算法流程圖. 於初始化階段插補 G 平面,改良原本 ACPI 的方向偵測插補,使用兩個權 重值 ω1 與 ω 2 將水平與垂直估測器合併,限制 ω1 + ω 2 = 1,對於較為平坦的方 向其權重值 ω1 較大,較為陡峭的方向其權重值 ω 2 較小,詳細演算法如下:. 20.

(30) if DH < DV then ⎛ G (i, j − 1) + G (i, j + 1) 2 X (i, j ) − X (i, j − 2) − X (i, j + 2) ⎞ G (i, j ) = ω1 × ⎜ + ⎟ 2 4 ⎝ ⎠ ⎛ G (i − 1, j ) + G (i + 1, j ) 2 X (i, j ) − X (i − 2, j ) − X (i + 2, j ) ⎞ + ω2×⎜ + ⎟ 4 2 ⎝ ⎠ else if DH > DV then ⎛ G (i − 1, j ) + G (i + 1, j ) 2 X (i, j ) − X (i − 2, j ) − X (i + 2, j ) ⎞ G (i, j ) = ω1 × ⎜ + ⎟ 2 4 ⎝ ⎠ ⎛ G (i, j − 1) + G (i, j + 1) 2 X (i, j ) − X (i, j − 2) − X (i, j + 2) ⎞ + ω2×⎜ + ⎟ 2 4 ⎝ ⎠ else G (i, j − 1) + G (i, j + 1) + G (i − 1, j ) + G (i + 1, j ) G (i, j ) = 4 4 X (i, j ) − X (i, j − 2) − X (i, j + 2) − X (i − 2, j ) − X (i + 2, j ) + ....(2-29) 8. 水平梯度較小,即由水平方向估測器乘上較大的權重 ω1,加上垂直方向估 測器乘上較小權重 ω 2 ,得到欲插補點的 G 值,垂直梯度較小時,由垂直 方向估測器乘上較大的權重 ω1 ,加上水平方向估測器乘上較小權重 ω 2 。. 在優化階段使用第一階段完成插補的 G (0) 平面,以色彩差值法平均插 補 R、B 平面,其方法與 ACPI 插補 R、B 平面相同,得到兩平面 R (1) 、 B (1) ,接著再由 R (1) 、B (1) 平面同樣以色彩差值平均方式建立另外一個 G (1) 平面,R (0)、B (0) 平面只取用 CFA pattern 取樣到的 R、B 像素值,即完成疊 代前置處理步驟。. 於前面兩個階段完成 G (0) 、G (1) 、R (0) 、R (1) 、B (0) 與 B (1) 等平面,接著 分別由下列方程式計算同色彩平面間的變異數:. Var ( X ( n ) − X ( n−1) ) =. ((. ). ). 2 1 M N X ( n) (i, j ) − X ( n−1) (i, j ) − Avg( X ( n) − X ( n−1) ) (2-30) ∑∑ M × N i =1 j =1. 21.

(31) Avg ( X ( n ) − X ( n−1) ) =. 1 M ×N. ∑ ∑ (X (n) (i, j ) − X (n−1) (i, j ) ) ..........(2-31) M N. i =1 j =1. X 代表 R、G 或 B,Avg(.)為計算平均值, Var ( X ( n ) − X ( n−1) ) 若大於所設定的 門檻值時,執行 X 平面的色彩差值平均插補,反覆執行直到三個平面的 變異數均小於門檻值,即完成整個遞迴式插補流程。在文中實驗數據顯 示,執行一張影像插補需要 2~3 次的遞迴次數,相對在計算量與執行時間 方面會比非遞迴式演算法多一些,但在影像品質與 PSNR 方面均有大幅度 的提昇,在計算量與影像品質無法兼顧的情況下,HEID [14] 取得一個較 佳的平衡。. 22.

(32) 第三章. 小波轉換分類器. 3.1 插補分類器討論 目前在色彩插補研究中,在 G 平面的插補,普遍均採用 ACPI 的方向 分類器,如式(2-1)、(2-2),使用一行或一列的色彩梯度值來判斷其中心位 置的像素點的方向特性。然而在這個一階與二階微分的合併項,存在著不 同頻率下響應不同的問題,為了說明方便,我們先將式(1)的 G 一階微分 與 R 二階微分項改寫成離散訊號模式,如下式所示:. Y1[ n ] = G[ n − 1] − G[ n + 1] .....................................(3-1). Y2 [ n ] = − R[ n − 2] + 2 R[ n ] − R[ n + 2] ...........................(3-2). 接著我們對分別對第二章中的式(3-1)(3-2)做傅立葉轉換轉到頻率域,整理 後可以以下兩個頻率式:. Y1 (e jω ) = (2 j sin ω)G (e jω ) = H1 (e jω )G (e jω ) .....................(3-3). Y2 (e jω ) = ( 2 − 2 cos ω) X (e jω ) = H 2 (e jω ) X (e jω ) ...............(3-4) 其 H1 (e jω ) 與 H 2 (e jω ) 的頻譜響應如下圖 3-1 所示。於頻譜圖中藍色線條. H1 (e jω ) 的頻率響應曲線、紅色為 H 2 (e jω ) 的頻率響應曲線,我們可以發現 在 ACPI 分類器一階與二階的微分項,其頻率響應是不同的,尤其在中間 頻段上甚至接近兩倍的差異,如此會造成 ACPI 分類器中隱含著佔有權重 不一樣的問題,在大部分頻率下其二階微分項權重皆大於一階微分項的權 重,如此可能會有方向判斷錯誤的情況產生,造成誤差的產生。為了要解 決頻率響應不同的問題,以及保留其方向分類器必須具備的判別色彩像素. 23.

(33) 值在水平與垂直變化性的原理,我們提出以小波轉換後的係數來實現一個 更為精準的方向分類器。. 圖 3-1. ACPI 插補分類器頻譜圖. 3.2 二維離散小波轉換 離散小波轉換(Discrete Wavelet Transform,DWT)是一個將空間域訊號 轉換到頻率域的方法,它具有一套繁雜且嚴謹的數學模型,雖然數學理論 推導繁瑣複雜,但在實際應用上非常容易且運算快速。小波轉換廣泛的運 用在訊號處理、影像處理等領域,如頻率分解、影像壓縮。不同於使用弦 式波為基底的常見訊號分析工具-傅立葉轉換(Fourier Transform),小波轉換 24.

(34) 它保留了頻率產生的時間資訊,因為小波轉換是由一個函數經過縮張與平 移所形成不同的變化頻率與不同時間區間的基底函數,因此這些函數具有 長持續時間的低頻率與短持續時間高頻率的特性,所以小波轉換非常適合 於長時間低頻變化信號或高頻突發信號,小波轉換同時提供了時間域與頻 率域的解析度。. 在影像處理的領域中,小波轉換常用於影像的壓縮,其轉換架構如圖 3-2所示,輸入影像先經由水平轉換後降低兩倍取樣頻率分別得到水平低頻 與高頻係數矩陣,接著在分別經由垂直轉換再降低取樣,最後可得到四組 不 同 頻 帶 的 係 數 矩 陣 , 尺 寸 大 小 為 原 輸 入 影 像 的 四 分 之 一 , 圖 3-2 中 的 Low-pass、 High-pass分 別 為 低 通 與 高 通 濾 波 器 , 輸 出 矩 陣 LL、 LH、 HL、 HH代表不同方向的高低頻係數矩陣,例如:LH為水平低頻與垂直高頻的係 數矩陣。由於大部分影像的特性低頻區域佔絕大部分區域,所以經過小波 轉換後影像中大部分的能量會集中在LL頻帶,而在LH、HL與HH頻帶只留 下局部區域的殘留值,因此可以以較少的位元數來編碼殘值矩陣,達成影 像壓縮的功能。. 25.

(35) 圖 3-2. 二維小波轉換架構. 3.3 小波分類器 我們運用小波轉換在頻率分割上的優點,由轉換後的高頻係數矩陣來 作為判斷影像中物件的邊緣分類器。圖 3-3 為我們所使用的小波轉換架 構,不同於壓縮用的小波轉換架構,由於我們需要輸入影像完整的頻率資 訊,不需要降低取樣頻率造成係數矩陣的遺失,故在每個頻帶的輸出係數 矩陣與輸入影像矩陣尺寸相同如圖 3-4 所示。在此我們只保留 LH 與 HL 頻帶的輸出係數值。. 26.

(36) 圖 3-3. 無降低取樣頻率之二維小波轉換架構. (a) 27.

(37) (b). (c) 圖 3-4. 小波轉換輸出影像 (a)輸入影像 (b)HL 頻帶影像 (c)LH 頻帶影像. 28.

(38) 以下為演算法完整流程,將相機擷取到的 CFA 影像取樣成四張子影 像 g0、g1、r0、b0,g0、g1 分別為單數列和偶數列的 G 值,r0、b0 分別 為所有的 R 與 B 值,如圖 3-5 所示。將四張子影像分別輸入執行二維小 波轉換,在輸出的頻帶由於主要目的是分析區塊的方向頻率特徵,故只保 留水平低頻垂直高頻(LH)與水平高頻垂直低頻(HL)的兩個頻帶,最後再分 別將其合併為 CFA 的 HL 與 LH 的小波係數矩陣 C HL、C LH,如圖 3-6 所示, 紅色的 C HL、C LH 為 r0 經過小波轉換所得到係數,依此類推。在前文中曾 指出 ACPI 的分類器 DH、DV 前後兩項的頻率響應不同,造成在不同頻率 下產生的所佔權重不同影響結果,為解決上述的問題,我們運用小波係數 矩陣將方向分類器定義為:. DH i , j = C HL (i , j − 1) + CHL (i, j + 1) + CHL (i, j ) ........................(3-5) DV i , j = C LH (i − 1, j ) + CLH (i + 1, j ) + C LH (i, j ) ........................(3-6). 將原本 ACPI 分類器 G 的一階微分項改為對應 G 像素點的兩個小波係數 值,R 的二階微分項只使用中心位置的 R 像素點小波係數,由於不同色彩 頻道的小波係數矩陣是由相同子頻帶 HL 或 LH 所產生,修正 ACPI 分類 器在不同色彩平面使用不同階數微分項造成的頻率響應不同問題,在不同 頻率下產生的所佔權重不同影響判斷結果,因此我們解決頻率響應不同的 情況。另一方面,由於在計算量的考量下,我們採用在 JPEG2000[19]中 的 5/3 濾波器係數,它是整數型的小波轉換係數,其計算簡單並且適合於 硬體上的實現。5/3 小波轉換係數如下表 3-1 所示,而於第四章實驗數據 中,我們將比較使用幾種不同的濾波係數在效能上的比較。. 29.

(39) 圖 3-5. 圖 3-6. 將 CFA 取樣成四張子影像. 小波係數矩陣 C HL 、C LH 示意圖. 表 3-1. JPEG2000 5/3 濾波器係數. 5/3 filter coefficient. High-pass. Low-pass. t0. 1. 3/4. t1. -1/2. 1/4. t2. -1/8. 3.4 方向判斷準確性探討 在這一章節中,我們針對傳統 ACPI 分類器與本論文所提出的小波分 30.

(40) 類器在方向判斷上的準確性來比較。在前文我們曾經提過理想 ACPI 的觀 念,運用這個觀念可以紀錄每個測試影像不同像素點其最佳的插補方向, 透過最佳的插補方向紀錄我們可以統計 ACPI 分類器與小波分類器的準確 性。表 3-2 列出各測試影像分別使用 ACPI 與小波分類器正確判斷的像素 點個數。從表 3-2 中可以看到小波分類器對於每一張測試影像在方向分類 的正確率均有不同程度的提升,比傳統的 ACPI 分類器平均多增加 5863 點的正確方向判斷點數,在 img2、img6、img7、img19 更達到了 8000 點 以上,由此可以證明以小波分類器來取代 ACPI 分類器可以進一步提升方 向判斷準確性,減少方向誤判時引入誤差,減少錯色的情形提高重建影像 的品質,其演算法詳細的實驗數據與重建影像畫面,將於下一章再做詳細 的比較與討論。. 表 3-2 Method ACPI classifier. ACPI 分類器與小波分類器正確判斷的像素點個數 img1. img2. img3. img4. img5. img6. img7. img8. 82135 97353 95385 107016 84981 95061 95926 89224. Wavelet classifier 88349 107176 101283 110900 90996 104035 105977 93887 Method ACPI classifier. img9. img10 img11 img12 img13 img14 img15 img16. 84312 84420 83898 93398 93109 90029 85050 82028. Wavelet classifier 88862 91712 87946 97105 100459 90920 90897 86435 Method. img17 img18 img19 img20 img21 img22 img23 img24. ACPI classifier. 95199 93713 88159 85855 96147 87465 93468 83354. Wavelet classifier 101271 98831 96165 91809 100273 93001 100593 88524. 31.

(41) 第四章. 實驗數據與模擬結果. 此章節是敘述我們所提出的小波分類器應用在不同的插補演算法 中,在重建影像上的比較與探討,在第一節中我們挑選在第二章中已介紹 過,具代表性的演算法,且它們皆有使用方向判斷分類器。測試影像的部 分 , 使 用 在 色 彩 插 補 研 究 領 域 中 大 部 分 採 用 的 柯 達 公 司 (Kodak photo image)[20](圖 4-1)所 提 供 的 24張 全 彩 測 試 影 像 來 比 較 演 算 法 MSE、 PSNR 與重建影像的視覺品質。. 測試影像格式為24位元全彩點陣圖(Bit mapped,BMP),是由微軟公 司於WINDOWS下自行發展的一種影像儲存格式,將影像中的內容完整儲 存,不採用壓縮保持原始資料的完整性。每一個像素點分別以8 bits表示 RGB各三原色,故每一像素點為24 bits所表示,共可表示16777216種不同 的色彩。實驗影像尺寸大小為512×768。演算法模擬平台為桌上型PC,Intel Pentium IV 2.8GHz處理器、2GB記憶體、Windows XP作業系統,模擬軟 體為MATLAB R2006a。. 32.

(42) 圖 4-1. Kodak 24 張全彩測試影像. (由左至右,由上至下以序編號為 img1~img24). 33.

(43) 4.1 實驗流程與模擬測試 色彩插補主要研究如何從殘缺的Bayer pattern擷取到的顏色訊號值, 完美重建實際影像真實的色彩,由於從數位相機上取得的原始資料(Raw data)為Bayer pattern的形式,故重建回全彩影像時,並無法實際比較其真 實影像與重建影像的差異,因此在相關文獻上,均採用測試影像、或以搭 配3CCD的高階數位相機拍攝全彩影像做測試。. 因 此 我 們 需 先 將 24張 測 試 影 像 , 透 過 軟 體 取 樣 為 Bayer pattern的 形 式,再由不同插補演算法重建影像,透過均方誤差 (Mean square error, MSE)、峰值雜訊比 (Peak signal to noise ratio,PSNR)、S-CIELab與視覺 上的評估來比較各演算法的效能差異。. 由於本論文所提出的小波分類器主要是改良色彩插補演算法常用 ACPI的插補分類器,所以我們需挑選使用ACPI插補分類器的演算法,因 此我們挑選下列三個色彩插補演算法,來測試小波分類器的效能: (1) 適應性色彩平面插補法 (ACPI) [3] (2) 連續逼近插補法(SA) [13] (3) 高效率遞迴插補法(HEID) [14]. 4.2 MSE 與 PSNR 模擬結果 在評估演算法好壞,以原測試影像與插補演算法重建影像比較其 MSE 與 PSNR 值,MSE 與 PSNR 是在影像處理領域上常見的評量方式, 雖然有較高 PSNR 值不能保證有較佳的視覺品質,但它仍是一個客觀的誤 差評估方法。MSE 與 PSNR 的定義如下式:. 34.

(44) MSE =. 1 M ×N. ∑ ∑ (X (i, j ) − Xˆ (i, j ) ) M. N. 2. X = R , G or B. ..(4-1). i = 1 j =1. PSNR = 10 log 10. 255 2 .....................................(4-2) MSE. M和N分別代表影像的長度和寬度, X 為原始全彩測試影像色彩值, Xˆ 為 插補演算法估測的色彩值。. 表4-1與表4-2列出24張測試影像在ACPI、SA、HEID演算法與分別套 用 小 波 分 類 器 的 PSNR值 , 表 格 中 X with wc代 表 以 小 波 分 類 器 (Wavelet classifier,wc)取代原演算法的插補分類器,X={ACPI, SA, HEID},表格 中以粗體來代表PSNR較高的一方,我們所提出的方法套用在ACPI演算法 中,對於每一張測試影像的R、G、B平面PSNR均高於ACPI,R平面提升 0.049~1.6912dB , G 平 面 提 升 0.1671~1.7948dB , B 平 面 提 升 0.0732~1.5384dB,對於SA方面在R、G、B各有1、3、4張影像下降,其餘 PSNR 均 高 於 原 本 的 方 法 , R 平 面 提 升 -0.0386~1.3731dB , G 平 面 提 升 -0.0341~1.1115dB,B平面提升-0.0409~1.0885dB,HEID中R、G、B各有2、 2、 4張 PSNR低 於 原 本 HEID方 法 , 三 個 平 面 分 別 提 升 -0.029~0.9727dB、 -0.0259~1.3984dB、-0.1034~1.0952dB。表4-3列出24張測試影像的平均MSE 與PSNR值,從中可以看出我們的小波分類器在這三個演算法中,可以得 到較佳的效能。. 35.

(45) 表 4-1 Image Channel img1. img2. img3. img4. img5. img6. img7. img8. img9. img10. img11. img12. R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B. 測試影像 img1~img12 之 PSNR 值. ACPI. ACPI with wc. SA. SA with wc. HEID. HEID with wc. 42.0565 44.6572 42.4929 36.2469 37.3370 35.7892 41.6011 43.1935 40.6878 32.9191 34.4694 33.0706 41.1192 42.7196 40.9602 36.9970 38.3141 37.2126 39.4062 40.7107 39.1899 38.1050 39.2746 37.6243 38.9587 39.8729 37.7659 36.3765 37.3676 35.9590 37.5023 39.1206 37.1339 33.3686 34.2858 32.0946. 42.2813 45.0973 42.7464 37.6946 38.8701 37.0233 41.9456 43.7575 40.9806 33.1317 34.9697 33.2760 41.4004 43.2466 41.2081 37.6404 39.1804 37.8694 41.0974 42.5055 40.7283 38.4131 39.7199 37.8939 39.0874 40.1676 37.8391 36.9608 38.1310 36.4795 37.5969 39.4232 37.2784 33.7414 34.8611 32.4903. 41.6667 44.7888 42.4158 39.2071 43.0467 38.3580 41.8853 43.8201 40.3534 35.7709 39.7677 36.5262 42.1726 44.8911 41.4001 38.7000 42.6984 39.6710 41.7696 45.7240 41.1842 40.2797 43.8868 39.5472 40.6794 43.4362 39.0913 39.2699 43.0582 38.5446 38.4588 41.0752 37.9997 36.5162 39.4329 35.2590. 41.7225 44.8427 42.4748 40.3967 43.9533 39.2095 41.9927 43.8803 40.4125 35.8075 39.8568 36.5454 42.2416 44.9057 41.4542 39.0295 43.0113 40.0713 43.1427 46.8355 42.2727 40.5088 44.0524 39.6541 40.6993 43.4583 39.0545 39.6503 43.3582 38.8238 38.5152 41.1292 38.0347 36.7042 39.5530 35.3202. 41.8530 46.4419 42.7681 40.2071 43.4047 39.1108 42.3195 44.2209 39.8084 35.8757 40.2895 36.6946 42.8269 46.1171 42.3995 39.1390 43.2586 40.5823 42.9746 46.1931 42.1160 40.9802 44.2884 40.2201 41.2654 43.9495 39.4320 40.3214 43.4662 39.4407 38.6954 41.6943 38.1805 37.0048 39.7622 35.4460. 41.9184 46.5859 42.8415 41.1798 44.3703 39.7777 42.4358 45.6193 40.9036 35.9663 40.2904 36.5912 42.9437 46.3324 42.4869 39.3959 43.6196 40.8801 43.5420 46.4585 42.7169 41.1753 44.4775 40.3475 41.2877 43.9912 39.4128 40.6235 43.8155 39.6475 38.7261 41.7406 38.2098 37.1241 39.8670 35.4582. 36.

(46) 表 4-2 Image Channel img13. img14. img15. img16. img17. img18. img19. img20. img21. img22. img23. img24. R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B. 測試影像 img13~img24 之 PSNR 值. ACPI. ACPI with wc. SA. SA with wc. HEID. HEID with wc. 34.2933 36.8753 34.9806 34.9680 38.8344 37.3314 38.5097 39.4062 37.9163 33.7773 34.5936 33.0683 33.2705 34.6994 33.4978 36.2304 40.1430 38.8085 38.6833 41.3717 39.0303 37.0591 40.2991 39.4882 34.3430 35.7784 34.2101 39.2777 41.1492 38.9822 40.0231 42.3950 40.1134 29.9454 30.7691 29.4721. 34.5766 37.4071 35.3111 34.9729 39.0015 37.4350 38.6514 39.7369 38.0456 34.0426 34.9888 33.2659 33.7664 35.4118 34.0059 36.3652 40.5531 39.0847 39.1346 42.1226 39.5290 37.2057 40.6861 39.6885 34.6552 36.3535 34.4847 39.7659 41.9777 39.5288 40.7238 43.4071 40.8125 30.4669 31.4292 29.9539. 32.4698 35.9435 33.3834 35.1726 40.2937 38.6834 40.2043 43.3419 39.3605 36.2972 38.8696 35.3985 36.6040 40.7066 37.7655 35.4312 39.9249 38.9580 38.7493 41.7685 38.8335 36.5693 40.6650 40.5587 35.0831 37.5578 34.7396 40.4546 43.6707 40.2289 40.7813 44.3156 41.0639 35.1763 38.1648 33.6377. 32.5167 35.9368 33.3738 35.1340 40.2708 38.6915 40.2478 43.3606 39.3196 36.3643 38.9034 35.4190 36.7983 40.8645 38.0271 35.4887 40.0084 39.0742 38.9109 41.8133 38.9603 36.6333 40.7552 40.6644 35.0973 37.5237 34.7282 40.5853 43.8085 40.3878 41.1234 44.5206 41.4123 35.4746 38.3922 33.8103. 32.3839 36.7263 33.5548 35.0198 40.7645 38.9754 41.2750 44.0256 40.2706 36.3902 39.3177 35.5137 36.8486 40.9432 37.8587 34.3977 40.0754 38.0996 38.7264 42.3760 38.9866 35.9484 40.9986 40.4510 34.9801 38.3840 34.7865 40.7781 44.4368 40.5284 40.7540 44.9545 41.5556 35.8924 38.4085 34.1148. 32.4093 36.7427 33.5727 34.9934 40.7386 38.9910 41.2460 44.0319 40.2124 36.4489 39.3599 35.5245 37.0982 41.2571 38.1674 34.4308 40.1567 38.1635 38.7983 42.4269 39.0401 35.9895 41.0920 40.5269 34.9875 38.3720 34.7739 40.8680 44.5901 40.6265 41.5449 45.9794 41.9733 36.1683 38.6576 34.2884. 37.

(47) 表 4-3 Method ACPI ACPI with wc SA SA with wc HEID HEID with wc. 測試影像之平均 MSE 與 PSNR 值. R 17.0696 15.5709 11.5870 11.1854 11.3014 10.9949. MSE G 12.0401 10.4444 5.2557 5.1252 4.6483 4.4811. B 17.2987 15.7510 10.9525 10.6258 10.3009 10.0178. R 36.8766 37.3049 38.3071 38.5327 38.6191 38.8042. PSNR G 38.6516 39.2919 41.7020 41.8748 42.2707 42.5239. B 36.9533 37.3733 38.4568 38.6332 38.7873 38.9639. 4.3 S-CIELab 模擬結果 在此小節中,我們使用 S-CIELab[21]的方法來比較重建影像的誤差, S-CIELab 定義為下:. * ΔEab. 1 = M ×N. M N. ∑∑. i =1 j =1. YLab (i, j ) − YˆLab (i, j ) ................(4-3) 2. M和N分別代表影像的長度和寬度, Y 與 Yˆ 分別為原始測試影像與重建影 像在 (i, j ) 位置的L*a*b*值。. 表 4-4 列 出 各 演 算 法 在 使 用 傳 統 分 類 器 與 小 波 分 類 器 重 建 影 像 的 S-CIELab誤差,粗體字為誤差較小的值,在這三個演算法中,使用小波分 類器絕大部分都可得到較小的誤差,在ACPI平均減少0.051441、SA平均 減少0.01503、HEID平均減少0.0215,顯示我們所提出的小波分類器不僅 在PSNR有較好效能,在S-CIELab也可得到較佳的結果。. 38.

(48) 表 4-4 Image img1 img2 img3 img4 img5 img6 img7 img8 img9 img10 img11 img12 img13 img14 img15 img16 img17 img18 img19 img20 img21 img22 img23 img24 Avg.. ACPI. 測試影像之 S-CIELab 值. ACPI with wc. 0.5032 0.4970 1.0466 0.8926 0.6030 0.5816 1.5730 1.5122 0.6227 0.6093 0.8826 0.7992 0.7506 0.6359 0.8800 0.8578 0.7280 0.7135 1.0593 0.9964 0.9810 0.9647 1.2251 1.1605 1.2447 1.1678 0.8481 0.8429 0.7155 0.6977 1.3558 1.3154 1.5995 1.4951 0.8214 0.8065 0.6417 0.6134 0.8116 0.7939 1.3878 1.2798 0.6796 0.6560 0.6027 0.5613 2.3395 2.2179 0.995958 0.944517. SA. SA with wc. 0.5403 0.5407 0.8836 0.7997 0.6776 0.6713 1.4175 1.3724 0.6046 0.6082 0.7695 0.7363 0.6380 0.5571 0.7663 0.7551 0.6361 0.6385 0.8701 0.8509 0.9586 0.9545 1.1178 1.1062 1.4372 1.4142 0.8654 0.8721 0.6403 0.6424 1.2804 1.2921 1.2806 1.2416 0.8596 0.8536 0.6752 0.6686 0.8331 0.8281 1.5742 1.6089 0.6559 0.6599 0.5969 0.5783 1.7121 1.6795 0.928788 0.913758. HEID. HEID with wc. 0.5019 0.5004 0.8190 0.7457 0.6788 0.5977 1.3314 1.2682 0.5408 0.5379 0.7208 0.6899 0.5944 0.5339 0.7175 0.7110 0.6034 0.6046 0.8016 0.7825 0.9555 0.9524 1.0494 0.9835 1.3885 1.3692 0.8427 0.8457 0.5714 0.5719 1.2320 1.2410 1.2135 1.1752 0.9376 0.9318 0.6601 0.6569 0.8615 0.8574 1.4579 1.4814 0.6240 0.6246 0.5693 0.5210 1.5929 1.5661 0.886079 0.864579. 4.4 影像視覺品質比較 此小節中,我們針對插補演算法重建後的影像與原始測試影像,比較 其視覺上的品質,下圖4-2、4-3分別為img8的籬笆區域與img4的窗戶區域 的局部放大影像,明顯的在應用小波分類器的演算法均減少了錯色的情 形,得到較高的影像視覺品質。 39.

(49) (a). (b). (c). 40.

(50) 圖 4-2. (d). (e). (f). (g). img8 演算法重建影像局部放大圖 (a)原始影像 (b)ACPI (c)ACPI with wc (d)SA (e)SA with wc (f)HEID (g)HEID with wc 41.

(51) (a). (b). (c). 42.

(52) 圖 4-3. (d). (e). (f). (g). img4 演算法重建影像局部放大圖 (a)原始影像 (b)ACPI (c)ACPI with wc (d)SA (e)SA with wc (f)HEID (g)HEID with wc. 43.

(53) 4.5 小波轉換係數的選擇 在前面 PSNR 的數據比較,HEID 使用小波分類器的演算法可以得到 最高的 PSNR,而在此小節中,針對幾種不同的小波轉換係數來比較其應 用 在 HEID 演 算 法 上 的 PSNR 值 , 我 們 測 試 四 種 小 波 濾 波 係 數 分 別 為 Haar、Daubechies、JPEG2000 9/7、JPEG2000 5/3。圖 4-4 為上述四種小 波轉換係數應用到 HEID 演算法中 G 平面的 PSNR 值,從圖中可以看出使 用 5/3 濾波係數可得到較高的 PSNR,24 張測試影像平均分別為:Haar 為 42.24655 dB、Daubechies 為 42.33103 dB、9/7 為 42.48138 dB、5/3 為 42.52388 dB。因此本論文採用 5/3 小波轉換來作為分向分類器。. 圖 4-4. 不同小波轉換係數在 HEID 中 G 平面的 PSNR. 44.

(54) 4.6 計算複雜度統計 對於計算複雜度的統計,我們計算本論文採用的 5/3 小波轉換所需要 的運算單元數量。假設輸入測試影像長寬分別為 M 和 N,則影像中共有 M×N 個像素點。由於我們只使用小波轉換後的 HL 與 LH 頻帶,所以一個 像素點需要做一次水平高通與垂直低通和一次水平低通與垂直高通。高頻 轉 換 需 要 加 法 器 (Addition) 、 減 法 器 (Subtraction) 與 移 位 暫 存 器 (Shift Register)各 1 個,而低頻轉換需要 5 個加法器、1 個減法器與 3 個移位暫 存器。故一個像素點共需要 12 個加法器、4 個減法器與 8 個移位暫存器。 另外於 G 平面插補時,分類器 DH’’與 DV’’各需要 3 個加法器與 3 個絕對 值運算元(Abs)。因此,四張 MN/4 大小的 CFA 子影像 g0, g1, r0 和 b0 經 過小波轉換和插補 G 平面時的分類器所需要的運算單元,統計如下表 4-5 所示。. 表 4-5. MN 大小影像經過小波轉換所需要的運算單元數 Operators. Size. Shift Addition. Subtraction. Abs Register. g0. MN/4. 3MN. MN. 2MN. 0. g1. MN/4. 3MN. MN. 2MN. 0. r0. MN/4. 3MN. MN. 2MN. 0. b0. MN/4. 3MN. MN. 2MN. 0. DH i,j. MN/2. MN. 0. 0. 1.5MN. DV i,j. MN/2. MN. 0. 0. 1.5MN. 14MN. 4MN. 8MN. 3MN. Total. 45.

(55) 第五章. 結論與未來工作. 輸出影像的品質在數位相機中是最重要的問題,而色彩插補演算法是 影響影像品質的重要關鍵角色,如何有效的降低重建影像的視覺錯色,為 色彩插補演算法急需解決的的問題。在本論文中,我們應用小波轉換在頻 率分割與分析上的優點,透過小波轉換後的方向高頻係數矩陣,來作為方 向判斷的分類器,解決傳統 ACPI 分類器在不同頻率上響應不同的嚴重問 題,經由與原始影像的正確插補方向比較後,小波分類器確實比 ACPI 分 類器提高了判斷的正確率,從實驗結果中,我們所提出的方法不僅在 PSNR 有所提升,而且對於不同演算法產生的錯色問題,我們所提出的分 類器消除了大部分的錯色,明顯改善影像的視覺品質。. 未來發展方向,一方面可透過分析影像的結構與特性,針對不同的特 定結構採用不同的分類,運用小波係數矩陣發展更準確的區塊性分類器, 另一方面可以硬體的方式來實現小波轉換,進一步加快演算法的執行效 能。. 46.

(56) 參考文獻. [1]. K. A. Parulski, “Color filters and processing alternatives for one-chip cameras,” IEEE Trans. Electron Devices. vol. ED-32, no. 8. pp. 1381 Aug. 1985.. [2]. B. E. Bayer, “Color imaging array,” U.S. Patent 3 971 065, Jul. 1976.. [3]. J. F. Hamilton Jr. and J. E. Adams, “Adaptive color plane interpolation in single color electronic camera,” U. S. Patent 5 629 734, May 1997.. [4]. S.-C. Pei and I.-K. Tam, “Effective color interpolation in CCD color filter arrays using signal correlation,” IEEE Trans. Circuits Systems Video Technol., vol. 13, no. 6, pp. 503-513, Jun. 2003.. [5]. R. Lukac and K.N. Plataniotis, “Digital camera zooming on colour filter array, ” IEE Electronics Letters vol. 39, No. 25, Dec. 2003.. [6]. Rastislav Lukac, Konstantinos N. Plataniotis and Dimitrios Hatzinakos, “Color Image Zooming on the Bayer Pattern,” IEEE Trans. Circuits and Systems Video Technol, vol. 15, No. 11, Nov. 2005.. [7]. King-Hong Chung, Yuk-Hee Chan, Chang-Hong Fu and Yui-Lam Chan, “An Efficient Combined Demosaicing and Zooming Algorithm for Digital Camera,” Conference on Computer Vision, Graphics and Image Processing, CVGIP2007. [8]. K. Hirakawa and T. W. Parks, “Joint demosaicking and denoising,” IEEE Trans. Image Process., vol. 15, no. 8, pp. 2146–2157, Aug. 2006.. [9]. Lei Zhang, Xiaolin Wu and David Zhang, “Color Reproduction From Noisy CFA Data of Single Sensor Digital Cameras,” IEEE Trans. Image Processing, vol. 16, no. 9, Sep. 2007.. 47.

(57) [10] W. Lee, S. Lee, and J. Kim, “Cost-efffective color filter array. demosaicing using spatial correlation,” IEEE Trans. Consumes Electronic., vol. 52, no. 2, pp. 547-554, May 2006. [11] C.-Y. Su, C.-M. Lin, and Y.-S. Lin, “Effective False Color Suppression. of Demosaicing Using Direction Inversion and Bidirectional Signal Correlation,” the Proc. of IEEE International Conference on Image Processing, ICIP2007, vol. II, pp. 85-88. [12] King-Hong Chung and Yuk-Hee Chan, “Color Demosaicing Using. Variance of Color Differences,” IEEE Trans. Image Processing, vol. 15, no. 10, pp. 2944-2955, Oct 2006. [13] X. Li, “Demosaicing by successive approximation,” IEEE Trans. Image. Process., vol. 14, no. 3, pp. 370-379, March 2005. [14] C.-Y. Su, “Highly effective iterative demosaicing using weighted-edge. and. color-difference. interpolations,”. IEEE. Trans.. Consumer. Electronics, vol. 52, no. 2, pp. 639-645, May 2006. [15] W.-M. Lu and Y.-P. Tan, “Color filter array demosaicking: New method. and performance measures,” IEEE Trans. Image Process., vol. 12, No. 10, pp. 1194–1210, Oct. 2003. [16] K.. Hirakawa. and. T.W.. Parks, “Adaptive. homogeneity-directed. demosaicing algorithm,” IEEE Trans. Image Process., vol. 14, No. 3, pp. 360-369, March 2005. [17] C.-Y. Tsai and K.-T. Song, “Heterogeneity-Projection Hard-Decision. Color Interpolation Using Spectral-Spatial Correlation,” IEEE Trans. Image Process., vol. 16, No 1, pp. 78-91, Jan. 2007. [18] C.-Y.. Su,. and. Y.-S.. Lin,. 2007,. “Colour. Interpolation. Using. Wavelet-Based Classifiers,” IET Electronics Letters. vol. 43, no. 12, pp. 667-669 June 2007.. 48.

(58) [19] JPEG 2000 image coding system: Core coding system, ISO/IEC. 15444-1:2004, JPEG committee, 2004. [20] Kodak test images and the demosaicing code of successive. approximation available at http://www.csee.wvu.edu/~xinl/demo/demosaic.html. [21] S-CIELab Metric (2003). [Online]. Available at. http://white.stanford.edu/~brian/scielab/scielab.html. 49.

(59)

參考文獻

相關文件

SPCE061A 的開發是通過線上調試器 PROBE 實現的。它既

VAB 使用者無法使用 RIDE 提供的 Filter Design 公用程式設計濾波器,但是 使用 VAB 的 Filter 元件時,在元件特性選單可以直接指定此濾波器的規格,使用

。當時人們發現的引擎在啟動後,機器會去尋找適合

於是我們若想要在已知函數值的某一點,了解附近大概的函

另外我們還可以觀察到,在 1930 年以後的一段時間,人口

在這一節裡會提到,即使沒辦法解得實際的解函數,我們也 可以利用方程式藉由圖形(方向場)或者數值上的計算(歐拉法) 來得到逼近的解。..

從幾何上看,一個在區間上的每一點都連續的函數,其函數 圖形沒有分斷。直觀上,這樣的連續圖形我們可以一筆劃完

在介紹方向場時,我們曾提過 RL 電流迴路的模型:一個迴 路接上電源(E)電感(L)以及電阻(R) 如下圖. 同時推得這個