基於鄰近像素方向資訊之數位相機CFA內插演算法設計
78
0
0
全文
(2) 謝誌 在碩士階段的學習生涯中，感謝每一位師長對我的指導與愛護，特別 感謝我的指導教授 蘇崇彥老師，在我學習與研究的過程中，總是不厭其 煩地指導與教誨，在生活上面臨各種問題時，也總是盡可能地給予協助與 關心。在這兩年的期間，也感謝工教所與應電所每一位同學的幫忙與指 教，使我在研究與課業上都能有所收穫。此外感謝實驗室的同學與學弟 們，這兩年來的陪伴與協助，使我研究遇到難題時都可以迎刃而解。 此外，非常感謝父母親與家人對我的栽培與生活上的資助，並且感謝 女友的支持與體諒，以及所有好朋友的關心，讓我能夠專心地完成碩士的 學位。. I.
(3) 摘要 為了減少硬體的成本，目前大部分消費型的數位相機都僅使用單一感 光元件覆蓋一層色彩濾波陣列去記錄場景中的顏色。色彩內插演算法則是 一種用於單一感光元件數位相機的影像處理程序，藉由內插缺少顏色的像 素值來重建出全彩的影像。本論文提出一種低複雜度且有效抑制人工錯色 的色彩內插演算法。在第一個步驟中，使用鄰近像素的邊緣方向資訊去判 斷缺少綠色像素之內插方向；接著使用色彩差值的內插演算法去估測缺少 的紅色與藍色像素。在第二個步驟中，本文提出一種新的優化內插演算 法，使用色彩差值空間的中值濾波去更新綠色像素；接著使用一種改良的 中值濾波方法去提升紅色與藍色像素的品質。實驗結果顯示，本論文所提 出來的色彩內插演算法，在主觀的視覺品質與客觀的峰值訊號雜訊比與 S-CIELab 的評估上，都比近期內所提出來的方法有明顯的改善與提升。. 關鍵字：色彩內插、解馬賽克、貝爾圖形、數位相機. II.
(4) Abstract In order to reduce the hardware cost, most digital still cameras（DSCs） use only single-sensor equipped with a color filter array（CFA） to capture the color of the scene presently. Demosaicing algorithm is a process of estimating the missing color values for full-images from incomplete color samples acquired by single-sensor digital still cameras. This paper presents a low-complexity and effective demosaicing algorithm to suppress the color artifacts. In the first step, the directional information of neighboring pixels is used to determine the interpolated directions of missing green pixels; a color-difference algorithm is next used to handle red and blue ones. In the second step, a new refinement algorithm is proposed to update green pixels by a median filter in color-difference space and a modified median filter to refine the other two. Experimental results show that the proposed method is better than the state-of-the-art methods on visually quality subjectively and peak signal-to-noise ratio and S-CIELab metric objectively.. Keywords：Color interpolation, Demosaicing, Bayer pattern, Digital still camera.. III.
(5) 目錄 謝誌.....................................................................................................................i 摘要....................................................................................................................ii Abstract .............................................................................................................iii 目錄...................................................................................................................iv 圖目錄...............................................................................................................vi 表目錄............................................................................................................ viii. 第一章 緒論....................................................................................................1 1.1.. 研究背景............................................................................................1. 1.2.. 研究動機............................................................................................5. 1.3.. 本文架構............................................................................................7. 第二章 相關文獻探討....................................................................................9 2.1.. 非適應性內插演算法........................................................................9. 2.1.1. 雙線性內插演算法......................................................................10 2.1.2. 固定色調內插演算法..................................................................12 2.1.3. 有效的訊號相關內插演算法......................................................14 2.2.. 適應型內插演算法..........................................................................17. 2.2.1. 邊緣偵測色彩內插演算法..........................................................17 2.2.2. 可適應性色彩平面內插演算法..................................................19 2.2.3. 有效空間關聯內插演算法..........................................................21 IV.
(6) 2.2.4. 中值濾波內插演算法..................................................................23 2.3.. 疊代型內插演算法..........................................................................25. 2.3.1. 連續逼近內插演算法..................................................................25 2.3.2. 有效加權邊緣與色彩相關內插演算法......................................28. 第三章 基於鄰近像素方向資訊之內插演算法..........................................33 3.1.. 基於鄰近像素方向資訊內插演算法之整體架構..........................35. 3.2.. 初始演算法處理流程說明..............................................................36. 3.2.1. 初始階段綠色像素的估測方法..................................................36 3.2.2. 初始階段紅色與藍色像素的估測方法......................................40 3.3.. 優化演算法處理流程說明..............................................................41. 3.4.. 鄰近像素方向資訊之權重值與門檻值分析..................................44. 第四章 實驗流程與模擬結果比較..............................................................47 4.1.. 實驗模擬流程簡介..........................................................................48. 4.2.. PSNR值比較....................................................................................51. 4.3.. S-CIELab值比較..............................................................................56. 4.4.. 重建影像視覺比較..........................................................................58. 4.5.. 計算複雜度分析..............................................................................64. 第五章 結論與未來工作..............................................................................66. 參考文獻..........................................................................................................67. V.
(7) 圖目錄 圖 1-1 三個感光元件（Three-CDD）之數位相機架構 ..............................3 圖 1-2 單一個感光元件（Single-CCD）之數位相機架構 .........................4 圖 1-3 貝爾圖形 .............................................................................................5 圖 1-4 假色現象（False color）....................................................................6 圖 1-5 拉鏈型效應（Zipper effect）.............................................................6 圖 2-1 雙線性內插演算法參考圖形 ...........................................................10 圖 2-2 原圖與雙線性內插演算法重建影像之比較 ...................................12 圖 2-3 固定色調內插演算法參考圖形 .......................................................13 圖 2-4 有效的訊號相關內插演算法參考圖形 ...........................................15 圖 2-5 邊緣偵測色彩內插演算法參考圖形 ...............................................18 圖 2-6 可適應性色彩平面內插演算法參考圖形 .......................................20 圖 2-7 有效加權邊緣與色彩相關內插演算法流程圖 ...............................29 圖 2-8 有效加權邊緣與色彩相關內插演算法參考圖形 ...........................30 圖 3-1 基於鄰近像素方向資訊內插演算法之流程圖 ...............................35 圖 3-2 本研究內插演算法參考貝爾圖形 ...................................................37 圖 3-3 Hamilton邊緣偵測可能誤判情形 ....................................................38 圖 3-4 邊緣方向修正機制參考圖形 ...........................................................38 圖 3-5 優化內插演算法參考圖形 ...............................................................43 圖 3-6 Image8 使用ACPI方法判斷式選擇到的估測值情形 .....................45 圖 3-7 24 張測試影像初始內插G平面的平均PSNR值 .............................46 圖 3-8 Image8 使用本研究所提出來的方法選擇到的估測值情形 ..........46 圖 4-1 實驗模擬流程圖 ...............................................................................48 圖 4-2 本研究所使用 24 張柯達公司測試影像[23]...................................50 圖 4-3 24 張測試影像RGB平面之平均PSNR值長條圖 ............................55 VI.
(8) 圖 4-4 Image8 局部放大影像與各種演算法之重建影像 ..........................60 圖 4-5 Image5 局部放大影像與各種演算法之重建影像 ..........................63. VII.
(9) 表目錄 表 3-1 典型優化演算法與本文優化演算法計算複雜度比較 ...................43 表 4-1 每一張測試影像峰值訊號雜訊比（PSNR）（單位：dB）...........53 表 4-2 24 張測試影像RGB平面之平均PSNR值（單位：dB） ...............55 表 4-3 每一張測試影像S-CIELab值 ...........................................................57 表 4-4 本文所提出來基於鄰近素方向資訊內插演算法之計算複雜度 ...65. VIII.
(10) 第一章 緒論. 1.1. 研究背景 隨著電子科技產業的蓬勃發展與技術之提升，消費型數位產品製 造業者，為了要滿足大多數消費者之需求，往往需要將產品的體積與 功能性列為設計產品時考量的重點，因此使得大部分的消費型數位產 品在體積上都可以變得更輕薄短小，在功能性方面可以變得更多樣 化，並且符合人們隨身攜帶之便利性。 近年來消費型數位產品的價格越來越便宜，使得具有攝影功能的 數位產品，如數位相機（Digital Still Camera，DSC）、具有拍攝功能 的手機或手持式電腦 （Personal Digital Assistant，PDA）等，成為最 受歡迎的數位產品，並且逐漸取代傳統相機的地位，成為人們記錄生 活場景不可或缺的工具。 傳統相機與數位相機最大的不同之處在於感光元件，傳統相機是 利用溴化銀製作的底片作為感光元件，透過溴化銀感光產生化學變化 來記錄影像的資訊；數位相機是使用電荷耦合元件（Charge Couple Device ， CCD ） 或 互 補 式 金 屬 氧 化 半 導 體 （ Complementary Metal-Oxide-Semiconductor，CMOS）作為感光元件，經由光電訊號的 轉換來記錄影像的資訊。使用傳統相機進行拍攝的話，必須將底片經 過沖洗後才可以看到所拍攝影像的品質，而且感光底片也不具重複使 用的特性，因此對於一般使用者來說較為不方便；使用數位相機進行 拍攝的話，拍攝結果不但可以一目了然，而且儲存影像資訊的空間也 可隨著記憶卡的容量而改變，此外記憶卡也具有重覆使用的特性，因. 1.
(11) 此數位相機在各方面的考量都會比傳統相機更具有優勢。 由於 CCD 與 COMS 感光元件只能感測到光線的強度，並無法區 分出光線中所包含的色彩成份，因此必須在感光元件之前覆蓋一層彩 色濾光片做分色的處理，透過濾光片分別過濾出紅色（Red）、綠色 （Green）與藍色（Blue）三個主要的色彩元素，最後即可分別記錄三 個色彩成分的量測值。因此可以大概瞭解數位相機擷取一張全彩影像 的整個過程，首先必須先將場景中的光源訊號分離成紅色、綠色與藍 色的色彩成分，再分別使用感光元件紀錄所擷取到的色彩值，最後再 把三個色彩成分合成起來便可構成一張全彩影像。 目前市面上的數位相機依感光元件數量來區分，可以分為兩種類 型，第一種為具有三個感光元件（Three-CDD）的數位相機，另一種 是僅有一個感光元件（Single-CCD）的數位相機。經由圖 1-1 可以簡 單的瞭解具備三個感測元件之數位相機取得全彩影像的過程。場景中 的光源訊號通過光學鏡頭後，接著會再經過光學稜鏡折射成 RGB 三 個原色的色彩元素，最後分別由三個原色的濾光片與感光元件記錄每 一個像素點 RGB 的色彩量測值。但由於此架構需要使用到三個感光 元件去擷取影像的資訊，因此會使得數位相機的體積變得更大且笨 重，電源的消耗速度也會較快，製造成本相對也會比較高。. 2.
(12) 圖 1-1. 三個感光元件（Three-CDD）之數位相機架構. 為了減少數位相機的製造成本與體積，並且符合一般消費者之消 費能力與使用需求，所以目前大部分消費型數位相機，幾乎都僅採用 一個感光元件。以圖 1-2 作為說明，由於此架構僅使用一個感光元件 去擷取影像的資訊，因此必須在感光元件前面覆蓋一層色彩濾波陣列 （Color filter array，CFA）進行 RGB 訊號的取樣，使得每一個像素點 只能擷取到 RGB 其中的一種色彩元素，所以會導致其他兩個色彩元 素沒有紀錄而遺失。因此想要重建接近於原始色彩的影像，必須準確 地估算出每一個缺少元素的色彩值，接著透過插值處理程序補回每一 個像素點所缺少的色彩元素。要準確地估測遺失的色彩元素，可以藉 由感光元件所擷取到的真實色彩資訊重建每一個缺少的色彩元素，這 種方法是利用每一個像素與其鄰近像素已知的色彩資訊作數學運算來 估 測 遺 失 的 色 彩 元 素 ， 此 處 理 程 序 稱 為 色 彩 內 插 演 算 法 （ Color. 3.
(13) interpolation）或解馬賽克圖形演算法（Demosaicing）。. 圖 1-2. 單一個感光元件（Single-CCD）之數位相機架構. 色彩濾波陣列是一種以馬賽克形式交錯排列的濾光片，可以透過 不同的排列方式進行色彩成分的取樣。目前大部分單一感光元件的數 位 相 機 ， 所 採 用 的 色 彩 濾 波 陣 列 幾 乎 都 為 貝 爾 圖 形 （ Bayer CFA pattern）[1]的排列方式，如圖 1-3 所示。每一個格子代表每一個像素， 在每一個像素上只有一種顏色可以被取樣，其中被取樣的綠色像素佔 整個色彩濾波陣列二分之一的面積，另外二分之ㄧ的面積則由紅色與 藍色像素各佔一半。綠色成分取樣比較多的原因，是由於綠色與亮度 （Luminance）之間有很高的關聯性，而人類視覺系統（Human visual system，HVS）對亮度變化比較敏感的因素。. 4.
(14) 圖 1-3. 貝爾圖形. 1.2. 研究動機 為了插補缺少的色彩元素，有許多的演算法已經被提出來。觀察 不同色彩內插演算法所重建的影像，可以發現一些典型與近期內所發 表的色彩內插演算法，在重建影像細微或邊緣的地方，往往可以察覺 到一些不屬於拍攝場景中原有的色彩，造成這種現象的原因是由於一 些色彩內插演算法使用不適當估測方式所導致的結果。 這些不屬於拍攝場景中的色彩，在本文裡稱為人工錯色（Color artifacts） ，人工錯色大致可分為兩類，第一種類型稱為假色現象（False color），如圖 1-4 所示，形成假色現象的原因，主要是因為影像中色 調突然的改變，造成三個色彩平面之間不協調所導致的結果，常見的 假色現象大概都會出現在影像細節或物體邊緣的地方。另一種稱為拉 鏈型效應（Zipper effect）的人工錯色，如圖 1-5 所示，主要形成的原 因於跨越邊緣的區域不當使用平均估測的處理，拉鏈型效應常出現在 一些鄰近像素急遽變化或不自然的區域，例如明亮變化或物體邊緣。. 5.
(15) （a）原圖 圖 1-4. （b）重建影像 假色現象（False color）. （a）原圖 圖 1-5. （b）重建影像 拉鏈型效應（Zipper effect）. 針對上述的問題，本文將提出一種有效減少人工錯色，並提高影 像品質的演算法，以解決假色現象（False color）與拉鏈型效應（Zipper 6.
(16) effect）之人工錯色情形。由於目前大部份數位相機之色彩濾光陣列， 都是採用貝爾圖形的排列形式，故本文研究與分析的相關色彩內插演 算法都是依據貝爾圖形所設計的方法。. 1.3. 本文架構 本節主要說明本論文內容之整體架構，本文內容總共分為五個章 節。第一章為緒論，內容主要敘述本論文之研究背景與研究動機，並 探討單一感光元件（Single-CCD）與三感光元件（Three-CCD）之數 位相機架構與取像方式。 第二章是相關文獻的探討與分析，內容將介紹一些典型與近年所 發表出來的色彩內插演算法，並且詳細分析討論每一種色彩內插演算 法之優缺點。 目前色彩內插演算法大致可以分為兩類，其中一種是非適應性色 彩內插演算法，本文將介紹雙線性內插演算法（Bilinear interpolation， BI）、固定色調內插演算法（Constant hue-based interpolation，CHBI） 與有效訊號相關內插演算法（Effective color interpolation，ECI）。另 一種為適應性內插演算法，本文將介紹邊緣偵測內插演算法 （ Edge-sensing interpolation， ESI）、 可 適 應 性 色 彩 平 面 內 插 演 算 法 （Adaptive color plane interpolation，ACPI）、有效空間關聯內插演算 法（Cost-effective CFA demosaicing using spatial correlation）、中值濾 波內插演算法（Median filter interpolation）。 此外還有一種混合上述各種內插演算法之優點進行重複疊代運算 的處理方法，稱為疊代型內插演算法。本文將介紹連續逼近內插演算 法（Successive approximation interpolation，SA）與有效加權邊緣與色. 7.
(17) 彩相關內插演算法（Weighted-edge and color-difference interpolation）。 第三章敘述本文所提出之基於鄰近像素方向資訊色彩內插演算法 整體架構與處理流程，並詳細介紹每一步驟之處理方式。 第四章為實驗結果與分析，針對本文所提出的色彩內插演算法與 近年來發表出來的色彩內插演算法進行模擬實驗，並透過主觀與客觀 的衡量工具比較每一種色彩內插演算法所重建後的影像品質。 第五章為本文結論部分，敘述本研究所提出的色彩內插演算法之 歸納結論，並說明未來可以進一步改善研究的方向。. 8.
(18) 第二章 相關文獻探討. 本章節主要針對相關的色彩內插演算法進行分析與探討，目前己 經有許多色彩內插演算法的文章刊登或發表出來，這些方法大致可以 分為兩種類型，主要是依據是否偵測邊緣方向進行內插運算處理來區 分，一種為適應性（Adaptive interpolation）色彩內插演算法，另一種 為非適應型（Non-adaptive interpolation）色彩內插演算法。此外還可 以依是否有進行迴圈重複執行內插運算來做區分，可分為非疊代型 （ Non-iterative interpolation ） 色 彩 內 插 演 算 法 與 疊 代 型 （ Iterative interpolation）色彩內插演算法。 本章節將介紹一些傳統典型的色彩內插演算法與近期內所發表的 相關色彩內插演算法，針對這些方法進行詳細說明與分析，並且比較 不同色彩內插演算法之間的優劣之處。. 2.1. 非適應性內插演算法 非適應性內插演算法[2][3][4]是意指此類型的方法沒有考慮到影 像中物體交界處的邊緣方向性質，對於估算缺少色彩成分的方式只單 純的採取線性平均的處理方法。由於使用平均估測方法跨越邊緣交界 的區域，因此在邊緣或細節的區域會造成嚴重的模糊情形，並可能產 生更糟的假色現象與拉鏈型效應。目前此類型常見的有雙線性內插演 算法[2]、固定色調內插演算法[4]與有效的訊號相關內插演算法[3]等 方法。. 9.
(19) 2.1.1. 雙線性內插演算法 在許多內插演算法中，雙線性內插演算法是一個容易理解，且簡 單的色彩內插演算法，它主要的觀念是利用欲估測像素位置上與鄰近 的數個相同顏色的色彩值。採取線性平均的處理方式估測每一個色彩 平面所缺少的色彩值，簡單來說，就是每一個色彩平面所缺少的色彩 成分，個別地使用鄰近相同顏色像素之色彩值加總後取平均來估算每 一個平面所缺少的色彩值。參考圖 2-1 作為說明，其詳細處理流程如 下。. 圖 2-1. 雙線性內插演算法參考圖形. 內插 G 像素於 R 與 B 像素位置上，以 R10 與 B7 位置為例，其估 測值如下：. G '10 =. G 3 + G 9 + G11 + G14 4. （1）. G '7 =. G 3 + G 6 + G8 + G11 4. （2）. 10.
(20) 內插 R 與 B 像素於 G 像素位置上，以 G6 位置為例，其估測值如 下：. R '6 =. R 2 + R10 2. （3）. B '6 =. B5 + B 7 2. （4）. 內插 R 像素於 B 像素位置上，以 B7 位置為例， R'7 色彩值計算方 式如下：. R '7 =. R 2 + R 4 + R10 + R12 4. （5）. 內插 B 像素於 R 像素位置上，以 R10 位置為例， B'10 色彩值計算 方式如下：. B '10 =. B5 + B 7 + B13 + B15 4. （6）. 透過上述色彩值內插估算方法，可以了解雙線性內插演算法是分 別在每一個色彩平面上執行線性平均的處理方式，因此可以視為一個 低通濾波器的效果，但此方法由於在物體邊緣與細節之處使用平均估 測的處理，所以會造成邊緣變得更模糊且導致明顯的人工錯色，如圖 11.
(21) 2-2 所示。. （a）原圖 圖 2-2. （b）重建影像. 原圖與雙線性內插演算法重建影像之比較. 2.1.2. 固定色調內插演算法 固定色調內插演算法 [4]是假設影像中每一個色彩平面之間的局 部區域具有固定色調的關聯。觀察雙線性內插演算法所重建的影像可 以發現很明顯的人工錯色情形，此現象是由於沒有顧慮到色彩平面之 間有很高的相關性，並且不適當的使用平均估測的方法於物體邊緣交 界之處，以至於造成重建影像中突然或不自然的色調改變形成人工錯 色的情形。因此固定色調內插演算法執行雙線性內插處理方式於較平 滑的色調空間中（Hue domain） ，藉此來改善色調不協調所產生的人工 錯色，其估測方程式定義如下：. 12.
(22) （a）以 R 為中心 （b）以 B 為中心 圖 2-3. 首先定義 H R =. 固定色調內插演算法參考圖形. R B 與 H B = 為固定色調常數，以 R5（B5）位置為 G G. 例，欲估測 R5（B5）位置上之藍色（紅色）元素，方程式定義如下. B '5 =. G '5 B1 B3 B 7 B9 ( + + + ) 4 G '1 G '3 G '7 G '9. （7）. R '5 =. G '5 R1 R3 R 7 R9 ( + + + ) 4 G '1 G '3 G '7 G '9. （8）. 以 G2 與 G4 位置為例，欲估測 B2（R2）位置上之藍色（紅色） 元素，方程式定義如下. B '2 =. G 2 B1 B3 ( + ) 2 G '1 G '3. （9）. R '2 =. G 2 R1 R3 ( + ) 2 G '1 G '3. （10）. 13.
(23) B'4 =. G 4 B1 B 7 ( + ) 2 G '1 G '7. （11）. R'4 =. G 4 R1 R 7 ( + ) 2 G '1 G '7. （12）. 由於固定色調內插演算法須使用到大量的除法運算，因此會使得 計算時間大幅增加，並且消耗掉許多硬體資源，故此方法比較不適用 於一般消費性數位產品。. 2.1.3. 有效的訊號相關內插演算法 貝教授他們[3]提出一種有效的訊號相關（Signal correlation）之色 彩內插演算法，此方法是參考J. E. Adams Jr.[9]提出來之影像模型所發 展出來的一種基於RGB平面之間具有高度關聯性的影像模型。此影像 模型是假設欲估測像素之鄰近的B像素或R像素與G像素具有很高的 關聯性，因此定義出K R 與K B 兩個色差常數，其定義如下：. KR = G − R. （14）. KB = G − B. （15）. 其中K R 與K B 分別是綠色像素減紅色像素與綠色像素減藍色像素之差 值，在真實世界的影像裡，局部區域中的K R 值與K B 值是一個相當平滑 的平面，因此可以視為一個常數值。內插演算法之處理方法，其估測 方程式定義如下：. 14.
(24) 圖 2-4. 有效的訊號相關內插演算法參考圖形. 內插 K R ' 值在 G 像素位置，以 G3 與 G6 位置為例， K R '3 與 K R '6 計 算方式如下：. K R '3 = G 3 − R '3 = G 3 − (. R1 + R 7 ) 2. K R '6 = G 6 − R '6 = G 6 − (. R5 + R 7 ) 2. （16）. （17）. 同理，內插 K R ' 在 G8 與 G11 位置，計算方式同上。 內插 G 像素在 R 像素位置，以 R7 位置為例， G'7 的色彩值計算 方式如下：. G '7 = R 7 +. K ' R 3 + K ' R 6 + K ' R 8 + K ' R 11 4. （18）. 內插 R 像素在 G 像素位置，以 G3 位置為例， R'3 計算方式如下：. 15.
(25) R '3 = G 3 − (. K 'R1 + K 'R 7 ) 2. （19）. 內插 B 像素在 R 像素位置，以 R7 位置為例， B'7 計算方式如下：. B '7 = G '7 −. K ' B 2 + K ' B 4 + K ' B 10 + K ' B 12 4. （20）. 同理，估測 B 像素位置的紅色像素值只需把 R 與 B 互調即可。 由上述內插處理流程可以瞭解，此方法估測R平面與B平面之色彩 值時，事實上是執行雙線性內插演算法在較平滑的K R 與K B domain，因 此可以有效減少不正確的色彩內插值所造成的錯誤，並能明顯的改善 重建影像的品質。但此方法只對於小範圍局部平滑的區域有較好重建 品質，對於邊緣與細節區域還是會產生明顯的人工錯色。 有效的訊號相關內插演算法與固定色調內插演算法同樣的考慮到 色彩平面之相關性，但前者所使用的K R 與K B 色差常數是採取減法運 算，後者的H R 與H B 色調常數則是使用除法的運算，故在計算量與硬體 資源耗費的考量上，有效的訊號相關色彩內插演算法會比固定色調內 插演算法較適合運用於一般消費性數位商品上。. 16.
(26) 2.2. 適應型內插演算法 上一節所介紹的三種非適應性色彩內插演算法由於沒有偵測影像 中邊緣區域的方向性質去採取不同估測色彩值的方法，而是跨越邊緣 交界區域執行線性平均的處理，因此在影像中的邊緣交界處或細節的 區域還是可以發現明顯的拉鏈型效應情形。其中雙線性色彩內插演算 法亦沒有考量到色彩平面之間的相關性，所以會使得重建影像的色調 不夠協調，進而導致嚴重的假色現象。為了解決這些問題，有學者提 出了適應性的色彩內插演算法，這類型的方法是沿著邊緣方向性去估 算未知的色彩值，主要處理方式是藉由偵測出影像中具有水平邊緣與 垂直邊緣的區域，對於這些邊緣區域中未知的色彩元素採取水平方向 或垂直方向的估算處理。下面的章節本文將介紹數種常見的適應性色 彩內插演算法，包含邊緣偵測色彩內插演算法(ESI)[4]、可適應性色彩 平面內插演算法(ACPI)[5]、有效空間關聯內插演算法（CECFA）[20] 與中值濾波內插演算法[22][10]。. 2.2.1. 邊緣偵測色彩內插演算法 邊緣偵測色彩內插演算法是藉由偵測影像中具有水平方向與垂直 方之邊緣區域，再依不同邊緣性質執行水平與垂直方向內插值的估測 運算。其中水平邊緣與垂直邊緣的判斷是根據計算方向梯度所決定， 故應選擇方向梯度變化較小之方向進行內插估算。其處理流程如下所 示。. 17.
(27) 圖 2-5. 邊緣偵測色彩內插演算法參考圖形. 首先須先計算待估測像素之水平方向梯度與垂直方向梯度，以估 測 R5（B5）位置上的 G 像素值為例，方向梯度計算方程式定義如下. DH =| G 4 − G 6 |. （21）. DV =| G 2 − G8 |. （22）. 其中 DH 與 DV 分為水平梯度與垂直梯度，水平梯度計算方式是使用 鄰近左右兩邊綠色像素的差異值再取絕對值；垂直梯度計算方式是使 用鄰近上下兩邊綠色像素的差異值再取絕對值。 接著選擇 G'5 的色彩估測值，估測方程式定義如下：. G '5 =. G '5 =. G 4 + G6 2. if DH<DV. （23）. G '5 =. G 2 + G8 2. if DH>DV. （24）. G 2 + G 4 + G 6 + G8 4. 18. Otherwise. （25）.
(28) 當水平梯度小於垂直梯度時，代表 G'5 很可能是水平的邊緣，因 此 G'5 的估算值是採取左右兩邊的綠色像素平均值進行內插。當垂直 梯度小於水平梯度時，代表 G'5 很可能是垂直的邊緣，因此 G'5 的估算 值是採取上下兩邊的綠色像素平均值進行內插。其餘的皆採取四個鄰 近綠色像素平均值進行內插。 由於邊緣偵測色彩內插演算法針對水平方向與垂直方向執行方向 性的內插運算，故可以避免跨越邊緣交界執行平均估測的情形。因此 能有效的改善重建影像中水平邊緣與垂直邊緣之拉鏈型效應，並可提 昇影像中邊緣交界處之銳利度。但由於此方法多了判斷邊緣方向性的 計算，所以在計算量會比雙線性色彩內插演算法花費更多的時間。此 外邊緣偵測色彩內插演算法只考慮到綠色平面的邊緣方向資訊，忽略 了色彩平面之間具有很高的相關性，因此會造成重建影像色調不協調 的情形，進而導致嚴重的假色現象。. 2.2.2. 可適應性色彩平面內插演算法 可適應性色彩平面內插演算法方法與邊緣偵測色彩內插演算法同 樣是採取偵測邊緣區域的方式執行方向性的內插估測，但此方法改善 了邊緣偵測色彩內插演算法判斷邊緣與估測色彩值的方法，其估測方 法考慮到鄰近紅色或藍色像素之方向梯度與空間高頻率資訊。其詳細 處理流程如下所示。. 19.
(29) 圖 2-6. 可適應性色彩平面內插演算法參考圖形. 內插 G 色彩值於 R 像素位置的估算方法，以 R7 位置為例，計算 G'7 色彩值須先判斷該像素可能是屬於何種類型邊緣方向，其計算水平梯 度與垂直梯度方程式定義如下：. DH =| G 6 − G8 | + | 2 R7 − R5 − R9 |. （26）. DV =| G3 − G11 | + | 2 R7 − R1 − R13 |. （27）. 其中 DH 與 DV 為水平梯度與垂直梯度。梯度方程式是由兩項成分所 組成，第一項為代表亮度（Luminance）的綠色像素梯度值，第二項為 代表色溫（Chromaticity）的紅色與藍色像素梯度值。 內插 G'7 綠色像素值於 R7 像素位置所使用的估測方程式定義如 下：. G '7 =. G 6 + G8 2 R 7 − R5 − R9 + 2 4. 20. if DH<DV. （28）.
(30) G 3 + G11 2 R 7 − R1 − R13 + 2 4. if DH>DV. （29）. (G3 + G 6 + G8 + G11) 4 (2 R7 − R5 − R9 + 2 R7 − R1 − R13) + 8. if DH=DV. （ 30）. G '7 =. G '7 =. 同理，內插 G 色彩值於 B 像素位置的處理方式只需將 R 換成 B 即可。 上面三個估測方程式皆包含兩項成分，第一項為鄰近綠色像素的線性 平均值，第二項為鄰近紅色像素之二階修正值。 此方法同時考慮到綠色像素與紅色或藍色像素之邊緣方向梯度， 因此會使得邊緣偵測的準確度有效的提升。此外在估測未知色彩值的 方程式中，加入了鄰近紅色或藍色像素的空間高頻成分資訊，這個高 頻成分的資訊可以用來補償單獨使用綠色像素平均估算所產生的高估 或低估情形。因此可以更準確的估算出綠色的像素值，並減少更多水 平與垂直方向拉鏈型效應。儘管此方法可以沿著邊緣方向執行方向性 的估測內插，但對於影像中呈現 45 度與 135 度方向的邊緣區域，還是 無法有效抑制拉鏈型效應的情形產生。. 2.2.3. 有效空間關聯內插演算法. Wonjae Lee 與 Seongjoo Lee[20] 等人提出一種新的估測水平梯度 與垂直梯度的方法，此方法是運用空間相關的資訊，藉由鄰近像素之 邊緣方向訊息提高待估測像素內插方向的準確度，因此可以有效減少 重建影像之人工錯色的情形。 新 的 梯 度 估 測 方 法 是 參 考 Hamilton[5] 所 提 出 來 的 梯 度 計 算 方. 21.
(31) 式，不同之處在於估測方向梯度時，同時考量到鄰近像素之邊緣方向 資訊，新的梯度計算方程式定義如下：. DH' = DH − w⋅ d ( j, i − 2). （ 31）. DV' = DV + w⋅ d ( j − 2, i). （ 32）. 其中 DH ' 與 DV ' 為新的水平梯度與垂直梯度，DH 與 DV 可以為任 何一種邊緣適應性之梯度計算方法，如 ES 與 ACIP 等方法估測邊緣方 （ 22）式或（ 26） （ 27）式，w 為權重值，d(j,i-2) 向的方式，如同（ 21） 是指位於（ j,i-2 ）座標位置上待估測綠色像素可能的邊緣方向資訊，. d(j-2,i) 是指位於（ j-2,i ）座標位置上待估測綠色像素可能的邊緣方向 資訊。其邊緣方向資訊定義如下：. ⎧1 ⎪ d ( j , i ) = ⎨0 ⎪− 1 ⎩. if DH < DV if DH = DV if DH > DV. （ 33）. 如果 d(j,i)=1 時，代表第 j 列第 i 行之像素比較屬於水平方向的邊 緣；如果 d(j,i)=0 的話，代表位於（ j,i）座標位置的像素沒有特別明顯 的邊緣；如果 d j,i =-1 的話，代表位於（ j,i）座標位置的像素比較屬於 垂直方向的邊緣。其中 DH 與 DV 為 Hamilton[5] 所提出之邊緣方向梯度 估算方法，如（ 26）（ 27）式。 參考（ 31）式，當 d(j,i-2)=1 時，代表位於左邊（ j,i-2）座標位置 之綠色像素是屬於水平方向的邊緣，此時 DH ' 的數值將會因此而減 少，減少 DH ' 的數值是意指位於（ j,i）座標位置上待估測的綠色像素 22.
(32) 很有可能是屬於水平方向的邊緣。 當 d(j,i-2)=-1 時，代表位於左邊（ j,i-2）座標位置之綠色像素是 屬於垂直方向的邊緣，此時 DH ' 的數值將會因此而增加，增加 DH ' 的 數值後，將使得位於（ j,i）座標位置上待估測的綠色像素比較不可能 採取水平方向的內插方式。 最後一種情形，當 d(j,i-2)=0 時，代表位於左邊（ j,i-2）座標位置 之綠色像素沒有很明顯方向的邊緣，這將不會影響原本邊緣適應性方 法梯度所估測的結果。 此演算法主要是在 Hamilton[5] 所提出來的梯度計算方程式裡加 入了鄰近像素的邊緣方向資訊，設計出一個更準確的梯度計算方法。 新的梯度計算方程式不僅考慮到綠色像素與紅色（藍色）像素的方向 梯度，也考慮到了鄰近像素的邊緣方向性。因此新的梯度估算方法可 以比 Hamilton的方法更精準的判斷出邊緣方向性。. 2.2.4. 中值濾波內插演算法. Freeman[22] 提出一種向量中值濾波色彩內插演算法去重建缺少 的色彩元素，其作法是分別對每一個色彩平面執行中值濾波的處理， 但事實上，這樣的處理程序忽略了每一個色彩平面其實具有很高的相 關性，所以很可能會造成更嚴重的假色現象或拉鏈型效應。 由於上述原因， Wenmiao Lu與 Yan-Peng Tan[10] 提出了一種在 K R 與 K B domain（ G-R或 G-B）執行中值濾波的色彩內插演算法，此方法 是利用不同色彩平面之間具有很高的光譜相關（ Spectral correlation） 特性，藉由光譜相關的資訊去執行中值濾波的處理，可以更有效地抑 制人工錯色的發生，並提昇重建影像的視覺品質。根據實驗結果，以. 23.
(33) 3×3 大小的遮罩執行中值濾波的處理，通常可以獲得令人滿意地結 果。中值濾波內插演算法之方程式定義如下：. G ' = ( R + B + median(G − R ) + median(G − B )) 2. （ 34）. R' = G + median( R − G ). （ 35）. B' = G + median( B − G ). （ 36）. 其中 R、G與 B分別代表紅色、綠色與藍色色彩平面，median（ •）為一 個中值濾波運算器。當執行ㄧ個 3×3 大小遮罩的中值濾波運算時，遮 罩裡的 9 個數值會經過排序後再輸出排序第五的數值。其中 G-R 、. G-B、R-G與 B-G為色彩差值，換句話說，也就是在 K R 與 K B 空間域裡執 行中值濾波的運算。在參考文獻 [10] 裡，作者建議使用此方法於初始 階段的內插程序之後，作為修正重建影像的後處理（ Post-processing ） 方法，這樣的處理程序可以有效的減少假色現象與拉鏈型效應，並提 高重建影像的視覺效果。. 24.
(34) 2.3. 疊代型內插演算法 疊代型內插演算法 [6][7][8] 主要是運用不同色彩平面之間具有訊 號相關的特性去執行重複性的色彩內插運算。藉由色彩平面之間的訊 號相關特性與參考更準確的綠色像素去執行內插估測的運算，可以進 一步提升紅色與藍色像素的色彩品質。 此類型的方法完整處理步驟是先估測出較佳的綠色像素，接著運 用不同平面訊號相關資訊，有效的提升內插紅色與藍色像素的色彩品 質。同樣的想法，在取得更準確的紅色與藍色像素後，可以再藉由品 質較好的紅色與藍色像素去更新原本估測的綠色像素值，再一次的提 升綠色像素的色彩品質。用同樣的方式重複疊代數次，便可以有效的 提升每一色彩平面的影像品質。 大部分使用疊代型內插演算法所重建的影像，可以觀察出來影像 品質與視覺效果都會比非疊代型內插演算法有很明顯的提升與改善， 但由於必須連續多次的疊代運算，將使得計算複雜度大幅增加造成系 統運算的負擔。 近期內刊登發表出來的文章裡，屬於疊代型的色彩內插演算法大 致 有 Gunturk 與 Mersereau 所 提 出 來 的 投 影 式 內 插 法 (Alternating. projection， AP)[6] 、 Xin Li所提出來的連續逼近內插演算法 (SA)[7] 與 Su所提出來之有效加權邊緣與色彩相關內插演算法 (HEID)[8]。在下面 章節中，吾人將介紹後面兩種 [7][8] 近期內所提出來的色彩內插演算 法。 2.3.1. 連續逼近內插演算法 連續逼近色彩內插演算法的處理程序可分為四個步驟，分別為初 始化內插運算、空間分類、疊代運算與疊代終止。在初始化內插估測 25.
(35) 的步驟裡，紅色與藍色的平面是使用最簡單的雙線性色彩內插法 [2] 來估測缺少的紅色與藍色像素值，估測方法如（ 3） （ 4） （ 5） （ 6 ）式； 在綠色平面則是使用 Hamilton 所提出來之可適應性色彩平面內插演算 法 [5] 來估測缺少的綠色像素值。在空間分類的步驟，利用初始化估測 重建的 G 平面執行 Laplacian 濾波的處理，將像素分為 High aliasing 與. Low aliasing兩個區域，空間分類處理方法如下：. 1) 計算綠色平面與紅色平面或藍色平面之間的差值（ G-R 與 G-B）， 定義如下. DR = G − R. （ 37）. DB = G − B. （ 38）. 2) 在 DR 與 DB 空間域裡執行 Laplacian 濾波運算後便可取得 eR 與 eB ， Laplacian 濾波矩陣定義如下所示. ⎡ 0 −1 0 ⎤ 1⎢ ⎥ − 1 4 − 1 ⎥ 4⎢ ⎢⎣ 0 − 1 0 ⎥⎦. （ 39）. 濾波後得到的 eR 與 eB 如下所示. e R = Laplacian (G − R ). （ 40）. e B = Laplacian (G − B ). （ 41）. 26.
(36) 3) 將每一個像素分為 High aliasing 與 Low aliasing 兩個區域，處理方 式如下. ( j, i ) ∈ Ω h. if | e R ( j , i ) |> th or | e B ( j , i ) |> th. （ 41）. ( j, i ) ∈ Ωl. Otherwise. （ 42）. 其中 Ω h 與 Ω l 分別表示像素屬於 High aliasing 或 Low aliasing。 在疊代運算的步驟，主要是利用貝教授他們所提出來的訊號相關 內插演算法 [3] 去更新初始步驟估測的紅色、藍色與綠色平面，如（ 16）. -（ 20）式。透過疊代的運算可以使的像素值逐漸收斂至較準確的狀態。 最後ㄧ個步驟為停止疊代的條件設定，此條件是依據疊代第 n+1 次與 疊代第 n 次色彩平面所計算出來的均方誤差值（ Mean square error ，. MSE ）與臨界值（ δ ）來判斷是否停止疊代的運算，終止條件定義如 下：. E r = Rn +1 ( j , i ) − Rn ( j , i) 2 < δ. （ 43）. E g = Gn+1 ( j , i ) − Gn ( j , i ) 2 < δ. （ 44）. Eb = Bn +1 ( j , i) − Bn ( j , i) 2 < δ. （ 45）. 其中臨界值定義如下. ( j, i ) ∈ Ω l ( j, i ) ∈ Ω h. ⎧δ δ =⎨ l ⎩δ h. （ 46）. 其中 Er 、 E g 與 Eb 分別代表疊代第 n+1 次與疊代第 n次的 RGB平面所計 27.
(37) 算 出 來 的 均 方 誤 差 值 。 δ l 與 δ h 分 別 代 表 區 分 Low aliasing 與 High. aliasing的臨界值，在文獻 [7] 中，作者建議設定 δ l = 4.0 與 δ h = 0.05 時， 能有效地減少假色現象與拉鏈型效應之人工錯色情形。但此方法在初 始階段的處裡步驟中，由於沒有考慮到邊緣的偵測，因此會導致初始 估測值包含更大的內插誤差值（ Interpolation error）而形成人工錯色的 情形。故在後續疊代的處理步驟中，大量的內插誤差值將被引入，再 經過數次疊代運算後會使得誤差值擴大造成更難以修正回正確的色彩 值。. 2.3.2. 有效加權邊緣與色彩相關內插演算法 有效加權邊緣與色彩相關內插演算法的處理程序可分為三個步 驟，分別為初始化內插演算法、優化內插演算法、疊代內插演算法， 完整處理步驟如圖 2-7 流程圖所示。. 28.
(38) 圖 2-7. 有效加權邊緣與色彩相關內插演算法流程圖. 29.
(39) 圖 2-8. 有效加權邊緣與色彩相關內插演算法參考圖形. 在初始化的內插處理步驟， G 平面的估測方式是使用加權邊緣方 向估測值的內插運算。參考圖 2-8，色彩內插運算處理步驟說明如下。 內插 G 像素於 R 像素位置，以 R7 位置為例，估測 G'7 色彩值， 方向梯度方程式定義如下：. DH =| G 6 − G8 | + | 2 R7 − R5 − R9 |. （ 47）. DV =| G3 − G11 | + | 2 R7 − R1 − R13 |. （ 48）. 內插 G'7 綠色像素值於 R7 像素位置所使用的估測方程式定義如下. G 6 + G8 2 R 7 − R5 − R9 + ) 2 4 G3 + G11 2 R7 − R1 − R13 + w2 ⋅ ( + ) 2 4. if DH<DV. （ 49）. G3 + G11 2 R7 − R1 − R13 + ) 2 4 G 6 + G8 2 R 7 − R 5 − R 9 + w2 ⋅ ( + ) 2 4. if DH>DV. （ 50）. G '7 = w1 ⋅ (. G '7 = w1 ⋅ (. 30.
(40) G3 + G11 + G 6 + G8 ) 4 2 R7 − R5 − R9 + 2 R7 − R1 − R13 +( ) 8. G '7 = (. if DH=DV. （ 51）. 其中 w1 與 w2 之間的關係為 w1 + w2 = 1，分別代表不同方向估測值之權 重因子。在文獻 [8] 中，作者使用大量的測試影像去計算 RGB平面之平 均 均 方 誤 差 值 ， 當 平 均 均 方 誤 差 值 最 小 時 可 找 到 w1 = 0.87 與. w2 = 0.13 ，故作者建議設定 w1 = 7 8 與 w2 = 1 8 可獲得較佳的效果。以 （ 49）式為例，當水平方向梯度小於垂直方向梯度值時，內插像素值 等於 7 8 的水平方向的估測值加上 1 8 垂直方向的估測值。同理，當垂 直方向梯度小於水平方向梯度值時，垂直方向的估測值包含較多的成 分。當水平方向梯度等於垂直方向梯度值時，則使用平均估測方式。 在優化的步驟，紅色與藍色平面使用色彩相關（ G-R 或 G-B）的 特性進行內插，如（ 16） （ 17） （ 19） （ 20）式。綠色平面也是使用色彩 相關的特性進行更新初始估測值的程序，如（ 16）（ 17）（ 18）式。 在疊代的步驟中，更新紅色、藍色與綠色平面的方法同樣地使用 色彩相關的特性進行疊代運算，如（ 16）-（ 20）式。此外停止疊代的 條 件 是 依 據 疊 代 第 n+1 次 與 疊 代 第 n 次 之 色 彩 平 面 的 變 異 數 （ Variance）與門檻值（ TH ）決定。此兩平面之間的色彩差值與變異 數計算方式定義如下：. Diff ( j , i ) = X n +1 ( j , i ) − X n ( j , i ) 1 M N Var ( X ) = (Diff ( j, i ) − m x )2 ∑∑ M × N j =1 i =1. 31. （ 52） （ 53）.
(41) 其中 X 代表 R（ G 或 B）平面， M 與 N 代表影像的高與寬， Diff（ j,i） 與 mx 分別代表疊代第 n+1 次與疊代第 n 次時，兩色彩平面之間的差值 與差值平均數， mx 定義如下：. mx =. M N 1 ∑∑ (Diff ( j, i )) M × N j =1 i =1. （ 54）. 在文獻 [8] 中設定 TH=1，當 Var (R ) > TH 時，繼續執行 R平面的疊代 運算，否則跳到藍色平面執行疊代運算；當 Var (B ) > TH 時，繼續執行. B平面的疊代運算，否則跳到綠色平面執行疊代運算；當 Var (G ) > TH 時，繼續執行 G平面的疊代運算，否則判斷 Var (R )、 Var (B ) 與 Var(G ) 是 否全部小於等於 TH值，條件成立的話結束演算法，不成立的話則跳回. R平面繼續執行疊代運算，直到 Var (R )、Var (B ) 與 Var(G ) 全部小於等於 TH值時，結束整個演算法。 此方法在初始 G 平面的內插估測，使用固定的權重值執行方向性 的內插估測，故可以改善 Kimmel[16] 所提出來需要計算每一個未知綠 色像素之權重值的方法，因此可以減少大量的計算時間與硬體資源所 耗費的成本。除此之外，與 Xin Li所提出來類似的連續逼近內插演算 法 [7] 比較，不但省略了複雜的空間分類處理步驟，也降低了計算複雜 度與計算時間，在重建影像的呈現上，也能獲得較佳的視覺品質。. 32.
(42) 第三章 基於鄰近像素方向資訊之內插演算法. 在第二章文獻探討的部份，本文已經介紹了一些典型與近期內所 發表的色彩內插演算法，其中依是否偵測邊緣方向的內插方法，可分 為非可適應性與可適應性兩種，依是否重複內插運算，又可分為非疊 代型與疊代型。儘管上述這些方法可以在重建影像的平滑的區域獲得 令人滿意地效果，但往往可以發現到有很明顯的人工錯色會出現在物 體邊緣與影像細節的區域。 在非適應性的內插演算法裡，如雙線性內插演算法（ BI）[2]、固 定色調內插演算法（ CHBI） [4] 與有效的訊號相關內插演算法（ ECI）. [3] 等，這類型的方法由於沒有去偵測影像中物體的邊緣區域，因此不 用耗費額外判斷邊緣的計算時間，但也由於沒有針對邊緣方向去執行 內插估測，所以會造成影像中邊緣交界處與細節的區域產生模糊現象 與拉鏈型效應的情況。 在適應性的內插演算法裡，具有偵測邊緣方向類型的方法，如邊 緣偵測內插演算法（ ESI）[4] 與可適應性色彩平面內插演算法（ ACPI）. [5] 等，可以有效地減少影像中沿著物體邊緣之拉鏈型效應的現象，特 別在具有水平方向與垂直方向之邊緣，但對於影像中邊緣呈現 45 度與. 135 度的區域，上述兩種方法還是無法有效抑制拉鏈型效應的現象產 生。 在疊代型的內插演算法裡，如投影式內插法（ AP）[6]、連續逼近 內插演算法（ SA）[7]、有效加權邊緣與色彩相關內插演算法（ HEID）. [8] 等，雖然可以比上述幾種內插演算法獲得較佳的重建影像品質，但 如果在初始演算法沒有準確的判斷邊緣方向進行估測的話，將使得後 33.
(43) 續疊代運算後產生更大的誤差，並造成影像中邊緣區域產生嚴重的拉 鏈型效應。此外這類型演算法的計算複雜度較高，所以需要付出較多 的計算時間與硬體資源的耗費，因此設計演算法時，必須在計算複雜 度與重建影像的品質上取得適當的平衡。 由於目前近期內所發表的色彩內插演算法還不能有效地減少假色 現象與拉鏈型效應的情形，故本文針對這些問題進行研究分析與討 論，並提出一種基於鄰近像素邊緣方向資訊的色彩內插演算法，在下 面的章節將詳細介紹本文所提出來的方法之處理步驟與流程。. 34.
(44) 3.1. 基於鄰近像素方向資訊內插演算法之整體架構 本文所提出來的色彩內插演算法主要分為兩個步驟，第一個步驟 為初始內插演算法，第二個步驟為優化內插演算法。演算法整體處理 步驟如圖 3-1 流程圖所示。在初始內插演算法的部份，藉由參考鄰近 像素的邊緣方向資訊，來提升估測未知綠色像素值的準確度；在初始 階段的紅色與藍色像素值估測方式，利用較準確的綠色平面與色彩相 關（ G-R 或 G-B）的特性執行內插運算去獲得更正確的估測值。 在優化內插演算法的步驟裡，本文提出一種新的優化方式，藉由 色彩相關的特性與中值濾波的運算，減少人工錯色的情形產生並提升 重建影像的視覺品質。. 圖 3-1. 基於鄰近像素方向資訊內插演算法之流程圖. 35.
(45) 3.2. 初始演算法處理流程說明 為了獲得更準確的重建影像，本文建議在初始階段的內插運算盡 可能的縮小初始重建影像與真實影像之間的差距。簡言而之，也就是 降低初始重建影像的均方誤差。因此可以藉由更準確的初始估測值與 色彩相關的特性，來提高後續處理步驟估測像素值的正確性。 3.2.1. 初始階段綠色像素的估測方法 在初始階段綠色像素的估測方法，本文參考 Lee[20] 等人所提出使 用鄰近像素的方向資訊來提升內插方向正確性的方法，並參考 Su[21] 所提出於 if~else條件判斷式裡加入門檻值（ T）的想法，此方法可以使 得沒有明顯水平或垂直邊緣的區域中的未知綠色像素採取平均估測 （ GA）的內插運算，因此可以有效的提升估測值的準確度與初始重建 影像的品質。 本文初始綠色像素的估測方法，參考圖 3-2（ a）貝爾圖形，說明 估測紅色像素位置上未知的綠色像素值，處理步驟如下。. 1）. 計算水平梯度（ DH）與垂直梯度（ DV） 在計算水平與垂直梯度是參考 Hamilton[5] 與 Lee[20] 等人所提出. （ 27）式，後者則是修改前 來方法。前者計算方向梯度的方式如（ 26） 者計算方向梯度的方法，考量到鄰近兩個紅色像素位置（上面和左邊） 的邊緣方向資訊。 為求更準確地分別出水平與垂直方向的邊緣，故本文提出ㄧ個新 的計算方向梯度的方法，其定義如下：. 36.
(46) DH' ' = DH − w⋅[d ( j, i − 2) + d ( j, i + 2)]. （ 55）. DV' ' = DV + w ⋅ [d ( j − 2, i) + d ( j + 2, i)]. （ 56）. 其中 DH ' ' 與 DV ' ' 為新的水平與垂直梯度估算方式，DH 與 DV 為（ 26） （ 27）式， w 為權重值， d(j,i-2)、 d(j,i+2)、 d(j-2,i)與 d(j+2,i)分別為鄰 近四個紅色像素位置（左邊、右邊、上面與下面）的邊緣方向資訊。 在本文中設定 w=17。. （ a） 圖 3-2. （ b）. 本研究內插演算法參考貝爾圖形. 本文偵測鄰近像素方向資訊 d(j,i)的方法，如（ 33）式，其中方向 梯度的計算方式是依據 Hamilton[5] 所提出來的方法，如（ 26 ）（ 27 ） 式。但這樣的偵測方法有可能會造成誤判的情形，以圖 3-3（ a）作為 說明。其中 L與 H分別表示高與低的邊緣，如果使用邊緣偵測的方法可 ，垂直梯度等於 2Δ （ DV= 2Δ ） ，因 以計算出水平梯度等於零（ DH=0） 此在此區域會誤判為水平方向的邊緣。同理，在圖 3-3（ b）一低一高 的區域中，邊緣偵測的方法也可能造成同樣的誤判情形。. 37.
(47) （ a） 圖 3-3. （ b）. Hamilton 邊緣偵測可能誤判情形. 由於上述原因，所以本文提出一種邊緣方向修正的機制，改善這 兩種可能造成邊緣方向誤判的情形。以圖 3-4（ a）作為說明。當中間 像素邊緣方向資訊為 -1 （垂直）與鄰近四個像素的邊緣方向資訊都為. 1（水平）時，代表中間像素的邊緣方向有可能為誤判的情形，因此把 -1（垂直）修正為 1（水平）。同理，圖 3-4（ b）代表中間像素的邊緣 方向有可能為誤判的情形，因此把 1（水平）修正為 -1（垂直）。. 1. 1. -1. -1 1. 1 1. -1. （ a） 圖 3-4. 2）. -1. -1. （ b）. 邊緣方向修正機制參考圖形. 三個估測綠色像素方程式 針對不同方向性的邊緣，必須採取適當的內插估測運算，本文使. 用 Hamilton[5] 所提出來之水平方向、垂直方向與無明顯邊緣的內插估 38.
(48) 測值，估測方程式定義如下. GH = (G ( j, i − 1) + G ( j , i + 1) ) / 2 + (2 R( j , i ) − R( j , i − 2) − R( j , i + 2) ) / 4 （ 57） GV = (G ( j − 1, i ) + G ( j + 1, i ) ) / 2 + (2 R( j , i ) − R( j − 2, i) − R( j + 2, i ) ) / 4 （ 58） GA = (G ( j − 1, i ) + G ( j + 1, i ) + G ( j , i − 1) + G ( j , i + 1) ) / 4 + (4 R ( j , i ) − R ( j − 2, i ) − R ( j + 2, i ) − R ( j , i − 2) − R ( j , i + 2) ) / 8. 3）. （ 59）. 選擇適當內插估測值 在選擇採取水平或垂直方向內插運算時，參考 Su[21] 所提出來於. 條件式加入門檻值 T 的想法，此方法可以使沒有明顯邊緣區域的綠色 像素選擇到平均內插運算的估測值，提高估測像素值之正確性。. G ' ( j , i ) = GH. if DH ' ' < DV ' ' -T. （ 60）. G ' ( j, i) = GV. if DV ' ' < DH ' ' -T. （ 61）. G ' ( j , i ) = GA. Otherwise. （ 62）. 其中 G ' ( j , i) 是第 j 列第 i 行紅色像素位置上待估測之綠色像素值，GH、. GV 與 GA 分別為水平方向、垂直方向與平均估測之估測值，T 為偵測 邊緣方向的門檻值。在本文中設定 T=55。 同理，參考圖 3-2 （ b ），欲估測藍色像素位置上所缺少的綠色像 素值使用相同的處理方法。. 39.
(49) 3.2.2. 初始階段紅色與藍色像素的估測方法 初始階段藍色像素的估測方法，本文是參考貝教授他們 [3] 提出來 訊號相關的內插估測方式。由於初始 G 像素的估測方式，使得整體初 始重建的 G平面更接近於原始影像的 G平面，因此藉由訊號相關（ G-R 與 G-B）的特性，在 R與 B像素位置上所計算出來的 K B 與 K R 值，將與原 始影像中的 K B 與 K R 值更接近，所以可以相對地提升初始 R 平面與 B 平 面估測值的正確性。參考圖 3-2 （ a ），說明初始階段藍色像素的估測 方法。 估測 R(j,i)位置上未知的藍色像素方法如下所示：. B' ( j , i ) = G ( j , i) − ( K B ( j − 1, i − 1) + K B ( j − 1, i + 1) + K B ( j + 1, i − 1) + K B ( j + 1, i + 1)) / 4. （ 63）. 估測 G(j-1,i)與 G(j,i-1)位置上未知的藍色像素方法如下所示：. B' ( j − 1, i ) = G ( j − 1, i ) −. K B ( j − 1, i − 1) + K B ( j − 1, i + 1) 2. （ 64）. B' ( j , i − 1) = G ( j , i − 1) −. K B ( j − 1, i − 1) + K B ( j + 1, i − 1) 2. （ 65）. 同理，參考圖 3-2（ b）使用相同的處理方式內插 B(j,i)、G(j-1,i)與 G(j,i-1) 位置上的紅色像素。. 40.
(50) 3.3. 優化演算法處理流程說明 在優化演算法的處理部份，本文是參考 Lu[10] 所提出來的中值濾 波內插方法，針對此方法進行改良提出ㄧ種更有效提升重建影像品質 的處理方式。此方法主要是利用色彩相關的特性與中值濾波的方法執 行優化的處理，參考圖 3-5 說明完整處理步驟。 在 G 平面的優化演算法部份，參考圖 3-5 （ a）與圖 3-5（ b） 3× 3 大小區塊的貝爾圖形說明優化綠色像素的方法。在初始演算法的步驟 中已經重建出來誤差較小的 G平面，因此可以利用誤差較小的 G 平面， 計算出在 R位置與 B位置上更準確的 K R 與 K B 值，藉由更準確的 K R 與 K B 平面執行中值濾波的處理，可以減少更多的人工錯色情形。本文所改 良的處理方法是個別對 R 位置與 B 位置的 G 像素值作中值濾波的優化 處理，處理方法說明如下：. G ' ( j , i ) = R( j , i ) + median(G − R ). （ 66）. G ' ( j , i ) = B( j , i ) + median(G − B ). （ 67）. 其中 G ' ( j , i) 為更新後的綠色像素值， R( j , i ) 與 B( j, i) 分別為中間真實的 像素值， G-B 與 G-R 為色彩平面間之差值。 本文所提出來的中值濾波方法與 Lu[10] 所 提出來方法都是在 K R 與 K B domain執行中值濾波的運算，不同之處在於本文估測 R位置與 B 位置的 G像素值採取不一樣的估測方式，如（ 65） （ 66）式。後者估測. R位置與 B位置上的 G像素值則是使用相同的估測方法，如（ 34）式， 藉由 K R 與 K B 中值的平均值去估測綠色像素值。 在 R 平面與 B 平面的優化演算法部份，參考圖 3-5（ a）與圖 3-5. 41.
(51) （ b） ，說明更新 R 位置上的 B 像素與 B 位置上的 R 像素的處理方法， 在這兩種情形下，其估測方式與（ 35）（ 36）式相同。參考圖 3-5（ c） ，說明更新 G 像素位置上的 R 像素與 B 像素的處理方法， 與圖 3-5（ d） 在這兩種情形下，如果使用中值濾波的估測方法，可能會導致更多的 內插誤差（ Interpolation error）產生，因為其中有 7 個是估測出來的紅 色（或藍色）像素值與 4 個是估測出來的綠色像素值將被帶入中值濾 （ 36）式，因此可能會使得中值濾波運算後得到 波的運算裡，如（ 35） 的中位數包含更大的誤差。同理，在圖 3-5（ d）也會有相同的情形產 生。 因此為了減少內插誤差影響到更新像素的正確性，因此在圖 3-5 （ c）與圖 3-5（ d）這兩種情形下，本文直接使用色彩差值（ K R 或 K B ） 的平均數去估測紅色與藍色的像素值，藉此降低內插誤差情形的產 生。以圖 3-5 （ c ）作為說明，估測 G( j, i) 位置上的 B' ( j, i ) 與 R' ( j , i) 方 法如下所示. B' ( j, i) = G ( j, i) +. ( B ( j − 1, i ) − G ( j − 1, i )) + ( B ( j + 1, i ) − G ( j + 1, i )) （ 68） 2. R' ( j, i) = G ( j, i) +. ( R ( j , i − 1) − G ( j , i − 1)) + ( R ( j , i + 1) − G ( j , i + 1)) （ 69） 2. 42.
(52) （ a）. （ b） 圖 3-5. （ c）. （ d）. 優化內插演算法參考圖形. 表 3-1 為典型優化演算法，如（ 34）-（ 36）式，與本文優化演算 法，如（ 65） -（ 68）式，計算複雜度的比較。. 表 3-1. 典型優化演算法與本文優化演算法計算複雜度比較 Number of computational operations. Method. Channel. 3×3 Median ADD. SUB. SHT filter. Classic. G. 1.5MN. 2MN. 0.5MN. MN. refinement. R. 0.75MN. MN. 0. 0.75MN. method. B. 0.75MN. MN. 0. 0.75MN. New. G. 0.5MN. 2MN. 0. 0.5MN. refinement. R. 1.25MN. MN. 0.5MN. 0.25MN. method. B. 1.25MN. MN. 0.5MN. 0.25MN. 43.
(53) 3.4. 鄰近像素方向資訊之權重值與門檻值分析 在初始階段 G 平面的內插演算法中，為了更準確的判斷未知像素 的邊緣方向性質，因此藉由參考鄰近像素的邊緣方向資訊來提升未知 像素邊緣方向判斷的正確性。如（ 54）（ 55）式，其中權重值 w 必須 作適當的調整才不會造成內插方向的錯誤，進而導致誤差更大的估測 值被內插至綠色像素位置。 此外在影像中局部平滑的區域裡，水平梯度（ DH ）與垂直梯度 （ DV）的差距可能很小但並不一定會相等，因此在 Hamilton[5] 所提出 來選擇估測值的方程式中，如（ 28）（ 29）（ 30）式，只有當水平梯度 等於垂直梯度時，才可能選擇到平均估測的內插值 GA。但根據 ECI演 算法的估測方式，在平滑區域的未知像素選擇平均估測的內插值通常 可以得到較好的重建效果。因此為了改善 Hamilton[5] 所提出來選擇估 測值的方式，Su[21] 提出在條件判斷式中加入一個門檻值 T作為修正的 （ 60）式，這樣的處理方式可以使得更多位於平滑區域 方法，如（ 59） 的未知像素值選擇到平均估測的內插值 GA，進而提升局部平滑區域重 建像素的品質。 圖 3-6 為 Image8 使用 ACPI 方法判斷式選擇到的估測值情形，以 圖 3-6（ a）為例，圖中白色的點代表選擇到 GH 估測值的像素點，黑 色點代表選擇到 GV 或 GA 估測值的像素點。從圖 3-6（ c）可以發現 到就算在局部平滑區域裡的像素點，幾乎都僅選擇到 GH 與 GV 的估 測方式，僅有少之又少的像數點選擇到 GA 的估測的方式。 因此本文所提出來的方法也考慮到這一個問題，為了使局部平滑 區域中的未知像素選擇到 GA 的估測值，故在判斷式的條件裡也加入 門檻值的方式，如（ 59） （ 60 ）式，以增加選擇到 GA 估測值的機率。. 44.
(54) 但由於本文提出來計算水平梯度與垂直梯度的方法中，同時考量到鄰 近像素點的方向資訊，如（ 54 ）（ 55 ）式，其中又包含一個權重值 w 的因素。因此在 if~else 的判斷式中，同時包含權重值 w 與門檻值 T 兩個變因數。 故本研究使用大量的測試影像去找出具有最高平均峰值訊號雜訊 比（ Peak signal to noise ratio， PSNR）時的權重值 w 與門檻值 T。本 文測試 w=1~70 與 T=1~70，測試結果如圖 3-7 所示，其中每一種顏色 代表平均 PSNR 值高低的程度，經測試後本文歸納出調整權重值 w 與 門檻值 T 的最佳方式，以 T = 3.24 ⋅ w 的比例做調整可以獲得較高的平 均 PSNR 值。當 T=50 以上時，平均 PSNR 值的上升已經慢慢趨緩，故 本文所提出來的方法設定 T=55 與 w=17。. （ a） GH 圖 3-6. （ b） GV. （ c） GA. Image8 使用 ACPI 方法判斷式選擇到的估測值情形. 45.
(55) 圖 3-7. 24 張測試影像初始內插 G 平面的平均 PSNR 值. 圖 3-8 為 Image8 使用本研究所提出來的方法選擇到的估測值情 形，從圖 3-8（ c）可以發現這樣的方法可以使局部平滑區域中的未知 像素選擇到平均估測的估測值，因此可以有效地減少整體 G 平面與原 始 G 平面之間的誤差，提升初始重建影像的品質。. （ a） GH 圖 3-8. （ b） GV. （ c） GA. Image8 使用本研究所提出來的方法選擇到的估測值情形. 46.
(56) 第四章 實驗流程與模擬結果比較. 本章節主要呈現不同色彩內插法重建影像與模擬數據的比較，在 第二章文獻探討的部份，已經分析過一些典型與近期發表的色彩內插 演算法，本研究將針對其中的方法與本文提出來之基於鄰近像素方向 資訊內插演算法進行重建影像與實驗數據的比較。本章內容將針對實 驗結果作詳細描述與說明，在第一節的部份，將說明本文實驗模擬流 程與步驟，在第二節與第三節的部份，將比較不同內插演算法重建影 像的峰值訊號雜訊比與 S-CIELab 數據 [24] ，在第四節的部份，將呈現 不同方法重建後的輸出影像，直接透過人眼視覺感官評量影像的品質 與差異性，最後一節比較不同內插演算法的計算複雜程度。 本研究模擬實驗所採用的測試影像為目前大部分色彩內插演算法 文獻所採用的 Kodak 影像樣本 [23] ，總共 24 張影像，如圖 4-2 所示。影 像格式為 24位元的全彩點陣圖檔（ Bit mapped picture， BMP）每一張 影像大小皆為 512×768 像素，每一個像素點包含 RGB 三個元素，所以 每一個像素點可以呈現的色彩變化範圍為 256×256×256 等於 16777216 種顏色之變化。測試影像中包含各式各樣不同自然場景的畫面，因此 可以有效的驗證每一種色彩內插演算法是否能適用於不同場景的拍 攝。本研究實驗模擬平台為 Intel Pentium-4 CPU 2.80GHz、2GB DRAM 之桌上型個人電腦，模擬工具為 Matlab R2006a數學運算軟體。. 47.
(57) 4.1. 實驗模擬流程簡介 本節將介紹整體模擬實驗流程與步驟，如圖 4-1 實驗模擬流程 圖，在取得全彩測試影像後，首先必須將全彩影像依貝爾圖形的排列 規則進行取樣，藉此模擬單一感測元件拍攝後所擷取到的影像資訊， 接著再透過色彩內插演算法進行影像的重建，最後透過客觀的測量工 具評估重建影像的品質。. 圖 4-1. 實驗模擬流程圖. 48.
(58) 本實驗將模擬一些傳統與近期所發表的色彩內插演算法，比較不 同方法之間的差異性與優缺點，藉由實驗模擬的結果可以明確地觀察 使用不同方法所重建的影像與原始影像的差異及失真程度。 本文所模擬的色彩內插演算法如下： （ 1）雙線性內插演算法 [2] （ 2）可適應性邊緣感測內插法 [5] （ 3）有效的訊號相關內插演算法 [3] （ 4）連續逼近內插演算法 [7] （ 5）有效加權邊緣與色彩相關內插演算法 [8] （ 6）本文提出的基於鄰近像素方向資訊內插演算法 實驗模擬所使用的測試影像如圖 4-2 所示。. 49.
(59) Image1. Image2. Image3. Image4. Image5. Image6. Image7. Image8. Image9. Image10. Image11. Image12. Image13. Image14. Image15. Image16. Image17. Image18. Image19. Image20. Image21. Image22. Image23. Image24. 圖 4-2. 本研究所使用 24 張柯達公司測試影像 [23]. 50.
(60) 4.2. PSNR 值比較 數位影像經過一些影像處理的程序後，為了要去評估輸出影像與 真實影像之間的差異性與失真程度，往往必須透過一些客觀的量測工 具作為評估的依據，在數位影像研究領域裡，較常使用於評估影像品 質的量測工具有兩者，一個為均方誤差值，另一個為峰值訊號雜訊比， 兩者定義如下 :. MSE =. 1 H ×W. H. W. ∑∑ ( f ( j, i) − fˆ ( j, i)). 2. （ 70）. j =1 i =1. PSNR( x, y ) = 10 log10. 255 2 MSE ( x, y ). （ 71）. 其中 H 與 W 分別為影像的高度及寬度， f ( j , i) 與 fˆ ( j , i) 分別為原始測 試影像與內插演算法重建後的影像， 255 是指測量的每一個像素點可 呈現的色彩值範圍為八個位元，簡言而之，就是每一個色彩平面（ R、. G 或 B）的每一個像素可以呈現 0~255 不同層次的色彩範圍。透過這 兩個客觀的評估工具可以呈現兩個影像之間整體的差異程度。其中. MSE 值如果越小代表重建影像與真實影像之間的誤差越小；同樣地， PSNR 值越大，代表重建影像與真實影像之間的差異越小。 表 4-1 為模擬上述各種色彩內插演算法重建的影像與原始測試影 像比對後的 PSNR 值。由列表 4-1 可以看出本文所提出來基於鄰近像 素方向資訊內插演算法在大多數測試影像的重建效果，可以比其他的 演算法獲得較高的峰值訊號雜訊比。 在平均 PSNR 的比較上，可以觀察到本文所提出來的演算法可以. 51.
(61) 勝 過 每 一 個 其 他 的 演 算 法 。 與 Bilinear 方 法 比 較 平 均 提 升 9.86dB （ 32.15%），與 ACPI 方法比較平均提升 3.05dB（ 8.13%），與 ECI 方 法比較平均提升 3.01dB（ 8.03%），與 SA 方法比較平均提升 1.05dB （ 2.66%） ，與 HEID 方法比較平均提升 0.65dB（ 1.62%） 。因此可以証 明本文所提出來的色彩內插演算法可以降低整體重建影像與原始測試 影像之間的差距，並取得較佳的重建影像品質。. 52.
(62) 表 4-1 Image. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 每一張測試影像峰值訊號雜訊比（ PSNR）（單位： dB） Channel. Bilinear [2]. ACPI [5]. ECI [3]. SA [7]. HEID [8]. Proposed. R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B R G B. 35.61 39.11 35.24 27.71 32.11 27.87 33.61 37.47 33.2 23.51 28.36 23.45 32.57 36.79 32.6 29.31 33.37 29.28 31.35 35.75 31.2 28.16 32.84 28.12 31.16 35.26 29.35 28.71 31.55 28.55 30.89 34.45 30.25 26.97 30.16 26.19. 42.06 44.66 42.49 36.25 37.34 35.79 41.60 43.19 40.69 32.92 34.47 33.07 41.12 42.72 40.96 37.00 38.31 37.21 39.41 40.71 39.19 38.11 39.27 37.62 38.96 39.87 37.77 36.38 37.37 35.96 37.50 39.12 37.13 33.37 34.29 32.09. 41.90 45.04 42.48 35.55 38.08 35.15 41.24 43.09 40.10 30.90 33.96 30.95 40.12 42.66 40.00 36.80 39.18 37.06 38.40 41.10 38.19 35.83 38.29 35.45 38.86 40.67 37.81 36.61 38.51 36.15 37.68 39.83 36.90 35.06 36.44 33.53. 41.67 44.79 42.42 39.21 43.05 38.36 41.89 43.82 40.35 35.77 39.77 36.53 42.17 44.89 41.40 38.70 42.70 39.67 41.77 45.72 41.18 40.28 43.89 39.55 40.68 43.44 39.09 39.27 43.06 38.54 38.46 41.08 38.00 36.52 39.43 35.26. 41.85 46.44 42.77 40.21 43.40 39.11 42.32 44.22 39.81 35.88 40.29 36.69 42.83 46.12 42.40 39.14 43.26 40.58 42.97 46.19 42.12 40.98 44.29 40.22 41.27 43.95 39.43 40.32 43.47 39.44 38.70 41.69 38.18 37.00 39.76 35.45. 42.66 47.11 43.44 40.75 43.75 39.60 42.76 45.80 41.32 36.22 40.12 36.81 43.57 46.87 43.06 39.85 43.61 40.87 43.45 46.56 42.70 41.23 44.01 40.34 41.66 44.07 39.90 40.29 42.96 39.38 39.25 42.32 38.79 36.29 38.82 34.75. 53.
(63) Image. Channel. R 13 G B R 14 G B R 15 G B R 16 G B R 17 G B R 18 G B R 19 G B R 20 G B R 21 G B R 22 G B R 23 G B R 24 G B Average. Bilinear [2]. ACPI [5]. ECI [3]. SA [7]. HEID [8]. Proposed. 27.35 31.9 28.06 29.45 34.54 29.67 31.43 34.48 30.67 27.14 30.36 26.71 24.97 29.51 24.91 30.25 36.03 31.33 31.17 36.82 32.48 32.34 36.35 30.89 25.36 29.31 25.66 31.5 35.25 29.76 30.5 36.39 31.63 22.88 26.54 22.99 30.68. 34.29 36.88 34.98 34.97 38.83 37.33 38.51 39.41 37.92 33.78 34.59 33.07 33.27 34.70 33.50 36.23 40.14 38.81 38.68 41.37 39.03 37.06 40.30 39.49 34.34 35.78 34.21 39.28 41.15 38.98 40.02 42.40 40.11 29.95 30.77 29.47 37.49. 33.81 37.25 34.61 34.72 39.50 37.05 38.92 40.43 38.40 34.83 36.14 34.05 32.99 35.54 33.13 35.72 40.24 38.09 38.44 41.84 38.79 37.33 41.28 40.05 34.36 36.56 34.42 39.05 41.75 38.91 38.63 42.04 38.77 31.26 32.66 30.65 37.53. 32.47 35.94 33.38 35.17 40.29 38.68 40.47 42.84 39.75 35.40 38.41 36.40 36.60 40.71 37.77 35.43 39.92 38.96 38.75 41.77 38.83 36.02 42.43 40.77 35.08 37.56 34.74 39.94 43.49 40.41 40.78 44.32 41.06 35.18 38.16 33.64 39.50. 32.38 36.73 33.55 35.02 40.76 38.98 41.28 44.03 40.27 36.39 39.32 35.51 36.85 40.94 37.86 34.40 40.08 38.10 38.73 42.38 38.99 35.95 41.00 40.45 34.98 38.38 34.79 40.78 44.44 40.53 40.75 44.95 41.56 35.89 38.41 34.11 39.89. 34.90 39.50 36.05 35.80 41.87 39.74 41.40 43.92 40.39 36.51 39.06 35.66 37.05 40.81 37.74 36.52 42.43 40.47 40.14 44.34 40.66 37.50 42.64 41.78 36.78 40.57 36.51 41.34 45.16 41.06 41.90 46.32 42.29 34.64 36.97 33.38 40.54. 54.
(64) 表 4-2 為模擬上述各種色彩內插演算法所重建的影像與原始測試 影像比對後不同色彩平面（ R、G 與 B）之平均 PSNR 值。圖 4-3 為各 種色彩內插演算法 RGB 平面的平均 PSNR 長條圖。. 表 4-2. 24 張測試影像 RGB 平面之平均 PSNR 值（單位： dB）. Method. R. G. B. Bilinear[2]. 29.33. 33.53. 29.17. ACPI[5]. 36.88. 38.65. 36.95. ECI[3]. 36.63. 39.25. 36.70. SA[7]. 38.31. 41.70. 38.46. HEID[8]. 38.62. 42.27. 38.79. Proposed. 39.27. 42.90. 39.45. 平均PSNR值. (單位:dB). RGB平面平均PSNR值 46.00 44.00 42.00 40.00 38.00 36.00 34.00 32.00 30.00 28.00 26.00 24.00 22.00 20.00 18.00 16.00 14.00 12.00 10.00 8.00 6.00 4.00 2.00 0.00. R G B. Bilinear[2]. ACPI [5]. ECI [3]. SA [7]. HEID [8]. Proposed. 各種內插演算法. 圖 4-3. 24 張測試影像 RGB 平面之平均 PSNR 值長條圖. 55.
(65) 4.3. S-CIELab 值比較 在客觀的評量工具中，除了均方誤差值 MSE 與峰值訊號雜訊比. PSNR之外，還有一種常用的評估工具就是 S-CIELab[24]，此評估工具 是根據人類視覺系統所發展出來，對於人類視覺所感受到的影像品質 能透過數值的方式呈現，S-CIELab數值越低代表視覺感受到的誤差越 小，影像品質越佳。因此本研究也使用 S-CIELab來評估重建影像與原 始影像之間的誤差， S-CIELab定義如下. ΔE ab* =. 1 H ×W. H. W. ∑∑ j =1 i =1. x( j , i ) Lab − y ( j , i ) Lab. 2. （ 72）. 其中 ΔEab* 為原始影像與重建影像的誤差值，x(j,i) Lab 與 y(j,i) Lab 分別為原 始影像與重建影像在座標（ j,i）位置上像素的 CIELab色彩值。 表 4-3 為模擬上述各種色彩內插演算法重建的影像與原始影像比 較後的 S-CIELab 值。由列表中可以觀察出本文所提出來的演算法比 其他的演算法所重建的影像可以獲得較小的誤差值。其中與 Bilinear 方法比較平均減少 0.901 （ 53.57% ）、比 ACPI 方法平均減少 0.215 （ 21.57%）、比 ECI 方法平均減少 0.243（ 23.75%）、比 SA 方法平均 減少 0.156（ 16.68%），比 HEID 方法平均減少 0.105（ 11.84%）。因此 可証明本文所提出來的色彩內插演算法，在重建影像的品質上可以獲 得較佳的視覺感受。. 56.
(66) 表 4-3. 每一張測試影像 S-CIELab 值. Bilinear. ACPI. ECI. SA. HEID. [2]. [5]. [3]. [7]. [8]. image1. 0.679. 0.503. 0.497. 0.540. 0.502. 0.465. image2. 1.936. 1.047. 1.170. 0.884. 0.819. 0.742. image3. 0.969. 0.603. 0.708. 0.678. 0.679. 0.559. image4. 3.398. 1.573. 2.074. 1.418. 1.331. 1.146. image5. 1.000. 0.623. 0.651. 0.605. 0.541. 0.500. image6. 1.557. 0.883. 0.945. 0.770. 0.721. 0.658. image7. 1.333. 0.751. 0.841. 0.638. 0.594. 0.545. image8. 1.688. 0.880. 1.043. 0.766. 0.718. 0.666. image9. 1.114. 0.728. 0.695. 0.636. 0.603. 0.561. image10. 1.725. 1.059. 1.030. 0.870. 0.802. 0.769. image11. 1.466. 0.981. 0.964. 0.959. 0.956. 0.858. image12. 1.862. 1.225. 1.078. 1.118. 1.049. 0.980. image13. 2.058. 1.245. 1.289. 1.437. 1.389. 1.047. image14. 1.258. 0.848. 0.862. 0.865. 0.843. 0.752. image15. 1.145. 0.716. 0.681. 0.714. 0.571. 0.559. image16. 2.141. 1.356. 1.208. 1.269. 1.232. 1.072. image17. 2.924. 1.600. 1.777. 1.281. 1.214. 1.125. image18. 1.369. 0.821. 0.900. 0.860. 0.938. 0.768. image19. 1.032. 0.642. 0.652. 0.675. 0.660. 0.537. image20. 1.279. 0.812. 0.798. 0.950. 0.862. 0.728. image21. 2.618. 1.388. 1.331. 1.574. 1.458. 1.077. image22. 1.103. 0.680. 0.673. 0.686. 0.624. 0.559. image23. 1.071. 0.603. 0.691. 0.597. 0.569. 0.495. image24. 3.655. 2.340. 2.029. 1.712. 1.593. 1.583. Average. 1.682. 0.996. 1.024. 0.937. 0.886. 0.781. Methods. 57. Proposed.
Outline
相關文件
在這一節裡會提到，即使沒辦法解得實際的解函數，我們也 可以利用方程式藉由圖形(方向場)或者數值上的計算(歐拉法) 來得到逼近的解。..
機器人、餐飲服務、花藝、雲端運算、網路安全、3D 數位遊戲藝術、旅 館接待、行動應用開發、展示設計、數位建設
Wang (2006), Solving pseudomonotone variational inequalities and pseudoconvex optimization problems using the projection neural network, IEEE Trans- actions on Neural Networks,
依序填入該學生社團負責人之相關資訊，並於下方
請利用十分逼近法計算出 √14 的近似值到小數點底下第
(二)計算方式：雇主繼續僱用於前款計算期間內，預估成就勞動基準
相關分析 (correlation analysis) 是分析變異數間關係的
To improve the quality of reconstructed full-color images from color filter array (CFA) images, the ECDB algorithm first analyzes the neighboring samples around a green missing
