行政院國家科學委員會專題研究計畫 成果報告
數位照相機之色彩校正
計畫類別： 個別型計畫 計畫編號： NSC92-2622-E-002-011-CC3 執行期間： 92 年 06 月 01 日至 93 年 05 月 31 日 執行單位： 國立臺灣大學電機工程學系暨研究所 計畫主持人： 林宗男 計畫參與人員： 許志隆、詹凯；傑 報告類型： 精簡報告 處理方式： 本計畫為提升產業技術及人才培育研究計畫，不提供公開查詢中 華 民 國 93 年 8 月 26 日
行政院國家科學委員會補助專題研究計畫
成 果
報告
提升產業技術及人才培育研究計畫-數位照相機之色
彩校正
計畫類別：個別型計畫
計畫編號：NSC 92－2622－E－002－011－CC3
執行期間：92 年 06 月 01 日至 93 年 05 月 31 日
計畫主持人：林宗男 教授
計畫參與人員：許志隆、詹凯傑
成果報告類型(依經費核定清單規定繳交)：▇精簡報告
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究
計畫、列管計畫及下列情形者外，得立即公開查詢
▇涉及專利或其他智慧財產權，▇二年後可公開查詢
執行單位：
台灣大學電機系
中 華 民 國 93 年 8 月 20 日
中文摘要: 數位相機已被廣泛的使用來當作影像的擷取裝置，便宜與攜帶方便為其重要 的考量因素，為了達到降低成本與體積考量所以大多數的數位相機採用單一感測 裝置加上濾波片，其感測影像被稱之微色彩濾波陣列。此計畫主要內容之一是針 對彩色濾波陣列中遺失像素作內插色彩校正及雜訊消除。 英文摘要：
Digital Camera has been widely used as image capturer. Convience and cheapness are the two important considerations. For lowering cost and volume, most DC only adopt one sensor with filter. And the sensor image is the so called color filter array. One primary goal of this project is to interpolate the lost pixel and de-noise.
關鍵詞（keywords）：
色彩校正、彩色影像內插（demosaicking）、雜訊移除Noise Removal、彩色 濾波陣列Color Filter Array (CFA)、電荷耦合元件 Charge Coupled Device (CCD)、 貝爾圖形Bayer Pattern 前言： CCD 是數位相機的感測器，藉由此一電荷耦合元件，把相機鏡頭所擷取到的 影像，轉換成數位影像訊號，再透過後置的影像處理，把數位影像訊號儲存在儲 存媒體中。不過由於電荷耦合元件只能感受到光線的強弱，並不能感受到顏色的 變化，因此當進行數位取樣時，必須在感光原件的前面分別加上分色濾色片，通 常分色濾色片是採用 RGB 三原色分色法。然後將三個電荷耦合元件所擷取到的三 色彩值混合成全彩影像。由於考慮使用三個電荷耦合元件的成本高以及所佔體積 大的因素下，一般只會使用單一的電荷耦合元件，而使得每個像素只有 RGB 其中 一種色彩元素的灰度值，造成其他的兩個色彩元素遺失。因此我們必須將感光元 件所得到的結果進行內插法的數學處理，藉以重建每一個像素所遺失的色彩元 素。 近來市場積極研發以 CMOS 感測器為主的商品，例如數位相機或光學滑鼠等 等…主要研發誘因在於 CMOS 在價格上比 CCD 低廉許多，因此 CMOS 產品如雨後春 筍般冒出，但是 CMOS 感測器與 CCD 感測器感測影像結果卻不盡相同，CMOS 感測 器由於感光敏感度較 CCD 低，因此擷取影像時必須以較大增益放大擷取訊號，這 同時也將影像雜訊放大，因此 CMOS 感測器較 CCD 感測器更易擷取到更多的雜訊。 雖然價格上 CMOS 感測器雖然比 CCD 便宜許多，不過影像品質卻也隨之降低得多。 如何做到使用 CMOS 感測器的效果也如同 CCD 感測器，雜訊消除的數位影像處理 過程變成一個重要課題。 不同於傳統施行彩色影像雜訊消除，由於數位相機所擷取影像為彩色濾波陣
列，因此雜訊消除過程可以施行於兩個不同選擇，第一，施行於彩色濾波陣列， 第二，施行於全彩影像。換句話說，雜訊消除的過程可以施行於彩色影像內插法 (Demosaicking)之前或之後，如圖一所示: (a) (b) 圖一、數位相機雜訊消除流程圖 研究目的： 諸多常見的內插法邊緣模糊現象是因內插法本身無法靈敏偵測到邊緣通 過，尤其是傳統內插法通常只能偵測影像垂直與水平通過邊緣，但是往往無法對 其他方向通過邊緣作出正確判斷，因此對影像邊緣部份無法有效內插。此問題在 數位影像處理領域中是亟待被突破的重要課題，本次計畫中針對此一問題提出有 效的邊緣偵測權重內插法。除上述議題外，本報告還會提出可直接施行於貝爾圖 形的雜訊消除方式，此一雜訊消除過程與彩色影像內插法結合，可有效率做到兩 者兼具。 傳統影像雜訊消除是施行於彩色影像(24-bit)內插，不過基於彩色濾波陣列像 素點只有彩色影像的1/3(每三個色素取一個)，因此若是雜訊消除過程施行於 demosaicking 之前在則運算複雜度可以比 demosaicking 之後降低 2/3 的運算複雜 度。 由於 demosaicking 過程需判斷邊緣通過，而雜訊消除也必須依據所處的區域 影像特徵判斷雜訊消除強度，才不會造成影像邊緣模糊，這問題與demosaicking 相類似，基於此理由我們發展出一個可以同時施行demosaicking 與 noise removal 的演算法。
圖二、同時雜訊消除與彩色影像內插流程圖
文獻探討：
彩色影像內插法依型式的不同大致可以分為兩類分別為非固定式內插法 (adaptive interpolation)以及固定式內插法(non-adaptive interpolation)。
一個很簡單的邊緣方向偵測是採用鄰近像素的絕對差值[1、2、3]。
在邊緣方向偵測內插法中邊緣的方向必須先決定以後再沿著邊緣的方向作 內插，這是一種硬性決定機制(hard decision process)。另一方面若我們偵測 邊緣的似然率(edge likelihood)，然後依此邊緣的似然率施行內插，此種方法 為一軟性決定機制(soft decision process)。這類的演算法是由 kimmel [4] 所 提出。
應用一個好的分類法可以準確的將影像的邊緣描述出來，相對的也會提高影 像的內插效果。除了空間域資訊以外影像的品質也可以藉著包含更多的頻率域資 訊(spectrum domain information)提高。在包含頻率域的方法上大致也可以分 成以下兩種，其一為我們在固定式內插法中所介紹的固定視覺內插法(constant HUE-based Interpolation)以及色彩差異值域內插法(color difference space interpolation)兩者皆是應用不同的色彩平面在高頻部份的相似性來改善影像 的品質，另一個應用頻率域資訊的內插法為 Gunturk [5]所提的交替式投影 (alternating project)內插法，主要的特點是由於彩色濾波陣列的綠色像素是 紅色以及藍色像素的兩倍，因此內插遺失的綠色像素所產生的利用小波轉換將影 像分成不同的頻率，在不同的頻率內做不同的內插法。 研究方法： 1. 彩色影像內插法： 一般我們把色彩內插法分成固定式與非固定式兩類;固定式內插法通常可以 提供一個簡單而又有效率的彩色影像內插技術，此類內插法可以提供影像平緩區 域不錯的內插效果，不過在影像的邊緣部份則會產生 artifact 現象，因此固定 式內插法通常可以搭配非固定式內插法同時施行以改善影像邊緣 artifact 的效 應。而就目前已知的參考文獻裡頭可以發現效果最好並且最有效率的內插法通常 是由權重內插法搭配色彩差異值域內插法組合而成的。這是因為權重內插法可以 充分的涵蓋時間域的資訊(spatial domain information)，而色彩差域值域則可 以讓內插法進一步的涵蓋到頻率域的資訊(spectrum domain information)。 我們曾經提過影像的邊緣通過是具有方向性的，沿著通過的邊緣可以將邊緣 兩側的像素區分成兩類，因此將分類法則應用在邊緣判斷上，可以增進內插的效 果。在一個好的分類法則可影響結果的因素不能過多，須有一侷限性質，才能讓 影響的因素充分的表現出來，在這裡我們提出了一個針對彩色濾波陣列十分有效 的權重判斷方式稱為 non-cross 權重判斷法。 Cross 權重判斷與 Non-Cross 權重判斷的討論: 影像在邊緣通過的部份會有兩個重要的特性首先為邊緣兩側的像素可以區分成 兩類，此不同兩類的像素在同類中似然性高，不同類中似然性低，其二是邊緣是 具有延伸性的通過影像上的某部份區域，因此邊緣本身具有方向性。權重判斷法 的精神即是採用欲內差位置鄰近的相素估計與欲內插位置彼此之間的似然性。在 cross 權重判斷法中共有的缺點是演算法本身會擷取到另一類位置上的像素，這
種情形造成在判斷權重時無法得知是因為內插位置與其他擷取的像素在不同的 類別所造成權重值降低，還是因為演算法本身利用到的不同類別的像素點所造成 權重值降低，所造成的結果是錯誤分類與斜對角邊緣模糊兩種效應。 2. 雜訊消除 要做到影像的雜訊消除則雜訊消除的濾波是必須具備兩個條件，第一雜訊消 除式必須能夠準確的判斷區域影像的特徵值，第二雜訊消除式必須能夠依據所偵 測的特徵值給予不同的濾波強度。 我們視中心可能皆公平的可能位於八個區域中，而權重判斷的意義則是決定 鄰近像素點與中心點之間的似然性(likelihood)。在區域影像特徵值判斷我們運 用色彩平面期待值判斷區域影像的特徵值。 結果與討論： (一) 施行於 CFAI 之前:
1. Linear_2 noise removal filter + CFAI:以 Lin_2_pre 表示 2. Median_3 noise removal filter + CFAI:以 Med_3_pre 表示
(二)施行於 CFAI 之後:
3. CFAI+Linear_2 noise removal filter:以 Lin_2_post 表示 4. CFAI+Median_3 noise removal filter:以 Med_3_post 表示 (三)同時施行彩色影像內插與雜訊消除
5. Propose method
在比較的內容中我們會觀察兩種比較方式，分別為影像的 PSNR 數值以及實際影 像的雜訊消除情形.在 PSNR 方面我們會將其繪化成曲線圖表示我們選取其中的 Linear2_pre、Median3_pre、Linear2_post、Median3_post 以及 proposed method 繪圖。
圖三、R 平面的 PSNR 圖四、G 平面的 PSNR 圖五、B 平面的 PSNR 由影像分析數據中可以看出雜訊消除過程置放於影像內插法之前的影像會 比在之後處理影像,影像品質可以提升，不過影像雜訊消除的平均值能尚有提升 空間，本計畫中所提演算法同時施行雜訊消除與彩色影像內插,有別於這兩種不 同的演算法處理流程，並且會得到一張品質更為提升的影像。 參考文獻：
[1] Adams, James E. "Interactions between color plane interpolation and other image processing functions in electronic photography" Proceedings of SPIE Vol. 2416 P.144-151
[2] Hibbard,Robert H. "Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients" U.S. Patent 5,382,976
[3] Adams, James E. et.al., "Color Processing in Digital Cameras" Eastman Kodak Compan
[4] R. Kimmel, “Demosaicing: image reconstruction from color CCD samples,＂ IEEE Trans. Image Processing, vol. 7, no. 3, pp. 1221–1228, 1999.
[5] B. K. Gunturk, Y. Altunbasak, and R. M. Mersereau, “Color plane interpolation using alternating projections,” IEEE Trans. Image Processing,
vol. 11, no. 9, 2002. [6] 許志隆, “可適性空間濾波器使用於彩色影像內插與雜訊消除＂, 國立臺灣 大學電信所 92 學年度碩士畢業論文 [7] 詹凱傑, “脈衝雜訊濾波器之設計＂, 國立臺灣大學電信所 92 學年度碩 士畢業論文 [8] 林宗男, 許志隆, “具方向性權值之色彩內插法”, 專利申請中 計畫成果自評： 依據色彩平面期待值我們第一個提出了同時施行彩色影像內插與雜訊消除 功能的演算法，此內插法不僅提高影像品質也可降低數位相機內的影像處理複雜 度。 以 權 重 的 方 式 判 斷 影 像 邊 緣 通 過 的 多 種 內 插 法 皆 只 能 夠 判 斷 垂 直 或 水 平 的 影 像 邊 緣 通 過，但 是 對 於 其 他 方 向 通 過 的 邊 緣，權 重 內 插 法 無 法 正 確 的 判 斷。此 一 問 題 在 數 位 影 像 處 理 領 域 中 是 亟 待 被 突 破 的 重 要 課 題，本 計 畫 提 出 non-cross 權 重 判 斷 法 內 插 還 原 彩 色 影 像，此 一 權 重 判 斷 的 觀 念 只 需 付 出 些 微 的 運 算 就 可 以 正 確 的 判 斷 任 一 方 向 通 過 的 邊 緣。再 來 為 了 增 加 在 頻 率 域 上 的 資 訊，因 此 本 計 畫 提 出 的 一 個 將 色 彩 差 異 值 域 應 用 於 權 重 判 斷 的 方 法，這 個 應 用 可 以 使 得 影 像 的 內 插 完 整 的 被 侷 限 在 影 像 的 低 頻 段，使 得 內 插 過 程 不 會 因 為 邊 緣 的 快 物 變 化 而 造 成 影 像 內 插 產 生 較 大 的 誤 差。而 這 兩 個 提 出 的 方 法 分 別 能 夠 增 加 彩 色 影 像 內 插 在 空 間 域 與 頻 率 域 上 的 資 訊，而 只 需 付 出 一 些 些 增 加 的 複 雜 度 當 作 代 價 。
可供推廣之研發成果資料表
國科會補助計畫
計畫名稱：數位照相機之色彩校正 計畫主持人： 林宗男 教授 計畫編號： NSC92-2622-E-002-011-CC3- 學門領域：數位影像處理技術/創作名稱
原方向性內插法與彩色影像內插混合雜訊消除演算法發明人/創作人
林宗男，許志隆 中文： 諸多習知的內插法之所以會造成邊緣模糊的現象是因為內插 法本身無法靈敏的偵測到邊緣的通過，尤其是傳統的內插法通常只 能夠偵測到影像垂直與水平通過的邊緣，但是通常無法對其他方向 通過的邊緣作出正確的判斷，因此無法對影像邊緣的部份做有效的 內插。此一問題在數位影像處理領域中是亟待被突破的重要課題， 在本篇論文中將會針對此一問題加以描述，並提出有效的邊緣偵測 權重內插法。除上述議題之外，本論文還會提出一個可直接施行於 貝爾圖形的雜訊消除方式，此一雜訊消除過程與彩色影像內插法結 合，可有效率的做到兩者兼具的功能。技術說明
英文：This algorithm presents a new color interpolation method for Color Filter Array that is commonly used in a single-sensor digital camera. This method is based on the directional weighted-based interpolation scheme. Based on the image model that R, G, B channels are highly correlated, the interpolation is performed in the color
difference domain instead of in the original pixel domain. The weights, determined based on the approach of directional-based signal distance, are capable of adapting to the local image structure. Experimental results indicate the proposed method can reconstruct the missing pixel values better and preserve the sharp edge information without
color-bleeding artifacts. Both subjective visual evaluation and objective performance measurement show the proposed method outperforms many existing methods.
