行政院國家科學委員會專題研究計畫 成果報告
馬賽克影像上的回復、事後處理、壓縮、浮水印及錯誤修 復(第 3 年)
研究成果報告(完整版)
計 畫 類 別 ： 個別型
計 畫 編 號 ： NSC 96-2221-E-011-102-MY3
執 行 期 間 ： 98 年 08 月 01 日至 99 年 07 月 31 日 執 行 單 位 ： 國立臺灣科技大學資訊工程系
計 畫 主 持 人 ： 鍾國亮
計畫參與人員： 碩士班研究生-兼任助理人員：邱永祥 碩士班研究生-兼任助理人員：蔡馨儀 碩士班研究生-兼任助理人員：陳美汝 碩士班研究生-兼任助理人員：申希明 碩士班研究生-兼任助理人員：林桂吟 碩士班研究生-兼任助理人員：王肇薪 碩士班研究生-兼任助理人員：羅宇帆 碩士班研究生-兼任助理人員：鄭名劭 碩士班研究生-兼任助理人員：劉印婕 博士班研究生-兼任助理人員：楊偉楨
處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢
中 華 民 國 99 年 05 月 31 日
行政院國家科學委員會專題研究計畫成果報告
馬賽克影像上的回復、事後處理、壓縮、
浮水印及錯誤修復(3 / 3 )
Demosaicing, Postprocessing, Compression, Watermarking, and Error Concealment on Mosaic Images (3/3)
計畫編號: NSC 98-2221-E-011-102-MY3
執行期限: 98 年 8月 1日至 99 年 7月 31日 主持人：鍾國亮教授 國立台灣科技大學資訊工程系 中文摘要
馬賽克影像上的回復、事後處理、
壓縮、浮水印及錯誤修復是數位相機相 關技術中相當重要的一環。由於近年來 數位相機的快速發展，所以人們對馬賽 克影像上的影像處理這個主題的關心程 度有明顯的增加。這個研究主題亦是目 前本實驗室主要研究的核心問題之一。
計劃主持人同研究小組過去幾年在這些 方面累積不少經驗及成果。本研究小組 在今年度計畫中完成下列主要研究成 果。
(1) 針對色彩濾光陣列所設計的高品質 放大演算法 [1]：大部分的數位相機 為了降低製造成本，皆使用了單一個 CCD/CMOS 陣列，並搭配一個色彩 濾 波 陣 列 (CFA) 來 取 得 馬 賽 克 影 像。結合新提出之於馬賽克影像上擷 取更精確的邊資訊方法及色差平面 的概念，我們提出了一個針對馬賽克 影像的高品質放大演算法。我們透過
二十四張經常被使用的測試影像來 進行實驗。結果顯示，我們所提出的 演算法所產出之放大馬賽克影像品 質較先前發表的放大演算法更好，同 時色彩瑕疵也更少。(本計劃產出的 第 一 個 研 究 成 果 目 前 已 刊 登 於 Journal of Electronic Imaging 期刊)。
(2) 針對色彩濾波陣列所提出之嶄新的 結合去馬賽克與隨意影像尺寸調整 演算法 [2]：我們提出了一個結合去 馬 賽 克 與 隨 意 影 像 尺 寸 調 整 演 算 法。透過我們提出之於馬賽克影像上 擷取更精確的邊資訊方式及複合式 離散餘弦轉換，將可以同時達到去馬 賽克與隨意影像尺寸調整的效果。這 是第一個針對色彩濾波陣列所提出 之嶄新的結合去馬賽克與隨意影像 尺寸調整演算法。透過二十四張經常 被使用的測試影像來進行實驗。結果 顯示，我們所提出的結合去馬賽克與 隨意影像尺寸調整演算法所產出之 去馬賽克影像品質較使用兩階段式 方法﹝即先去馬賽克後再將影像尺
寸調整演算法使用於三個彩色平面 上﹞的結果來的更好。(本計劃產出 的第二個研究成果目前已於 IEEE Trans. Consumer Electronics 期刊進 行複審)。
(3) 針對數位時間延遲整合色彩濾波器 所 設 計 的 高 品 質 去 馬 賽 克 演 算 法 [3]：我們提出一個針對數位時間延 遲整合(DTDI)色彩濾波器的邊緣感 測去馬賽克演算法。透過估計馬賽克 圖上每個像素的亮度值以及擷取馬 賽克圖中更精確的梯度資訊方式，植 基於邊緣感測概念進行每個像素中 缺值的內插估計，可以達到去馬賽克 的效果。利用九張測試影像來進行實 驗，結果顯示我們所提出的基於邊緣 感測數位時間延遲整合色彩濾波器 去馬賽克演算法與先前所發表的去 馬賽克演算法相較之下有較好的去 馬賽克影像品質。(本計劃產出的第 三個研究成果已經完成，目前已投往 Journal of Visual Communication and Image Representation 期刊)。
(4) 針對馬賽克影像所提出的利用色差 值 預 測 誤 差 之 可 回 復 式 資 料 隱 藏 [4]：我們提出了一個嶄新的馬賽克 影像上的可回復式資料隱藏。我們利 用色差值的預測誤差來嵌入隱藏資 訊，這個方法可以擴充至一個像素只 有 兩 個 顏 色 的 數 位 時 間 延 遲 整 合 (DTDI)馬賽克影像。透過一些具代表 性的色彩濾波陣列(CFA)及數位時間 延遲整合馬賽克影像來進行實驗。結 果顯示，在嵌入相同容量下，我們所 提出的演算法所產出之影像品質較 先前發表的三個可回復式資料隱藏 演算法更好。(本計劃產出的第四個 研究成果已經完成，並將投往 IEEE Trans. Information Forensics and
Security 期刊)。
英文摘要
Demosaicing, postprocessing, compression, watermarking, and error concealment on mosaic images are the kernel issues in digital camera technologies. Recently, the field of digital camera applications is continually growing and quite important. It has a significant increase in the level of interest in the image processing on mosaic images.
This topic form the core of a major modernization, and their applications are also quite wide. Our research group has developed several efficient results. In this project, we do the research and have the results as shown below.
(1) A novel quality-effective zooming algorithm for color filter array [1]:
Mosaic images are captured by a single CCD/CMOS sensor with the Bayer color filter array. Combining a new approach for extracting more accurate gradient information and the color difference concept, we present a new quality-effective zooming algorithm for mosaic images. Based on twenty-four popular test mosaic images, the proposed zooming algorithm has better quality improvement when compared with two previous zooming algorithms.
(2) New joint demosaicing and arbitrary-ratio algorithm for Bayer color filter array [2]: We present a new joint demosaicing and arbitrary-ratio resizing algorithm for mosaic images.
By using the proposed approach for extracting more accurate gradient information and the composite length discrete cosine transform, the mosaic image can be simultaneously
demosaiced and resized to obtain the demosaiced full color image with arbitrary ratio size. This is the first joint demosaicing and arbitrary-ratio resizing algorithm for mosaic images.
Based on twenty-four popular testing mosaic images, the proposed new resizing algorithm has better image quality performance when compared with indirect approach: first apply the demosaicing algorithm to the input mosaic image and then run the resizing algorithm on the demosaiced full color image.
(3) A novel edge sensing–based demosaicing algorithm for DTDI mosaic images [3]: Currently, based on digital time delay and integration (DTDI) color filter array line-scan cameras, Heiss-Czedik et al. presented two efficient demosaicing algorithms for DTDI mosaic images which are suitable for industrial print inspection.
In this paper, a novel edge sensing–based demosaicing algorithm for DTDI mosaic images is presented.
Based on nine real test images, our proposed demosaicing algorithm has better quality performance when compared to the previous six algorithms.
(4) Novel reversible data hiding for mosaic images using prediction errors on color difference domain [4]: We present a new reversible data hiding algorithm for mosaic images, which are captured by a single CCD/CMOS sensor with the Bayer color filter array.
The proposed algorithm utilizes prediction errors on the color difference domain to embed the hidden data. Furthermore, the proposed algorithm can be extended to the DTDI mosaic images in which
each pixel only has two color channels.
Based on some typical test CFA and DTDI mosaic images, the proposed algorithm has better marked image quality under the same embedding capacity when compared with three native algorithms.
計畫緣由、結果與討論
為了降低製造成本，目前市面上大 眾消費型的數位相機的感光元件大都只 在每個像素位置上接收紅綠藍三原色的 其中一種，而接收的顏色則是由搭配的 色彩濾波陣列所決定。目前最常見的色 彩 濾 波 陣 列 是 Bayer 色 彩 濾 波 陣 列 [5]，基於 Bayer 色彩濾波陣列的配置，
所成像的照片有 1/2 的像素位置上記錄 綠色資訊、1/4 的像素位置上記錄紅色資 訊、1/4 的像素位置上記錄藍色資訊，這 樣的照片我們稱之為「馬賽克影像」，而 回復每個像素位置上所缺少的其餘兩個 色彩資訊，則稱為「去馬賽克」。在過去 有許多相關的去馬賽克演算法 [6–13]
被提出。除了去馬賽克議題之外，放大 也是在馬賽克處理上被十分廣泛使用的 技術。因此，亦有許多針對馬賽克影像 的放大演算法被提出 [14–18]。在過去 所提出的方法中，放大研究議題主要是 聚焦在將一張影像放大為原來的四倍。
然而，若是能將影像做隨意尺寸調整將 更符合市場的需求。再者，針對工業應 用上，線型掃瞄的高速數位時間延遲整 合(DTDI)色彩濾波陣列[19] [20]被廣泛 地被使用，因而針對 DTDI 馬賽克影像 的去馬賽克演算法亦是重要的技術。此 外，為了提高數位影像的著作權保護，
可回復式資料隱藏也是近年來十分受到 重視的研究議題。故計劃主持人同研究 小組結合了過去幾年在這些方面累積的 經驗及成果，投入相當多的心力，在計
劃執行期間完成下列研究成果。
(一) 針對色彩濾光陣列所設計的高品質 放大演算法 [1]：
為了節省硬體成本，因此馬賽克影 像的放大也是在數位照片上被十 分廣泛使用的技術。由於直接針對 馬賽克影像的放大，可以讓使用者 隨意地採用後續的去馬賽克演算 法，將會使製作過程更有彈性。因 此，我們提出了一個嶄新針對色彩 濾光陣列所設計的高品質放大演 算法。透過可調性的異質性估計及 利用空間與頻譜的相關性來取得 色彩變化方向。此外，結合植基於 索貝爾及亮度估計的遮罩及色差 平面的概念，從而充分使用色彩在 空間上的相關性以提高放大之馬 賽克影像之品質。透過二十四張經 常 被 使 用 的 測 試 影 像 來 進 行 實 驗。結果顯示，我們所提出的演算 法所產出之放大馬賽克影像品質 較先前發表的放大演算法 [14] [15]
更好，同時色彩瑕疵也更少。(本計 劃產出的第一個研究成果目前已 刊 登 於 Journal of Electronic Imaging 期刊)。
(二) 針對色彩濾波陣列所提出之嶄新的 結合去馬賽克與隨意影像尺寸調整 演算法 [2]：
在過去所提出的方法中，放大研究 議題主要是聚焦在將一張影像放 大為原來的四倍。然而，若是能將 影像做隨意尺寸調整將更符合市 場的需求。因此，我們提出了一個 嶄新針對色彩濾波陣列所提出之 嶄新的結合去馬賽克與隨意影像 尺寸調整演算法。該演算法中亦使
用了可調性的異質性估計及利用 空間與頻譜的相關性來取得色彩 變化方向，再透過結合植基於索貝 爾及亮度估計的遮罩取得完整的 G 平面和 G-R 及 G-B 之色差平面。透 過色差平面的使用以充分利用色 彩在空間上的相關性以提高所恢 復之全彩影像之品質。最後，再透 過複合式離散餘弦轉換達到同時 去馬賽克與隨意影像尺寸調整的 效果。透過二十四張經常被使用的 測試影像來進行實驗。結果顯示，
我們所提出的結合去馬賽克與隨 意影像尺寸調整演算法所產出之 去馬賽克影像品質較使用兩階段 式方法﹝即先去馬賽克後再將影 像尺寸調整演算法使用於三個彩 色平面上﹞的結果來的更好。(本計 劃產出的第二個研究成果目前已 於 IEEE Trans. Consumer Electronics 期刊進行複審)。
(三) 針對數位時間延遲整合色彩濾波器 所 設 計 的 高 品 質 去 馬 賽 克 演 算 法 [3]：
基於線型掃瞄的高速數位時間延遲 整合(DTDI)色彩濾波陣列的相機廣 泛地被使用在工業應用上，例如工 業產品的檢測。此種線型攝錄機所 擷取的影像我們稱為 DTDI 馬賽克 影像 [19,20]，在 DTDI 馬賽克影像 上，每個像素有兩個色彩資訊，分 別為綠色/紅色、綠色/藍色，交錯排 列。我們提出了一個針對數位時間 延遲整合色彩濾波器的邊緣感測去 馬賽克演算法。此研究涵蓋四個主 要步驟，分別為〈一〉估計馬賽克 圖上每個像素的亮度值，〈二〉精準 地擷取出圖上各個像素的梯度資
訊，〈三〉利用可調式的異質性映射
決定圖上邊紋理的方向走勢，〈四〉
植基於邊緣感測概念進行每個像素 中缺值的內插估計以以達到去馬賽 克的效果。利用九張測試影像來進 行實驗，結果顯示我們所提出的基 於邊緣感測數位時間延遲整合色彩 濾波器去馬賽克演算法與先前所發 表的去馬賽克演算法相較之下有較 好的去馬賽克影像品質。而用以比 較的六個方法中，其中有三個方法 由 Heiss-Czedik 等 人 所 提 出 [21] ， 一 個 方 法 由 Laroche 及 Prescott 所 提 出 [22] ， 一 個 由 Hamilton 及 Adams 所提出 [23]，
最後一個則為雙向線性內插法。(本 計劃產出的第三個研究成果已經完 成，目前已投往 Journal of Visual Communication and Image Representation 期刊)。
(四) 針對馬賽克影像所提出的利用色差 值 預 測 誤 差 之 可 回 復 式 資 料 隱 藏 [4]：
由於數位相機日益廣泛地被使用在 消費者 市場 上，影 像 擁有者 之 認 証、著作權保護 [24] 等成為當前相 當重要的議題，於是我們提出一個 針對色彩濾波器(CFA)馬賽克影像 的可恢復式資料隱藏演算法。此研 究利用色差值的預測誤差來嵌入隱 藏資訊。基於色差值的預測誤差呈 現拉普拉斯分佈，我們所提出的演 算法能夠達到高嵌入容量，並產出 很好的影像品質。此方法為首次針 對色彩濾波器馬賽克影像所提出的 可恢復式資料隱藏演算法，該演算 法並能擴充至工業印刷應用的數位 時 間 延 遲 整 合 (DTDI) 馬 賽 克 影 像
[19] [20]。結果顯示，在嵌入相同容 量下，我們所提出的演算法所產出 之影像品質勝過先前發表的三個可 回復式資料隱藏演算法:首先將馬賽 克影像重新排列成四種色彩平面，
接著從三個演算法 [25-27] 中選擇 一個執行於重新排列的色彩平面。
(本計劃產出的第四個研究成果已經 完 成 ， 並 將 投 往 IEEE Trans.
Information Forensics and Security 期刊)。
計畫自評
本計畫的成果與報告內容和原計畫 的申請項目大致相同，計畫之分項子題 完成的狀況亦十分理想。各個計畫子題 的預計成果均已如期完成，且相關成果 皆已刊登於或投稿至國外著名的期刊。
本計畫所提及之各項成果對於在馬賽克 影像處理的相關研究領域及實作方面上 皆有相當貢獻。除了在學術理論上將有 顯著的成果外，在實際應用上，更能夠 為現代數位相機製程上提高放大後的馬 賽克影像回復品質與節省硬體的成本及 提高數位相片在認証、著作權保護。此 外，DTDI 馬賽克影像廣泛地被使用在 工業應用上，例如工業產品的檢測，若 能有較佳的輸出影像品質，必能提高檢 測等應用的精確度。為透過本計畫的研 究與實作，能夠讓參與的人員對於馬賽 克影像放大、隨意影像尺寸調整、可回 復式資料隱藏及 DTDI 馬賽克影像的去 馬賽克之相關技術有深入的瞭解，並將 理論與實際應用結合，可提升參與之工 作人員今後之研發能力進而提昇國家競 爭力。
參考文獻
[1] K. L. Chung, W. J. Yang, J. H. Yu, W.
M. Yan, and C. S. Fuh, “A novel quality-effective zooming algorithm for color filter array,” Journal of Electronic Imaging, Vol. 19, No.
1013005-1-013005-15, 2010.
[2] K. L. Chung, W. J. Yang, W. M. Yan, and C. S. Fuh, “New joint demosaicing and arbitrary-ratio algorithm for Bayer color filter array,”
IEEE Trans. Consumer Electronics, revised.
[3] K. L. Chung, M. J. Chen, Y. C. Liu,
“High-quality Demosaicing Algorithm for DTDI Mosaic Images,” Journal of Visual Communication and Image Representation, submitted.
[4] W. J. Yang, K. L. Chung, and H. Y.
Mark Liao, “Novel Reversible Data Hiding for Mosaic Images Using Prediction Errors on Color Difference Domain,” in preparation, to be submitted to IEEE Trans. Information Forensics and Security.
[5] B. E. Bayer, “Color Imaging Array,”
U.S. Patent 3 971 065, 1976.
[6] S. C. Pei and I. K. Tam, “Effective color interpolation in CCD color filter arrays using signal correlation,” IEEE Trans. Circuits and Systems for Video Technology, Vol. 13, No. 6, pp.
503–513, 2003.
[7] W. Lu and Y. P. Tan, “Color filter array demosaicking: new method and performance measures,” IEEE Trans.
Image Processing, Vol. 12, No. 10, pp.
1194–1210, 2003.
[8] R. Lukac and K. N. Plataniotis,
“Normalized color-ratio modeling for
CFA interpolation,” IEEE Trans.
Consumer Electronics, Vol. 50, No. 2, pp.737–745, 2004.
[9] E. Dubois, “Frequency-domain methods for demosaicking of bayer-sampled color images,” IEEE Signal Processing Letters, Vol. 12, No.
12, pp. 847–850, 2005.
[10] R. Lukac, K. N. Plataniotis, D.
Hatzinakos, and M. Aleksic, “A new CFA interpolation framework,”
Signal Processing, Vol. 86, No. 7, pp.
1559–1579, 2006.
[11] K. H. Chung and Y. H. Chan, “Color demosaicing using variance of color differences.” IEEE Trans. Image Processing, Vol. 15, No. 10, pp.
2944–2955, 2006.
[12] H. A. Chang and H. H. Chen, Stochastic color interpolation for digital cameras, IEEE Trans. Circuits and Systems for Video Technology, Vol. 17, No. 8, pp. 964–973, 2007.
[13] K. L. Chung, W. J. Yang, W. M. Yan, and C. C. Wang, “Efficient high-quality demosaicing algorithm for color filter array,” IEEE Trans.
Image Processing, Vol. 17, No. 12, pp. 2356-2367, 2008.
[14] S. Battiato, G. Gallo, and F. Stanco, A locally adaptive zooming algorithm for digital images, Image and Vision Computing, Vol. 20, No. 11, pp.
805–812, 2002.
[15] R. Lukac, K. N. Plataniotis, and D.
Hatzinakos, Color image zooming on the Bayer pattern, IEEE Trans.
Circuits and Systems for Video Technology, Vol. 15, No. 11, pp.
1475–1492, 2005.
[16] R. Lukac and K. N. Platataniotis, Digital zooming for color filter array, Real-Time Imaging, Vol. 11, No. 2, pp. 129–138, 2005.
[17] K. H. Chung and Y. H. Chan, “A low-complexity joint color demosaicking and zooming algorithm for digital camera, ” IEEE Trans. Image Processing, Vol.
16, No. 7, pp. 1705–1715, 2007.
[18] L. Zhang and D. Zhang, “A joint demosaicking-zooming scheme for single chip digital color cameras,”
Computer Vision and Image Understanding, Vol. 107, No. 1–2, pp.
14–25, 2007.
[19] E. Bodenstorfer, J. Fürtler, J.
Brodersen, K. J. Mayer, C. Eckel, K.
Gravogel, and H. Nachtnebel, “High speed line-scan camera with digital time delay integration,” in Proc. of Electronic Imaging Conf. on Real Time Imaging, vol. 6496, pp.64960I-1–64960I-10, 2007.
[20] J. Fürtler, E. Bodenstorfer, K. J.
Mayer, J. Brodersen, D.
Heiss-Czedik, H. Penz, C. Eckel, K.
Gravogel, and H. Nachtnebel,“High performance camera module for fast quality inspection in industrial printing applications,” in Proc. of Electronic Imaging Conf. on Machine Vision Applications in Industrial Inspection, vol. 6503, pp.
65030J-1–65030J-12, 2007.
[21] D. Heiss–Czedik, R. Huber–Mörk, D.
Soukup, H. Penz, and B. L. García,
“Demosaicing algorithms for area- and line-scan cameras in print
inspection,” J. Vis. Commun. Image Represent., vol. 20, no. 6, pp.
389–398, 2009.
[22] C. Larocheand and M. Prescott,
“Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients,” US Patent, no. 5, pp.
373–322, 1994.
[23] J. Hamilton and J. Adams, “Adaptive color plane interpolation in single sensor color electronic camera,” US Patent, no. 5, pp. 629–734, 1997.
[24] I. J. Cox, M. Miller, and J. Bloom, Digital Watermarking, Morgan Kaufmann, San Francisco, CA, 2001.
[25] V. Sachnev, H. J. Kim, J. Nam ,S.
Suresh, and Y. Q. Shi, “Reversible watermarking algorithm using sorting and prediction,” IEEE Trans.
Circuits and Systems for Video Technology, Vol. 19, No. 7, pp.
989–999, 2009.
[26] W. L. Tai, C. M. Yeh, and C. C.
Chang, “Reversible data hiding based on histogram modification of pixel differences,” IEEE Trans. Circuits and Systems for Video Technology, Vol. 19, No. 6, pp. 906–910, 2009.
[27] D. M. Thodi and J. J. Rodriguez,
“Expansion embedding techniques for reversible watermarking,” IEEE Trans. Image Processing, Vol. 16, No.
3, pp. 721–730, 2007.
