高動態範圍影像顯示之色彩與色調重現

全文

(1)國立臺灣師範大學應用電子科技學系. 碩士論文. 指導教授：高文忠博士. 高動態範圍影像顯示之色彩與色調重現 Color and Tone Reproduction for High Dynamic Range Image Display. 研究生：王泓淳撰. 中華民國一零二年七月. i.

(2) 高動態範圍影像顯示之色彩與色調重現學生：王泓淳. 指導教授：高文忠博士. 國立臺灣師範大學應用電子科技學系碩士班. 摘. 要. 本論文提出一個新的演算法來解決高動態範圍影像在液晶螢幕上的顯示問題，所提出的演算法結合螢幕校正和新的色調映射運算子。螢幕校正可以讓影像在任何一台螢幕上呈現正確的色彩。所提出的色調重現運算子結合攝影色調映射函數和兩個基於區域對比影像和平滑影像所估算出的參數。高動態範圍影像經由本論文所提出的演算法處理後在亮度、對比度、色彩準確性、能見度都有良好的表現，並且沒有對影像造成任何人工現象。. 關鍵字：高動態範圍影像、色調重現、色調映射、螢幕校正. ii.

(3) Color and Tone Reproduction for High Dynamic Range Image Display Student：Hong-Chun Wang. Advisor：Dr. Wen-Chung Kao. Department of Applied of Electronics Technology National Taiwan Normal University. ABSTRACT. This paper presents a new algorithm to solve the high dynamic range image display problem in LCD monitor. The proposed algorithm combines the LCD calibration and the new tone mapping operator. The LCD calibration can let image is accurate in color on every monitor. The new tone mapping operator combines the photographic tone mapping function and two new additional items which are based on the local contrast map and the smoothed map. The images processed through the proposed algorithm have better brightness, contrast, color accuracy, and visibility without producing undesired artifacts.. Keywords: HDR imaging, tone reproduction, tone mapping, LCD calibration. iii.

(4) 誌. 謝. 在臺灣師範大學應用電子科技學系研究所的這兩年來，若是沒有許多人的支持與教導，我的碩士論文應該會寫不出來。首先最感謝的是我的指導教授高文忠教授，在剛進來實驗室時我對於研究方法以及學習態度上並不是很了解，這讓我在課業上及研究上都遭遇了不少的困難。在每一個禮拜的開會當中，高教授不停地給予工作和嚴厲的指證，這讓我學習到對於程式撰寫的細緻度以及學術研究的方向有更進一步的體認。以前我的程式都是以自己方便為前提去撰寫，但是在業界裡這種撰寫方式會造成工作團隊整合上的困難。而學術研究方面，以前我都是一篇論文重頭到尾完整的讀懂，這不僅花費大量的時間也不一定完全理解這領域的知識。高教授教導我應該簡單扼要的讀一篇論文，從摘要下手再決定要不要完整的讀完它，而在實作的時候要以非常嚴謹的方式去證實自己的方法與其他方法的優缺點。真的非常感謝高教授的指導，將來的我回想起這碩士兩年的日子，我一定不會後悔當初選擇了高教授的系統晶片實驗室。. 同時，也要感謝實驗室的同學：維德、紹綱、書呈、建輝、昇儒。畢竟我原本不是師大的學生，對於師大的環境不是很熟悉。在此要感謝實驗室的大家讓我更了解師大，在課業的互相幫助也對我的幫助很大。再來要感謝湘婷，畢竟之前是一起做相同研究主題，在我的研究方面出了什麼問題第一時間也都先找她做討論，這讓我可以更快速的突破盲點。最後要感謝我的家人，雖然研究方面的事情沒辦法跟他們討論，但是只要回到家中就是可以很放鬆的休息，也謝謝家人們對我的體諒與關心。. iv.

(5) 目. 錄. 中文摘要...........………………………………………………………………………ii 英文摘要………………………………………………………………………………iii 誌. 謝………………………………………………………………………………iii. 目. 錄…………………………………………………….…………………………iv. 圖目錄…………………………………………….…………………………………vi 表目錄………………………………………………………………………………vii 第一章. 緒論 ..................................................................................................................1. 1.1 研究動機 ...........................................................................................................1 1.2 問題描述 ...........................................................................................................2 1.3 現有研究探討及存在的問題 ...........................................................................4 1.4 提出的方法 .......................................................................................................6 第二章相關背景與研究 ................................................................................................7 2.1 攝影色調重現演算法 .......................................................................................7 2.1.1 前置處理 ................................................................................................7 2.1.2 攝影色調重現全域運算子 ....................................................................8 2.1.3 攝影色調重現區域運算子 ..................................................................10 2.2 快速雙邊濾波器色調重現演算法 .................................................................12 2.2.1 雙邊濾波器(Bilateral Filter) ................................................................12 2.2.2 演算法流程 ..........................................................................................14 2.3 直方圖等化 .....................................................................................................15 2.4 快速頻率分割演算法 .....................................................................................16 2.5 伽瑪校正 .........................................................................................................17 2.6 區域邊緣保留之影像多重分割色調重現 .....................................................19 2.7 基於梯度之高動態範圍壓縮演算法 .............................................................23. v.

(6) 第三章. 演算法設計與架構 ........................................................................................25. 3.1 演算法設計理念 .............................................................................................25 3.2 色調重現運算子 .............................................................................................27 3.2.1 影像初始調整 ......................................................................................28 3.2.2 平均濾波器 ..........................................................................................32 3.2.3 參數估算 ..............................................................................................34 3.2.4 色調映射運算子 ..................................................................................41 3.3 螢幕亮度測量及色彩校正 .............................................................................46 3.3.1 粒子群聚演算法 ..................................................................................46 3.3.2 伽瑪校正 ..............................................................................................50 3.3.3 色彩校正 ..............................................................................................54 第四章實驗結果 ..........................................................................................................64 4.1 實驗結果比較方法 .........................................................................................64 4.2 比較攝影色調重現與實驗結果 .....................................................................64 4.3 比較快速雙邊濾波器色調重現與實驗結果 .................................................68 4.4 比較直方圖等化與實驗結果 .........................................................................70 4.5 比較快速頻率分割演算法與實驗結果 .........................................................72 4.6 比較伽瑪校正與實驗結果 .............................................................................74 4.7 螢幕呈現校正後與校正前的實驗結果 .........................................................76 第五章結論 ..................................................................................................................78 參考. 文. 附錄. A .....................................................................................................................82. 附錄. B................................................................................................................... 122. 自. 獻 ............................................................................................................79. 傳 ..................................................................................................................... 127. vi.

(7) 圖目錄. 圖 1-1. 現實場景的亮度範圍 ......................................................................................2. 圖 1-2. 色調映射運算子主要功能 ..............................................................................3. 圖 2-1. L w 在不同數值下對壓縮函數的影響[5] ......................................................10. 圖 2-2. Dodging and Burning 示意圖 .......................................................................10. 圖 2-3. 不同的邊緣保留濾波器比較 ........................................................................13. 圖 2-4. 基於雙邊濾波器的色調重現演算法 ............................................................14. 圖 2-5. 快速頻率分割演算法流程圖 ........................................................................16. 圖 2-6. 伽瑪校正曲線 ................................................................................................17. 圖 2-7. S shaped 壓縮曲線[12] ..................................................................................21. 圖 2-8. 實驗結果比較[12] .........................................................................................22. 圖 2-9. 影像金字塔 ....................................................................................................24. 圖 2-10 基於梯度之高動態範圍壓縮演算法[15] .....................................................24 圖 3-1. 提出的演算法流程圖 ....................................................................................25. 圖 3-2. 各影像格式未經過初始調整後處理結果 ....................................................30. 圖 3-3. 各影像格式經過初始調整後處理結果 ........................................................31. 圖 3-4. 動態與固定分配區塊大小的結果差異 ........................................................33. 圖 3-5. 原始影像及對比度(3-6)式 ............................................................................35. 圖 3-6. 原始影像及灰暗度(3-8)式 ............................................................................37. 圖 3-7. (3-9)、(3-10)式高斯權重模擬圖 ..................................................................39. 圖 3-8. 區域參數的示意圖 ........................................................................................40. 圖 3-9. 添加對比值後的結果差異 ............................................................................43. 圖 3-10 攝影映射函數與(3-13)式的差異 ..................................................................44 圖 3-11 添加全域對比度倒數後的結果 ....................................................................45 圖 3-12 螢幕的輸出流程圖 ........................................................................................46 圖 3-13 粒子群聚演算法示意圖 ................................................................................47 vii.

(8) 圖 3-14 粒子群聚演算法流程圖 ................................................................................49 圖 3-15 所採用的 i1Basic-Pro 光譜測量儀器 ...........................................................50 圖 3-16 螢幕伽瑪校正流程 ........................................................................................51 圖 3-17 校正 ASUS-VW227D 螢幕結果 ...................................................................53 圖 3-18 色彩校正流程圖 ............................................................................................54 圖 3-19 ColorChecker(2005)色卡資訊 .......................................................................55 圖 3-20 ColorChecker 種類 ........................................................................................56 圖 3-21 線性色卡產生流程圖 ....................................................................................58 圖 3-22 校正色卡流程圖 ............................................................................................59 圖 3-23 ASUS-VW227D 校正前與只有伽瑪校正後色卡........................................60 圖 3-24 ASUS-VW227D 色卡 24 格個別平方差總和差異......................................61 圖 3-25 ASUS-VW227D 色卡 24 格平方差總和差異 ..............................................61 圖 3-26 ASUS-VW227D 校正前與完整校正後色卡 ................................................62 圖 3-27 ASUS-VW227D 色卡 24 格個別平方差總和差異......................................63 圖 3-28 ASUS-VW227D 色卡 24 格平方差總和差異 ..............................................63 圖 4-1. (圖 4-3)直方圖比較 .......................................................................................65. 圖 4-2. (圖 4-4)直方圖比較 .......................................................................................65. 圖 4-3. 攝影色調重現與提出的方法比較 ................................................................66. 圖 4-4. 攝影色調重現與提出的方法比較 ................................................................67. 圖 4-5. (圖 4-6 下圖)直方圖比較 ..............................................................................68. 圖 4-6. 快速雙邊濾波器色調重現與提出的方法比較 ............................................69. 圖 4-7. (圖 4-8)直方圖比較 .......................................................................................71. 圖 4-8. 直方圖等化與提出的方法比較 ....................................................................71. 圖 4-9. (圖 4-10)直方圖比較 .....................................................................................73. 圖 4-10 快速頻率分割演算法與提出的方法比較 ....................................................73 圖 4-11 (圖 4-12)直方圖比較 .....................................................................................75 圖 4-12 伽瑪校正與提出的方法比較 ........................................................................75 viii.

(9) 圖 4-13 原始影像(左)，未校正處理結果(中)，校正後處理結果(右)....................77 圖 4-14 原始影像(左)，未校正處理結果(中)，校正後處理結果(右)....................77. ix.

(10) 表目錄表 3-1. 不同影像格式的差異 ....................................................................................28. 表 3-2. 高動態範圍影像轉成不同影像格式 ............................................................29. 表 3-3. 色調重現運算子的差異 ................................................................................41. 表 3-4. 各光源下白點 XYZ 值..................................................................................51. 表 3-5. ColorChecker(2005)XYZ 資訊 .....................................................................57. 表 3-6. ASUS-VW227D 校正前與只有伽瑪校正色卡差異....................................60. 表 3-7. ASUS-VW227D 校正前與完整校正後色卡 ................................................62. x.

(11) 第一章緒論. 1.1 研究動機在日常生活中，有許多值得令人回憶的場景或是人事物，在當下很想把此時此刻的畫面記錄下來，在以前的時代只能以繪畫來記錄場景。然而，隨著科技的進步，現在人們已經可以用手中的相機拍攝場景。相機因為感光元件限制性的關係對於一些場景拍攝上造成不甚理想的結果。例如：在晴朗的天氣底下，許多人開心的在觀光景點旁邊等待拍攝，但是拍攝完的結果常常人臉都呈現一片黑暗。或是在建築物裡面想拍攝室外場景時，常常室內的景物也都呈現一片黑暗。因為這些場景的亮度範圍過於廣大，導致相機拍攝出來的結果無法真實呈現人眼所看見的結果。當相機仍然是用底片沖洗時，亮度範圍過於廣大的問題讓攝影師也苦惱許久，底片並不像現代數位相機隨拍隨看，是需要經由在暗房內沖洗才能觀察結果。對於沖洗不易的問題，傳統攝影師只好利用18%反射率的灰階卡去對應場景的中間灰階來盡量避免影像細節被過度犧牲。但是這樣的方式攝影師需要不斷地調整相機和擁用豐富經驗才有辦法完成。. 近代數位相機的發明，讓攝影師對於場景的亮度範圍過於廣大的問題有了更方便的做法，數位相機可以輕易地調整光圈大小、曝光時間、對焦距離等等多樣化的設定，攝影師可以輕而易舉地調整這些設定讓場景中間灰階對應到想要的位置且可以隨時查看拍攝情況。但是相機因為捕捉光的亮度是以線性的方式去捕捉，而相機影像輸出格式範圍最多從0至4096，這樣的範圍仍然無法涵蓋住現實場景的動態範圍。為了解決這樣的問題，現今的數位相機已經漸漸開始有針對高動態範圍的影像處理功能。但是自己使用起來仍然覺得有改善空間，也因為如此讓我決定研究到底要怎樣才可以處理好一張高動態範圍影像。. 1.

(12) 1.2 問題描述動態範圍 (Dynamic Range)[1]在學術上的定義為場景中最大亮度與最小亮度的比值，現實生活中的動態範圍是相當廣大的，從圖 1-1 可以看到：直視太陽光的亮度大約落於 10 6 cd / m 2 ，而夜晚星光大約落於 10 3 cd / m 2 。這些場景之間的動態範圍約有 10 9 之多。這樣廣大的動態範圍遠遠超乎現代相機所能記錄的上限，也造就高動態範圍影像所造成的問題至今仍然還在探討中。. 圖1-1. 現實場景的亮度範圍. (資料來源：http://www.cambridgeincolour.com/tutorials/dynamic-range.htm). 前面提到相機因為其光感測器特性關係無法一次捕捉完整高動態範圍場景的亮度資訊。相機的光感測器是以線性的方式去記錄光的能量大小，這是為了捕捉最原始的亮度資訊。然而，以目前常見的相機原始圖檔格式 (RAW Image) 來記錄影像資訊，其以10位元至16位元來記錄每個影像像素資訊。原始圖檔格式大約可以記錄動態範圍從 10 3 至 10 4.8。但是現實場景往往會超過此動態範圍，對於這樣的問題有學者提出使用多重曝光技術來獲得完整高動態範圍場景的亮度資訊。多重曝光技術是以相機設定不同曝光時間去拍攝相同場景，接著取其中低曝光值影像的亮處資訊與高曝光值影像的暗處資訊將其合成一張高動態範圍影像 (High Dynamic Range Image, HDRI)[3]。有了一張完整亮度資訊的高動態範圍影像後，接下來要思考如何讓其完整呈現在低動態範圍顯示裝置上。作法有兩種：利用高動態範圍顯示裝置呈現、使用色調重現演算法來處理影像。. 高動態範圍顯示裝置與其技術並不是本論文探討主題，本論文主要著重於使. 2.

(13) 用色調重現演算法處理高動態範圍影像讓其完整呈現在低動態範圍螢幕上。色調重現演算法主要是模擬人眼視覺去重現高動態範圍影像，其中關鍵的技術就是色調映射運算子 (Tone Mapping Operator, TMO)，如圖1-2所示：色調重現運算子的主要功能就是將高動態範圍影像資訊映射到低動態範圍影像所能呈現的範圍。目前仍然沒有人可以做到能讓高動態範圍影像完整呈現人眼所見的場景。這是因為還沒有學者可以完全了解人眼如何去適應高動態範圍場景。處理高動態範圍影像重點大致上都著重於：保留影像細節、提升影像能見度、避免光暈或環狀人造現象。本論文所提出的色調重現演算法可以針對此三個要點去做處理進而得到良好的處理結果。. 圖1-2. 色調映射運算子主要功能. (資料來源：http://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/Bilateral.ppt). 3.

(14) 1.3 現有研究探討及存在的問題一張高動態範圍影像是經由多張不同曝光時間的相片合成得到，其包含了完整的動態範圍。也因為動態範圍過於廣大導致在低動態範圍顯示裝置上難以完整呈現。這時除了改用高動態範圍顯示裝置之外，就只能使用色調重現演算法了。然而，高動態範圍顯示裝置至今仍在研究當中，至今仍然無法在市面上看到，所以大部分廠商碰到高動態範圍問題仍偏向於使用色調重現演算法解決。色調重現演算法其主要理念是將影像重現人眼所見之場景，但是目前仍然沒有任何文獻聲稱自己能完全呈現人眼所見之場景。. 高動態範圍影像處理領域當中有幾個相當有名的方法：如攝影色調重現演算法[1][4][5]、快速雙邊濾波器色調重現演算法等等[6]、基於梯度之高動態範圍壓縮演算法[15]。除此之外也有常見的處理方法如：直方圖等化、伽瑪校正等等。先前於本實驗室也提出了快速頻率分割演算法[19]以及近幾年的方法：區域邊緣保留之影像多重分割色調重現[12]等等。然而這些方法處理效果上雖然不錯，但是仍有缺點。高動態範圍影像的處理上需要考量到三點：保留影像細節、提升影像能見度、避免光暈或環狀人造現象 (Halo and Ringing Artifacts)，一個好的色調重現演算法應該要能夠同時對三個要點做處理且執行速度也要快速，最好也不需要使用者自訂參數。然而，先前所提到的方法大多是針對保留影像細節、提升影像能見度去做處理而沒有考慮到不自然現象的問題，或是運算過於複雜。. 攝影色調重現分為全域色調映射運算子和區域色調映射運算子，其根據輸入影像的動態範圍決定要使用哪種運算子。但是我們可以注意到其全域色調映射運算子只考慮到整張影像並沒有考慮到像素區域關係導致影像細節的犧牲。而區域色調映射運算子去計算每個影像像素的高斯模糊，為了有效壓抑不自然現象採取動態分配每個像素所需要的高斯模糊尺度大小，這造成運算過於複雜且實際上處理結果仍有些許不自然現象。快速雙邊濾波器色調重現演算法使用雙邊濾波器來幫助保留影像細節，讓其在對影像實行色調映射後可以避免犧牲影像細節。然 4.

(15) 而，因為雙邊濾波器需考量每個像素距離、亮度差異等高斯權重關係導致運算過於複雜，此方法主要著重於降低雙邊濾波器的運算複雜度而其色調映射的部分以別人提出的方法為主，這樣的做法對於參數的選擇需要相當慎重避免影像得到不預期的結果，我們認為應該要降低或是取消給使用者決定的參數，這樣才能讓使用者方便去使用。直方圖等化是一般處理高動態範圍影像常見的方法之一，其是利用累積分佈函數和機率密度函數對影像色階做重新分配，但是因為其只考量到影像色階直方圖而沒有考量影像像素間的區域關係，這導致處理後的影像相當不自然且調整幅度過於暴力。快速頻率分割演算法理念相當類似於快速雙邊濾波器色調重現演算法，它們都是取出影像細節後再做色調映射處理，然而，快速頻率分割演算法主要是應用在即時影片色調重現處理，目的是講求快速且對夜間能見度有較高的要求，這造成其影像結果偏亮且有可能會有不自然現象。伽瑪校正早期主要是拿來針對螢幕非線性輸出曲線做校正，因為其是對影像往上做非線性調整導致現今也有業者使用伽瑪校正來處理高動態範圍影像，然而，伽瑪校正沒有考慮到影像任何資訊就對影像做調整導致其影像細節保留不易且容易造成影像過曝，且因為其對 R、G、B 三通道分別處理導致可能會產生色偏的問題。區域邊緣保留之影像多重分割及色調重現其類似快速雙邊濾波器的作法，其將影像分割成基礎層和多個細節層去做處理，但仍然需要精準的設定參數。基於梯度之高動態範圍壓縮演算法是壓縮變化劇烈的影像梯度及提升變化平緩的影像梯度，奇實驗結果對於動態範圍壓縮及影像能見度提升都有相當好的效果，但仍然看起來有點不自然。. 5.

(16) 1.4 提出的方法本論文根據攝影色調重現演算法中的映射函數 (Photographic Mapping Function)去添加兩個區域參數：對比值 (Contrast Value)、灰暗值 (Darkness Value)。對比值是經由區域對比影像 (Local Contrast Map)配合高斯權重得到，其可以用來提升高動態範圍影像的細節。而灰暗值是經由亮度平滑影像 (Smoothed Map) 配合高斯權重得到，其是用來更進一步壓縮影像動態範圍進而提升影像能見度。本論文提出的方法是一個容易實作且有效的色調重現演算法，且皆能考量到高動態範圍影像的處理上需要注意的三點：保留影像細節、提升影像能見度、避免光暈或環狀人造現象，這讓高動態範圍影像經由提出的色調重現演算法處理後能得到理想的結果。為了能夠讓影像在螢幕上呈現正確的色彩，我們也配合亮度量測儀器去添加螢幕的伽瑪校正流程和色彩校正流程。. 6.

(17) 第二章相關背景與研究. 2.1 攝影色調重現演算法現實世界中的動態範圍是非常廣大的。舉例來說：太陽光的亮度大約是夜晚星光的百萬倍以上。即使是人類的眼睛也無法完全涵蓋住如此巨大的動態範圍。這種廣大的動態範圍也造成近代數位相機拍攝上的困難。在許久以前的攝影師就已經碰到這個問題。當時最常使用 Ansel Adam 所發表的 Zone System 來輔助解決高動態範圍場景問題。Zone System 藉由將場景依亮度分成 11 個 Zone，接著以第 5 個 Zone 為基準去做曝光而得到較好的影像結果。攝影色調重現主要是從 Zone System 得到靈感進而開發的色調重現演算法[1][4][5]。. 攝影色調重現依照場景的動態範圍的不同分為兩種方式去處理：全域攝影色調重現、區域攝影色調重現。兩種方法只差別在於最後的色調重現運算子的不同。以下會先介紹其前置處理，再分別介紹其全域色調映射運算子、區域色調映射運算子。. 2.1.1 前置處理攝影色調重現靈感主要來自於傳統攝影師如何利用 Zone System 解決高動態範圍場景問題。Zone System 幫助了攝影師對於場景的中間灰階值的選擇。然而對於數位影像的後續處理上，我們沒有辦法隨時更動影像曝光設定來讓影像落於所期望的中間灰階值。攝影色調重現提出一個使用者可以自行定義的參數：色調值  。色調在攝影學上是一種描述場景整體偏亮或偏暗的指標。一張高色調的影像讓人感覺有明亮輕快的感覺，而一張低色調的影像讓人有灰暗沉穩的感覺。攝影色調重現提供使用者定義色調值來決定輸出影像要偏亮或偏暗。當然攝影色調重現也提供了自動估算色調值的方法(2-1)式。(2-1)式中常數 4 的指數範圍是落於 -1 到 1 之間。而常數 4 是經由實驗得知， Lmax 和 Lmin 分別表示影像亮度的最大值 7.

(18) 和最小值。 L A 為影像的亮度全域平均值，攝影色調重現認為應該在對數域底下取平均(2-2)式， Lx, y  表示影像於座標(x , y)的亮度值，  代表一個極小的偏移量用來避免輸入為 0， N 表示影像像素總數。因為人眼對於亮度會做一個非線性的壓縮，所以作者認為應於對數域底下取平均值。. .   0.18  4. .  log2 L A  log2 Lmin  log2 Lmax  log2 L A   log2 Lmax  log2 Lmin .    . ---------------------------(2-1). 1  L A  exp   ln   Lx, y  ----------------------------------------------(2-2)  N x, y  攝影色調重現定義 0.18 為基準色調值，接著根據場景的對數平均亮度，如 (2-2)式，與整體亮度範圍的相對關係來調整色調值。有了色調值，接著要對影像亮度做一個線性調整。攝影色調重現提出一個映射函數 Ls x, y  來將影像對數平均亮度映射到色調值 (2-3)式。這是為了後續的色調重現運算子所做的前置處理。. Ls x, y  .  LA.  Lx, y  ------------------------------------------------------------(2-3). 2.1.2 攝影色調重現全域運算子人眼視覺系統(Human Visual System, HVS)可以將所見的場景經由光感受器 (Photoreceptor)轉成神經訊號到大腦中呈現影像，甚至對於高動態範圍場景也可以經由視覺適應去調整影像資訊讓我們可以更清楚地看到影像。對於光感受器對於不同亮度強度的反映曲線可以從早期電子生理學 (Electrophysiology)的實驗得知，這個實驗以不同強度的光打在背景牆上去測量光感受器的反映曲線並得到以下(2-4)式：. R In  Rmax I n   n --------------------------------------------------------------------------(2-4) 8.

(19) 其中 R 和 Rmax 分別是光感受器的反應值及最大反應值，I 為輸入的光強度， 為半飽和度常數，其中 n 為敏感度控制參數其值通常落於 0.7 至 1 之間。攝影色調重現以此光感受器的反應模型為基準去重新設定一個色調映射運算子 Ld x, y  如(2-5)式，攝影色調重現將其定義為攝影色調映射函數 (Photographic Tone mapping Function, PTF)。. Ld x, y  . Ls x, y  1  Ls x, y  --------------------------------------------------------------(2-5). 影像經由(2-5)式處理後會落於 0 到 1 之間，而且會大幅度的壓縮影像亮處資訊。然而這樣的壓縮函數只能對影像亮度往上做調整，攝影色調重現認為應該要更彈性的去處理影像，而且希望不只能處理高動態範圍影像，也要能處理低動態範圍影像。因此提出一個新的全域色調重現運算子(2-6)式。.  L  x, y    Ls x, y   1  s 2 L white   Ld x, y   -------------------------------------------(2-6) 1  Ls x, y  其中的 Lwhite 是使用者定義的參數，其代表最小可以被調整到純白亮度的亮度值。經由調整 Lwhite 可以改變全域色調重現運算子對於影像亮度的壓縮程度。圖 2-1 提供一個示意圖讓我們了解調整 Lwhite 會對壓縮函數造成什麼影響。當我們調整 Lwhite 到無窮大的時候(2-6)式會趨近於(2-5)式，此時為攝影色調映射函數。當 Lwhite. 為 1 時，則不做任何調整。當 Lwhite 小於 1 時，影像被判斷是一張低動態範圍的影像，此時函數著重於增強影像對比。. 9.

(20) 圖2-1. Lwhite 在不同數值下對壓縮函數的影響[5]. 2.1.3 攝影色調重現區域運算子早期攝影師在暗房沖洗照片的時候，需要使用到控制曝光的技術 (Dodging and Burning)來對底片做局部性的調整。Dodging 是對想要變亮的部份減少對底片的曝光時間使其變亮，而 Burning 是對想要變暗的部份增加其曝光時間使其變暗。. 圖2-2. Dodging and Burning 示意圖. (資料來源：http://en.wikipedia.org/wiki/File:DodgeBurn.png). 10.

(21) 攝影色調重現以傳統暗房沖洗技術為靈感提出其色調重現區域運算子。其主要理念是針對影像每一個像素利用高斯模糊 Lblur s  x, y  去做個別調整。其公式如下， Rs x, y  表示所選定的濾波器區塊的值。. Lblur s x, y   Ls ( x, y)  Rs x, y  ---------------------------------------(2-7) Ls x, y  Ld x, y   ------------------------------------------------------(2-8) 1  Lblur S max  x, y  (2-7)式表示影像經由尺度 S 進行高斯模糊的結果，再經由選定後的尺度 S max 針對每個像素去做色調重現區域運算子(2-8)式。當一個像素與周遭像素比較起來較暗時其高斯模糊後的結果會造成 Ls  Lblur ，這個結果會讓色調重現區域運算子 S max. Ld x, y  (2-8)式與攝影色調映射函數(2-5)式相比起來更減少了影像亮度而提升對. 比度。反之若一個像素與周遭像素比較起來較亮時其高斯模糊後的結果會造成 Ls  Lblur S max ，這個結果也相同會提升對比度。攝影色調重現提供一個中心環繞的機. 制去估算高斯模糊尺度 S max 。其主要理念是利用兩個尺度 S 不同的高斯模糊函數配合影像資訊去計算差距。其公式如下： blur   Lblur x , y  L S 1  x, y  Vs x, y   S  2  ------------------------------------------(2-9) blur    L x , y S S2. (2-9)式的參數  及  分別代表色調值及銳利度，色調值預設為 0.18 而銳利度預設為 8。銳利度設太大可能造成人造現象。最後再設一個門檻值  用來選擇 S max 的數值。門檻值  預設為 0.15。. S max : VSmax x, y   . ---------------------------------------------------------(2-10) 11.

(22) 2.2 快速雙邊濾波器色調重現演算法以往處理高動態範圍影像時，如何能夠在保留影像細節的同時去壓縮影像動態範圍一直是非常重要的問題。Fast Bilateral Filtering for Display of High Dynamic Range Images[6]這篇論文提出可以在保留高動態範圍影像細節的同時去壓縮動態範圍。此篇論文利用一個非線性的濾波器-雙邊濾波器來將高動態範圍影像分割為基礎層和細節層。雙邊濾波器是利用空間距離和能量差距去分別計算高斯權重來對影像進行以邊緣保留為前提的影像模糊。以往有學者提出直接使用低通濾波器分割影像來處理高動態範圍影像，但是會出現光暈等不自然的現象。此篇論文作者認為模糊影像的同時要保留住邊緣，這樣可以避免不自然的現象。雙邊濾波器因為要對影像每個像素與其周遭鄰居像素進行相當複雜的運算，這讓處理影像的時間變得相當久。此篇論文作者也提出一個方法可以大幅改進雙邊濾波器的執行效能，但是這方面就不在我們的討論範圍內，目前我們著重於影像品質的呈現與比較。. 2.2.1 雙邊濾波器(Bilateral Filter) 雙邊濾波器的靈感是來自於非等方性擴散 (Anisotropic diffusion)，非等方性擴散的理念主要是來自於熱能在傳導的過程中碰到障礙時會向旁邊擴散而不會越過障礙，但是也因為要不斷地計算擴散程度也導致運算過於複雜。而且對於碰到影像邊緣時不能跨越過去的特性也造成每個影像像素擴展程度不盡相同，這樣的結果讓我們很難預估影像處理結果。從圖 2-3中我們可以很明顯的看到非等方性擴散對於窗戶所造成的影像邊緣保持著良好的隔絕，而雙邊濾波器可以全面擴散出去且不破壞影像邊緣。. 12.

(23) (a) 非等方性擴散示意圖圖2-3. (b) 雙邊濾波器示意圖. 不同的邊緣保留濾波器比較. (資料來源：http://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/Bilateral.ppt). 雙邊濾波器是一個非線性的濾波器，其是以高斯濾波器為模型去添加能量差距權重來避免影像邊緣被模糊。高斯濾波器所使用的距離差距權重 Ws x, y  意思是當影像像素 p 跟中心像素 c 距離越遠則其權重值越低，如(2-11)式表示， s 表示使用者自訂參數，但也因為只考慮到像素之間的距離關係導致影像邊緣被模糊。而能量差距權重 Wr x, y  表示影像像素 p 跟中心像素 c 的亮度差距，當差距越大權重值應該要越低來保留住影像邊緣，如(2-12)式所示，一樣  r 表示使用者自訂參數。雙邊濾波器 Lblur c 就是由兩個權重值組合而成的邊緣保留濾波器，如(2-13)、(2-14) 式所示， L p 表示選定的周遭像素亮度值， Wc 表示所有加權後的總和。. Ws c, p   e. Wr c, p   e Lblur  c. 1 Wc. . . c p. 2. 2 s2. Lc  L p 2 r2. ---------------------------------------------------------------------------(2-11) 2. -------------------------------------------------------------------------(2-12). W c, p   W c, p L. pN c. s. r. p. -----------------------------------------------------------(2-13). 13.

(24) Wc . W c, p  W c, p  ------------------------------------------------------------------(2-14). pN c. s. r. 2.2.2 演算法流程由先前介紹中我們可以很明確地知道雙邊濾波器是可以在模糊影像的同時又確保影像邊緣不會消失，此篇論文作者主要是將影像分解為 3 層：基礎層 (Base layer)、細節層 (Detail layer)、色彩層 (Color layer)。首先，先將影像以簡單的色彩空間轉換以取得亮度與色彩分離的圖片。接著以雙邊濾波器對亮度影像做邊原保留模糊化，其中空間權重參數  s 設定為影像大小的 2%數量，而能量權重參數  r 則設定為 0.4。取得模糊後的影像後以原始影像對其做相減運算得到細節層。此篇論文主要以對基礎層做色調映射後再與細節層做合成。如圖 2-4表示。其中色調重現的詳細方法是採用 LCIS: a boundary hierarchy for detail-preserving contrast reduction 這篇論文的作法。. 圖2-4. 基於雙邊濾波器的色調重現演算法. (資料來源：http://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/Bilateral.ppt) 14.

(25) 2.3 直方圖等化對於高動態範圍影像處理上有三個要點：保留影像細節、提升影像能見度、避免光暈或環狀人造現象。直方圖等化 (Histogram Equalization)是常用來提升影像對比度的一種方法。在數位影像處理中，直方圖代表對影像統計每個色階所擁有的像素量，其總和為影像解析度大小。我們可以從直方圖看到影像對於色階上的分佈布趨勢，而直方圖等化就是藉由調整分佈趨勢來提升影像能見度。. 直方圖等化先計算出機率密度函數 (Probability Density Function, PDF)與累積分佈函數 (Cumulative Distribution Function, CDF)來確定分佈趨勢，機率密度函數代表每個色階亮度 L 出現機率， nL  表示影像中亮度 L 出現的像素總量。其利用每個色階亮度 L 上出現的像素量除以總像素量 N 得到，如(2-15)式所示。累積分佈函數代表每個色階目前所累積的機率，直方圖等化目的是根據分佈趨勢將影像所有色階做一個重新分配以達到提升影像能見度，如(2-16)式所示， l 表示目前的色階亮度。 PDF L  nL / N ----------------------------------------------------------------------------(2-15) L. CDF L    PDF l  --------------------------------------------------------------------------(2-16) l 0. 在計算完累積分佈函數和機率密度函數後，接下就是根據累積分佈函數去重新分配影像色階亮度。首先將累積分佈函數乘以影像最大深度值以方便之後重新分配色階亮度，如(2-17)式 H L  所示， Lmax 表示影像最大亮度。最後將影像根據 (2-17)式的結果重新分配影像亮度即完成直方圖等化，如(2-18)式所示， Lnew 和 Lorg 分別表示直方圖等化後的影像亮度及原始影像亮度。直方圖等化因為直接根據分布趨勢重新調整影像色階分布，其並沒有考慮到影像區域關係和調整程度的限制，這會造成某些時候影像調整程度過於劇烈。 H L  Lmax  CDF L --------------------------------------------------------------------------(2-17). Lnew  H Lorg  ---------------------------------------------------------------------------------(2-18) 15.

(26) 2.4 快速頻率分割演算法高動態範圍影像處理重點上必須要在提升影像能見度的同時保留住影像細節，過去學者提出先抽取出影像細節之後再提升影像能見度。先前有提到有學者利用雙邊濾波器將影像在保留邊緣的同時模糊影像，接著抽取出影像基礎層做色調重現處理。然而，雙邊濾波器的處理時間過久也是一大問題，雖然先前學者提出快速雙邊濾波器來改善執行效能，但是要實現出即時處理仍然有難度。快速頻率分割演算法採取相同理念，也是希望抽取出影像細節後再利用色調重現演算法處理。這個方法執行速度已經在嵌入式系統上達到即時處理且品質也有不錯的表現[19]。. 快速頻率分割演算法利用平均濾波器對影像做模糊化，在數位影像處理當中可以將平滑影像視為低頻影像 Y L。低頻率其實質意義就是變化幅度較不劇烈的成分，平均濾波器可以輕易得到一張平滑影像。得到低頻影像接著利用原始影像與低頻影像做相減運算取得高頻影像 Y H，高頻率其實質意義就是變化幅度較劇烈的成分。高動態範圍影像處理上必須要保留住影像細節，取得的高頻影像可以視為影像的細節。對於低頻影像的色調重現處理使用攝影色調重現的全域運算子，最後再加上高頻影像即完成處理。因為此方法主要希望給行車紀錄器使用，所以必須對於暗處的能見度提升相當要求。快速頻率分割演算法對於加完高頻影像後的處理結果再做一次攝影色調重現以提升暗處能見度。 Y I 和 Y O 分別表示輸入及輸出影像。 Y1I. -. YH. +. Low pass filter Y L Tone mapping In. Out. Tone mapping. Y2I~ n. Low pass filter. In. YL. Y1O -. +. YH. 圖2-5. Out. 快速頻率分割演算法流程圖 16. Y2O~ n.

(27) 2.5 伽瑪校正早期 CRT 螢幕因為輸出亮度曲線呈現非線性，導致為了要在螢幕上呈現正確的圖片需要對影像做一次反校正曲線，這個校正方式就是伽瑪校正 (Gamma Correction)。伽瑪的定義是從指數上去描述螢幕非線性反應程度，而伽瑪值 1 表示線性輸出。早期 CRT 螢幕的輸出曲線為伽瑪值 2.2，如果想要在 CRT 螢幕上讓影像以線性的方式呈現就需要對其做伽瑪值 1/2.2 來反校正，這樣可以讓影像在伽瑪值為 1 的情況下在螢幕上呈現，如圖 2-6 所示。然而，因為伽瑪反校正的曲線很貼近人眼對於亮度上的反應曲線，這導致有時候有人會藉由調整伽瑪值來處理高動態範圍影像且能有效的提升影像能見度。. 圖2-6. 伽瑪校正曲線. (資料來源：http://en.wikipedia.org/wiki/File:GammaFunctionGraph.svg). 伽瑪校正是針對影像 R、G、B 三個通道分別去做調整，首先，先將 R、 G、B 三個通道先正規化到 0 至 1 之間，如(2-19)式 LNor RGB 所示， LRGB 表示 R、G、 B 通道的亮度值， LDepth 表示影像格式最大亮度值。接著將 LNor RGB 取指數為伽瑪值 17.

(28) mma Gma 後再正規化到輸出影像深度(2-20)式即完成伽瑪校正得到 LGa RGB 。然而，. 伽瑪校正因為是對 R、G、B 三通道分別處理導致可能會有色偏問題。. LNor RGB  LRGB / LDepth -------------------------------------------------------------------(2-19). . LGamma  LNor RGB RGB. . Gma.  LDepth --------------------------------------------------------(2-20). 18.

(29) 2.6 區域邊緣保留之影像多重分割色調重現此論文[12]提出一個區域邊緣保留濾波器(Local Edge-Preserving Filter, LEP Filter)來多重分割影像去保留住影像細節，並配合壓縮函數產生一張處理後的高動態範圍影像。作者以一個經典的視網膜理論提到的定理為設計演算法的主要依據。這個定理認為一個場景的亮度是由光 I 和物體反射率 R 所組合而成的。如 (2-21) 式所示。作者認為一個場景的光的分佈趨勢是平滑和緩且可以承受相當大的動態範圍，而物體反射率 R 是變化非常劇烈且不能承受相當大的動態範圍。這也是為什麼需要去分割影像做處理。如同前面快速雙邊濾波器色調重現一樣，此論文提出一個 Local Edge-Preserving Filter (LEP Filter)去分割影像為基礎層和細節層分別去做處理。. L  I  R ---------------------------------------------------------------------------------(2-21) 但是要如何正確地將影像分割出基礎層 B 和細節層 D ，理論上很難去完美地分辨出影像的梯度變化是屬於基礎層 B 還是細節層 D 。而且，也很難只做一次的影像分割就可以完美地分離，所以此論文也認為一張影像可以被分割為一個基礎層 B 和多個細節層 D 。如(2-22)式所示。. L  B0  D1  D2    Dn -------------------------------------------------------(2-22) 此論文提出三種假設為處理影像為前提去設計其演算法。 1：基礎層 B 應該只包含區域平均值。 2：每一個影像邊緣應該伴隨著劇烈的梯度變化。 3：所有非零的梯度都屬於細節層 D 。. 首先為了達到前兩個假設，此論文提出(2-23)式去做一個最小化得到其濾波器的區塊大小 w (Window Size)，以得到基礎層 B 。但基礎層 B 仍有一些邊緣資訊屬於細節層，所以提出式(2-24)去保留住其細節， L 及 B 為周遭像素與中心 19.

(30) 像素的差。  為一個隨意的參數，  為和影像梯度的相依靈敏度。最後將(2-23) 式和(2-24)式做合併會得到最後的影像區域能量函數 (2-25)式。 用來平衡兩個限制性函數，   為重新調整後的參數。. w L  B  dxdy -----------------------------------------------------------------------(2-23) 2.    2 2 w L  B   L  B dxdy ----------------------------------------------(2-24)  .    2 2 w L  B  dxdy   w L  B   L  B dxdy     ----------------(2-25)  2 2   L  B    B dxdy   w  L   2. 有了影像區域能量函數，接著是設計 LEP Filter。首先，先將影像區域能量函數轉換成離散函數(2-26)式。 2  Li  Bi   iw.  Li. . Bi. 2. ------------------------------------------------------(2-26). (2-26)式可以以(Normalized Steepest Descent, NSD)去做一個最小化的動作，為了方便計算，此論文提出基礎層的資訊在區域底下應該與影像有線性相依的關係，所以提出一個假設(2-27)式， a 和 b 為所需要估算出的係數， I 為原始影像。. Bi  aw I i  bw , i  w -----------------------------------------------------------------(2-27) 最後估算出 a w 和 bw 即可得到其 LEP Filter 的輸出結果(2-28)式。  表示整張 20.

(31) 影像的區域影像， N 為影像像素總量。. Bi . 1  ak Ii  bk , i   --------------------------------------------------------(2-28) N kw. 有了 LEP Filter 最後就是亮度壓縮函數，此論文認為應該使用 S shaped 的方式去做一個壓縮，如圖(2-7)所示。(2-29)式為其所使用的壓縮函數 yx  。最後為實驗結果圖 2-8， x 為輸入的亮度值。. yx   2  arctanx  20 /  --------------------------------------------------------(2-29). 圖2-7. S shaped 壓縮曲線[12]. 21.

(32) (a) 區域邊緣保留之影像多重分割圖2-8. (b)提出的方法. 實驗結果比較[12]. 此論文的方法就實驗結果圖 2-8 只能看到對於亮處細節的保留效果上相當好，但是整體的影像細節和清晰度我們所提出的方法仍然比較好且自然。. 22.

(33) 2.7 基於梯度之高動態範圍壓縮演算法在一般高動態範圍的環境底下，一般消費型數位相機常常無法完整重現人眼的感知亮度，原因之一是機器大多為線性資料，而人眼的感知亮度卻在對數域底下呈現線性；另一原因是人眼會隨著注視的景象區域調整瞳孔大小，進而得到細節較多的影像，人眼所看的細節部分，恰可對應到對數域底下的區域對比，即為對數域下的梯度值，而由 Raanan F.所提出的基於梯度之高動態範圍壓縮演算法 [15](Gradient Domain Compression，以下簡稱 GDC)正是根據這兩點理論進行影像處理。. GDC 首先對影像進行對數計算，再對 X 軸以及 Y 軸分別計算梯度值，利用壓縮函數將梯度值進行壓縮，同時不能改變其正負號，否則會產生 halo 現象，因此只對其數值進行壓縮，對於梯度越大的像素，進行的壓縮幅度就越大，反之，梯度越小的像素，壓縮幅度也越小，藉由犧牲絕對亮度去保留區域對比的細節，壓縮完成後，將梯度值進行積分運算，再用自然指數還原為亮度，完成整套系統的演算法。. 在 GDC 演算法當中，壓縮函數是重點之一，壓縮函數主要是由影像金字塔推出，影像金字塔如圖 2-9，以輸入影像作為底層，每往上一層的影像為該影像進行高斯平滑濾波器處理以及樣本採集所得，因此每上一層影像的長寬均為原始的二分之一，計算壓縮函數時，從最上層影像開始計算該像素的梯度值，如(2-30) 式， H k x, y  表示第 k 層影像在(x,y)位置的亮度值。再使用兩個參數計算梯度的壓縮，如(2-31)式，α用來保持梯度值不變，該作者設定α為平均梯度的 0.1 倍， β代表梯度的壓縮程度，預設β小於 1，Rannan.F.設定β介於 0.8 到 0.9 之間。  H x  1, y   H k x  1, y  H k x, y  1  H k x, y  1  H k x, y    k ,  -----------------(2-30) 2k 1 2k 1  .  H k x, y    k x, y   H k x, y   . . .   -------------------------------------------------(2-31)   23.

(34) 圖2-9. 影像金字塔. (資料來源：http://cg2010studio.files.wordpress.com/2011/12/hdrc4.png?w=540) 完整的壓縮函數是影像金字塔由上到下迭代而成，如(2-32)式，在最上層的梯度壓縮計算完成後，利用線性插補將長寬變為原本的兩倍，乘上下一層壓縮後的梯度，如此迭代至最下層便可得到該像素的壓縮函數。其中的梯度值經過壓縮後，可能得到不存在的數值，因此 Rannan F.使用 linear partial different equation，利用 xy 方向偏微分找出與理想值相差最小的存在數值。 k ( x, y) 表示第 k 層的影像壓縮函數，  k x, y  表示第 k 層的壓縮參數。. k x, y   Lk 1 x, y  k x, y  -----------------------------------------------------------(2-32). 圖 2-10(a)為壓縮結果，圖 2-10(b)為梯度壓縮函數，從圖中可以很清楚的看出邊緣處對應到較黑的灰階值，而平滑的區域則對應到較白的灰階值，這正是因為邊緣處的梯度較大，必須乘上比較小的數值，以達到明顯的壓縮效果，相同的平滑區域梯度小，因此希望乘上比較大的數值，避免壓縮到此處的梯度。. (a) 梯度壓縮結果. (b) 梯度壓縮函數. 圖2-10 基於梯度之高動態範圍壓縮演算法[15] 24.

(35) 第三章演算法設計與架構. 3.1 演算法設計理念 Color Calibration. LCD Measurement. Average Filter Input. Gamma Calibration. Parameter Estimation. Color Correction. Gamma Correction Image Scaling. 圖3-1. Output. Tone Reproduction. 提出的演算法流程圖. 當初接觸到高動態範圍影像這個領域時，第一篇接觸到的論文就是攝影色調重現[4][5]。攝影色調重現提出兩種色調映射運算子：全域運算子、區域運算子。其全域運算子可以快速的將動態範圍壓縮以提升能見度，但是影像細節並沒有保留住。而其區域運算子考慮到影像區域關係來保留影像細節，但是因為每個像素配合動態選擇尺度去實作高斯模糊，這讓其運算複雜度大幅提升導致效能低落。我希望可以結合攝影色調重現兩種運算子的優點並改善缺點，且同時能夠達到高動態範圍處理上的三個要點：保留影像細節、提升影像能見度、避免光暈或環狀人造現象。除此之外，我也希望可以避免使用者自訂的參數和降低運算複雜度。. 首先，我以攝影映射函數(2-5)式為提出的演算法主體，因為其為單一的非線性壓縮函數，不僅運算較為快速且能有效壓縮影像動態範圍，但是仍然無法保留住影像細節，對於提升影像能見度上，其對影像暗處能見度有大幅度的提升，然而卻對於影像亮處過於壓縮導致亮處細節消失。為了改善這兩個問題，我們提出以區域對比影像和亮度平滑影像去改善影像細節及影像能見度。區域對比影像在 25.

(36) 許多演算法裡常常被使用到，然而若是使用的方式有問題即可能對影像產生人造現象。而亮度平滑影像是影像經由平均濾波器處理後的影像，我們希望可以利用其配合影像全域平均值去估算出影像每個像素可以被壓縮的程度來避免影像亮處細節被犧牲。然而，有了區域對比影像和亮度平滑影像後就要開始考慮要如何將其與攝影映射函數(2-5)式結合在一起。可以從攝影映射函數觀察到其分母常數 1 是沒有被賦予任何實質意義，從(2-5)式可以看到若是將常數 1 變大則會使結果變小，反之若是將常數 1 變小則會使結果變大。觀察到常數 1 對攝影映射函數造成的影響特性後，我們決定將區域對比影像和亮度平滑影像配合高斯權重分別將其值域重新分配到 0 至 1 之間去配合攝影映射函數。最後將重新分配後的區域參數融合到攝影映射函數後即完成提出的色調重現運算子。. 圖 3-1 為所提出的演算法流程圖，本論文雖然著重於處理高動態範圍影像的色調重現運算子，但是一張高動態範圍影像要能夠在螢幕上呈現出正確的色彩光只使用色調重現演算法仍嫌不足。現今常見的液晶螢幕其色彩校正、伽瑪校正都因為面板特性導致不精確。為了能在不同螢幕上都能呈現出正確的影像，最後利用光學測量儀器配合演化演算法去做色彩及伽瑪校正。. 26.

(37) 3.2 色調重現運算子所提出的色調重現運算子基於運算快速的攝影映射函數上添加區域成分以保留影像對比度和提升影像能見度。可以發現到本論文提出的流程圖並不複雜，這是因為希望能夠建構一個簡易的演算法且能得到不錯的效果。如同前面所提到的，我們希望可以改善高動態範圍影像的細節、影像能見度、避免影像人造現象。除此之外我們還希望可以避免使用者自訂參數及運算複雜度不要太高。. 首先，輸入影像會先去計算區域參數，對於計算區域參數部分先以平均濾波器配合動態選擇區塊大小 (Block Size)將影像做一個模糊化得到一張平滑影像，這讓我們可以得到每一個像素的區域平均。有了平滑影像可以配合影像全域平均值和原始影像去計算區域參數。在利用色調映射運算子處理前需要先將影像做重新調整，這個步驟我們使用攝影映射函數裡的重新分配方式，主要目的一來是希望不管輸入影像值域為何都可以將其分配到相同的值域，接著將重新調整後的結果配合區域參數實行提出的色調映射運算子即可得到初步的輸出結果。然而，現今螢幕理論上輸出曲線為伽瑪值 2.2，但是為了確保所輸出的影像正確性，先以量測儀器分別量測螢幕的 RGB 曲線，接著估算出其真實的伽瑪值在對我們的影像輸出結果實作伽瑪校正以確保在螢幕上得到正確影像。. 27.

(38) 3.2.1 影像初始調整現實生活中，一個場景的拍攝會因為影像格式與相機設定產生出不盡相同的輸出結果。常見的影像格式如：點陣圖 (BitMap File)、原始圖檔 (RAW File)、甚至是特殊格式高動態範圍影像 (HDR File)。各種格式所能呈現的動態範圍也不盡相同。錯誤! 找不到參照來源。列出三種影像格式的差異。表3-1. 不同影像格式的差異. 影像格式. 色彩空間. 位元數/像素. 動態範圍. 資料型態. BMP. RGB. 24. 10 2.4. 整數. RAW. RGB. 36. 103.6. 整數. HDR. RGBE. 32. 10 76. 浮點數. 輸入影像格式的不同對於色調重現演算法也是一種考驗，一個完整的色調重現演算法可以針對不同的影像格式處理後得到相同的結果。若相同圖片我們以不同的影像格式做色調重現演算法的處理會得到不同的結果，這並不是我們想要的，我們希望相同場景即使以不同的影像格式表示經過處理仍然可以得到相同的結果。表 3-2 表示一張高動態範圍影像轉成 3 種影像格式，分別為 BMP 格式、 RAW 格式、HDR 格式。我們使用這三張影像直接做簡單的色調重現演算法處理得到結果圖 3-2。我們可以清楚地看出三種影像的處理結果差異相當大，這是因為影像格式的不同連帶影像亮度範圍也跟著不同的關係。為了避免這種問題發生我們希望對影像做一個初始調整，這樣的調整希望可以方便我們在不同影像格式下處理相同場景仍然可以得到相同結果，如圖 3-3所示。. 28.

(39) 表3-2. 高動態範圍影像轉成不同影像格式. 影像格式. Lmin. L. Lmax. Lmax L. Lmax  Lmin L. BMP. 0. 23. 255. 11.08. 11.08. RAW. 0. 376. 4096. 10.89. 10.89. HDR. 0.002086. 0.323821. 3.460877. 10.687. 10.68. (3-1)式主要做法是以整張影像每個像素亮度去除以影像全域平均值，這樣可以確保相同場景即使以不同影像格式呈現經由色調重現演算法處理後仍可以得到近似的結果。 L A 表示影像全域平均值， Lx, y  表示於(x,y)位置輸入的影像亮度， Ls x, y  為重新調整後的結果。如表 3-2 所示：可以看到相同場景在 BMP 格式、RAW 格式、HDR 格式下經由影像初始調整後的值域範圍相當接近。這樣的結果經由色調重現演算法處理後可以得到近似的結果圖 3-3，而不會像圖 3-2一樣差異太多。. Ls x, y  . Lx, y  L A ------------------------------------------------------------------(3-1). 29.

(40) (a) 原始影像. (b) BMP 影像格式處理結果. (c) RAW 影像格式處理結果圖3-2. (d) HDR 影像格式處理結果. 各影像格式未經過初始調整後處理結果 30.

(41) (a) 原始影像. (b) BMP 影像格式處理結果. (c) RAW 影像格式處理結果圖3-3. (d) HDR 影像格式處理結果. 各影像格式經過初始調整後處理結果 31.

(42) 3.2.2 平均濾波器平均濾波器是數位影像處理上常用的一種低通濾波器，它將影像以一個區塊 (Mask)逐一對每個像素與其周遭像素做卷積運算(Convolution)。在色調重現演算法中，不能只是針對輸入影像做全域性的調整，這會造成影像細節被破壞。在影像處理過程中必須考量像素與周遭像素之間的關係來避免影像細節消失。在提出的演算法中需要考量每個像素的區域平均值 L x, y  ，而經由平均濾波器處理後的影像像素可以視為區域平均值。在保留影像細節上，傳統攝影色調重現區域運算子是針對影像每個像素以高斯模糊處理並跟原始影像做比較得到影像對比度，然而高斯模糊的運算複雜度過高造成處理耗時。我們希望可以盡可能降低演算法運算複雜度，所以我們選擇使用平均濾波器來取得影像區域對比度。目前我們選擇使用平均濾波器來計算區域平均來進行區域參數估算。平均濾波器公式如下： W 1 Lx, y   2W  12 i   W. W.  L( x  i, y  j) ----------------------------------------(3-2). j  W. 然而，輸入的高動態範圍影像經由平均濾波器得到的亮度平滑影像可以保留住影像細節。但是過度的擷取影像細節會導致之後的運算結果出現光暈或描邊等不自然現像，這不是我們樂見的。為了避免這種情況，我們提出動態選擇濾波器區塊大小 W 。然而，對於濾波器區塊大小 W 的選擇也是一個問題。我們認為每張影像應該根據其大小而去決定濾波器區塊大小 W 。若是以固定區塊大小去對影像做處理可能會造成描邊效應或細節提升不夠明顯，這是因為區塊過大或是過小的關係。由圖 3-4可以很明顯的看出當濾波器區塊大小 W 過大時會造成描邊效應。我們經由反覆測試認為以一張 VGA 格式的影像來看，使用區塊大小 W 為 3 是比較適合的。接著以輸入影像的面積與 VGA 影像的面積比值開根號去判斷需要的濾波器區塊大小(3-3)式。從圖 3-2可以明顯看出若以固定區塊大小 W 會在輸入影像大小不一時造成描邊效應， Aimage 和 AVGA 分別表示輸入影像及 VGA 影像大小， H image 和 Wimage 表示影像的高和寬。. 32.

(43)  Aimage  Aimage  1 , if AVGA  AVGA  W  Aimage ---------------------------------------------------(3-3)  1 , if  1  AVGA . AVGA  640 480 -------------------------------------------------------------------(3-4) Aimage  Himage  Wimage -----------------------------------------------------------(3-5). (a) 動態分配區塊大小 W = 3. (b) 固定區塊大小 W =13. (c) 動態分配區塊大小 W = 5 (d) 固定區塊大小 W =13 圖3-4 動態與固定分配區塊大小 W 的結果差異. 33.

(44) 3.2.3 參數估算在這個章節我們需要計算出區域參數給之後的色調重現運算子所使用。一個完整的色調重現演算法包含著全域性調整以及區域性調整，這裡所估算出的參數主要是提供色調重現運算子擁有區域性調整的能力。一張高動態範圍影像，因為其過於廣大的動態範圍導致低動態範圍的影像格式無法完整呈現其真實場景。我們認為處理一張高動態範圍影像應該有三個重點要同時處理：保留影像細節、提升影像能見度、避免影像人造現象。以往的色調重現演算法通常只兼顧到其中幾項甚至只有一項，或是有顧到全部但是效果不盡理想。如：攝影色調重現演算法的全域運算子只有提出一個非線性的壓縮函數去調整整張影像的動態範圍，但是並沒有考慮到影像細節。而攝影色調重現的區域運算子使用高斯濾波器去計算影像每個像素的對比度後再進行亮度壓縮，但是並沒有調整影像全域平均值到輸出影像中間灰階值。我們提出的色調重現演算法能兼顧三個重點並進行同時處理。在避免影像人造現象上，我們已經於先前計算亮度平滑影像時配合動態選擇濾波器區塊大小來避免。而接下來在保留影像細節及更進一步提升影像能見度上，我們提出兩種區域參數：對比值 (Contrast Value)、灰暗值 (Darkness Value)來幫助我們達成目標。. 對比度 C x, y  (Contrast)主要可以幫助我們保留住影像細節，如(3-6)式所示，其代表影像像素與其周遭像素間的對比關係。一個完整的色調重現演算法包含著全域性調整以及區域性調整。全域性調整對影像做一致性的亮度處理，只能得到一張極為自然的平滑影像，但沒有考慮像素與周遭鄰居像素間的對比關係，因此無法做到保留影像細節。而區域性調整主要是希望在全域性調整過程中幫助找到更適合該像素的亮度調整程度以保留住影像細節。攝影色調重現區域運算子利用不同遮罩大小的高斯濾波器去計算出中心像素與周遭像素的對比度，然而這個做法運算相當耗時。我們提出的對比值是利用輸入影像與亮度平滑影像的比值並配合高斯權重得到，如(3-9)式所示，這個做法依然可以取出影像對比度且運算時間相當快。從圖 3-5可以明確看到輸入影像經由(3-6)式處理後可以得到影像對 34.

(45) 比度 C x, y  ，對比度影像亮處代表我們希望將其調亮，反之，影像暗處代表我們希望將其調暗。. C  x, y  . L  x, y  Lx, y  -----------------------------------------------------------------------(3-6). 圖3-5. 原始影像及對比度(3-6)式 35.

(46) 灰暗度 Dx, y  (Darkness)是指跟影像全域平均值相較起來灰暗的程度，如 (3-8)式所示，這是我們提出的一個全新的區域性參數。對於高動態範圍影像的處理上最重要的是壓縮其動態範圍且不能有人工現像發生。攝影映射函數是以非線性函數來壓縮動態範圍，但是這是直接針對整張影像做一致性的調整，若調整幅度過大可能造成影像細節消失。既然無法在非線性壓縮函數上做更進一步的壓縮，我們提出灰暗度 Dx, y  這個區域性參數讓影像動態範圍壓縮得更劇烈且不會造成影像細節消失。灰暗度 Dx, y  代表著影像像素跟影像全域平均值相較起來的灰暗程度。我們認為比影像全域平均值還灰暗則應該將亮度往上調亮，反之，比影像全域平均值還明亮則應該將亮度往下調整。灰暗度需要使用到影像全域平均值，影像全域平均值在攝影色調重現裡是使用對數的方式去統計影像像素，但是仍然計算複雜。我們使用算數平均的方式去計算影像全域平均值 L A (3-7)式，公式如下表示，其中 Lx, y  為輸入影像於(x,y)位置的亮度值， H image 和 Wimage 表示影像的高和寬， N 表示影像像素總量。. 1 LA  N. H image1 Wimage1. D  x, y  .   Lx, y  ------------------------------------------------------------(3-7) y 0. x 0. LA Lx, y  -----------------------------------------------------------------------(3-8). 圖 3-6表示原始影像及轉換後的灰暗度影像，我們可以看到輸入影像暗處在灰階度影像中為偏亮，而輸入影像亮處在灰階度影像中為偏暗。這是因為我們希望越灰暗的地方應該要往上調亮，而越亮的地方應該往下調暗。. 36.

(47) 圖3-6. 原始影像及灰暗度(3-8)式. 37.

(48) 在介紹完我們提出的區域參數：對比度、灰暗度後，接下來要解釋說為什麼需要對其做高斯權重轉換以得到 VC x, y 、VD x, y 。我們是基於一個攝影映射函數上去添加區域性調整成分，然而非線性壓縮函數已經具有壓縮動態範圍的功能，我們不可能讓區域成分調整的幅度過於劇烈，因為這樣有可能造成人造現像。我們藉由導入權重的方式來重現分配區域成分對於色調重現運算子的影響程度。高斯權重轉換是目前常見的計算權重的方式。公式如下：. VC x, y   e. . 1 L x, y   1.44 L  x , y . VD x, y   e. ------------------------------------------------------------------(3-9). 1 LA   1.44 L  x , y . --------------------------------------------------------------(3-10). 計算權重的方式可以讓區域對比度和全域對比度倒數根據其值域重新分配到 0 至 1 之間，這樣方便與色調重現運算子做搭配。對於其中常數 1.44 的選擇原因，當區域對比度與全域對比度倒數皆為 1 的時候，代表該像素不需要做任何區域性調整，則應該以攝影映射函數(2-5)式為主，全域運算子的分母常數 1 不該做任何改變。而選用常數 1.44 轉換對比度和灰階度，會將這兩個數值各自計算得到 0.5 的數值如圖 3-7所示，當輸入值為 1 時其輸出結果為 0.5。當對比度和灰階度都為 1 經由(3-9)、(3-10)式轉換後皆為 0.5 其總合為 1，符合原先不做任何區域性調整的目的。圖 3-8表示轉換後的區域參數：對比值、灰階值的示意圖，其中影像亮處表示我們希望將其調暗，反之暗處表示我們希望將其調亮。這是因為我們將區域參數取代攝影映射函數(2-5)式中的分母常數 1，分母值越大其輸出結果越小，反之，分母值越小其輸出結果越大。. 38.

(49) 圖3-7. (3-9)、(3-10)式高斯權重模擬圖. 39.

(50) (a) 原始影像. (b) 對比值影像圖3-8. (c) 灰暗值影像區域參數的示意圖. 40.

(51) 3.2.4 色調映射運算子色調映射運算子在種類上分為：全域運算子 (Global Operator)、區域運算子 (Local Operator)。全域運算子的運算速度較為快速，因為是針對整張影像使用相同設定的非線性壓縮函數去調整亮度，然而，也因為如此沒有考慮到像素之間的區域對比關係，這有可能會讓影像細節消失。區域運算子有考慮到像素之間的區域關係，因此可以保留住影像細節。然而，考慮每一個像素的區域關係會讓運算複雜度大幅度的提高，而如何在保留細節的同時又能壓縮動態範圍且避免人造現象一直是區域運算子需要思考的問題，其之間的差異如錯誤! 找不到參照來源。表示。表3-3. 色調重現運算子的差異. 運算子種類. 優點. 缺點. 全域運算子. 運算速度快，效果提升明顯. 可能導致過曝，細節消失. 區域運算子. 保留住影像細節. 人造現象，運算過於複雜. 本論文提出的色調映射運算子能夠同時考慮到保留影像細節、提升影像能見度、避免人造現象。並運算複雜度並不會太高且避免使用者自訂參數。我們以攝影映射函數(2-5)式當作我們色調重現運算子的主體，其輸出範圍落於 0 至 1 之間。首先，影像經由影像初始調整(3-1)式處理後，可以讓不同影像格式經由提出的色調映射運算子處理後得到相同的結果。. 有了全域性的壓縮函數之後，因為其只能針對影像做一致性的調整，並無法針對每個像素的狀況去做獨自調整。所以先前所計算的兩個區域性參數：對比值、灰暗值就需要添加進去以達成保留影像細節、更進一步提升影像能見度的目的。藉由觀察(2-5)式可以得知其常數 1 若是越大則結果越小，反之常數 1 越小則. 41.

(52) 結果越大。所以我將常數 1 替換掉，以對比值 VC x, y  及灰階值 VD x, y  取代而完成我的色調映射運算子(3-11)式， Ls x, y  為影像初始調整後的結果。. Ld x, y  . Ls x, y  VC x, y   VD x, y   Ls x, y  ------------------------------------(3-11). 接下我們會介紹添加區域參數後有了什麼改善，首先對比值主要是拿來提升影像細節，但是提升幅度不能太高，這會造成影像出現描邊效應或是不自然現像。我們以 0.5 取代灰階值來驗證對比值到底提升了多少對比度，因為對比值 VC x, y  若等於 0.5 表示不需要做任何區域調整，此時會跟(2-5)式一樣。公式如下：. Ld x, y  . Ls x, y  VC x, y   0.5  Ls x, y  -------------------------------------------(3-12). 圖 3-9表示攝影映射函數(2-5)式與添加對比值後公式(3-12)的比較結果，由結果可以看出我們有提升影像細節且不會造成不自然現象或是描邊效應。其中圖 3-9 (d)表示兩張影像相減後以 0 為基準分別對兩邊做正規化後的結果。可以看出影像暗處表示亮度調暗，而影像亮處表示亮度調亮。. 42.

(53) (a) 原始影像. (b) 攝影映射函數(2-5)式結果. (c) 添加對比值後(3-12)式結果. (d) b 和 c 兩圖的差異. 圖3-9. 添加對比值後的結果差異. 43.

(54) 接下來是灰階值添加後的效果比較，灰階值我們希望它可以更進一步壓縮影像動態範圍。我們目標是影像暗處可以再提升，而影像亮處可以再壓低以提升影像能見度。我們仍然以 0.5 取代對比值來完成公式，公式如下：. Ld x, y  . Ls x, y  0.5  VD x, y   Ls x, y  -----------------------------------------(3-13). 圖3-10 攝影映射函數與(3-13)式的差異. 圖 3-10表示攝影映射函數 (Photographic Mapping Function, PMF)和添加灰階值後的色調重現運算子公式(3-13)的結果差異。由圖中可以看出我們添加灰階值後的結果對於影像暗處有更進一步的提升，而影像亮處也有更進一步的壓低。圖 3-11為結果圖片比較。可以看到灰階值後的影像暗處亮度提升了不少，而且影像亮處仍然沒有造成過曝。其中圖 3-11(d)表示兩張影像相減後以 0 為基準分別對兩邊做正規化後的結果。可以看出影像暗處表示亮度調暗，而影像亮處表示亮度調亮。 44.

(55) (a) 原始影像. (b) 攝影映射函數(2-5)式結果. (c) 添加灰階值後(3-13)式結果. (d) b 和 c 兩圖的差異. 圖3-11 添加全域對比度倒數後的結果. 45.