高動態範圍下的影像融合與色調重現
78
0
0
全文
(2) 高動態範圍下的影像融合與色調重現. 學生：黃瑋琦. 指導教授：高文忠博士. 國立臺灣師範大學應用電子科技研究所碩士班. 摘. 要. 色調重現目的是去調整或映射高動態範圍影像，調整影像圖素的亮度以及更 好的對比度。本論文提出一個完善的彩色影像系統對於在極高動態範圍下場景的 影像拍攝。用五張不同曝光的原始影像作融合來拓展動態範圍的概念，搭配色調 重現和局部對比增強演算法以重現原始影像的對比和細節。 系統首先融合多張不同曝光的原始影像以獲得更多的動態範圍資訊，融合後 原始影像的有效動態範圍可以擴展到 256 倍，接著對影像在不同亮度下重複抽取 邊緣以擷取影像的細節，我們所提出的色調重現演算法將所擷取到的最佳邊緣統 計圖作等化以分配到更均勻分佈的區域。最後區域對比增強使影像的細部更明 顯。經由實驗結果，我們提出的高動態範圍影像系統能夠在色調重現及色彩鮮明 度上得到好的結果。. 關鍵字：色調重現、影像融合、高動態範圍、數位相機、統計圖等化、區域對比 增強. i.
(3) High Dynamic Range Imaging by Image Fusion and Tone Reproduction student：Wei-Chi Huang. Advisors：Dr. Wen-Chung Kao. Institute of Applied Electronics Technology National Taiwan Normal University ABSTRACT Tone reproduction attempts to scale or map high dynamic range image data such that the resulting image has preserved the visual brightness and better contrast impression of the original scenes. In this paper, we propose an integrated color imaging system for taking images in extremely high dynamic range scenes. The system first fuses several differently exposed raw images to acquire more intensity information. The effective dynamic range of the image raw data can be extended to 256 times if five differently exposed images are fused. Then it runs edge detection iterations to extract the image details in different luminance levels. The proposed tone reproduction algorithm equalizes the histogram of the extracted fine edges which tends to assign larger dynamic range for highly populated regions. Finally, the local contrast enhancement is performed to further refine the image details. The experimental results show that the proposed high dynamic range imaging system has good performance on both tone and color reproduction. Keywords: Tone reproduction, image fusion, high dynamic range, histogram equalization, digital camera, local contrast enhancement. ii.
(4) 致. 謝. 感謝我的指導教授高文忠博士這兩年來的用心指導和諄諄教誨，無論是在研 究指導上或做人處事上，教導我們正確的態度和觀念，老師給予我的教導和幫 助，都讓我獲益良多。另外在同儕的學習夥伴上，感謝實驗室的宏碩、聯陽和家 平學長，民儕和奇明同學，以及嘉安、志兆、志祥學弟，還有從業界來的宏信和 大學部的敬中學弟，這兩年有你們的陪伴和砥礪讓我學習上克服許多困難，並且 讓我的生活更增添許多回憶。 感謝父母親一直不斷的栽培和教養，讓我無後顧之憂，得以從碩士班完成學 業，踏入人生的另一個階段。最後感謝所有陪伴我兩年碩士班的所有師長和同 學，我會永遠記得你們。. 黃瑋琦. 謹誌. 2008年6月25日. iii.
(5) 目. 錄. 要 ............................................................................................................... i. 摘. ABSTRACT ................................................................................................................... ii 致. 謝 ................................................................................................................... iii. 圖. 目. 錄................................................................................................... vi. 表. 目. 錄................................................................................................. viii. 第一章 緒論 ...................................................................................................................1 1.1 研究動機與背景 ...................................................................................................1 1.2 相關研究概述 .......................................................................................................2 1.3 高動態範圍存在的問題 .......................................................................................4 1.4 提出的方法 ...........................................................................................................5 1.5 論文架構 ...............................................................................................................6 第二章 色調重現相關研究及探討 ...............................................................................7 2.1 影像相關背景 .......................................................................................................7 2.1.1 高動態範圍與壓縮.........................................................................................7 2.1.2 人類視覺系統.................................................................................................8 2.1.3 色彩空間.........................................................................................................9 2.2 彩色影像處理流程 .............................................................................................11 2.3 色調重現之相關研究 .........................................................................................16 2.3.1 統計圖等化...................................................................................................16 2.3.2 色調重現曲線(TRC) ....................................................................................22 2.3.3 色調重現算子(TRO) ....................................................................................32 第三章 色調重現演算法 .............................................................................................38 3.1 演算法架構 .........................................................................................................38 3.2 多重曝光影像的融合 .........................................................................................39 3.3 邊緣偵測與色調重現曲線(TRC).......................................................................42 3.4 區域對比的增強 .................................................................................................47 3.5 RGB增益值的調整 .............................................................................................48 3.5.1 TRC的增益 ...................................................................................................48 3.5.2 區域對比的增益...........................................................................................50 第四章 實驗結果 .........................................................................................................51 4.1 概要.....................................................................................................................51 4.1.1 影像來源介紹...............................................................................................51 4.1.2 彩色影像格式...............................................................................................52 iv.
(6) 4.1.3 實驗場景.......................................................................................................53 4.2 單張原始影像與五張融合的比較 .....................................................................54 4.3 局部對比增強的結果 .........................................................................................55 4.4 影像處理流程的結果比較與投票結果 .............................................................57 第五章 結論與未來工作 .............................................................................................64 5.1 結論......................................................................................................................64 5.2 未來工作 .............................................................................................................64 參考文獻 .......................................................................................................................65. v.
(7) 圖. 目. 錄. 圖 2-1 A*及B*色彩空間.................................................................................................11 圖 2-2 彩色影像處理流程 ...........................................................................................12 圖 2-3 伽瑪校正曲線，伽瑪值範圍 0.04～25.0.........................................................15 圖 2-4 WTHE演算法的統計圖 ....................................................................................18 圖 2-5 DHE演算法之統計圖展開示意圖 ...................................................................20 圖 2-6 片段線性TRC映射 ...........................................................................................21 圖 2-7 不同照射亮度在反射物上的TRCS .................................................................23 圖 2-8 反射物上在對數空間的TRCS : (A)相對對數重現亮度與相對對數景物亮度 的關係 (B)相對對數景物亮度與密度間的關係 .................................................23 圖 2-9 改變M相對應的色調重現曲線 ........................................................................25 圖 2-10 影像對比M和亮度F 改變所對應影像的.......................................................26 圖 2-11 亮度適應A和色彩適應C改變所對應影像.....................................................27 圖 2-12 由左至右為原始影像和經過亮度映射函數一次、二次、三次後逐漸變亮 的結果....................................................................................................................28 圖 2-13 由左至右為原始影像和經過亮度映射函數逆轉換一次、二次、三次後逐 漸變暗的結果........................................................................................................28 圖 2-14 將影像分成 25 個有不同權重的區塊............................................................28 圖 2-15 自動曝光演算法..............................................................................................29 圖 2-16 SVE樣本 ..........................................................................................................30 圖 2-17 對比響應的變換函數圖 .................................................................................31 圖 2-18 提出的影像增強法之方塊圖 ........................................................................32 圖 2-19 亮度和彩度平行處理的整體架構圖 ............................................................34 圖 2-20 KNEE曲線 .......................................................................................................35 圖 2-21 LCRT的概念圖 ...............................................................................................36 圖 3-1 演算法系統架構圖 ...........................................................................................38 圖 3-2 影像融合流程圖 ...............................................................................................39 圖 3-3 正常曝光與 4 倍曝光影像亮度示意圖 ...........................................................40 圖 3-4 融合五張不同曝光的影像過程示意圖 ..........................................................42 圖 3-5 色調重現演算法流程圖 ...................................................................................42 圖 3-6 不同亮度下所抽取到的邊緣示意圖 ..............................................................43 圖 3-7 將邊緣作合併後的邊緣圖...............................................................................44 圖 3-8 過濾掉雜訊後正確的邊緣圖 ..........................................................................45 圖 3-9 統計圖等化前的亮度 L * 統計圖 .....................................................................46 圖 3-10 直方圖等化後的亮度 L * 統計圖...................................................................46 圖 3-11 相對應的色調重現曲線TRC.........................................................................47 圖 3-12 區域對比示意圖.............................................................................................48 vi.
(8) 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 3-13 圖 3-7 之區域對比灰階圖 .............................................................................48 4-1 原始影像資料...................................................................................................52 4-2 原始資料格式及BAYER PATTERN插補格式.....................................................52 4-3 標準色卡...........................................................................................................54 4-4 未經過色調重現前的五張融合示意圖 ...........................................................54 4-5 經過色調重現和伽瑪校正後的五張融合示意圖 ...........................................55 4-6 色調重現未經過區域對比增強的影像 ...........................................................56 4-7 色調重現經過區域對比增強後的影像 ...........................................................56 4-8 色調重現未經過區域對比增強的標準色卡 ...................................................57 4-9 色調重現經過區域對比增強後的標準色卡 ...................................................57 4-10 色調重現前後的第一組室內影像 .................................................................58 4-11 色調重現前後的第二組室內影像 .................................................................59 4-12 色調重現前後的第三組室內影像 .................................................................59 4-13 色調重現前後的第四組室內影像 .................................................................60 4-14 色調重現前後的第五組室內影像 .................................................................61 4-15 色調重現前後的第六組室內影像 .................................................................61 4-16 色調重現前後的第一組室外影像 .................................................................62 4-17 色調重現前後的第二組室外影像 .................................................................63. vii.
(9) 表. 目. 錄. 表 4-1 圖 4-10 至圖 4-17 的投票結果 .........................................................................63. viii.
(10) 第一章. 緒論. 1.1 研究動機與背景 近幾年來在資訊展產品中的寵兒除了電腦設備與手機外莫過於就是數位相機 (Digital Still Cammera)，在以往消費性電子展覽中，數位相機也發展出一些新穎 的技術，例如臉部對焦、微笑快門等，還有用來維持畫質穩定與對焦表現的光學 防手振和臉孔辨識，使得消費者在拍照時更增添了方便性和樂趣。因此這幾年數 位相機的發展可說是和手機一樣日新月異，更符合消費者的需求。. 數位相機的發展已有十多年的歷史，最早是在 1981 年 SONY 所推出的 Mavica 相機，當時由於影像壓縮和半導體儲存技術均尚未成熟，因此影像是以類比的格 式儲存在軟式硬碟中，直到後來數位信號處理 IC 和記憶卡(memory card)的技術 逐漸趨於成熟，因此在 1988 年首推出全數位式的靜態照相機，之後 Canon、 Olympus、Konica、Minolta 等大廠也紛紛跟進並推出產品，當時這些早期的數位 相機雖然較類比式相機品質改善許多，但在解析度上並未有所改善。直到 1990 年柯達公司使用 1.3 百萬畫素的 CCD(Charge Coupled Device)作為影像的感測元 件，推出的 DCS 系列相機，影像才不在受限於 NTSC 的輸出格式，數位相機的 畫質也因此大幅提昇。. 目前關於數位相機的研究除了雜訊濾除、人臉辨識外，尚有一個待改進的部 份就是關於高動態範圍呈現的色調重現(Tone Reproduction)，目的是為了能將原始 景物的亮暗對比度更貼近人的眼睛所能看到的。一般人在拍攝照片時往往不免在 背光的情形下，例如人的臉朝著相機鏡頭，在他身後是一大片的豔陽或是燈光，. 1.
(11) 在這樣的情況下所拍攝出來的照片結果通常人的臉會是一片黑暗，導致人的五官 和表情沒辦法呈現出來，但是人的眼睛卻不會受背光的影響，因為人眼會自動適 應光線，也可以清楚的看到人臉，因此好的色調重現必須做到像人眼視覺系統一 樣，能夠自動調整對比，不受任何光源的影響，這就是色調重現用來解決高動態 範圍場景的目的。影像通常被認為是紀錄人眼所看到的物理景物，因此我們希望 讓影像重現視覺印象中所記得的原始景物。而色調重現就是重現影像中原始景物 視覺上的亮度之印象的處理過程。相似地，色彩重現指的是重現色彩印象的處 理，即使色調重現和色彩重現指的分別是亮度和彩度的感知，但應該注意的是處 理這兩者間的相互影響和折衷。色調重現的準則和目標會隨著應用而改變，我們 主要有興趣的是在消費性產品影像的應用上，好的色調重現演算法是相當複雜， 即使色調重現最後的結果成功與否仍是由觀察者自己判斷，因此如何產生令觀察 者感到清晰且對比柔和的影像則是色調重現主要的目標。. 1.2 相關研究概述 文獻中關於高動態範圍影像的相關研究有許多，影像可由多重曝光照片或是 多重曝光感測器獲得[13][14]。因此如何在標準的輸出顯示器上重現高動態範圍影 像就是色調重現的目的，我們將色調重現的方法分為色調重現曲線和色調重現算 子。色調重現曲線是描述重現後的亮度和原始景物亮度之間的關係，針對整張影 像採用全域的方法找出相同的轉換函數。色調重現算子則是對影像中不同區域有 不同的映射轉換。. Reinhard et al. [19] 提出的方法結合了全域的色調重現曲線及區域的帶通濾 波器，利用傳統照片技術的增減曝光運算(dodging-and-burning)概念增強對比以解 決一個景象中有過曝和曝光不足的問題。這個方法須注意的是區域對比所採用的. 2.
(12) 高斯濾波器大小，取太大的區域算子會造成影像中亮處的邊緣存在暗環(ringing artifact)，取太小的區域算子則失去影像較多的細節。. Tumblin et al. [20] 提出一種階層性方法去顯示合成產生高動態範圍影像，影 像分成照度層和表面的特性。在照度層上包含了影像大部分的高對比，被壓縮後 再附加到包含影像細節和資訊的表面層上，這個方法在壓縮對比時可有效的保留 原始景物的細節，但只限於合成的影像。. Duan et al. [26] 提出一個演算法在低動態範圍的顯示器上保留原始景物的視 覺性和高動態範圍的對比。方法是在最高和最低的亮度間，即動態範圍內藉由一 個切割值分成兩個區域，使得這兩邊的像素分佈值是相等的，同樣方法再將這二 個區域個別分成另外兩個部份，經過n次後可分成2的n次方個區域，在相同部分 上的像素最後會映射到較低的動態範圍內相同的顯示數值上，並控制參數使統計 圖等化，調整參數使得視覺性和景物保留的對比度得到一個較佳的平衡。實驗結 果這個新的方法易使用且計算相當地有效率，可以應用在高動態範圍的壓縮技術 上。. Starck et al. [27] 提出一個以曲波變換為基礎的方法來做對比增強，特別適用 在多重尺度的邊緣增強，並且曲波的方法對雜訊影像的處理特別有效。演算法是 將原圖藉由空間的分割分解成不同的子頻帶，參考Ridgelet轉換[28]的演算法，計 算輸入影像的雜訊標準差和曲波轉換，可得到一組頻段具有係數及對應的解析 度，再計算每個經由曲波轉換後的頻段的雜訊標準差，最後將曲波係數乘以用來 修改曲波係數值的函數並重建增強後的影像。曲波轉換特別適用於代表影像的邊 緣，因此用於對比增強的影像上。實驗結果和小波轉換的方法相比較，曲波轉換 所得到的影像較顯得柔和。. 3.
(13) Meylan et al. [29] 提出以Center-Surround Retinex模型為基礎，模擬人眼視覺 系統結合全域和局部的適應性以產生高動態範圍，使用適應性濾波器和PCA去處 理亮度頻域，PCA可提供各頻域間的正交性並減少改變亮度時對彩度的影響。演 算法以人眼視網膜為基礎的濾波器度將亮度在對數下作處理，可得到一個新的亮 度值，同時對彩度作平行處理，實驗結果和其它演算法比較可有效地增強局部對 比且避免光暈，並提供影像較佳的色彩。. 1.3 高動態範圍存在的問題 過去許多的研究被提出用來擴展影像的高動態範圍，而高動態範圍影像所存 在的問題大致可分為統計圖等化(HE)和色調重現算子(TRO)的方法所造成的問 題。一般傳統的統計圖等化方法有下列的缺點: A. 統計圖等化並沒有一個機制去調整增強的程度，同時對於一張影像中不同的 部份也很難去達到一個最佳平衡的增強效果。 B. 統計圖等化常會造成視覺性不佳的缺陷，例如:過度增強(over enhancement)、 階層性飽和(level saturation)及增加雜訊。 C. 統計圖等化也可能改變影像的特性，例如:在對比增強後影像的平均亮度常常 會變得明顯的不同。 D. 統計圖等化可能導致影像中亮度資訊的遺失，或者在亮度相對均勻的區域產 生錯誤的輪廓。. 另外一類是著重在關於局部對比增強的色調重現算子，這類方法常會造成影 像中產生光暈(halo artifact)、失真(gamut)、褪色(washed-out)、ringing artifact 和 graying-out 等這樣的假影，光暈是由於鄰近兩區域亮度的差異所造成，例如:影像 中在明亮的窗戶邊，微暗的區域可能受到鄰近亮度較強的像素所影響，而導致產. 4.
(14) 生黑色的光暈。此外，對區域做濾除也可能會使得全黑或全白這些低對比的區域 變成灰色而導致褪色的現象。這對消費性產品數位相機來說相當重要，雖然色調 重現的目的是盡可能得到影像最佳的視覺對比度和影像細節的能見度，但仍以不 改變原始景物的色彩和特性為主，因此在這之間取得平衡點相當重要。. 色調重現（高動態範圍影像）技術的目的是應用在消費性產品如數位相機、 攝影機和商業軟體的後置處理及顯示器上，將原本數位相機已經處理過的照片再 做修正使影像更加好看。色調重現的方法可分為全域算子和區域算子兩類來對影 像作處理，全域算子的優點是快速且計算時間較短，但是全域對比增強的缺點是 未考慮到區域資訊的變化以致於造成影像的細節遺漏。區域算子的優點是考慮到 區域的因素而得到更多細節的資訊，但卻也造成計算時間較長，因此不適宜用在 攝影的技術上。基於兩者的優缺點，大多數的色調重現會以全域的方法為基礎， 結合區域的方法來調整影像的對比值以達到最佳的色調重現效果。. 1.4 提出的方法 我們提出的完整彩色影像處理流程的色調重現演算法是以五張不同曝光的原 始影像作融合(fusion)來拓展動態範圍的概念，搭配色調重現和局部對比增強演算 法來重現原始影像的對比和細節[4][5][6]。由於數位相機在拍攝五張曝光照片的 過程中，數位相機有時無法保持穩定或是拍攝情境中的人或物的晃動，因此需各 別作全域性抖動估測(Global Stabilization)和局部性抖動估測(Local Stabilization) 來做補償，目的是為了避免融合後的影像造成局部錯色(false color)的現象，方法 是將高曝光和低曝光的兩張原始照片依曝光量 4:1 的比例，將正常曝光的像素值 乘以四倍以達到正規化，用同一標準來進行整體性抖動估測以計算影像的整體移 動向量和局部性抖動估測，最後選取像素完成影像融合。融合後的影像以像素為. 5.
(15) 單位，對其在不同的亮度階層下利用 Sobel 的方法作抽取邊緣的動作，每次將影 像調整四倍的亮度，分別對 1 倍、4 倍、16 倍、64 倍和 256 倍去抽取邊界在作合 併可抽到更多亮暗處的邊緣，再將所抽取到的邊界在 CIELAB 空間下作邊緣亮度 L* 值的直方統計圖，作成累積分佈函數(Cumulative Density Function, CDF)，以對統 計圖作等化和動態建立色調重現曲線(Tone Reproduction Curve, TRC)。統計圖等 化將亮度較集中的區域分配到其他較稀疏的區域以得到較平均的亮度分佈和較 大的動態範圍。另外我們加入了局部對比增強(Local Contrast Enhancement)的方 法，以每個像素為中心點，計算周圍 25 個像素的亮度 L* 值平均，以中心點像素 和周圍平均值的差異為概念，取對數值並作正規化以得到整張影像的局部對比調 整增益，進一步將影像達到對比增強的效果。最後一個步驟是在 sRGB 色彩空間 下根據 TRC 和局部對比的增益對每一像素的 R、G、B 三原色做調整，概念是由 於調整後的像素亮度 L* 值要和 TRC 映射所對應的目標亮度 L* 值必須相同。. 我們的系統架構採用不同曝光的原始影像可保留更多原始景物的物理量，融 合五張影像後的動態範圍更可高達 256 倍，呈現更深的色彩深度。另外和單張曝 光影像相比較下，可降低雜訊。局部對比增強也將原本較亮和較暗區域的細節呈 現出來。而我們選擇在 sRGB 色彩空間而不是在 CIELAB 空間下調整亮度是為了避 免造成色彩的失真。. 1.5 論文架構 後續的第二章是色調重現的相關研究和探討，第三章是我們所提出的色調重 現的演算法系統，接著第四章是色調重現演算法的實驗結果，最後第五章則是結 論和未來將改進的工作。. 6.
(16) 第二章 色調重現相關研究及探討. 2.1 影像相關背景 2.1.1 高動態範圍與壓縮 動態範圍的定義是影像中最高和最低亮度的比值，影像的動態範圍越 高，所能呈現原始場景的細節和資訊也越多，影像也更貼近於人眼所看到 的原始景物。常見的高動態範圍(High Dynamic Range, HDR)場景，例如在 陰暗的室內向外看是一大片明亮的落地窗。高動態範圍場景可藉由色調重 現和動態範圍壓縮在顯示器上重現影像的高對比和資訊。. 傳統的電腦顯示器例如 CRT、LCD，和其他顯示影像的方法都有動態範 圍顯示的限制性。就數位相機來說，使用的拍攝裝置其動態範圍的限制使 得拍攝出來的結果會造成資訊的遺漏(loss of information)，因此不同的方法 轉換高動態範圍到可見的形式上因而發展出來，即動態範圍壓縮(Dynamic Range Compression)，又稱作色調映射(Tone Mapping)。理論上色調映射是 要解決將原始場景的亮度變換到可以顯示的範圍上的大幅度的對比度降 低，且同時保持影像的色彩、亮度和細節，因為這對於重現原始場景是相 當重要。在針對不同的場景也有色調映射目的的不同需求，在大部分場景 中，必須盡可能重現原始場景的任何細節或甚至是達到最大的對比結果， 但在其他少數場景中，則可能以產生視覺性佳的影像為主要目的，因此開 發出各種不同的色調映射演算法，例如色調映射濾波器、梯度域高動態範 圍壓縮。這些演算法的重點在於保持原始場景的對比度而非亮度的映射， 這樣的概念是由於人眼對於在不同亮度區域的對比極為敏感，一些色調映 7.
(17) 射演算法常常著重於保存最佳的對比度而產生極為銳利的影像，因此好的 色調映射演算法必須在兩者間取得平衡。例如 Mantiuk et al.[31]的高動態範 圍圖像感知框架則嘗試將高動態範圍適應到顯示器上並避免資訊因飽和而 流失，且同時保留對比度和細節，唯一缺點是可能會造成影像上雜訊的放 大。 另外一個高動態範圍的色調映射實現方法是從色調重建中的亮度感知 為核心概念，是將高動態範圍圖像分解成照明一致的區域或結構以及計算 局部亮度值。根據各個區域亮度的比例進行合併，從而計算影像的純亮度 值。其中尤其重要的是亮度定位(anchoring)，將照明的亮度對應於已知的亮 度值，也就是說哪個亮度值在場景中感知為白色。這種色調映射實現方法 不影響局部對比度，並且由於對亮度進行線性處理所以也保留了高動態影 像的自然顏色。. 2.1.2 人類視覺系統 人 眼 視 網 膜 上 分 佈 許 多 光 受 體 分 成 錐 狀 體 和桿 狀 體 。 當 人 眼 在 看 東 西 時，所看到的景物會以光的形式進入視網膜，視網膜上分佈了許多離散光 受體的視覺接收器，能將進來的光產生圖像的形式。光受體主要分成錐狀 體(cones)及桿狀體(rods)，大約有七千五百萬到一億五千萬的桿狀體以及六 百萬到七百萬的錐狀體。桿狀體分佈在視網膜(retina)表面，分佈面積大且 為幾個桿狀體和一個神經末稍相連，所以能分辨的細節減少，但對低亮度 卻很敏感，看到的是無色彩的景象，例如白天看到色彩鮮明的物體，在月 光下卻看不出色彩，此現象稱為夜視覺(scotopic)或昏暗視覺，亮度範圍從 10 -6 到 10 cd/m 2 。錐狀體主要位於視網膜中央部分的中央凹(fovea)，每個錐 狀體都與自身的神經末稍相連，所以能分辨微小的細節，對色彩很敏感， 提供景物的顏色資訊，錐狀體視覺稱為白晝(photopic)視覺或亮光視覺，亮 8.
(18) 度範圍從 0.01 到 10 8 cd/m 2 。0.01 到 10 的亮度範圍錐狀體和桿狀體同時作 用，稱為mesopic 範圍。因此桿狀體主要是提供所看到景物暗處影像，錐狀 體則提供了所看到景物影像的細節和顏色。圖 3-2 為桿狀體和錐狀體分別在 scotopic和photopic視覺亮度下正規化後的有效亮度函數分佈。桿狀細胞和錐 狀細胞可感應光的波長從 400 nm到 700 nm，對不同波長的光有不同的敏感 度，桿狀細胞的有效最高峰值波長大約是 505nm，錐狀細胞則為 555 nm。. 人眼可見到極高動態範圍，在極暗的光源下人眼對亮度變的很敏銳，可 察覺到細微的亮度變化。這是因為人眼能夠去適應周遭亮度範圍極大的環 境，並察覺亮度的細微變化，色調重現的目的便是去模擬人眼所看到高動 態範圍下景物的細節和對比。. 2.1.3 色彩空間 RGB 是彩色影像的三原色(Primary Color)，R 代表紅色光成份、G 代表 綠色光成份、B 代表藍色光成份。而一般所謂的全彩色是由 R、G、B 三種 不同成份所組成，其灰階影像為 8 位元，全彩影像為 24 位元，即 R、G、B 各佔 8 位元，值域範圍為 0-255。以錐狀體為例來說明三種顏色對光線的靈 敏度，其主要負責眼睛彩色視覺的感應器，人眼中大約有 600-700 萬個錐形 體，其中 65%可以感應紅光，33 %可以感應到綠光，2%可以感應藍光；可 見光的波長範圍為：400-700nm，紅光的波長範圍為：450-700nm，綠光的 波長範圍為：430-680nm，藍光的波長範圍為：310-560nm；在可見光與 R、 G、B 波長範圍對人眼的感應，得知人眼對藍光較不靈敏。. 在處理色調重現的過程中，最常用到色彩空間轉換就是將 sRGB 轉到 CIELAB 色彩空間[8]，目的是將亮度和彩度分離，以方便在對亮度作處理時，. 9.
(19) 不會對彩度造成改變。CIELAB色彩空間是建立在色彩視覺模型上，該空間 是經由色彩空間CIEXYZ轉換為亮度L * 以及兩色彩值a * 及b * ，其CIEXYZ到 CIELAB的轉換公式為(2-1)式到(2-5)式，其中X n 、Y n 以及Z n 為參考白點的三 刺激輸入值，R s 、G s 以及B s 分別為sRGB。. ⎡ X ⎤ ⎡0.412453 0.357580 0.180423⎤ ⎡ Rs ⎤ ⎢ Y ⎥ = ⎢ 0.212671 0.715160 0.072169⎥ ⎢G ⎥ ⎢ ⎥ ⎢ ⎥⎢ s ⎥ ⎢⎣ Z ⎥⎦ ⎢⎣0.019334 0.119193 0.950227 ⎥⎦ ⎢⎣ Bs ⎥⎦. (2-1). 在執行(2-2)式之後，其L * 亮度將可得到，而其值域為 0～100 之間，純 正數，沒有負值。 ⎛Y L* = 116 f ⎜⎜ ⎝ Yn. ⎞ ⎟⎟ − 16 ⎠. (2-2). 在執行(2-3)式之後，其 a * 色度將可得到，而其值域為-86～98 之間，也 就是會有負值的可能性。 ⎛ a * = 500⎜⎜ ⎝. ⎛ X f ⎜⎜ ⎝ Xn. ⎞ ⎟⎟ − ⎠. ⎛Y f ⎜⎜ ⎝ Yn. ⎞⎞ ⎟⎟ ⎟ ⎟ ⎠⎠. (2-3). 在執行(2-4)式之後，其b * 色度將可得到，而其值域為-108～94 之間， 也就是會有負值的可能性。 ⎛ b * = 200 × ⎜⎜ ⎝. ⎛Y f ⎜⎜ ⎝ Yn. ⎞ ⎟⎟ − ⎠. ⎛ Z f ⎜⎜ ⎝ Zn. ⎞⎞ ⎟⎟ ⎟ ⎟ ⎠⎠. (2-4). 由(2-2)式到(2-4)式中可以觀察到，三個數學式都有一個共同項 f(t)，其 定義為(2-5)式，而其中 t > 0.008856 便是為了避免有無效色域而產生的判斷 式。 10.
(20) ⎧⎪ t1 3 t > 0.008856 16 f (t ) = ⎨ t ≤ 0.008856 7.787t + ⎪⎩ 116. (2-5). 如圖 2-1 為a * 及b * 色彩空間，由a * -b * 圓可得知，相同角位置下越靠近圓 心位置的顏色越淡，越往外層的方向則其顏色亮度越深。而水平軸方向a* 代表的是紅色和綠色，垂直軸方向b*代表的是黃色和藍色。a*、b*軸的開 根號距離和角位置代表的是色彩的濃度和色度。. 圖 2-1 a * 及b * 色彩空間. 2.2 彩色影像處理流程 彩色影像處理流程是將相機所拍攝到的原始影像作資料的處理成色彩 飽和度高、無雜訊、對比度佳的高品質輸出影像，典型的彩色影像流程包 括彩色濾鏡陣列插補、自動色階、自動白平衡、雜訊濾除、色彩校正、邊 緣增強、色彩飽和度增強、色調重現和伽瑪校正等處理。. 11.
(21) Read Fused Image Raw Data L*. R G B. Auto Level. Edge Enhancement Color Saturation Enhancement. L* a* b*. G B. White Balance. G B. B. R. Color Interpolation. G B. R. Edge Detection. R. R. Linear sRGB to CIELAB b*. G B. Color Correction. R. R. CIELAB to Linear sRGB. G. G B. L* a*. a* b*. R. R. Tone Reproduction. G B. G B. R. Noise Filter. R. Gamma Correction. G B. G B. Y. sRGB to YCbCr. Cb Cr. JPEG Compression. 圖 2-2 彩色影像處理流程. 彩色影像處理流程如圖 2-2，各流程介紹如下: A. 自動色階(Auto Level)的處理在於將 RGB 三個元素的顯示動態範圍 拉到最大。其處理置於流程的一開始目的在於修正影像過曝的問 題，以及 CCD 或 CMOS 在製造時造成的暗電流物理問題。演算法 是對原始影像中所有像素值作統計圖，再累加最暗的前百分之 0.1% 和最亮的 99%的點，最後將兩控制點之間的動態範圍拉開到系統數 值所能呈現的範圍。 B. 自動白平衡(Auto White Balance)是根據感測器的光譜響應以及色溫 曲線(color temperature curve, CTC)調整為校正依據來預測光源，故 原始資料必須具有足夠的資訊去預測色溫及環境光源，所以能夠正 確估計其光源。為了防止大色塊會左右自動白平衡的計算，其演算 過程並非單純地抽取出像素的邊緣，而是作 16×16 區塊的邊緣偵 測，目的是避免影像中大色塊對於自動白平衡的紅藍因子計算會左 右數值的正確性，並且優點是區塊上的雜訊會較少。色溫曲線是經 由採集七十張在不同場景以及不同光源下的實驗結果所得，針對特 定感測器的物理特性所得到的色溫曲線，只要逼近其色溫曲線上最. 12.
(22) 靠近的光源，便可得到紅色和藍色因子，該兩個因子可用來校正彩 色影像的紅色及藍色像素。這個方法校正其自動色溫方程式時完全 考慮該感應器之特性，因此可得到不錯的效果。 C. 色彩插補(Color Interpolation)是插補原來 Bayer Pattern 中每個像素 所缺少的另外兩個色彩元素，方法是針對每個點，計算與水平軸和 垂直軸的鄰近元素間的關係，決定水平和垂直兩者間特定的權重以 決定所要插補的其他兩個元素的值，經過插補過後的影像每個像素 皆有完整的 R、G、B 三元素。 D. 色彩校正(Color Correction)是將 RGB 三刺激值從感測器(sensor)上 的光譜感測器數值轉換到人眼所看到的 sRGB 色彩空間中，由於數 位影像的擷取感應裝置於製造時，無法保證其 CCD 和 CMOS 都有 完全相同的光學物理特性，因此必須有色彩校正的影像處理將所有 的 CCD 或 CMOS 校正成相同的光學物理特性。演算法是針對影像 乘以一個三乘三的色彩轉換矩陣，色彩校正就是在於校正每個感測 器的頻譜敏感性，並且使用其校正矩陣來將 RGB 三個元素從感測器 的頻譜響應轉換到 sRGB 中，而該色彩值域便是一般顯示器呈現影 像的預設色彩空間。 E. 色彩空間轉換將色彩空間由 sRGB 轉換到 CIELAB 色彩空間以方便作 邊緣增強和飽和度增強處理，這兩個流程是在 CIELAB 色彩空間完 成的，那是因為在 sRGB、YCbCr、HIS 以及 CIEXYZ 中的輸入值並 未定義出明確的色彩差異性，兩個稍有不同的顏色在非均勻的色彩 空間上是很難辨識出來的，而在眾多均勻色彩空間中，CIELAB 色 彩空間是被最為廣為使用的，並且 CIELAB 具有色度以及亮度分離 的特性，也就是說，在 CIELAB 色彩空間中調整色度時並不會影響 其亮度的變化，反之，在調整亮度時也不會影響其彩度的變化。 F. 色彩飽和度增強(Color Saturation Enhancement)是為了增加色彩飽 13.
(23) 和度，但又必須同時保留每個像素的亮度及彩度。因此我們的方法 是選擇在亮度與彩度分離的 CIELAB 色彩空間中作處理，將影像每一 個像素的 a*和 b*乘上一個調整係數。a*、b*軸的開根號距離和角位 置代表的是色彩的濃度和色度，經過色彩飽和度增強的處理後，使 得色彩濃度更為濃郁，最後檢查輸出結果是否超出其色彩空間的邊 界值即可。 G. 色調重現(Tone Reproduction)為調整影像動態範圍，改善亮度和對 比，使影像呈現更多細節。通常數位相機在拍照前會進行自動曝光 控制，但仍然難以將整個情境的動態範圍給包含進來，最基本的問 題便是影像感測器的動態範圍遠小於情境的動態範圍。經由重現人 眼對原始情境的亮度感覺的處理演算法稱為色調重現。我們提出了 五張不同曝光的影像融合演算法以提高原始照片的動態範圍，並對 影像抽取邊界以作直方圖等化處理來得到動態的 TRC，在處理統計 圖的過程中，我們將色彩空間由 sRGB 轉換到 CIELAB 色彩空間，目的 是將亮度和彩度分離，以方便對亮度作處理。並加入區域對比來增 強亮暗處的對比，最後在色調映射時並非一般直接在亮度下作調 整，而是在 RGB 色彩空間下主要是並免顏色的失真。 H. 伽瑪校正(Gamma Correction)目的是修正螢幕的非線性響應，它是唯 一影像流程中與影像無相依性的操作。影像領域慣以螢幕的輸出電 壓與對應亮度的轉換關係曲線，稱為伽瑪曲線(Gamma Curve)。伽瑪 校正就是對影像的伽瑪曲線作處理，以對影像進行非線性色調編輯 的方法，檢出影像信號中的深色部分和淺色部分，並使兩者比例增 大，進而提高影像的對比效果。 我們的伽瑪校正演算法即 RGB = RGBγ 。由於在處理極暗的像素時， 最暗處的亮度會被瞬間拉高，不僅影響影像效果，更可能同時產生 雜訊，因此我們設定在處理 0 到 10 之間的值域時，將原本的伽瑪校 14.
(24) 正數學式作修正，如(2-6)式及(2-7)式. δ=. ΔX γ ΔX. ⎧ RGB γ RGB ′ = ⎨ ⎩ RGB × δ. (2-6). RGB ≥ ΔX. (2-7). RGB < ΔX. 由於 伽瑪校正曲線如圖 2-3，小於 1 的 γ 值會使影像變亮，大於 1 的 γ 值會使影像變暗，在此採用 γ 值為 0.45，因此輸出會比輸入影 像更為明亮，當 RGB 的原始輸入像素值超過 ΔX 則為第一種情形，影 像變化太劇烈的 區域 則採用第二種情形，將 RGB 乘以 δ 來作修正， ΔX γ 和 ΔX 的比值即 δ，代表經過伽瑪校正後的像素值和原始像素輸. 入值 的 比。. 300. Output Gray Level. 250. 0.0 200 0.1 150 0.2 0.4 100 0.4 0.6 50. 1.0 1.5 2.2. 2.5. 5.0. 10.. 0 0. 0.2. 0.4. 0.6. 0.8. 25.. 1. Input Gray Level. 圖 2-3 伽瑪校正曲線，伽瑪值範圍 0.04 ～ 25.0. 我們在數位相機上的彩色影像處理流程每一階段先後順序皆有目的 性， 例如自動色階放在流程的第一級用意在修正其影像過舖以及暗電流 的 物理製造問題，白平衡放在色彩插補的前一級是為了減低運算量，伽瑪校 15.
(25) 正在最後一級作處理是避免非線性的運算會影像彩度的校正。. 2.3 色調重現之相關研究 2.3.1 統計圖等化 統計圖等化是在空間 域上處理技術的基礎，它可用來有效地增強影像的 對比 。傳統的 HE 方法如下，假設一張影像 F (i, j ) ，總共有 N 個像素，其灰 階範圍是 [0, K − 1] ，影像的機率密度函數(Probability Density Function, PDF) 為 P(k ). P(k ) =. nk , k = 0,1,...., K − 1 N. (2-8). nk 是在影像中灰階 k 所佔的像素總數，由(2-8)式可得影像 F (i, j ) 的累積分佈. 函 數(Cumulative Distribution Function, CDF)為 C (k ). k. C (k ) = ∑ P (m), k = 0,1,...., K − 1. (2-9). m =0. 由(2-9)式中利用 CDF 的值，統計圖等化由(2-10)式將輸入映射一個輸出 H k. H k = ( K − 1) × C (k ). (2-10). 同時也可以觀察到輸出 H k 的增加量為 ΔH k = H k − H k −1 = ( K − 1) ⋅ P(k ) 16. (2-11).
(26) 也就是說， H k 的增加是正比於在原始影像 中灰階 k 相對應的機率。理論上 對影像來說連續的亮度層和 PDF 會使得映射的方法完美地等化統計圖，但 是實際上數位影像是離散的，因此傳統的 HE 並不理想。對於高密度的亮度 層，如影像的背景會造成過度增強，而低密度的部份如較小的但視覺上重 要的區域則會有增強不夠的階層性飽和問題。也因為這樣的缺點，原始的 統計圖等化方法並不實用，漸漸的許多以 HE 為基礎而改進的方法相繼被提 出。. Wang et al. [32] 提出一個權重和邊界的統計圖等化方法(Weighted. Threshol ded Histogram Equalization, WTHE)，一般來說統計圖等化將輸入對 應到輸出，這樣的方法缺點是會將高機率的部份如背景作過度的增強，但 低機率的部份增強則較不明顯。它是以傳統的統計圖等化方法加以改進， 計算每一灰階的權重，即計算機率密度函數 (PDF) 和累積分佈函數 (CDF) 。 因此WTHE利用轉換函數 Ω(.) 將PDF的權重設定最高和最低邊界值 Pu 及 Pl ， 如(2-13)式，使得轉換後所有的值都落在這兩邊界值間，對每個亮度層 的 增 加量由轉換統計圖決定。當各階層中有PDF值超高於 Pu 則其增加量 ΔH k 則會 被限制在最大值 Δ max = ( K − 1) ⋅ Pu ，設定上限可以避免高機率密度的階層支配 了輸出動態範圍。 如(2-14)式， 同時 v 也可以當作增強效果的正規化控制參 數。在 (2-13) 式中，設定參數 r 為次冪指數，當 r<1 時會給予在 PDF 中低機率 的部份一個較高的權重，且設定不同 r 值所得到的效果可接近不同的統計圖 等化演算法。例如 : r 設為 1 接近傳統的 HE，在輸出動態範圍的映射上，利用 平均調整因子補償亮度平均階層在增強後的改變，以保存原始影像的亮 度。WTHE 的統計圖分佈效果如圖 2-4，可避免過度增強各階層飽和的現象。. 17.
(27) ΔH k = ( K − 1) ⋅ Pwt (k ) ⎧ Pu ⎪⎪ P (k ) − P r l Pwt (k ) = Ω( P (k )) = ⎨( ) × Pu − P P l ⎪ u ⎪⎩ 0. (2-12). if. P (k ) > Pu. if. Pl ≤ P (k ) ≤ Pu. if. P (k ) < Pl. Pu = v ⋅ Pmax , 0 ≤ v ≤ 1. (a)影像原始統計圖分佈. (b)當 r<1 的轉換函數. (c) WTHE 等化後的統計圖分佈. 圖 2-4 WTHE 演算法的統計圖. 18. (2-13). (2-14).
(28) Kim[33]提出的Mea n Preserving Bi-histogram Equal ization(BBHE)演算法 是 先找出整張圖的平均亮度值 X m ，根據輸入平均將整張圖分成兩個子影像 X L 和 X U ，將小於平均亮度和大於平均亮度的所有灰階值個別獨立地作統計 圖等化，利用CDF當作轉換函數最後映射到輸出。結果可改善傳統的統計圖 等化的缺點，當影像中背景大部分是過暗或過亮的情形時，最終的目的在 處理對比增強時可維持原始影像的平均亮度，而不會造成不自然的對比結 果。. Wa dud, Kabir, Dewan, and Chae[34]提出的Dynamic Histogram E qualization (DHE)演算法以區域最小(local minima)為基準將影像統計圖分 割成 許多子統計圖，並將其指定到特定的灰階範圍，主要以所展開 的子統 計圖在輸入影像所佔的灰階(gray level)來決定，再作統計圖等化，展開動態 範圍的分配可以避免輸入影像被其他統計圖支配和褪色(washed out)的現 象，並確保對整張影像的每一個部份的適當對比增強。實驗結果優點是不 會導致劇烈的邊界增強效應，並可根據參數調整想要的對比增強，不會有 假影(artifact)和棋盤效應(checkboard)。. 將輸入影像的統計圖以輸入平均(inpu t mean)分成兩部份並將個別的部 份作等化，主要利用的觀念是消除較高的統計圖的支配所影響，並去控制 灰階 的展開數量以得到較合理的影像特徵增強。因此首先將統計圖分割成 許多子統計圖直到新的統計圖內沒有支配的部份，接著動態灰階範圍被分 配到每個子統計圖使其灰階可由HE映射。. spani = mi − mi −1. 19. (2-15).
(29) rangei =. spani * ( L − 1) ∑ spani. (2-16). 整個技術可分為三部份，先分割統計圖，再對每個子統計圖分配灰階範 圍，最後再對每個統計圖作等化。對每 個子統計圖，用一個分割的轉換函 數以傳統的 HE 方法為基礎來做計算，然後將輸入影像的灰階映射到相對應 的輸出影像，如圖 2-5 。. 圖 2-5 DHE 演算法之統計圖展開示意圖. Sun et al.[35] 提出Dynamic Histogram Specification(DHS)演算法以HS為 基礎 ，可增強對比而不會失去原始影像的統計圖特性，因此為了保留原統 計圖的特徵，DHS 演算法從輸入統計圖擷取了微分的資訊，首先利用設定邊 界點和一階及二階的微分擷取微分特徵點，再加上其他的參數去控制整個 過程， HS 和一般 HE 的主要差異是它會將影像的統計圖轉換到一個特定的統 計圖以達到最明亮的灰階。從一階微分的結果找出臨界點大於對比增益 值，DHS 會記錄下一階微分結果大於增益值的點，接著從二階微分結果找出 零交叉點 (zero intersection)， DHS 會記錄下零交叉點因為要保持原始統計圖 分佈的特徵。結合CPs和增益值去建立特定統計圖的 CDF，最後決定特定統 計圖的映射表。實驗結果DHS演算法不但可以保留原始統計圖分佈的特性且 20.
(30) 增強對比，並降低side effect的影響。. Pardo et al. [36] 提出的演算法特別適用在高動態範圍的影像包含的細節. 資訊 是由不同光源所造成的情形。演算法是先將(r, g, b)轉換到 L 下獲得色 彩資 訊(r/L, g/L, b/L)，使得在處理亮度時也能保留色彩資訊，並將統計圖切 割成 [ Lw min , L1 ],[ L2 , L3 ],....,[ Ln , Lw max ] ，利用 Larson et al. [9]的統計圖調整演算法 使輸入的亮度範圍映射到新的輸出亮度 範圍，並由公式計算輸出亮度 Bd ， 剛開始由分布在較暗區域的來源分配到較亮的區域，利用反覆交換兩區域 間資訊的方法直到兩區域間的大小相同，相同的方法再去處理下兩個區 間，最後將亮度轉換到(r, g, b)，為了控制色彩飽和度，增加參數 s 去計算壓 縮過的動態範圍輸出影像 ((r / L) s * L′, ( g / L) s * L′, (b / L) s * L′) ，這個方法較難 的 地方是如何適當地去切割各區域，提出了統計圖分割演算法利用機率將亮 暗的區域分離，分割影像為數個區域。 藉由ㄧ般攝影避免過曝或曝光不足 的原理，其操作方法只在對比上作改變，因而不會造成光暈 (halo artifact)。. Ld max Linear mapping. Ld min Lw min. Lw max. 圖 2-6 片段線性 TRC 映射. 21.
(31) 2.3.2 色調重現曲線(TRC) 有 關 色 調 重 現 的 研 究 方 法 大 致 可 分 成 兩 類 [2][24] ： TRC (Tone Reproduction Curve)和 TRO (Tone Reproduction Operator)色調映射。色調重 現曲線是描述重現後的亮度和原始景物亮度之間的關係，TRC 的方法又可 叫 做 全 域 性 (global) 、 空 間 上 均 勻 (spatially uniform) 或 者 單 一 規 模 (single-scale)，它是對每一像素值使用相同的轉換函數。. 由於每個影像處理系統擁有自己的光譜響應函數，CIE亮度效能函數定 義 的亮度並不一定是最適合的表示單位。然而CIE定義的亮度是根據人眼視 覺敏感度所計算得來，因此相當適合來表示色調重現的視覺效果。正因如 此，亮度已經總是來當作色調重現曲線的依據 值。目前有許多方法可以繪 出調整前後影像亮度關係的TRC，最直接的是根據景物亮度和調整後亮度所 繪出 [1] ，圖 2-7 是一般反射的紙上所看到三種不同照射亮度的 TRCs ，這個 方法所繪出的 TR Cs存在許多缺點。對於單一反射的紙上會有許多對應不同 的照射亮度的 TRCs 。從 250 lux 到 1000 lux 的照射亮度，大部份區域在反射 的紙上所看到的輸出變化並不大，因此用絕對亮度值當變數是效果不大 的。對於反射的紙或可穿透的投影片，使用相 對刻度來表示重調亮度是較 有效果的。接著是人眼所感覺到一個物體上的亮度或光線強度並非線性正 比於光源亮度。在圖 2-7 中的線性繪圖無法看出在任何區域範圍中亮度改變 的察覺率。由於韋伯定律已經被廣泛接受，對亮度取對數最常用來取代一 般亮度尺度。且由於對數亮度和對數亮度尺度所畫曲線的斜率與觀察到對 比度有關，因此繪出 TRC 最廣泛使用的方法便是取對數座標，如圖 2-8 是上 述使用對數座標所畫的 TRC 和表示為密度。對數座標所畫的 TRC 不只看起來 跟線性座標所畫不同，並且可以得到更多影像資訊，例如圖中紅色圈起來 部分，曲線幾乎成直線 ( 大約是 x 軸上的 -1.6 到 -1.0)，這也顯示區間相對應亮. 22.
(32) 度所感覺到的對比度幾乎不變是一個常數值。這段區域在線性座標軸所對. Luminance reproduction (candela per square meter). 應到的亮度值是 500 到 2000 cd m -2 ，只佔整個範圍的一小部分。. 300.0. 1000 lux. 200.0. 500 lux 100.0. 250 lux. 0. 0.0 0 0.0. 5000.0. 10000.0. 15000.0. 20000.0. Science luminance (candela per square meter). 圖 2-7 不同照射亮度在反射物上的 TRCs. 2.0. -0.5. 1.5. density. Relative log reproduction luminance. 0.0. -1.0. -1.5. -2.0 -3.0. 1.0. 0.5. 0.0 -2.0. -1.0. 0.0. -3.0. Relative log scene luminance. -2.0. -1.0. 0.0. Relative log scene luminan luminance ce. (b). (a). 圖 2-8 反射物上在對數空間的 TRCs : (a)相對對數重現亮度與相對對數景 物亮度的關係 (b)相對對數景物亮度與密度間的關係. Koczy et al. [37]提出新的色調重現演算法，通常在處理數位影像上高動 23.
(33) 態範圍常導致失真 ，且重要的資訊常可能隱藏在最亮或最暗 的地方，以亮 度定位(anchoring theory)和影像分割為基礎，提出新的亮度定位估測(anchor estimation)演算法和一個新的算子來決定輸出像素在顯示器上的亮度值。. 亮度定位(anchoring)理論有兩個基本的準則，第一是最高亮度規則，將 白色的值給定到顯示器上最高的亮度值且當作較暗表面的適用標準，第二 是平均亮度的準則，說明平均亮度在視覺領域上會被察覺為中間灰色 (middle gray)，因此相對應的亮度值必須藉由其平均值被固定到中間灰階。 演算法是利用將影像分割成許多的組織(framework)，藉由切割找出每個切 片的質心(centroid)，利用K-means clustering演算法可得到各個組織的質心， 將統計圖操作在 log10 的亮度上，假設兩個相近質心的差異小於某個邊界值， 則此二個質心必須合併，由演算法可得 到新的權重平均值，接著對每個像 素給定一個屬於那些組織的友誼函數(membership function) ，藉由一個權重 因子 (articulation factor) 來乘以友誼函數以調整最後的輸出，並合併這些組織 來計算像素的全域亮度。最後用以色調映射為基礎的函數作為演算法去將 高動態範圍對應到輸出螢幕上。實驗結果可重建影像上最亮的區域並顯示 出其細節，且降低計算複雜度。. Reinhard et al. [38] 提出的方法是根據生理學的證實，光的吸收在人眼的 感光體作用，因此將可以很容易的以這觀念來建立色調重現演算法。人類 視覺神經系統經由許多接收機制可有效克服光的高動態範圍，在這許多機 制組成的視覺處理流程中，光感受體 (photorece ptors)也就是桿狀體 (rods) 和 錐狀體 (cones) 是首要的處理細胞，所以色調重現模型將以感受體已知的行為 來做模擬。利用對平均亮度值取對數的方法以控制較小的計算量，一般色 調重現演算法分為全域和局部兩種方法，全域的方法較有效率但容易失去. 24.
(34) 影像的細節，所以採用光感受體(photoreceptor)的方法，目的是將 R、G、B 三個頻域獨立地處理，包含色彩轉換使得白點位移。將色調重現模型以感 受體已知的行為來做模擬，由錐狀體所產生的電位 V 如(2-17)和(2-18)式所 示。. V =. I. Vmax. (2-17). σ ( I a ) = ( fI a ) m. (2-18 ). I + σ (I a ). 其中 m 是控制影像對比的參數， σ ( I a ) 是描述光感受體以 I a 為適應函數的狀 態，不同的 m 值會有不同的 TRC ，如圖 2-9 所示。. 圖 2-9 改變 m 相對應的色調重現曲線. f 是控制影像的亮度，考慮改變 m 和 f 時，影像變化情形如圖 2-10，中間的 影像則是使用預設的參數值，效果較佳。. 25.
(35) 圖 2-10 影像對比 m 和亮度 f 改變所對應影像的. 為了移除影像中主導的色彩，經由參數 c 來改變 R、G、B 適應亮度 I a，(2-19) 式為獨立或相依的關係，當 c =1，則 R、G、B 三個適應亮度是獨立的，c = 0，適應亮度對 R、G、B 來說皆相同。. I a = cI r| g |b + (1 − c) L. (2-19). 除此之外，考慮了適應亮度 I a 是區域性的還是全域性的，當 a = 1 為區域的， a = 0 為全域的，(2-20)式所示。. I a = aI r | g |b + (1 − a ) I av r | g |b. (2-20). 最後結合適應亮度 I a 與彩度的相依或獨立和全域或區域，得到(2-21)式 26.
(36) I a = aI local + (1 − a )I globall a a al I loc = cI r| g |b + (1 − c) L a. (2-21). av I aglobal = cI av r | g |b + (1 − c ) L. 圖 2-11 為 a 和 c 分別從 0 到 1，從左到右每次改變 0.2 影像變化的情形，可 以看到原本左邊主宰黃色往右漸漸 被移除。. 圖 2-11 亮度適應 a 和色彩適應 c 改變所對應影像. 實驗結果可藉由設定 m, f ′, c, a 四個參數個別控制整張影像的對比、亮度、色 彩適應和亮度適應，以達到人眼所看到的真實影像。. Lim et al. [39]提出以自動曝光 (AE) 為前置處理去決定是否需要對比增強 (CE) 的演算法，將輸入的影像利用亮度映射函數 τ 去產生多重影像以提高動態範 圍，如圖 2-12 和圖 2-13。其中常用的統計圖均等化(HE)的方法的缺點是會 導致影像的亮度資訊的遺失，或者在亮度相對均勻的區域產生錯誤的輪廓。. 27.
(37) 圖 2-12 由左至右為原始影像和經過亮度映射函數一次、二次、三次後逐漸 變亮的結果. 圖 2-13 由左至右為原始影像和經過亮度映射函數逆轉換一次、二次、三次 後逐漸變暗的結果. 作者提出自動曝光(AE)的方法是將一整張影像的像素的亮度值作加總 以計算權重平均亮度，如圖 2-14. 圖 2-14 將影像分成 25 個有不同權重的區塊. 方法是將輸入分割成 25 個不重疊的區塊，對每個區塊計算平均亮度值，. 28.
(38) 中間 A1 區塊有比周圍(B1 到 B8) 較大的權重，最外圍(C1 到 C16)權重最小， 最後找出這整個區塊的平均亮度值。此平均值減去一個設定的邊界值後對 應其數值落在哪個範圍以決定是否需要作 CE 演算法，如圖 2-15. 圖 2-15 自動曝光演算法. 當輸入影像是太暗(-127 < m-127 < -β)、太亮(β < m-127 < 128)或是對比 度佳(-α < m-127 < α)則不需作 CE，因為對 CE 來說影像並沒有足夠的色彩 資訊。在不同曝光倍數下的靜止影像可用來建構較廣的高動態範圍影像， 此處的亮度映射函數 τ 是將不同曝光倍數的影像間的亮度值作映射，優點是 這些多重影像可以輕易地由單張影像取得。另外使用空間改變曝光樣本的 遮罩(Spatially Varying Exp osure, SVE)，以各種不同 曝光時間的影像所組 成，如圖 2-16，不同的 SVE 樣本是依照輸入影像在像素位置(2x, 2y)的亮度 範圍 作定義，目的是對較暗的區域以使用不包含短曝光的影像來做增強處 理；相對的較亮的區域則不包含長時間曝光的影像之樣本來處理它，此方 29.
(39) 法的優點是再次建構一個影像依照輸入影像在(2x,2y)位置上的亮度作適應 性地選擇 SVE 樣本，它能夠有效且清晰地重現影像的對比。其演算法的優 點是可增強對比度卻不失亮度資訊，避免色彩上的變化和錯誤的輪廓，應 用上特別適用在消費性產品如數位相機、顯示器。. 圖 2-16 SVE 樣本. 由於人眼無論對於空間或是時間的改變都是極為敏感，Mantiuk et al. [31] 提出一個高動態範圍圖像感知框架在空間對比而不是在絕對像素值上的操 作，這個方法在由影像處理操作引入能見度的改變上能給予較好的控制。 這個架構特別適用於高動態範圍影像細節保存的對比壓縮。它所提出的架 構影像在可見的響應空間上處理，其對比值和影像的能見度相關，同時架 構也包含從亮度空間上的轉換到高斯低通三角錐 (Gaussian Pyramid of Low-pass) 的對比影像再到視覺響應空間上。在改變響應值後，轉換會返回以. 產生 結果影像，為了預測超視覺 (supra-threshold) 對比的可見性，導出一個變 換函數 (transducer function) 使最大範圍的對比階層可以在高動態範圍影像上 找到，即預測對整個對比的 HVS 響應，如圖 2-17，插圖描述變換函數如何 從對比辨識邊界值 ΔW (W ) 建構而來。對比辨識邊界值(contrast discrimination 30.
(40) thresholds)是兩個幾乎相同的信號的微小差異，最後在動態範圍壓縮的技術 使用對比映射(contrast mapping)的概念，它和色調映射的差別是操作在 對比 響應上而非亮度上。結果顯示其對比的壓縮操作上可保留小對比的細節。. (a) 使用對比 W 所繪出的對比邊界值. (b) 由對比辨識資料所導出的變換函數 圖 2-17 對比響應的變換函數圖. Kumar et al. [30]提出的演算法可維持影像的色調保存，用調整(scaling)和平. 移(shifting)的轉換方法，先定義一個向量 ~x = ( x1 , x2 , x3 ) 代表影像的像素之正規 31.
(41) 化灰階值，變數 x1 , x2 , x3 對應到的是正規化後的R、G、B值，針對每個 ~x 都有 其α和β，分別為調整和平移函數，k代表像素的三元素。其線性轉換式為. x′k = α ( ~ x ) xk + β ( ~ x ), k = 1,2,3. (2-22). 一般以線性轉換來作灰階的影像增強，在此利用非線性轉換和影像增強 函數來處理彩色影像，展開色階使得像素值的RGB值延展到最大。如圖 2-18，在α不同條件下 ， 則在 CMY 空間作處理後再轉回到 R GB空間。通常空 間轉換到另一個空間例如 LHS, HIS, YIQ.. 等 , 會產生嚴重失真的問題(gamut problem)，實驗結果這個方法不會有此問題，對於增強彩色影像的亮度和對 比效果較佳。. 圖 2-18 提出的影像增強法之方塊圖. 2.3.3 色調重現算子(TRO) TRO 的方法又叫作區域性 (local)的、做空間上變化(spatially varying)或 者多樣規模(Multi-scale)，影像中不同區域有不同的映射轉換，同時 TRO 必 須面對兩個主要問題，一是模擬人眼如何看到真實世界以及找出兩者間的 映射 (mapping) ，二是必須將真實世界的高動態範圍壓縮到顯示器上。 32.
(42) Retinex 是區域色調映射所計算模型的概念，原理是從色彩視覺發展出. 來，它解釋了視覺系統如何從真實世界而不管亮度的改變所擷取的可靠資 訊，以三種可控制的獨立光源為基礎所完成的一連串實驗，Land[43]提出落 在視網膜上輻射的量和物體表面的光亮度有些許關聯，因此推斷出所察覺 到單位區域的色彩由這個單位和影像上其它單位區域的關係所決定，且和 光的絕對值無關。這個概念就像是簡化的人類視覺系統，它可以方便的適 應計算的影像所提供的演算法，各種的計算模型已經被實現，共通的原理 是對影像中每個像素以光強度的空間性比較為基礎給予一個新的值，距離 權重函數導致其差異，主要的目標是將影像分解成反射影像和發光影像以 移除光源的影響。. Meylan et al. [29]提出的演算法以Center-Surround Retinex模型為基礎 ， 可 模擬人眼視覺系統結合全域和局部的適應性以產生高動態範圍影像，方 法是 使用適應性濾波器用來降低光暈(halo artifact)，在處理亮度頻域上用 PCA的原理，PCA可提供各頻域間的正交性並減少改變亮度時對彩度的影 響。如圖2-19，演算法的架構是將影像分為亮度和彩度來平行處理，但只有 亮度的部份是用以人眼視網膜為基礎的濾波器來處理，先將輸入影像利用 PCA轉換到亮度，在對亮度作全域壓縮，以人眼視網膜為基礎的濾波器度在 對數下作處理，可得到一個新的亮度值，同時對彩度作平行處理，將輸入 影像經過全域壓縮得到新的RGB，並轉換到Lab*空間下，最後和新的亮度 值利用逆PCA轉換回RGB影像作為輸出。實驗結果和其它演算法比較可有效 地增強局部對比且避免光暈的效應，並提供影像較佳的色彩。. 33.
(43) 圖 2-19 亮度和彩度平行處理的整體架構圖. Chen et al. [40] 著重在局部適應性和全域對比的色調重現更協調，許多的. 局部對比處理方法通常造成全域對比的不自然現象，就全域映射上的方法 來說，其優點是像素具均勻性且和空間、局部特性無關，也因此處理後影 像的細節易模糊化，但優點是效率高，所以許多色調重現的方法將考慮模 擬人眼視覺系統的方法加入非均勻性的局部映射(Local Mapping)。另一種保 留影像細節的方法是將影像分成亮度層和反射層，其中亮度層可保有原始 影像的亮度資訊而有較廣的動態範圍。. 34.
(44) 本篇論文的 演算法大致上其流程先在L下對亮度取對數， 再對影像作區 塊劃分，其中選擇較小的區塊會有在對數亮度上較強的變化；反之較大的 區塊則變化較小，接下來對亮度區域做較粗略的劃分，利用雙邊濾波法計 算出 局部適應性的亮度，最後再由片段式的色調映射方法輸出完整的結果 影像。演算法是使用距離(EMD)去估測兩個影像區域間的相似性，再由演算 法(Luminance-driven grouping)平衡在同ㄧ區域全域和局部間的相似性，將L 劃分成較稀疏的表示圖。而片段式的色調映射可估測較佳的參數去調整顯 示在螢幕上的亮度值。實驗結果藉由將RGB個別乘上壓縮比 L′ / L 得到低動 態範圍輸出影像，優點是能夠維持影像全面的亮度效果，且細節和高對比 能夠同時保存。和雙邊濾波的效果相比， 明顯地在亮暗區域邊界處不會產 生光 暈(halo artifact)。. Monobe et al. [41]提出一個方法可將高動態範圍壓縮應用在數位路影像 機上，利用區域對比(Local Contrast)的方法保留局部影像的對比，如圖 2-20，利用Knee Function和Auto Knee Function的觀念，可改進在明亮部份 的對比而不會降低陰影處的亮度。. 圖 2-20 knee 曲線. 35.
(45) 演算法提出一個可以改善高亮度區域對比的方法(Local Contrast Range Transform, LCRT)，可以自動且適應性地增強區域對比並保留任何亮度階層 的對比和原物相同。首先將RGB影像轉換到亮度下，將由Knee Function計算 過後的原始色調映射影像，和經由高斯濾波器與輸入亮度作摺積的區域平 均所得影像之區域對比增益相乘可得低動態範圍的亮度成分，最後將RGB 經由亮度的比值做調整即得到最後輸出影像。. 圖 2-21 LCRT 的概念圖. 其演算法有許多的參數但大部份都是根據所給予的色調映射曲線自動 地決定，只有少部份的參數是經由實驗所決定。優點是各種亮度階層的高 對比可輕易地重現，缺點則是高計算量和需較大記憶體。. Tee et al. [42]提出可計算局部適應亮度的方法，用來和視覺上以不同適 應性為基礎的色調重現演算子展現視覺上正確的高動態範圍影像，且不會 產生光暈(halo artifact)。演算法是將局部適應性分成四個步驟進行:. 36.
(46) segmentation、group、assimilation、layer averaging。輸出的影像進行分割後 將像素放到”categories”，鄰近的像素屬於同一種類進而群集成”group”，最 重要的步驟是將不同的group結合一起稱為”assimilation”，所用的方法為判 別假設較大的群集像素數目超過一個已設定的邊界參數，則將鄰近兩區域 較大的群集去同化較小的群集，使得那些由周圍較暗像素所組成的中心點 像素，其亮度值會設定成適應性亮度，使得映射後看起來較亮於那些周圍 較亮的像素所圍繞的中心點像素，每一個屬於其群集(group)的像素都被設 成其對應群的亮度值，這種經過此三步驟的影像稱為”layer”，最後多重階層 由不同的bin大小所區分，然後取平均去獲得最後的局部適應性影像，以處 理色調重現演算法。和其 他方法比較其優點是局部 適應亮度的 方 法以局部 區域為基準較以全域的像素為 基準的方法更快速，且和LCIS方法比起來速 度更快上50 倍，更因為它不限於單調的景物映射到所顯示的影像，因此保 留了大部份情況的視覺上的對比。. 37.
(47) 第三章 色調重現演算法. 3.1 演算法架構. Taking Five Images. Auto Exposure. Ψ. With (Ψ – 4 ) EV, (Ψ – 2 ) EV, ( Ψ ) EV, (Ψ + 2 ) EV, (Ψ + 4 ) EV,. Five Raw Images. Image Fusion. The Fused Raw Image. Image Processing: Color Interpolation White Balance Noise Filtering Color Space Conversion. Tone Reproduction: Image Details Extraction Histogram Calculation Histogram Equalization Gamma Correction. The Output Image. 圖 3-1 演算法系統架構圖 我們所提出的色調重現演算法概念是將經由 HP435 相機的自動曝光(Auto Exposure)所捕捉的五張不同曝光的原始影像(Raw Data)經過融合為單張的原始影 像，目的是低曝光的影像可用來捕捉相片中亮部區域的細節和資訊，反之，高曝 光設定所拍攝到的影像用來捕捉相片中暗部區域的細節和顏色資訊，我們所提出 的系統以低曝光值影像做為基準影像、並參考高曝光值影像裡的資訊配合影像抖 動補償作融合，最後將融合後的原始影像再經由完整的彩色影像處理流程包括自 動色階、白平衡、色彩插補、雜訊濾除、色彩校正、色彩飽和度增強、色調重現 和伽瑪校正去處理得到最後的照片。其中色調重現的流程以色調重現曲線加上局 部區域對比的增強來調整影像的最佳亮暗度對比，實驗結果指出這個方法能產生 高真實性且高動態範圍場景的重現結果。. 38.
(48) 3.2 多重曝光影像的融合 我們由 HP435 相機所拍攝的五張不同曝光的原始照片分別為+4EV、+2EV、 0EV、-2EV、-4EV，即正常曝光、正負四倍和正負十六倍曝光的照片，多重曝光 的原始照片融合方法是將高曝光和低曝光的兩張原始照片依曝光量 4:1 的比例， 共融合十次最後得到融合的影像，我們改進融合的方法是將原始照片先經過插補 為每個像素皆有 R 、 G 、 B ，並依照插補過後的影像作抖動估測，如此每一像素 的資訊則較充足，不會捉取到搜尋視窗內錯誤的資訊。舉例來說，假設將 (Ψ + 2) EV 和 Ψ EV 兩張影像作融合，融合後的影像亮度約等於 Ψ EV，但是有效的色彩深度 (color depth)卻擴展了 2 位元，在這情況下，過曝的像素約等於 Ψ EV 這張影像。 多重曝光影像融合目的在於採用不同曝光的原始照片可保留更多的原始物理 量，融合後的影像其動態範圍和單張原始照片相比可高達 256 倍，若原始影像可 以儲存 10 位元的資料，則融合後的照片可以擴展到 18 位元，也更能貼近人眼所 能看到的原始場景。. Input Five Different Exposed Raw Data. Exposure Normalization. Interpolation. Saturation Macro Blocks Detection. Global Stabilization Uniform Color Block Detection. Local Stabilization. Motion Estimation Motion Compensation. Fused Raw Data. Color Image Pipeline. 圖 3-2 影像融合流程圖. 39.
(49) 多重曝光影像融合的流程圖如圖 3-2，演算法步驟如下︰ 1. 將五張原始影像均作色彩插補成每個像素皆有 R、G、B 三原色的影像。 2. 全域抖動估測 A. 為了達到相同的曝光程度，將低倍曝光的影像的三原色值均乘上 4 倍以 達到曝光正規化，如(3-1)式。. Hˆ (u , v) = H (u , v) × 4. (3-1). B. 取 16 乘 16 像素大小的區塊作飽和區塊偵測，若是區塊中有像素的值是 過曝或過暗則視為亮度飽和區塊，即當區塊中有一個以上的像素值小於 10 或大於 240 則忽略此區塊的移動估測結果，如圖 3-3。. Histogram. Code 10 240 0. 1023. (a) 正常曝光像素值統計 Histogram. 40. 960 1023. 0. Code. (b) 4 倍曝光像素值統計. 圖 3-3 正常曝光與 4 倍曝光影像亮度示意圖. C. 接下來對均勻色塊進行移動估測，針對每一個區塊都有一個搜尋視窗. 40.
(50) (search window)，每個視窗內皆有N × N步可比對，在這視窗內找出和自 己最相似的區塊，紀錄相對應的移動向量。方法是計算正規化後的正常 曝光原始影像 Hˆ 和四倍曝光 D 兩區塊的絕對誤差值總和(Sum of Absolute Difference, SAD)，紀錄N × N步內最小的SAD值移動向量如(3-2)式，s(i, j)是位在第(i, j)個區塊估測到的移動向量的穩定度，利用搜尋視窗內每一 步(p, q)的SAD值ap,q(i, j)與平均SAD值 aˆ(i,j) 所計算出來，如(3-3)及(3-4) 式。. 1 s (i, j ) = ( N + 1) 2. a p ,q (i, j ) = aˆ (i, j ) =. N 2. N 2. ∑ ∑a. (i, j ) − aˆ (i, j ). (3-2). Hˆ (u, v) − D(u + p, v + q). (3-3). p =− N 2 q =− N 2. 16i +1516 j +15. ∑ ∑. p ,q. u =16i v =16 j. N 2. N 2. ∑ ∑a. p=− N 2 q=− N 2. p ,q. (i, j ) /( N + 1) 2. (3-4). D. 依照此移動向量的大小和方向，令四倍曝光影像保持不動，將正常曝光 影像的所有像素作與移動向量相同位移的動作，即完成抖動補償。 3. 接下來進行融合與局部性抖動補償，首先對影像作不穩定與飽和像素的偵 測，判斷方法是正規化後的曝光影像，像素值超過 960 視為飽和像素，對於 Hˆ 和 D 的絕對差值超過臨界值 40，則為不穩定像素，其它非飽和亦非穩定則. 視為正常的像素。接著再針對影像每一像素位置從兩個不同曝光的影像選取 其中一個資訊較為充足的像素，選取的準則是除了飽和與不穩定的像素這兩 種情況下選擇正常曝光像素外，其餘情況皆是選取四倍曝光的像素。 4. 將融合後的影像還原為 Bayer Pattern 形式的資料型態。以上述的方法依序將. 五張曝光的影像融合十次後，如圖 3-4 所示，即可得到最後融合的原始影像， 並作彩色影像處理流程。. 41.
(51) The Original Raw Images. The Fused Raw Images in The First Stages. The Fused Raw Images in The Second Stages. The Fused Raw Images in The Third Stages. The Final Fused Raw Images. 圖 3-4 融合五張不同曝光的影像過程示意圖. 3.3 邊緣偵測與色調重現曲線(TRC). Input image. Global Pixel Level Edge Detection. Dynamic TRC Creation. Adjust Pixel RGB Values by TRC. Output image. 圖 3-5 色調重現演算法流程圖. 我們提出的色調重現演算法流程圖如圖 3-5，是在像素階層(pixel level)上對 CIELAB 色彩空間下的亮度值 L * 作邊緣偵測的判斷，在不同的亮度階層下將五張 42.
(52) 圖所抽取到的邊界再作合併，如此一來可得到更多的細節，接下來將所抽取到的 邊界和邊緣亮度 L * 值作直方圖統計，用來動態地建立色調重現曲線，並且對 RGB 值作增益的調整計可達到亮度對比的增強且可以維持原始影像的彩度。. 邊緣偵測與動態建立 TRC 演算法如下： 1. 將影像分別乘上 1 倍、4 倍、16 倍、64 倍、256 倍，每次將影像調整 4 倍的 亮度，在不同的亮度階層下作抽取邊緣的動作，抽取邊界的方法是取中心點 像素周圍九宮格，取水平和垂直的邊界開根號權重後，若數值大於某邊界值 則判斷為是邊界。如圖 3-6 所示，在 1 倍的亮度下可抽到影像中亮處的邊緣， 4 倍可抽到暗處的邊緣，16 倍可抽到更暗的邊緣，依此類推，256 倍可抽到 影像中最暗處的邊緣，最後將五張圖所抽取到的邊界再作合併(merge)，如圖 3-7。 16X. 256X. 1X. 64X. 4X. 圖 3-6 不同亮度下所抽取到的邊緣示意圖. 43.
相關文件
（Inheritance） ；c.動態繫合（Dynamic binding） ；d.動態範圍（Dynamic scoping）.
兒童的支援 兒童發展 範疇範疇 範圍範圍..
• Fredo Durand, Julie Dorsey, Fast Bilateral Filtering for the Display of High Dynamic Range Images, SIGGRAPH 2002. • Erik Reinhard, Michael Stark, Peter
• Fredo Durand, Julie Dorsey, Fast Bilateral Filtering for the Display of High Dynamic Range Images, SIGGRAPH 2002. • Erik Reinhard, Michael Stark, Peter
• Patrick Ledda, Alan Chalmers, Tom Troscianko, Helge Seetzen, Evaluation of Tone Mapping Operators using a High Dynamic Range Display,
Theoretic Approach to Dynamic Range Enhancement using Multiple Exposures, Journal of Electronic Imaging 2003. • Michael Grossberg, Shree Nayar, Determining the Camera Response
• Michael Grossberg, Shree Nayar, Determining the Camera Response from Images: What Is Knowable, PAMI 2003. • Michael Grossberg, Shree Nayar, Modeling the Space of Camera
• Michael Grossberg, Shree Nayar, Determining the Camera Response from Images: What Is Knowable, PAMI 2003. • Michael Grossberg, Shree Nayar, Modeling the Space of Camera
