High Dynamic Range Image Composition

(1)

High Resolution Version: http://linkin0124.myweb.hinet.net/huang_hdrc_ncs07.rar

高動態範圍影像合成

High Dynamic Range Image Composition

黃明隆

國立中興大學資訊科學研究所 [email protected]

王宗銘

國立中興大學資訊科學研究所 [email protected]

摘要

線性內差法(Linear interpolation)是最簡單與最常被使用來為數位影像作合成處理的基本工具。但是，

我們發現其僅於低動態範圍影像(Low dynamic range, LDR)上可有效的運作，而對於新的高動態範圍影像(High dynamic range, HDR)則無法獲得預期的效果，因為每ㄧHDR 影像具有相差甚異的曝光度，若直接使用線性內插法於HDR 影像上，合成後的結果將僅包含具高曝光度 HDR 影像的資訊。

本文提出一新的方法為 HDR 影像作合成的處理。

所提方法包含三個步驟：(1)影像分解：將影像分解成三項影像特徵；(2)影像特徵結合：將每一影像的三項特徵各別作線性內差處理；最後，(3)高動態範圍影像重建：利用高動態範圍映圖預估方法重建HDR 影像。經由試驗結果證實，我們所提出的方法確實能有效地為 HDR 影像作合成的處理，

解決了HDR 影像曝光度相差甚異而無法作合成處理的問題。此外，我們的方法亦可使用於為 HDR 影像作增強的處理，可提升色調再生技術(Tone mapping)的效果，提供更佳的視覺感受。就我們所知，目前無討論關於如何為HDR 影像作合成處理的研究報告被提出，再者，HDR 影像已逐漸受到重視與使用，因此我們相信所提之技術在未來可被使用於各種與影像合成相關的議題上，如影像接合 (Image stitching)或是影像融合(Image fusion)等研究議題，更可延伸至視訊上的應用，具有實質的貢獻。

關鍵字：影像合成(Image composition)，高動態範圍影像(High dynamic range image) ，線性內插 (Linear interpolation)，影像分解(Image decomposition)，色調再生(Tone mapping)。

1. 簡介

在廣告設計以及電影工業上往往需要將不同的景致或是物件合成在同一影像上，欲達到此一目的，線性內插法(Linear interpolation)是可使用來合成數位影像的一個最基本方法[13]。此方法能有效地使用至低動態範圍(Low dynamic range, 以下簡稱為LDR)影像上，例如 Bitmap 格式的數位影像，

因為這類影像的像素數值範圍僅介於[0, 255]之間的整數值；因此使用者可以直接使用線性內插法為

兩張以上的數位影像作合成處理。然而，我們發現直接使用線性內插法於高動態範圍(High Dynamic Range, 以下簡稱為 HDR)影像上是不適用的，主要是因為每一HDR 影像的像素數值所橫跨的數值範圍均有所不同，大致上可分為三類：高曝光、中曝光，以及低曝光度的HDR 影像，且像素值是以浮點數來表示，並非以整數的型態表示色彩的變化程度[32]。

在此，我們舉一例子來說明本文欲探討的問題：

若使用者欲將一具高曝光度以及另一為低曝光度的HDR 影像作線性的合成處理，假設兩個相對應的像素值，在高曝光程度的HDR 影像中為 1000，

而在低曝光程度的 HDR 影像中為 10，並且使用 0.5 作為影像合成的權重值，則 1000x0.5 + 10x0.5 = 505，由此我們可清楚得知合成後的 HDR 結果影像將僅包含具有較大像素值的一方，此結果違反我們在LDR 上做線性合成的使用經驗；此外，有鑑於HDR 影像所包含的色彩變化遠大於 LDR 影像，

故 HDR 影像的影像品質優於現有的 LDR 影像，

於不久的將來 HDR 影像將會逐步地取代傳統的 LDR 影像[32, 34]；因此，如何有效地為 HDR 影像作最基本的線性合成處理為一值得探討的問題，若能有效地解決此一問題，我們相信可為HDR 影像編輯上的相關研究帶來莫大的幫助[9, 43]。

本文針對HDR 影像的線性合成處理問題提出一有效的方法來解決之，我們所提出的方法包含了三個步驟：(1)影像分解(Image decomposition)：在此步驟中所有的HDR 輸入影像將被分解成三項影像特徵資訊，分別為基礎層(Base layer)、色彩層 (Color layer)、細節層(Detail layer)；(2)影像特徵合成(Image feature compositing)：在此步驟中使用者可指定每一張HDR 影像在合成結果影像中所欲佔有的比例，並且分別將步驟1 中所獲得的三項特徵資訊分別以線性內差的方式作合成的處理；(3)高動態範圍影像重建(HDR image re-rendering)：因為我們認為合成後的 HDR 結果影像是為一新的影像，

由於高曝光與低曝光程度的 HDR 影像其合成後的 HDR 結果影像並非為中曝光程度影像，所以結果 影像的曝光程度需要重新去計算獲得。在此步驟中，

我們利用高動態範圍映圖預估(HDR map estimation)的方法重新計算預估新影像中的曝光程度，以利於HDR 影像的重建。透過上述的方法即可有效地為HDR 影像作線性的合成處理。

圖 1(a)與(b)分別為具高曝光以及低曝光程度的HDR 影像，在此，因為 HDR 影像無法直接於

(2)

(a) (b)

(c) (d)

(e) (f) 圖 1：HDR 影像線性合成處理¹。(a)商店(高曝

光程度)；(b)山谷(低曝光程度)；(c)與(d)為(a) 與(b)使用色調再生(Tone mapping)演算法後的視覺化結果[32]；(e)直接使用線性內插法所獲得的結果；(f)由我們的方法所獲得的結果，合成權重值各為0.5。

現有的LDR 顯示器上正確地視覺化，為了表現高曝光與低曝光的差別，我們直接將HDR 影像中的像素值大於255 以上的均令其為 255。如上所述，

因為HDR 影像無法能在我們現有的顯示器上正確地表現其影像資訊，因此須要先透過色調再生

2(Tone mapping)技術的處理後才能於現有的顯示器上正確地表現影像資訊[32]，圖 1(c)與(d)則是使用影像處理軟體PhotoImpact 11 中提供的色調再生功能處理後所獲得的結果（請注意，為了視覺化 HDR 影像，除欲表現 HDR 影像的曝光程度外，其餘的展示結果影像均經過PhotoImpact 11 作色調再生的處理）。圖1(e)為直接使用線性內插法為 HDR 影像作合成的處理，從結果中我們可以清楚地感受到，合成的結果影像中僅包含圖1(a)的資訊，幾乎沒有圖1(b)的資訊；而圖 1(f)為使用我們提出的方法所獲得的結果，結果影像中卻實地包含了商店 (圖 1(a))與山谷(圖 1(b))的影像資訊，證實所提方法的有效性。

此外，我們的技術亦可被使用於為HDR 影像資訊作增強的處理。上述的色調再生技術已有許多學者提出了各種不一樣的技術，而這類技術通常需

1影像來源：

http://www.coolhall.com/homepage/pubs/hdrdisp_ev al/hdrdisp_project.html [34]。

2 色調再生(Tone mapping)：為將 HDR 影像轉換為 LDR 影像的一種技術，利於將 HDR 影像資訊於一般常用的顯示器上較正確地表現出來。

(a1) (a2)

(b1) (b2) 圖2：比較原始 HDR 影像以及增強過後 HDR 影

像之間的差異性。(a1)與(b1)為未處理過的原始 HDR 影像，(a2)與(b2)為經由我們提出的方法增強過後的HDR 影像；(a1)與(a2)使用 Reinhard 的色調再生技術來視覺化HDR 影像，而(b1)與(b2) 使用PhotoImpact 11 提供的色調再生功能所獲得的視覺化結果。影像來源：[32]。

要將 HDR 影像中的細節資訊儘量地表現出來[10, 23, 25, 26, 30-32, 36]，因此衍伸出評估色調再生技術優異性的問題[2, 6, 7, 18, 20]。然而，藉由我們提出的技術將HDR 影像作增強處理後，對於使用相同一個色調再生技術處理能夠獲得更佳的效果。

如圖 2(a1)與 2(a2)均為使用 Reinhard[30]提出的色調再生技術所獲得的結果影像，其中圖 2(a1)是沒有經過我們的方法處理過的結果，而圖 2(a2)則是經由我們提出的方法增強過後的結果。比較兩者，

我們可以清楚地得知對於相同的一個色調再生技術而言，增強過後的HDR 影像其細節資訊的表現確實優於未作增強處理的 HDR 影像。圖 2(b1)與 2(b2)則是使用 PhotoImpact 11 提供的色調再生功能所獲得的結果，亦是獲得相同的效果，增強處理後的結果影像仍然優於未經過處理的原始影像。由上可清楚得知，我們提出的方法的確能夠為 HDR 影像作增強處理，以提升色調再生技術的效能。

本文其餘章節架構如下：第二節簡單地回顧與本文相關的研究文獻；第三節則詳述我們所提出的方法；第四節展示與說明我們的試驗結果；最後總結本文並提出未來可能的研究方向。

2. 相關工作

由於數位相機的普及，使得影像的編輯與我們的生活日漸相關，但是對於一些現實生活中無法拍攝獲得的景色，使用者則可透過一些簡單的方法將兩個或以上的景緻做結合，以獲得具特殊表現的影像，一般我們稱上述的影像處理方式為影像合成 (Image composition)。長久以來，使用者最常使用線性內插法來達到影像合成的目的，因為此方法最簡單與易於實作。不過，Grundland 指出線性內插

(3)

High Resolution Version: http://linkin0124.myweb.hinet.net/huang_hdrc_ncs07.rar 法使用於灰階影像(Grayscale image)時，其所獲的

的效果或許能夠為我們所接受。但是，當使用於彩色影像時將會失去原始影像中的對比度，色彩的表現亦會失真，視覺效果相對地亦變得較差； Grundland 也指出此一問題在電腦繪圖領域中已存在多年[15]。

為了改善以上的問題，Grundland 基於統計分析(Statistical analysis)、向量代數(Vector algebra)以及資訊理論(Information theory)的技術，提出三個能夠分別保留影像對比(Contrast)、色彩(Color)以及特點(Salience)的技術，解決了線性內插法於影像合成上多年來尚待解決的問題。此外， Grundland 的技術更可結合拉普拉斯金字塔(Laplacian pyramid)以及高斯金字塔(Gaussian pyramid)以提升演算法的效能[15]。

在上述的三項技術中，對比保留(Contrast preserving)技術儘管能夠確實地保留較佳的對比度於合成結果中，但是依然會產生色彩失真(Color distortion)的情況，因此，為了能夠保留影像合成後的對比度以及保留較佳的色彩表現，Grundland 更進一步提出一非線性的影像合成技術以解決上述的問題。Grundland 定義一帶符號的加權冪平均函式(Signed weighted power mean)輔以拉普拉斯金字塔以達到目的[14]。此非線性的影像合成技術亦能夠有效地應用於影像縫合(Image stitching)[5, 27]

以及影像融合(Image fusion)[29]的研究領域上。

但是，我們發現不管是使用最簡單的線性內插法或是Grundland 提出的技術均無法有效地使用於 HDR 影像上。無法適用的原因主要是因為每一 HDR 影像的曝光程度均有所不同，故影像像素值的表示範圍並無一固定的範疇，不如LDR 影像一樣，像素值範圍僅於[0, 255]之間。由於不同的曝光程度而導致具高曝光度的HDR 影像像素值將覆蓋具低曝光度HDR 影像的像素值，而令合成的結果影像裡具有大量高曝光度HDR 影像的資訊在其中，具低曝光度的HDR 影像資訊則僅有部分出現於合成影像中，或是全部被掩蔽，無法令兩張影像的內容資訊均存在於合成影像中。

在過去的十多年，HDR 影像的相關研究持續地被探討，包括HDR 的成像技術[1, 2, 4, 6, 7, 10, 16, 18, 20, 23, 25, 26, 30-34, 36]、壓縮與編碼技術 [21, 22, 41, 42]、以及顯示器技術[35, 24, 39]。時至今日，HDR 的相關技術已趨於成熟，已逐漸有相關的產品陸續進入民生電子消費市場中[1, 34]，包括HDR 顯示器，數位相機等，由此趨勢我們可得知 HDR 影像於不久的未來將逐漸地取代 LDR 影像。

在未來，亦會有許多與HDR 影像相關的領域持續地被探討著，Ward 針對 HDR 影像的相關研究領域提出五項未來可能的研究趨向：影像的建立 (Image creation)、拍攝方法(Capture methods)、影像的傳輸(Image transmission) 、影像編輯 (Image editing)、影像的視覺化(Image viewing)；在上述五

項中，除了影像編輯外，其餘的研究方向均已有不少的研究成果被提出[43]。但是，就我們所知，目前與HDR 影像編輯相關的研究文獻僅有少數幾份研究報告被提出[3, 9, 17, 40]。Bae 提出一技術可將影像A 上的影像材質特性轉換至 B 影像上，而 B 影像可為LDR 或是 HDR 影像[3]；Khan 提出一可改變影像中某物件的材質特性的技術，例如將影像中原本為陶瓷材質的花瓶轉變成鋁金屬材質的花瓶，同樣地，Khan 的方法可同時使用於 LDR 以及 HDR 影像上[17]；Wang 提出一新的影像抽象化架構，可將一真實世界的景物影像轉變成具類似卡通風格的技術。Wang 的方法亦同時可有效地使用於 LDR 與 HDR 影像上[40]；Colbert 提出一新的方法與使用介面企圖令使用者能以直覺與互動的方式於LDR 顯示器上直接編輯 HDR 影像[9]。因此，

由以上我們可得知發展HDR 影像的編輯技術是有確切的需求性（Colbert 亦提出了相同的看法[9]）。

本文則針對HDR 影像的合成問題，提出一有效的方法來達成為HDR 影像作合成處理的目的，期望對於爾後與 HDR 影像合成相關的技術能有所貢獻。

3. 高動態範圍影像合成

不同於普遍被使用的低動態範圍影像(LDR image)，高動態範圍影像(HDR image)通常具有各異的曝光程度，因而使得每一HDR 影像的亮度具有高度的差異性。如第1 節中所述，HDR 影像大致上可被分為三類：低、中、高(low, mid, and high exposure)曝光度影像。當我們期望將兩張以上的 HDR 影像作線性合成處理時，較為極端的情況，

即合成兩張具低與高曝光度的HDR 影像。具低曝光度的HDR 影像，其大部分的像素值可能均小於 0.1；而具高曝光度的 HDR 影像，其大部分的像素值可能均大於100 以上，甚至更高。因此當我們欲將兩張不同景色，但分別具低與高曝光度的 HDR 影像作線性合成處理時，即C = w*HI1 + (1-w)*HI2，若使用w = 0.5 為合成的權重值，我們可預知合成的 HDR 結果影像終將僅有高曝光度影像的資訊，

或僅稍稍有些低曝光程度影像的資訊，與我們預期中的結果相差甚巨（參考圖 1(e)）。因此，若欲將 HDR 影像作合成處理時，我們需要其他的方法以達到為HDR 影像作合成處理的目標。

圖3 為我們所提出的 HDR 影像合成技術流程圖，主要分為三個部分：影像分解(HDR image decomposition) 、影像特徵合成 (Image feature compositing) 以及 HDR 影像重建 (HDR image re-rendering)。我們首先將每一欲合成的影像分解成三項特徵資訊，如圖4，分別為基礎層(Base layer, BLi)、色彩層(Color layer, CLi)、細節層(Detail layer, DLi)；緊接著再將每一影像的三項特徵資訊各別作線性的合成處理，以獲得合成的基礎層，BLc、合成的色彩層，CLc，以及合成的細節層，DLc；最

(4)

影像特徵合成 Image Feature

Compositing

… …

HI

1

HI

2

HI

n

影像分解 Decomposition

基礎層合成 Base Compositing

色彩層合成 Color Compositing

細節層合成 Detail Compositing 權重值 Weights

w 1

高動態範圍映圖預估 HDR Map Estimation

×

合成結果 Composited HI 高動態範圍影像重建

HDR Image Re-rendering 影像分解

Image Decomposition

÷ 高動態範圍影像

HDR Image

正規化 Normalization

雙向濾波器 Bilateral Filter

基礎層 Base Layer

色彩層 Color Layer

細節層 Detail Layer C

w

=R

w

+G

w

+B

w

C

w

=R

w

+G

w

+B

w

圖3：高動態範圍影像合成流程圖。

圖4：高動態範圍影像分解流程圖。

後，我們再透過BLc自動預估欲重建HDR 影像的基礎資訊，HMap；當獲得 HMap 後，再將 HMap 與CLc以及DLc作結合，以重建出合成後的HDR 影像，HIc。以下我們將詳述所提之演算法。

3.1 演算法概念

對於具有不同曝光程度的HDR 影像，我們期望能有某個機制可將HDR 影像的資訊轉換至一相同的數值區域(Numerical domain)中。例如低與高曝光程度影像中的最大亮度值，於轉換之後，兩者的對應數值為相同或是非常相近的。我們認為在此一數值空間中才有可能達到為HDR 影像作合成處理的目的。當完成合成的處理後，必須再將合成的

影像資訊轉換回原來的 HDR 數值空間中。但是，

此處我們仍必須注意兩項關鍵性的問題：(1)合成處理後所獲得的HDR 影像是為一新的 HDR 影像，

因此，在將合成的影像資訊轉換回HDR 數值空間的過程中，如何給予此新的HDR 影像適當的曝光量，以維持影像內容物的視覺品質是必須要注意的；

(2)由於 HDR 影像優於 LDR 影像的主要原因是 HDR 影像能夠保留比 LDR 影像更多的細節資訊；

因此，合成後的HDR 影像中必須保留原始影像中的細節資訊，如此才符合HDR 影像的基本特性－

較佳的細節資訊。

我們相信藉由上述方法並且輔以兩項所需注意的切要問題才能獲得預期中以及視覺上使人滿意的HDR 影像合成結果。在下一節中我們輔以圖

(5)

(a)樹林影像(中曝光度) (b)

(c)黃昏影像(高曝光度) (d)

圖5：(a)為一中曝光度 HDR 影像。(c)為高曝光度 HDR 影像。為了適當地視覺化 HDR 影像，我們採用影像處理軟體PhotoImpact 11 中所提供的色調再生(Tone mapping)功能將此例中的兩張影像坐色調再生處理，其結果如(b)與(d)所示。影像來源：

http://debevec.org/Research/HDR/

5 中的兩張 HDR 測試影像來詳述所提之演算法。

3.2 影像分解

彩色數位影像主要由為數眾多的像素以二維的方式排列組合而成，此間每一像素再由三個 RGB 頻道來描述色彩。事實上，此簡單的組合包含了各種不同的特徵於其中[13]。因此，我們將一影像視為由三項主要的元素所組成，I = CL( )‧ × BL( )‧ × DL( )‧ ，此處CL(‧)表示影像的色彩，

稱為色彩層(Color layer)；BL( )‧ 表示影像中基本的物件資訊，稱為基礎層(Base layer)；DL(‧)表示影像中的細節資訊，稱為細節層(Detail layer)。我們的目的是將此三項特徵從每一影像中分解出來，

進而轉換至適當的數值空間中，以利於此三項特徵各別的合成處理。

3.2.1 色彩層

人類的視覺系統中因為具有對光非常敏感的錐狀體細胞(Cone cell)，而錐狀體細胞依據對不同頻率的可見光有著不同敏感度可再細分為三類，分別是對紅(R)、綠(G)、藍(B)光敏感的錐狀體細胞。

我們的視覺系統即以此三類錐狀體細胞相互的作用而能夠感應到色彩的變化。因此我們稱紅，綠、

藍為色彩的三原色[37]。根據上述的機制，我們得知：給予三原色不同的權重並且再加總起來即可獲得不同的色彩變化[44]，可以演算式(1)來表示，此處R、G、B 表示三原色光譜，C 表示三者混合後的色彩，wR + wG + wB = 1.0。

C w_RR w_GG w_BB (1) LDR 影像中的每一個像素色彩值即均依據演算式(1)為準則以表示色彩變化，HDR 影像亦是如

(a) (b) 圖6：HDR 影像色彩強度影像。(a)為圖 5(a)的色

彩強度資訊；(b)為圖 5(b)的色彩強度資訊。

此。不過，事實上 LDR 與 HDR 影像中的色彩僅儲存不同程度的RGB 數值來描述色彩的變化，無進一步多儲存wR、wG、wB等三項權重資訊。因此，

演算式(1)可被簡化為演算式(2-1)。此外，因為 HDR 影像使用浮點數儲存大範圍的亮度資訊，使得儲存的資訊能夠儘量地近似於真實世界中所量測到的亮度資訊，此處為了將 LDR 與 HDR 的影像資訊作區隔，我們以演算式(2-2)表示 HDR 影像的 RGB 三原色數值，其中下標 w 表示近似真實世界(Real world)中所量測到的色彩值。

C R G B (2-1) C R G B (2-2) 這意味著景物中的各種特性均倚仗RGB 三原色來描述之，此處演算式(2-2)表示影像中物件色彩資訊的強度。藉此，針對影像中的每一像素，我們均可計算出RGB 三原色各自對該像素的影響程度，此影響程度即為該像素的色彩強度，如演算式(3)，

下標 p 表示 HDR 影像中的每一像素，且所有的色 彩強度值均介於[0, 1]。演算式(3)對於 LDR 與 HDR 影像均可有效地計算出每一像素的色彩強度。影像中全部像素的色彩強度集合即為我們所定義的色彩層，CL(‧)。

r R ⁄ R G B , g G ⁄ R G B , b B ⁄ R G B .

(3)

對於將HDR 影像作合成處理的應用上，擷取出色彩強度的好處是我們可以直接將這些強度資訊作線性的合成處理，不會因為HDR 影像的不同曝光程度而影響了合成後的色彩變化。圖6 展示從 HDR 影像中擷取出來的色彩強度影像；將圖 6(a) 以及6(b)與色調再生(Tone mapping)後的原始影像作對照(圖 5(b)以及 5(d))，我們所獲得的色彩強度資訊的確能夠有效地保留原始影像中的色彩特性。

3.2.2 基礎層

由演算式(2-2)我們知道，RGB 三原色的總和能夠用來描述整張影像中物件資訊的強度，但是就 HDR 影像合成而言，我們首先令具高曝光度的 HDR 影像資訊強度為 CwHE，而具低曝光度的HDR

(6)

(a) (b) 圖 7：HDR 影像經由正規化處理後的基礎層視覺

化結果。

(a) (b) 圖8：強度較微弱的細節資訊影像。此細節資訊影

像中的資訊大部分均位於具有較明顯亮度變化之處。具相似亮度區域中的細節資訊則無法被有效地擷取出來。

影像資訊強度為CwLE，此處下標HE 表示高曝光度 (High exposure)，LE 表示低曝光度(Low exposure)。

因為CwHE具有高的亮度，而CwLE具有低的亮度，

因此倘若我們直接將CwHE與CwLE作合成處理，其結果亦是具高曝光度的影像將會掩蓋掉低曝光度影像的資訊。因此，為了能夠有效地將低、中、高曝光度的 HDR 影像作合成處理，以使得 HDR 影像中的景色均能夠同時顯現於合成後的HDR 影像中，我們必須將Cw作數值的正規化處理，使得處理後的C^’w均能落於0 與 1 的數值區間中，以利於場景中的物件作合成處理。請注意，此處的 HDR 影像資訊正規化處理即相似於色調再生(Tone mapping)技術[32]，因此有許多現有的方法可對 Cw

作正規化處理。注意，欲正規化的資訊為HDR 影像中三原色的總和，Cw，而非影像的亮度 (Luminance)資訊。

我們選用學者 Reinhard 提出的色調再生技術來作正規化處理[30]。選用此技術主要是因為有研究指出 Reinhard 的方法所獲得的效果[4]，不管是以問卷的方式作視覺上的經驗統計[6, 7, 36]，亦或是就心裡物理學的觀點於HDR 顯示器上作色調再生計數的比較，效果均是較令人滿意的[20]。接下來，我們簡述如何使用 Reinhard 的色調再生技術來為Cw作正規化處理。

由於 HDR 影像所包含的亮度資訊範圍甚廣，

因此亦導致影像中RGB 三原色的數值範圍亦是較大，為了能將大範圍的亮度資訊壓縮至[0, 1]，以利於HDR 影像能夠於我們目前使用較普遍的顯示器上將資訊展現出來，Reinhard 首先以常被用於攝影技術中的區域系統(Zone System)作為基礎。區域系統由最暗至最亮共包含了11 個不同亮度資訊的強度，並且由羅馬數字從0 至 X 來區分。Reinhard 企圖先將HDR 影像的亮度資訊轉換至區域系統的

最中間的一區，V(此區又被稱為中間灰階區域 (Middle-grey))，如演算式(4)，此處α為一使用者調整參數，其對應至中間灰階區域的數值為0.18[30]，

亦可由影像的特徵資訊自動地被估算出來[31]；Cav

為自然對數平均數(Logarithm average)；Cw 表示 HDR 影像中每一像素 RGB 三原色之總和，Cm則為每一像素轉換至中間灰階的輸出值；n 為 HDR 影像的像素總數；δ為一小的數值，用於避免 Cw

為零。請注意，我們的系統中，使用[31]中的方法自動估算α。

C α C C where C exp 1

n log C δ (4) 緊接著再透過演算式(5)將 Cm作正規化處理，以得

到Cn，其中Cwhite亦可由[31]自動地被估算出來。

我們將此獲得之結果Cn稱為HDR 影像的基礎層。

C

C 1.0 C C 1.0 C

(5)

此處，很明顯地，我們或許可直接將Cw使用至演算式(5)之中。然而，依據色調再生技術的相關研究[32]，我們知道直接對 HDR 影像資訊作線性的正規化處理，將使得影像失去大量的細節資訊，又因為我們的任務是企圖為 HDR 影像作合成處理，

故HDR 影像中的細節資訊必須要儘可能地被保留下來，若僅使用演算式(5)將 Cw作正規化處理所獲得的結果則較不盡理想。請注意，此處的 Cn即為我們的影像基礎層，BL(‧)。圖 7 展示圖 5(a)以及圖5(c)的基礎層影像。此基礎層影像即可有助於對 HDR 影像作有效的合成處理，不至於因為兩張影像的亮度資訊範圍相差甚巨，因而最後的結果影像中僅有具高亮度的HDR 影像資訊。

3.2.3 細節層

比較圖7(a)與圖 5(b)，我們可以清楚地觀察到圖7(a)中依然失去了一些細節資訊。因此我們必須設法將那些失去的細節資訊盡可能地擷取回來，此處如何將HDR 影像的細節資訊有效地取出是我們所要確切解決的問題。

於使用閃光燈與無閃光燈攝影之影像對(Flash and no-flash image pair)的相關研究中[11, 28]，介紹了一個能夠有效取出影像細節資訊的方法。以無閃光燈攝影之影像(No-flash image)為例，他們首先使用雙向濾波器(Bilateral Filtering)[8, 10, 38]濾除無閃光影像上的雜訊並且保留視覺上重要的邊緣資訊，接著再將無閃光燈攝影的影像除以雙向濾波器濾波後的影像資訊，藉此即可將影像中的細節資訊擷取出來，如演算式(6)所示，此處 I 表示所輸入的影像；BF(I)表示雙向濾波器的輸出值；ε為一小的

(7)

圖 9：比率影像僅能夠保留色調在生後的 LDR 影像像素與相對應的HDR 影像像素之間的關係，無法保留影像中的細節資訊。

(a) (b) 圖 10：由我們的方法所獲得的細節層資訊影像。

相較於圖 8 由演算式(6)所獲得的細節資訊影像，

我們的方法對於亮度相近的區域亦能獲得其中的細節資訊。

數值，用於避免雙向濾波器的輸出值為0。Durand 與Dorsey 亦使用了相同的方法擷取出 HDR 影像的細節資訊[10]。

Detail I I ε

BF I ε (6) 圖 8 展示使用演算式(6)所擷取出來的細節資訊。當我們比較圖8(a)與圖 5(b)時，可清楚地觀察到影像右上方樹葉的細節資訊在圖 5(b)中是很豐富的，但是圖8(a)中的細節影像中則明顯很少，僅具有些微的影像邊緣資訊。這說明演算式(6)僅對亮度分明的物件邊界處才能夠擷取出細節資訊，而位於亮度相近區域中的細節資訊則無法被擷取出來；此現象主要是由雙向濾波器所造成。因此，我們需要其他的方法自動地將位於相似亮度區域中的細節資訊擷取出來。

對於一完全相同的景色影像，HDR 影像所需的儲存空間遠大於 LDR 影像，因此 Ward 與 Simmons 著手研究如何為 HDR 影像作壓縮處理[41, 42]，他們將壓縮後的檔案格式稱為 JPEG-HDR。

其中他們為了能夠將 JPEG-HDR 的資訊恢復近似於原始的HDR 影像資訊，他們將一稱為比率影像 (Ratio image)的資訊加以編碼存至 JPEG 的應用記錄(Application markers)區塊中。比率影像是將原始 HDR 的亮度資訊除以色調再生(Tone mapping)後 LDR 影像的亮度資訊所獲得，如演算式(7)，此處 RI 表示比率影像，HI 表示 HDR 影像，TMO(．) 為任一色調再生演算法，L(．)表示影像的亮度 (Luminance)資訊。

RI L HI

L TMO HI (7)

比較演算式(6)與(7)可以清楚地觀察到這兩個演算式極為地相似。演算式(6)具有保留影像細節資訊的能力；而演算式(7)能夠保留色調再生後的 LDR 影像像素與相對應的 HDR 影像像素之間的關係，卻無法保留影像的細節資訊，如圖9，這是因為TMO(HDRI)的輸出已具有影像之細節資訊。

由於演算式(6)與(7)各有其優良的特性，因此我們企圖將兩者結合再一起，如演算式(8)，企圖能夠保留HDR 影像中包括亮度相似區域以及亮度具較大差異處所有的細節資訊，以及獲得未來欲重建HDR 合成影像所需的增益控制(Gain control)資訊。

DL C , C C ε BF C ε BF 1

k s G p s · G C C · C

Ω

k s G p s · G C C

(8)

此處 DL 表示我們所獲得的細節層，BF 則為雙向濾波器，s 表示目前要計算的像素，p 表示 s 附近的所有像素，Ω為 NxN 的像素集合；Gσs為高斯空間距離權重(Gaussian on spatial distance)，Gσr

為高斯像素強度距離權重(Gaussian on pixel distance)，在我們的系統中令σs = 3.0 以及σt = 4.25；

k(s)為正規化項(Normalization tern)。我們首先將正規化後的影像資訊 Cn用雙向濾波器濾除影像中的細節資訊與雜訊，接著再將原始的HDR 三原色總和資訊Cw除以雙向濾波器濾波後的正規化資訊。

藉由此方法即可得到優於演算式(6)所獲得的細節資訊，如圖10。

3.3 影像特徵合成

由3.2 節中，我們已經知道如何將 HDR 影像分解成三項特徵資訊：色彩層、基礎層、細節層。接下來即可使用此三項特徵資訊各別作線性合成處理。基於易於解說以及實作之故，假設使用者給與 n 張長與寬均相同的 HDR 影像，以及每張影像的混和權重 wi，影像合成的方式如演算式(9)，此處 CLc、BLc、DLc表示合成後的色彩層、基礎層以及細節層，CLi、BLi、DLi表示每張 HDR 影像各自的色彩層、基礎層與細節層，w1 + w2 + … + wn = 1.0。

CL w · CL

BL w · BL

DL w · DL

(9)

(8)

(a) 色彩層的合成結果 (b) 基礎層的合成結果 (c) 細節層的合成結果圖11：欲合成的影像展示於圖 5，且兩張影像均使用 0.5 為合成的權重值。請注意，因為細節層是由原始HDR 影像中取出，因此無法直接視覺化。為了將它適當地視覺化，我們先將合成後的細節層資訊以 RGBE 的方式存為 HDR 影像檔，接著再利用 PhotoImpact 11 的色調再生功能以得到圖(c)，較為適當的視覺化結果。

藉由演算式(9)便能夠有效地將 HDR 影像的三個特徵資訊作合成處理，而不受到HDR 影像具不同曝光程度的影響，如圖 11。在下一節中，我們將詳述如何利用CLc、BLc以及DLc影像資訊重建具合成效果的HDR 影像。

3.4 高動態範圍影像重建

我們認為合成後的 HDR 影像應視為一新的 HDR 影像，因此它的影像的特徵也會跟著有所不同。我們使用一有效的方法將CLc、BLc以及DLc

等三項合成後的特徵資訊作重建的處理，以獲得此新的HDR 合成影像。

目前我們已擁有新影像的色彩強度資訊 CLc

與細節資訊 DLc。對於我們所合成的色彩層 CLc

中的每一個像素p 而言，CLc的組成如演算式(10)。

CL r , g , b (10) 然而，回顧演算式(3)，每一張 HDR 影像的色彩強度資訊均是由每一像素RGB 三原色的數值各自除以 RGB 三原色的總和。因此，若要將新的 HDR 合成影像適當地呈現出來，我們必須先獲得此新的 HDR 影像中每一像素的 RGB 三原色總和，(R’wp + G’wp + B’wp)，且 HDR 影像中的細節資訊 DLc亦必須於新HDR 合成影像中被保留下來，如演算式(11)，

此處R’wp、G’wp、B’wp為我們欲求得的新HDR 合成影像所需要成像的三原色數值。

R r R G B DL

G g R G B DL

B b R G B DL

(11)

接下來說明如何獲得新 HDR 影像中每一像素的 RGB 三原色總和，(R’wp + G’wp + B’wp)，我們稱此一步驟為高動態範圍映圖預估(HDR Map Estima- tion)。

3.4.1 高動態範圍映圖預估

在3.2.2 節中，我們使用 Reinhard 提出的色調

再生技術將 HDR 影像的 RGB 三原色總和作正規化的處理，接著再利用這些被正規化後的影像資訊作有效的合成處理，以獲得合成後的基礎層影像資訊BLc = (R + G + B)LDR。不過，BLc的數值屬於LDR 的值域範圍，不屬於HDR 的值域範圍內，因此我們無法直接使用BLc來重建出新的HDR 合成影像。

但我們可嘗試將BLc轉換至似HDR 值域的數值資訊BLcHME，此處下標HME 表示高動態範圍映圖預估(HDR Map Estimation, HME)。

近來，Banterle 等人首度探討如何將 LDR 影像轉換成HDR 影像[4]。在他們的研究中，他們先將 HDR 影像透過色調再生技術將影像轉換成為 LDR 影像，再試圖將此 LDR 影像轉換成 HDR 影像；Rempel 以及 Meylan 亦討論了相關的議題[34, 24]。我們參考 Banterlen 所使用的方法，他們以 Reinhard 所提出的色調再生技術為基礎[30]，選擇 Reinhard 的方法主要是因為他的方法易於作反運算，如本文中的演算式(4)與(5)[30]。

對於我們的應用，我們將演算式(4)帶入演算式(5)，然後作反運算以得到 Cw與Cn的關係函式，

如演算式(12)。

α

C C C α

C 1 C C C 0 (12) 我們可直接利用公式解求得Cw，如演算式(13)。從演算式(13)可以清楚地知道，欲將 BLc轉換回近似 HDR 的值域中，我們必須先獲得影像中的α、C_av、

Cwhite這三個關鍵參數。根據 Banterle 提供的試驗

數據，可以知道原始 HDR 影像中的 Cav值與經由色調在生後的 LDR 影像中的 Cav值相差不大。換句話說，我們可直接計算BLc的Cav值以作為將BLc

轉換至 HDR 值域的參數。其他另外兩個參數α與

Cwhite必須進一步用適當的方法來給與它們適當的

數值。

色調再生技術主要的概念即是將一張影像中的最亮與最暗的亮度值對應至[0, 1] ，因此當 C ∞，則 Cn = 1.0[32]。故我們將 Cn = 1.0 帶進演算式(13)，得到演算式(14)，且因為 RGB 三原色數值均為正數，所以演算式(14)僅取正數的部分。

(9)

(a) 樹林 (b) 夕陽 (c)

(d) wa = 0.2, wb = 0.8 (e) wa = 0.5, wb = 0.5 (f) wa = 0.8, wb = 0.2 圖12：由我們提出的方法所獲得的 HDR 合成結果影像。樹林影像為中曝光程度 HDR 影像，黃昏影像為高曝光程度HDR 影像。儘管兩張影像的曝光程度具有較大的差異性，我們的方法依然可有效地為它們作合成處理，能夠獲得預期中的線性合成結果，並且還能夠維持影像中的細節資訊。

BL HEM C

Cα 1 C α

C 1 C 4 · α C C 2 · α

C C

(13)

C C C

α (14)

演算式(14)使得α值為：

α C C

C (15)

根據 Banterle 的建議，Cwhite我們可以取用在所有的 Cn資訊中介於中間值與最小值之間的任意一個數值[4]；在我們的系統中，我們計算介於 Cn

中間值與與最小值之間的平均值來作為 Cwhite。在 Banterle 的系統中，Cw的數值由使用者給予，對同一景像而言可以獲得不同的曝光程度；但是此方法會使得原始 HDR 影像中的景像與重建的 HDR 影像中的景象之間會產生明顯的色差，這是我們必須要避免的。

由於我們的任務是將多張HDR 影像中的景物合成在一起，所以那些影像中的物件色彩氛圍必須儘量被保留；此外，我們的應用中僅需產生 HDR 的基本映圖即可。因此為了能夠依據合成影像自身的特性而產生HDR 映圖，我們取出 BLc中的最大數值作為Cw的參數，如此便能夠計算獲得適當的 α數值作為轉換之用。緊接著，我們將所獲得的α、

Cav、Cwhite帶入演算式(13)中以求得整張影像的 Cw

數值，此處所獲得的 Cw值即為 BLcHEM = (R’wp + G’wp + B’wp)。最後再將 BLcHEM帶入演算式(11)中即可獲得重建後的HDR 合成影像。圖 12(c)為直接使用線性內插法做合成處理的結果，此結果影像中大

部分為夕陽影像的資訊，而樹林的影像資訊則相對較少，此狀況即為不同曝光度所致，圖12(d)-(f)展示由我們的方法所合成出來的HDR 結果影像；由結果顯示我們提出的方法的確能夠將具不同曝光程度的HDR 影像作有效的合成處理。請注意，因為我們所提出的方法的第三個步驟將會重建 HDR 影像(HDR image re-rendering)，因此合成影像中的物件能夠完全地結合再一起，較不會具有類似物件重疊的視覺感受。

4. 試驗結果

我們以C++程式語言實作所提之方法，使用的 HDR 影像格式為 Radiance RGBE。測試平台為 Windows XP，使用的 CPU 為 Intel Pentium M 1.86GHz，記憶體大小為 768MB。

如第一節中所述，我們知道為了能夠於現有的顯示器上較正確地表現HDR 影像的資訊，因而衍伸出色調在生的研究議題，以將HDR 影像轉換為 LDR 影像。有鑑於此，我們必須思考 HDR 影像的合成處理是否可以考慮首先將 HDR 影像轉換為 LDR 影像，而後再實行線性的合成處理，最後再將合成的LDR 結果轉換成 HDR 影像[4, 34]。

圖13(a)與 13(b)為兩張具低曝光度的 HDR 影像，請注意此測試模型中，圖 13(a)的合成權重值為0.7，而圖 13(b)的合成權重值為 0.3。我們首先利用PhotoImpact 11 的色調再生功能將圖 13(a)與 13(b)轉換成 LDR 影像，緊接著再將他們的 LDR

(10)

(a) (b)

(c) (d)

(e) (f)

圖13：帶面具的女人(a)與 Peyrou 公園水塔(b)。(a)與(b)為低曝光度的 HDR 影像。我們首先透過色調再生技術將(a)與(b)轉換成 LDR 版本的影像，緊接著再作線性的合成處理得到(c)。我們亦使用 Grundland 提出的非線性方法來作合成處理，試著保留較佳的對比度，如圖(d)。(e)為直接使用 HDR 影像資訊作線性的合成處理，其結果或許可被我們所接受，但是依然有些缺失在其中。(f)則是由我們提出的方法所得到的結果，相較於其他的結果影像，我們的方法確實能較有效地為HDR 影像作線性的合成處理。

影像來源：http://www.hdrsoft.com/index.html 影像直接作線性的合成處理，如圖13(c)；從此 LDR 的合成結果，我們不難觀察出影像中的對比度已大量的流失，也因此亦失去原影像中細節資訊，色彩也因此而失真。此外，因為圖 13(a)所使用的合成權重為0.7，故理想上圖 13(c)的景象應較為接近於圖 13(a)，但是此結果影像則不然。整個結果影像幾乎被比重僅有 0.3 的圖 13(b)所影響，以至於結果影像偏暗。我們更進一步使用Grundland 提出的非線性影像合成技術來提高合成後的影像對比度 [14]，其結果如圖 13(d)；在此結果中，相較於圖 13(c)，我們可以清楚底觀察到影像的對比度的確被提高了，但是依然失去了大量的細節資訊，影像的色彩亦是被比重僅占 0.3 的圖 13(b)所影響。儘管目前已有方法能夠將 LDR 影像轉換成為 HDR 影

像，但是這類技術的效能是否良好均取決於輸入的 LDR 影像品質的優劣以及細節資訊是否足夠而定 [1, 4, 34]；由上述的試驗結果可得知，因為 LDR 影像的線性合成結果已不盡理想。倘若再將 LDR 的合成結果轉換成HDR 影像，則就美學以及生活經驗的觀點，所獲得的HDR 影像景緻亦不能為我們所接受；因此我們必須尋求其他的方法來為 HDR 影像作合成的處理，而我們提出的方法即是直接以原始的HDR 影像資訊作為處理對象。

圖13(e)為直接以 HDR 影像資訊作線性的合成處理，此處請注意，我們的輸出影像仍為HDR 影像。由於兩張HDR 影像均屬於低曝光度影像，因此，結果影像或許可為一些使用者所接受，但我們仔細觀察，不難發現屬於圖13(a)的影像資訊強度

(11)

(a) (b) (c) (wa, wb) = (0.5, 0.5)

(d) (wa, wb) = (0.9, 0.1) (e) (wa, wb) = (0.5, 0.5) (f) (wa, wb) = (0.1, 0.9) 圖14：(a)夕陽，為高曝光度 HDR 影像；(b)園型花窗，為低曝光度 HDR 影像；(c)直接將 HDR 影像作線性合成處理的結果；(d)-(f)為透過我們提出的方法並且使用不同權重所獲得的結果。注意：此處我們以wa與wb表示圖(a)與圖(b)所使用的權重值。影像來源：http://debevec.org/Research/HDR/。

(a) (b) (b)

(c) (d)

圖15：(a)布里斯托橋，為中曝光度 HDR 影像。(b)山谷，為中曝光度 HDR 影像。(c)直接使用線性合成方法所獲得的結果，(d)由我們提出的方法所獲得的結果；(c)與(d)為使用一權重值映圖(b)所獲得的結果影像。影像來源：http://www.cs.ucf.edu/~reinhard/cdrom/hdr.html [30]。

不足，失去原有的對比以及鮮明度，而屬於圖13(b) 的影像資訊，特別是中間水塔的部分，失去了不少的資訊，無法保留水塔建築的完整性；此外，儘管結果影像(圖 13(e))的整個景緻確實較接近於圖 13(a)，我們亦可發現兩張影像的融合度不是那麼的好，例如圖 13(e)中左方建築物的走廊部分，因為圖13(b)中左邊雲彩的像素值相對地大於圖 13(a)中建築物走廊的像素值，所以在圖 13(e)中會產生雲彩覆蓋在走廊上面的景象；圖 13(e)中街上的桌椅部分亦存在如此的現象。圖 13(f)則是使用我們的

方法所獲得的結果(輸出亦為 HDR 影像)，從結果影像中我們可以清楚地觀察到公園水塔的影像資訊被保留的較佳，而影像中的細節資訊以及對比度亦被保留的較為完好，且因我們認為合成的 HDR 影像應被視為一新的影像，故影像的合成過程中我們重新計算此結果影像的曝光程度，以使得影像中的物件能有較佳的融合效果。我們可比較圖 13(e) 與圖 13(f)中建築物走廊與牆面上的紋路資訊、街上的桌椅，甚至是影像中女人衣物的部分，我們的結果均優於直接使用線性合成方法的結果(圖 13(e))

(12)

腳踏車攝影師樹

(a) 直接使用線性內插法所獲得的結果 (b) 使用我們所提方法的結果

圖 16：我們所提之方法對於兩張以上的 HDR 影像依然均具有良好的合成效果。影像來源：

http://lcavwww.epfl.ch/alumni/meylan/ [25]。

，景物的融合較佳，視覺效果良好，我們的方法能更有效地為HDR 影像作線性的合成處理。

如第1 節中所述，HDR 影像大致上可被分為三類，即高、中、低曝光HDR 影像。因此最為極端的例子便是將具高曝光與低曝光程度的HDR 影像作結合。圖14 展示此一極端的例子；首先我們展示直接將HDR 影像作線性合成處理所獲得的結果，使用的合成權重值為0.5，如圖 14(c)，此結果中仍然可以清楚地觀察到具高曝光程度的夕陽影像將圓形花窗大部份的資訊掩蓋掉了，與我們所預期的結果相去甚遠。圖14(d)-(f)則是由我們提出的方法所獲得的結果，很清楚地，我們的方法確實能有效地為此一極端的例子作線性的合成處理。

圖15 展示將布里斯托橋的景色與另一山谷的景色作合成處理，企圖獲得現實生活中無法拍攝到的景色。儘管此例中的兩張HDR 影像均屬於中曝光程度影像，但是布里斯托橋影像的曝光程度則高於山谷影像一些，特別是影像中央靠上的天空部分。

當我們直接將HDR 影像資訊作線性的合成處理時，

如圖 15(c)，在天空的部分，原布里斯托橋影像中的資訊占大部分，而沒有山谷影像中的皓皓白雪以

及岩石的資訊在其中。圖 15(d)為我們的方法所獲得的結果，在此處不管是山上的白雪或是岩石資訊均表現較佳，較能夠為我們所接受，此結果再次驗證所提方法的有效性。

圖 16 展示三張各具不同曝光程度 HDR 影像的合成結果，此處三張影像各自的合成權重值均為 0.333。圖 16 中最上面一排展示未經色調再生處理過的原始HDR 景象，中間排則為色調再生過後的景象。圖16(a)與圖 16(b)分別為直接使用線性內插法於HDR 影像上的合成結果以及使用我們提出的方法所獲得的合成結果。比較兩者結果，我們可以清楚地觀察到圖 16(a)的結果較不理想，例如，腳踏車影像中左方牆壁的樣貌在圖 16(a)中僅能依稀地觀察到它；攝影師影像中，攝影師下半身的資訊在圖 16(a)中同樣地較無法觀察的到資訊的完整性；

樹影像中的樹葉在圖 16(a)中的對比度則較差，同時亦失去了較多表現樹葉的資訊。而我們的結果 (圖 16(b))不管是影像細節的表現或是影像中的對比度均表現的比圖 16(a)較佳，所合成的景象較符合我們的預期以及對LDR 影像的合成使用經驗。

我們的演算法尚有另外一項好處，即能夠為

(13)

High Resolution Version: http://linkin0124.myweb.hinet.net/huang_hdrc_ncs07.rar HDR 影像作增強處理(Image enhancement)。為

HDR 影像作增強處理的好處是能夠提升色調再生技術的效能，使得色調再生後的影像視覺品質更佳。

在此，為了比較說明HDR 影像增強的成效，我們採用六種色調再生技術分別對未增強與增強後的 HDR 影像做色調再生處理，以說明我們的方法對 HDR 影像作增強處理的有效性，使用的色調再生技術分別為：Reinhard 所提出的兩種不同的技術 [30, 33]、Meylan 與 Kuang 以人類視覺為基礎的色調再生技術[23, 25, 19]，以及商業影像編輯軟體 PhotoImpact 11 所提供的色調再生功能，其效果相似於Durand 所提出的技術[10]。

圖 17 展示未增強以及增強的 HDR 影像使用於不同的色調再生技術上之比較；因使用的色調再生技術均各有其優缺點，故獲得的效果亦有所不同，

此處我們不討論哪種色調再生技術的視覺效果較佳，而是比較使用原始尚未增強的以及增強的 HDR 影像其色調再生後的效果，其影像資訊是否如實地被增強，提供更佳的視覺效果；很顯然地，

經由我們提出的技術為 HDR 影像作增強處理後，

色調再生的結果影像中的細節資訊均較為地銳利，

由於人類視覺系統辨識物件均是以物件邊緣或形狀資訊的強弱來做依據[45]，因此這樣的效果對於人類視覺系統而言是具有較佳的視覺品質。

色調再生技術

原始 HDR 影像增強後的 HDR 影像

[30][33][25][23]

(14)

[19]PhotoImapct 11

圖 17 ：使用不同的色調再生技術於未增強以及增強之 HDR 影像的比較。影像來源： http://lcavwww.epfl.ch/alumni/meylan/ [23, 25]。

5. 結論與未來工作

本文提出一個新的技術能夠簡單且有效地將 HDR 影像作線性的合成處理，解決了 HDR 影像曝光度相差甚異而無法作合成處理的問題。我們的方法主要將每一張欲作合成處理的 HDR 影像拆解 (Decomposition)成三個部分，分別為色彩層(Color layer)、基礎層(Base layer)，以及細節層(Detail layer)；

緊接著使用者即可依據個人的喜好分別將每一 HDR 影像的這三層資訊作線性的合成處理。然而我們認為合成後的影像應該視為是一張全新的影像，因此它必須具有獨立且適當的亮度強度，為了達到此一目的，我們採用映圖預估的方法去為合成後的影像重建出適當的亮度強度。經由試驗結果得知，我們所提出的方法確實能夠有效地將具有不同亮度強度的HDR 影像作線性的合成處理。我們相信所提之技術可被進一步地使用於各種與影像合成相關的議題上，例如影像接合(Image stitching) 或是影像融合(Image fusion)等研究議題，具有實質的貢獻。

此外，在 HDR 影像色調再生的研究領域中，

學者為了能夠在LDR 的顯示器上以較佳的視覺感受去呈現HDR 影像，通常在色調再生(Tone mapping)的過程中企圖將細節資訊作影像強化(Image enhancement)的處理，透過這樣的方式使影像能夠有更真實的表現。不過這樣的方式會因為色調再生技術的不同而獲得不同程度的細節表現。而我們認為，若是考慮先為HDR 影像作強化處理，當使用者選用任何一種色調再生演算法時，均可獲得比尚未強化處理過的 HDR 影像更好的色調在生效果。

幸運地，對此我們無須再提出額外的方法來解決此一問題，我們所提出的HDR 影像合成技術亦可解

決上述之問題。在我們的系統中，當使用者所使用的混和權重值為1 時，則可為 HDR 影像作強化的處理。此特性亦提高了所提演算法的使用與應用價值。

在未來我們期望能夠將此一技術延伸至 HDR 視訊上[16, 21, 22]，合併影像接合或影像融合技術，

使得 HDR 的視訊中能夠額外加入其他 HDR 或是 LDR 的物件[12]，以傳達一些特殊的意義，這對於現今流行的自製視訊(Homemade video)，商業廣告，

以及電影工業將會有莫大的助益。

6. 參考文獻

[1] A. O. Akyüz, R. Fleming, B. E. Riecke, E.

Reinhard, and H. H. Bülthoff, “Do HDR Dis- plays Support LDR Content? A Psychophysical Evaluation,” ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2007), Vol.

26, No. 3, Article 38, 2007.

[2] M. Ashikhmin and J. Goyal, “A Reality Check for Tone-mapping Operators,” ACM Transac- tions on Applied Perception, Vol. 3, No. 4, pp.

399-411, 2006.

[3] S. Bae, S. Paris, and F. Durand, “Two-scale Tone Management for Photographic Look,”

ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2006), Vol. 25, No. 3, pp.

637-645, 2006.

[4] F. Banterle, P. Ledda, K. Debattista, and A.

Chalmers, “Inverse tone mapping,” Proceed- ings of the Fourth International Conference on Computer Graphics and Interactive Techniques in Australasia and Southeast Asia, pp. 349-356, ACM Press, December 2006.

(15)

High Resolution Version: http://linkin0124.myweb.hinet.net/huang_hdrc_ncs07.rar [5] P. J. Burt and E. H. Adelson, “A Multiresolu-

tion Spline with Application to Image Mosaics,”

ACM Transactions on Graphics, Vol. 2, No. 4, pp. 217-236, 1983.

[6] M. Čadík and P. Slavík, “The Naturalness of Reproduced High Dynamic Range Images,”

Proceedings of the Ninth International Confe- rence on Information Visualization, pp.

920-925, 2005.

[7] M. Čadík, M. Wimmer, L. Neumann, and A.

Artusi, “Image Attributes and Quality for Evaluation of Tone Mapping Operators,” Pro- ceedings of Pacific Graphics 2006, pp. 35-44, 2006.

[8] J. Chen, S. Paris, and F. Durand, “Real-time Edge-aware Image Processing with the Bilater- al Grid,” ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH), Vol. 26, No.

3, Article 103, 2007.

[9] M. Colbert, E. Reinhard, and C. E. Hughes,

“Painting in High Dynamic Range,” Journal of Visual Communication and Image Representa- tion, Vol. 18, No. 5, pp. 387-396, 2007.

[10] F. Durand and J. Dorsey, “Fast Bilateral Filter- ing for the Display of High-dynamic-range Images,” ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2002), Vol.

21, No. 3, pp. 257-266, 2002.

[11] E. Eisemann and F. Durand, “Flash Photogra- phy Enhancement via Intrinsic Relighting,”

ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2004), Vol. 23, No.3, pp.

673-678.

[12] J. Fischer, D. Bartz, and W. Straber, “Stylized Augmented Reality for Improved Immersion,”

Proceedings of IEEE Virtual Reality Confe- rence (VR’05), pp. 195-202, 2005.

[13] R. C. Gonzalez and R. E. Woods, Digital Image Processing, Second Edition, Prentice Hall, 2002.

[14] M. Grundland, R. Vohar, G. P. Williams, and N.

A. Dodgson, “Nonlinear Multiresolution Image Blending,” Proceedings of International Con- ference on Computer Vision and Graphics, 2006. (also to appear in Machine Graphics &

Vision)

[15] M. Grundland, R. Vohra, G. P. Williams, and N.

A. Dodgson, "Cross Dissolve without Cross Fade: Preserving contrast, Color and Salience in Image Compositing," Computer Graphics Forum (Proceedings of Eurographics 2006), Vol. 25, No. 3, pp. 577-586, 2006.

[16] S. B. Kang, M. Uyttendaele, S. Winder, and R.

Szeliski, “High Dynamic Range Video,” ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2003), Vol. 22, No. 3, pp.

319-325, 2003.

[17] E. A. Khan, E. Reinhard, R. W. Fleming, H. H.

Bülthoff, “Image-based Material Editing,”

ACM Transactions on Graphics (Proceedings

of ACM SIGGRAPH 2006), Vol. 25, No. 3, pp.

654-663, 2006.

[18] J. Kuang, H. Yamaguchi, C. Liu, G. M. Johnson, and M. D. Fairchild, “Evaluating HDR Ren- dering Algorithms,” ACM Transactions on Ap- plied Perception, Vol. 4, No. 2, Article 9, 2007.

[19] J. Kuang, G. M. Johnson, M. D. Fairchild,

“iCAM06: A Refined Image Appearance Model for HDR Image Rendering,” Journal of Visual Communication and Image Representation, Vol.

18, No. 5, pp. 406-414, 2007.

[20] P. Ledda, A. Chalmers, T. Troscianko, and H.

Seetzen, “Evaluation of Tone Mapping Opera- tors using a High Dynamic Range Display,”

640-648, 2005.

[21] R. Mantiuk, G. Krawczyk, K. Myszkowski, and H.-P. Seidel, “Perception-motivated High Dy- namic Range Video Encoding,” ACM Transac- tions on Graphics (Proceedings of ACM SIG- GRAPH 2004), Vol. 23, No. 3, pp. 733-741, 2004.

[22] R. Mantiuk, A. Efremov, K. Myszkowski, and H.-P. Seidel, “Backward Compatible High Dy- namic Range MPEG Video Compression,”

713-723, 2006.

[23] L. Meylan, D. Alleysson, and S. Süsstrunk, “A Model of Retinal Local Adaptation for the Tone Mapping of Color Filter Array Images,” Jour- nal of the Optical Society of America A (JOSA A), Vol. 24, No. 9, pp. 2807-2816, 2007.

[24] L. Meylan, S. Daly, and S. Süsstrunk, “The Reproduction of Specular Highlights on High Dynamic Range Displays,” Proceedings of IS&T/SID 14th Color Imaging Conference, 2006.

[25] L. Meylan and S. Süsstrunk, “High Dynamic Range Image Rendering Using a Retinex-Based Adaptive Filter,” IEEE Transactions on Image Processing, Vol. 15, No. 9, pp. 2820-2830, 2006.

[26] L. Meylan, S. Daly, and S. Süsstrunk, “Tone Mapping for High Dynamic Range Displays,”

Proceedings of IS&T/SPIE Electronic Imaging:

Human Vision and Electronic Imaging XII, Vol.

6492, 2007.

[27] P. Perez, M. Gangnet, and A. Blake, “Poisson Image Editing,” ACM Transactions on Graph- ics (Proceedings of ACM SIGGRAPH 2003), Vol. 22, No. 3, pp. 313-318, 2003.

[28] G. Petschnigg, M. Agrawala, and H. Hoppe,

“Digital Photography with Flash and No-Flash Image Pairs,” ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2004), Vol.

23, No. 3, pp. 664-672, 2004.

[29] R. Raskar, A. Ilie, and J. Yu, “Image Fusion for Context Enhancement and Video Surrealism,”

(16)

High Resolution Version: http://linkin0124.myweb.hinet.net/huang_hdrc_ncs07.rar Proceedings of the Third International Sympo-

sium on Non-photorealistic Animation and Rendering, pp. 85-94, 2004.

[30] E. Reinhard, M. Stark, P. Shirley, and J. Fer- werda, “Photographic Tone Reproduction for Digital Images,” ACM Transactions on Graph- ics (Proceeding of ACM SIGGRAPH 2002), Vol.

21, No. 3, pp. 267-276, 2002.

[31] E. Reinhard, “Parameter Estimation for Photo- graphic Tone Reproduction,” Journal of Graphics Tools, Vol. 7, No. 1, pp. 45-51, 2003.

[32] E. Reinhard, G. Ward, S. Pattanaik, and P. De- bevec, High Dynamic Range Imaging: Acquisi- tion, Display, and Image-Based Lighting, Mor- gan Kaufmann Publishers, 2005.

[33] E. Reinhard and K. Devlin, “Dynamic Range Reduction Inspired by Photoreceptor Physiolo- gy,” IEEE Transactions on Visualization and Computer Graphics, Vol. 11, No. 1, pp. 13-24, 2005.

[34] A. G. Rempel, M. Trentacoste, H. Seetzen, D.

Young, W. Heidrich, L. Whitehead, and G.

Ward, “Ldr2hdr: On-the-fly Reverse, Tone Mapping of Legacy Video and Photographs,”

ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2007), Vol. 26, No. 3, Ar- ticle 39, 2007.

[35] H. Seetzen, W. Heidrich, W. Stuerzlinger, G.

Ward, L. Whitehead, M. Trentacoste, A. Ghosh, and A. Vorozcovs, “High Dynamic Range Dis- play Systems,” ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2004), Vol.

23, No. 3, pp. 760-768, 2004.

[36] K. Smith, G. Krawczyk, K. Myszkowski, and H.-P. Seidel, “Beyond Tone Mapping: En- hanced Depiction of Tone Mapped HDR Im- ages,” Computer Graphics Forum (Proceedings of Eurographics), Vol. 25, No. 3, pp. 427-438, 2006.

[37] M. C. Stone, A Field Guide to Digital Color, A K Peters, 2003.

[38] C. Tomasi and R. Manduchi, “Bilateral Filter- ing for Gray and Color Images,” Proceedings of IEEE International Conference on Computer Vision, pp. 839-846, 1998.

[39] M. Trentacoste, W. Heidrich, L. Whitehead, H.

Seetzen, and G. Ward, “Photometric Image Processing for High Dynamic Range Displays,”

Journal of Visual Communication and Image Representation, Vol. 18, No. 5, pp. 439-451, 2007.

[40] C. M. Wang, Y. C. Zhou, and M. L. Huang, “A New Framework for Image Abstraction,”

Journal of Engineering National Chung Shing University, Vol. 18, No. 2, pp. 125-149, 2007 (in Chinese).

[41] G. Ward and M. Simmons, “Subband Encoding of High Dynamic Range Imagery,” Proceed- ings of First Symposium on Applied Perception in Graphics and Visualization (APGV), pp.

83-90, 2004.

[42] G. Ward and M. Simmons, “JPEG-HDR: A Backwards-Compatible, High Dynamic Range Extension to JPEG,” Proceedings of IS&T/SID 13th Color Imaging Conference, pp. 283-290, 2005.

[43] G. Ward, “The Hopeful Future of High Dy- namic Range Imaging,” Proceedings of the 2007 Society of Information Display Sympo- sium, May 2007.

[44] G. Wyszecki and W. S. Stiles, Color Science:

Concepts and Methods, Quantitative Data and Formulae, Second Edition, Wiley-Interscience, New York, 2000.

[45] J. A. Ferwerda, “Elements of Early Vision for Computer Graphics,” IEEE Computer Graphics and Applications, Vol. 21, No. 5, pp. 22-33, 2001.

High Dynamic Range Image Composition

高動態範圍影像合成