摘 要
由於近年來色彩盛行,彩色顯示器、彩色掃瞄器、彩色印表機及數位相機等光 電產品普及,促使人們要求產品的色彩準確度日漸嚴謹。因此,也讓越來越多的研 發單位或廠商對彩色輸出入產品之色彩校正或色彩準確等問題進行更深入的研究。
然而,想要達到此高準確度之目標,必需借助價格昂貴之分光光度計來測量色彩之 頻譜,以及繁複的步驟與花費大量時間方能完成 。
因此,在本篇論文中,我們利用數位相機及彩色濾鏡來取得彩色影像,並主要 利用多頻譜之主軸分析技術及多維線性模型以重建我們所量測色彩之光譜,最後利 用目前擁有之百萬級分光光度計進行實驗分析及驗證 。
致 謝 辭
本 文 承 蒙 鄭 芳 炫 教 授 兩 年 來 悉 心 之 指 正 引 導, 始 能 順 利 完 成,謹此致 上 最 誠 摯 的 謝 意。又資訊工程系所諸位師長,均 熱 心 提 供 許 多 寶 貴 的 意 見 , 在 此 一 併 致 謝 。
另外還要感謝蔡昌儒學長、范剛維學長、王展昭學長、同學彥宏、毓良、再興、
淼鎮、在豐、正岱、永欽及男友詠翔,在論文研究期間給予我精神上莫大之鼓勵、
支持與建議;最後,謹以此文獻給我摯愛的雙親 ,陳龍雷先生與羅杏姬女士。
目 錄
摘 要 ...i
致 謝 辭 ...ii
圖表目錄 ...iv
表格目錄 ...v
第 1 章 簡介 ...1
1-1 動機與目的 ...1
1-2 論文架構...2
第 2 章 相關研究 ...3
第 3 章 基本色彩背景簡介 ...4
3-1 色彩空間簡介...4
3-1.1 RGB 空間 ...4
3-1.2 CIE LAB 空間 ...5
3-1.3 CMY 色彩空間 ...5
3-1.4 CIE XYZ 色彩空間 ...5
第 4 章 以多重頻譜分析為基礎之色彩量測系統 ...6
4-1 濾鏡的挑選 ...7
4-2 多重頻譜影像擷取...8
4-3.2 基底函數分析 ...10
4-4 多重頻譜的重建 ...11
4-4.1 最小方陣 ...11
4-4.2 線性方法 ...12
4-5 影像重建...12
4-5.1 色彩配色函數 ...13
4-5.2 影像重建 ...13
第 5 章 實驗 ...15
5-1 實驗環境與實驗器材 ...15
5-2 實驗方法...16
5-3 實驗結果...20
第 6 章 結論與討論 ...24
論 文 英 文 本 ...26
圖表目錄
圖表 4-1 以多重頻譜為基礎的色彩量測系統流程圖。...6
圖表 4-2 實驗中相機擷取影像的概要圖...9
圖表 4-3. 利用主軸分析所計算出的累積貢獻比 ...10
圖表 4-4 利用數位相機與柯達彩色濾片重建影像中每個像素頻譜的流程圖 ...12
圖表 5-1 擷取影像之器材置放位置...15
圖表 5-2 實驗樣本 (ColorChecker 與 ColorChecker DC) ...16
圖表 5-3 利用樣本 ColorChecker 取得前六項特徵向量...17
圖表 5-4 利用樣本 ColorChecker DC 取得前六項特徵向量 ...17
圖表 5-5. 利用不同的特徵向量重建頻譜...19
圖表 5-6. 重建頻譜(藍色曲線)與原始頻譜(紅色曲線)比較圖 ...21
圖表 5-7. ColorChecker 樣本影像 (左)與重建影像 (右) ...21
圖表 5-8. ColorChecker DC 樣本影像(左)與重建影像 (右)...22
圖表 5-9. 印刷圖片之樣本影像(左)與重建影像 (右)...22
圖表 5-10. 照片之樣本影像 (左)與重建影像 (右)...22
表格目錄
表格 4-1 不同藍色濾鏡之間的相關性 ...7
表格 4-2. 不同樣本中所計算的累積貢獻比 ...11
表格 5-1. 平均誤差比較 (利用 CIE Lab 色差公式)...19
表格 5-2. 模擬影像與實際影像之平均誤差值比較表...23
第1章 簡介
1-1 動機與目的
由於近年來色彩處理技術發展非常快速,彩色顯示器、彩色掃描器 、彩色印表 機和彩色數位相機等光電產品越來越普及,使人們對色彩準確度的要求越來越嚴謹。
因此,已有許多研發單位或廠商針對彩色輸出入產品之色彩校正或色彩重現等問題 進行深入的研究。然而要達到此高準確之目標需借助昂貴之分光光度計來測量色彩 之頻譜,同時需花費繁瑣的量測步驟及時間才能完成。因此,我們利用頻譜資訊去 重建色彩 ,使得在不同照明和觀測角度下均能達到頻譜匹配( Spectral match)。
在本論文中,我們提出以高階彩色數位相機配合多個濾鏡利用多頻譜分析技術 來取代分光光度計之量測方式,以達到低成本高效率而又不失其準確度之色彩量測 及重現系統。
1-2 論文架構
在本論文中,我們提出了一個以多重頻譜分析為基礎之色彩量測系統。共分為 六個章節,首先,以第一章為本篇論文的動機與目的。我們介紹了以前的文獻在第 二個章節中。在第三章中,大致介紹了色彩空間的特性。第四章,則詳細的把所提 出之色彩重現方法介紹一遍。第五章把實驗與比較的結果做一個陳述。而第六章則 為結論與討論 ,以及一些未來研究的工作。
此論文之中文版部份僅為研究成果之摘要,至於詳細的細節部份與資料部份,
請參考論文英文版的部份。
第2章 相關研究
英國國家美術館發展了一套多重頻譜的影像擷取系統─VASARI[5],此系統可以 成功的在其所定義的光源及觀測條件下得到準確的色彩重現。VASARI系統將油畫分 成3K x 2K的方格,以每塊方格重疊約 200個像素,利用一個固定在地板上的一組鋼 製XYZ裝置移動像機擷取系統去擷取每一塊影像。此相機系統採用一個七段多頻譜 12位元之數位相機來掃描藝術畫,在經過適當的信號以及空間處理以後 ,將畫作轉換 成大小為 20K x 20K,10位元L*,11位元a*及b*之影像。
孟塞爾色彩科學實驗室(Munsell Color Science Laboratory)[11-14]也研究了一 套高解析度多重頻譜色彩擷取系統。他們利用英國國家美術館的系統以及做兩方面 的補強。首先,減少油畫掃描的需要。其目的是要減少影像擷取系統的花費和複雜 性。而另一個是要定義影像頻譜和利用這個頻譜資訊來提供影像重現。此目的是要 針對在不同照明體和觀測角度下產生準確的色彩匹配(color match)。
在日本方面,已經由資訊技術促進處(IPA)發展了一套 對藝術畫做儲存與重 建的高準確度色彩系統。這個系統由高精確的多頻( multi-band)相機、個人電腦和 專用顯示器所組成。而此多頻相機則由五片濾片與一台2048 x 2048像素的單色相機 所組成。因此待重建的原始畫作的每個像素的頻譜即可被重建,而其頻譜平均誤差
△E 保持在值為1.16之內。這個系統根據主軸分析(PCA)的方法決定了五個濾片
第3章 基本色彩背景簡介
3-1 色彩空間簡介
色彩的空間是由某種特性和人類的視覺所定義的一個顏色表達方法,也是唯一 規定色彩的方法。例如以人類觀點我們將色彩定義出三種屬性:亮度(Brightness), 色度(Hue),彩度(colorfulness),但是電腦表示顏色的方法是以紅(red),綠
(green),藍(blue),的程度多寡來顯示一種顏色,而印表機表現顏色的方法又是 用青藍(cyan),紫紅(magenta),黃(yellow),黑(black),來表示的,它們分 別為 RGB 的互補色 。
通常,我們利用三維座標或三個變數去表示色彩,但這只是一種色彩空間的表 示方法,因為不同的周邊都有不同的特性來表示顏色,因此我們會依照不同的硬體 週邊去顯示色彩。再者,由於顯示器和印表機表示顏色的方法完全不同,因此我們 需要各種的色彩空間轉換來將人類看起來的同一種顏色互相做對應。
3-1.1 RGB 空間
RGB 色彩空間通常在電視或是電腦顯示器上用來表達色彩。它是由紅色、藍色 和綠色所組成,我們能夠使用一個單位立方體表示 RGB 模型,而立方體中的每一 個點都表示特定顏色。
3-1.2 CIE LAB 空間
CIE Lab是目前色彩最常用的標準之一,它有著幾乎線性和幾乎包含所有色彩範 圍的優點,成為目前大家所共用的一個基礎的色彩空間。也正因如此,所以常被當 成所有色彩空間轉換的標準空間。CIE Lab 是由所量測得到的三刺激值 XYZ 所計 算而來,並且 CIE Lab 通常以一個立體的形狀來表現。
3-1.3 CMY 色彩空間
RGB 到 CMY 的色彩空間轉換非常簡單,因為 CMY 的三個變數分別為 RGB 的 互補色,因此,我們只要將 RGB 值以一相減 ,即可得到 CMY 值。
3-1.4 CIE XYZ 色彩空間
CIE XYZ 又稱做三刺激值,它結合了光源、反射物頻譜以及 CIELAB 標準色度 觀測者(CIELAB standard Colorimetric Observer)。所有 CIE 所定義的色彩空間都 經由這個 CIE XYZ 的色彩空間所得到。
第4章 以多重頻譜分析為基礎之色彩量 測系統
在這個章節中,我們將多重頻譜分析為基礎之量測系統分成三大部分,流程圖 可參考圖表 4-1。第一部分為第4-2節中的多重頻譜影像擷取系統,它使用一台高階 數位相機配合多片濾鏡去做影像擷取的動作。第二部分為第4–4節中的多重頻譜重現 系統,此系統評估影像的反射頻譜並將頻譜做重建。以及第4–5節中的影像重現系統。
圖表 4-1 以多重頻譜為基礎的色彩量測系統流程 圖。
4-1 濾鏡的挑選
在影像擷取部份中,我們使用一台數位相機 OLYMPUS C-3030 ZOOM(960 x 1280 pixels)配合六片柯達( KODAK )彩色濾鏡做影像擷取的動作。因此我們利用 濾鏡之間的相關性做濾鏡選取的動作。何謂相關性?相關性則為在兩片濾鏡之間描 述其關係程度的一個數字。因此我們可以利用相關性的計算得到每片濾鏡各自的總 相關性,而越與其他濾鏡相關則其總相關數字將越大。例如我們需要從一組藍色濾 鏡中選取一片合適的濾鏡,因此我們可以從 表格 4-1 中發現濾片 4 的總相關性數值 是六片濾鏡中最大值,因此此片濾鏡即為我們所需之濾鏡。而其他濾鏡的選取亦同 此步驟。
表格 4-1 不同藍色濾鏡之間的相關性
Filter 1 2 3 4 5 6
1 1 0.99642 0.97194 0.92743 0.86035 0.80072 2 0.99642 1 0.98826 0.95548 0.90016 0.84808 3 0.97194 0.98826 1 0.98931 0.95597 0.91887 4 0.92743 0.95548 0.98931 1 0.98831 0.96643 5 0.86035 0.90016 0.95597 0.98831 1 0.99402 6 0.80072 0.84808 0.91887 0.96643 0.99402 1 Total 5.55686 5.6884 5.82435
5.82696
5.69881 5.528124-2 多重頻譜影像擷取
我們將多重頻譜影像擷取步驟利用數學模式表示,則方程式 (4-1)表示光源頻譜 的分布。
=
s
ns s S
0
...
. .
0 . .
2 1
(4-1)
T n 2, 1,r ...,r ]
r =[r (4-2)
物體的反射頻譜以方程式(4-2)表示之,而 m 片濾鏡的頻譜則以 F 表示之,如方 程式(4-3). 而相機敏感度則如方程式 (4-4)所表示之 。
=
m n n
n
m
f f
f
f f
f F
, 2
, 1 ,
, 1 2
, 1 1 , 1
...
. . . .
. . . .
...
(4-3)
=
d
nd d D
0
...
. .
0 . .
2 1
(4-4)
因此我們可以靠方程式 (4-5)來擷取影像, Dc 則代表數位相機的影像擷取值
(digital counts),而擷取影像的概要圖參照圖表 4-2。
T
Sr
(DF)Dc
=
(4-5)圖表 4-2 實驗中相機擷取影像的概要圖
4-3 多重頻譜分析
假設我們擷取的頻譜波長範圍為 380 nm至780nm,取樣間隔為1nm,則我們將有 401個取樣 ,因此,我們將有 401個訊號可以去重建頻譜。
4-3.1 主軸分析
主軸分析(PCA)可以建立一組新的數字以減少一些不必要的資料,而其 所建立出的第一個主要成分( principal component)可以代表此組資料中大部分 的特徵,而之後所得的每一組數值,則陸陸續續代表剩餘資料中的其他特徵。
4-3.2 基底函數分析
一般而言,我們利用主軸分析產生一組新的數值,它將會依照遞減方式順序排 列。我們可以利用方程式(4-6)去計算它們各自的百分率,並利用這些百分率去計算 出累積貢獻比,我們可以從圖表 4-3 了解其累積貢獻比曲線,並從表格 4-2 可發現 當我們的特徵取到第六組的時候,不管是採用那一種樣本則其累積貢獻比都趨近 100%。
100 (%)
var
1 i
∑
i == ⋅
ni
iance
iλ
λ
(4-6)圖表 4-3. 利用主軸分析所計算出的累積貢獻比 .
表格 4-2. 不同樣本中所計算的累積貢獻比.
Number of eigenvectors
Cumulative Contribution (%) for ColorChecker
Cumulative Contribution (%) for ColorChecker DC
1 52.779 67.473
2 80.556 88.529
3 95.716 96.932
4 97.71 98.445
5 99.172 99.343
6 99.576 99.588
7 99.759 99.809
8 99.872 99.883
9 99.922 99.919
10 99.967 99.942
4-4 多重頻譜的重建
4-4.1 最小方陣
頻譜重建需要依賴相機的影像擷取值(digital counts),而這些影像擷取值可以 從多頻影像中擷取。我們需要利用回歸法( regression method)去計算一個最佳的轉 換矩陣M,適合套入方程式 (4-8)中。
Dc M )
(
Φ
TΦ
−1Φ
Tf =
(4-8)4-4.2 線性方法
我們可以利用所得到的特徵向量Φ, 影像擷取值 Dc和最小方陣M與方程式 (4-9) 重建影像頻譜 。
Dc M
f =Φ (4-9)
4-5 影像重建
圖表 4-4 利用數位相機與柯達彩色濾片重建影像中每個像素頻譜的流程圖
4-5.1 色彩配色函數
1931年國際照明委員會(CIE)量化了人類視覺對光源的反應,並將紅色感色細 胞、藍色感色細胞與綠色感色細胞量化而分別得到三條曲線,稱之為1931色彩配色 函數。而 CIE所定義的標準三刺激值即為
X 、 Y 與 Z
。4-5.2 影像重建
XYZ 值 計 算
由於影像重建必須仰賴各種不同的色彩空間,因此我們利用色彩配色函數,將 我們所得的重建頻譜轉換成三刺激值,方便在各種硬體做影像色彩重建。而轉換方 式表示如方程式(4-10),R(λ)表示反射物的重建頻譜。
∑
∑
∑
=
=
=
=
=
=
780
380 780
380 780
380
) ( ) (
) ( ) (
) ( ) (
λ λ
λ
λ λ
λ λ
λ λ
z R k Z
y R k Y
x R k X
(4-10)
誤 差 計 算
我們需要利用 CIE lab 色彩空間去計算重建頻譜與原始反射體頻譜間的誤差,如 此一來,有利於我們去做比較的動作。我們可以利用由方程式 (4-10)所得到重建之三
) ( L
2a
2b
2E = + +
∆
(4-11)∑ ∆
=
∆ E
average kE
i 1(4-12)
RGB 值計算
電視和電腦螢幕是利用加法混色的系統來顯色,因此,RGB色彩空間在這裡是 非常重要的,這也是我們利用RGB色彩空間重建影像的原因。我們計算出每個像素 的 重 建 三 刺 激 值 後 ,可以將重建後的頻譜轉換成在特定光源下的標準RGB 值
(sRGB),如此一來,我們將可以根據不同的顯示器硬體來重建RGB影像。
第5章 實驗
5-1 實驗環境與實驗器材
我們利用一間暗房去避免不必要的反射影響,並利用兩盞照明系統(4Bank
system)均勻照射物體以便擷取影像, 其器材放置位置參照圖表 5-1。 照明系統本 身含有一個遠端控制器(Ballast)與一盞擁有四隻燈管的燈具,並加上模擬 D65 光 源的遮光葉片(Barndoor),用來模擬 D65 光源作為我們實驗的主要光源。另外我們 利用一組 XY 軸平台去移動樣本,方便分光光度計(Minota CS-1000)擷取樣本各 個色塊之頻譜 。
在多頻影像擷取方面,我們利用一台數位相機 OLYMPUS C-3030 ZOOM(960 x 1280 像素)與五片柯達彩色濾鏡(KODAK color compensating filters)及一片 Lee 濾鏡來做擷取,因為我們所需的柯達藍色濾片尚未到貨,因此採用 LEE 藍色濾鏡( 1/8 C.T. Blue)取代柯達藍色濾鏡(CC30B),此片 LEE 濾鏡與所需的柯達濾鏡之誤差 值最小,約在 0.015 左右。
5-2 實驗方法
我們採用兩種不同的色棋 (ColorChecker 與 ColorChecker DC)做實驗樣本,並利 用這兩種樣本分別取得其前六項特徵向量做重建,以便之後做實驗比較對照。前六 項特徵向量可參照 圖表 5-3 與圖表 5-4。
圖表 5-2 實驗樣本 (ColorChecker 與 ColorChecker DC)
1st 2n d 3rd
4th 5th 6th 圖表 5-3 利用樣本 ColorChecker 取得前六項特徵向量
1st 2n d 3rd
4th 5th 6th
並且利用圖表 5-3 與圖表 5-4 重建頻譜,重建結果如下所示:(左圖:利用圖表 5-3 做頻譜重建 ;右圖:利用圖表 5-4 做頻譜重建 )
Blue Flower
Yellow
Magenta
White (.05)*
Black (1.5)*
圖表 5-5. 利用不同的特徵向量重建頻譜 (紅色曲線:代表原始頻譜;藍色曲線 :代表重建頻譜)
表格 5-1. 平均誤差比較 (利用 CIE Lab 色差公式 ) ColorChecker
(#24)
ColorChecker DC(#237) Correlation Correlation Eigenvector
Sample
High Low High Low
我們可以從圖表 5-5 以及表格 5-1 中得到兩個結論,第一個結論為利用越多的 樣本所取得的特徵向量所重建的頻譜,與原始頻譜的誤差會越小。第二個結論則為 利用相關性越高的濾鏡組所重建出的頻譜,與原始頻譜的誤差亦會越小,也就是說,
使用越好的濾鏡做重建的動作,重建出來的頻譜會與原始頻譜越相像。
5-3 實驗結果
我們利用四張 960 x 1280 像素的實際照片當作原始影像 ,利用數位相機 Olympus C-3030 Zoom與六片彩色濾片重建此四張影像。參見 圖表 5-7、圖表 5-8、
圖表 5-9 以及圖表 5-10。
由於相機擷取之區塊影像非純色,因此我們以區塊中每個像素的頻譜之平均頻 譜來代表其區塊頻 譜,參考圖表 5-6,並去計算它們之平均誤差(delta E)。
Light Skin Red
Blue Sky Purplish Blue
White(.05)* Black(1.50)*
圖表 5-6. 重建頻譜(藍色曲線)與原始頻譜(紅色曲線 )比較圖
圖表 5-8. ColorChecker DC 樣本影像(左)與重建影像 (右)
圖表 5-9. 印刷圖片之樣本影像 (左)與重建影像(右)
圖表 5-10. 照片之樣本影像(左)與重建影像 (右)
我們亦可以比較圖表 5-7 和圖表 5-8 之平均誤差值如 表格 5-2.
表格 5-2. 模擬影像與實際影像之平均誤差值比較表 Simulated Image Real Image ColorChecker (#24) 0.3612 11.807 ColorChecker DC (#237) 0.49721 11.716
第6章 結論與討論
色彩重建的方法對於提高色彩重建的準確度,使其與原始頻譜更相似是非常重 要的,因此我們提出了以多重頻譜為基礎色彩量測系統取代百萬級的分光光度計
(CS-1000)。雖然此類的分光光度計可以幾乎非常準確的量測頻譜,但它一次只能 量測到一個像素之頻譜,速度非常之緩慢,而以我們所提出的色彩量測系統,卻可 以量測整個面的每個像素之頻譜,就效率而言,此系統的效率遠高於分光光度計;
而我們可以從實驗中發現模擬之重建頻譜與原始頻譜相差非常之小,因此在準確度 方面,效果也算不錯,如此比較,我們可以得到這個色彩量測系統擁有高效率、高 準確度,以及步驟簡單的特點。
但是,當我們使用數位相機實際擷取影像值,卻發現重建之後的頻譜與原始頻 譜有一段差距,並且參雜了一些雜訊,而其計算的誤差值也與模擬之重建頻譜算出 的誤差值有一段差距,如表格 5-2所示。基於這些原因,我們仍有一些未來工作要 做。我們提供一些改進這個系統準確度的方法,如下所列 :
♦
從實驗中得知,越好的濾鏡重建出的效果也越好,因此我們可以利用更好的濾 鏡選擇方法選取所需的濾鏡 。♦
由於目前擷取影像是靠人工方式一張張以相機擷取,難免會由於觸碰相機造成 擷取之影像有些許位移,而造成重建結果有所偏差,因此我們可以結合影像幾 何定位來避免因為位移所造成重建結果的誤差。♦
為了增進色彩重建的準確度,我們必須做相機校正的動作,保持相機所得到的 擷取值精準,則重建結 果亦會跟著準確。♦
為了增加色彩重建的準確度,並且讓誤差值下降,我們必須減少相機擷取值的雜訊,在之前有一些減少影像雜訊的相關研究,它們可以幫助我們得到更好的 重建結果 。
♦
在我們的系統中,我們使用柯達的彩色濾鏡來做重建的動作,但是由於整組藍色濾鏡尚未到貨,因此我們使用Lee 濾鏡中與我們所需的藍色濾鏡相差誤差最 小的那片藍色濾鏡來替代我們原本所要使用的藍色濾鏡。另外,我們也因原本 所欲使用的相機( KODAK DCS 14n)尚未到貨,而以另一台較低階的相機 OLYMPUS C-3030 ZOOM取代之,因此,我們認為若是我們可以以原來所欲使 用隻器材來做重建 ,所得到的效果應該會比目前的效果來的準確。