研究設備與工具

„ 實驗影像：自行拍攝、標準影像。

„ 軟體工具：Microsoft Visual Studio 2005、Adobe Photoshop CS2

、

Matlab2007b

Libsvm-2.88[25]。

„ 硬體設備：單眼數位相機 Canon 400D、光箱 Gretage Macbeth The Judge II、

光譜儀 JETI spectroradiometers specbos 1201，Gretage Macbeth Colorchecker。

本研究中光源有兩種：

300 400 500 600 700 800

0

spectral power distribution DAY

300 400 500 600 700 800

0

spectral power distribution A

300 400 500 600 700 800

0

spectral power distribution CWF

300 400 500 600 700 800

0

spectral power distribution U30

(a) DAY (b) A (c) CWF (d) U30 圖 3-3 人造光源的光譜分佈

2、自然光源：本研究在 4-6 月間從 08:00~18:00，每隔 1 小時在本校科技學院頂 樓拍攝1 張 Macbeth 色票的影像（圖 3-4），並以 JETI 光譜儀量測影像拍攝時環 境中的日光光源頻譜（如圖3-5），作為重建光譜的訓練樣本（Training Data）及 用來模擬光譜的測試資料（Testing Data）。

(a) 5806 k (b) 4527 k (c) 5510 k (d) 9857 k

400 450 500 550 600 650 700

wavelength(nm)

Spectral Radiance [W/(sr*sqm*nm)]

5806K

400 450 500 550 600 650 700

wavelength(nm)

Spectral Radiance [W/(sr*sqm*nm)]

4527K

400 450 500 550 600 650 700

wavelength(nm)

Spectral Radiance [W/(sr*sqm*nm)]

5510K

400 450 500 550 600 650 700

wavelength(nm)

Spectral Radiance [W/(sr*sqm*nm)]

9857K

像中光譜的估計工作。

圖 3-6 樣 本 光 譜 色 溫 分 佈 圖

2 30

161 41

2 0

4

2000K-4000K 4000K-5000K 5000K-6000K 6000K-7000K 7000K-8000K 8000K-9000K 9000k-10000K

h

第二節 以主成分分析進行影像光譜估計

本研究利用主成分分析法求出樣本光譜的特徵向量（V）後，分別取前面的 3、6、9 個代表性的特徵向量作為基礎，乘上未知的特徵向量係數(C)來模擬影像 中的光源頻譜，將拍攝影像所獲得的三刺激值及模擬的光源頻譜代入三刺激值公 式，經過矩陣運算後即可求特徵向量係數a 的實際值，將求出的 C 值與特徵向 量(V)相乘後即可獲得估計的光譜值，以主成分分析為基礎的光譜重建流程表示 如圖3-2：

圖3-7 主成分分析法重建光譜流程圖

實驗環境設定：

根據Imai 研究顯示：使用 6 個主成分就能有效的重建出物體的反射譜，本 研究希望能瞭解當實驗的樣本數量不同時，是否會影響到光譜重建的效果，所以 分別選擇以120 和 240 筆光譜資訊作為實驗的樣本，再以另外 20 比光譜資料作 為測試樣本，利用主成分分析法中的共變異數矩陣分別找出兩種樣本光譜的前九 個特徵向量，茲將這些特徵向量依據其解釋量的大小依序陳列如表3-1：

收集光譜訓練資料 主成份分析

逆矩陣＋三刺激值公式

偽逆矩陣＋三刺激值公 式

特徵向量係數(C) 重建後的光譜 (

V×C)

表3-1 不同樣本數量下基底的解釋量及累進解釋量

特徵向量 1 2 3 4 5 6 7 8 9

120 筆樣本基底 解釋量（％）

60.7 15.2 9.1 5.6 4.1 2.6 1 1 0.3

120 筆樣本累計 基底解釋量（％）

60.7 75.9 85 90.6 94.7 97.3 98.3 99.3 99.6

240 筆樣本基底 解釋量（％）

58.4 14.6 10 5.4 4.2 2.5 1 1 0.1

240 筆樣本累計 基底解釋量（％）

58.4 73 83 88.4 92.6 95.1 96.1 97.1 97.2

由表3-1 可以發現兩個樣本的第一個特徵向量都佔了超過 58%的解釋量，使 用六個特徵向量就可以達到95%的解釋量，其餘的特徵向量對頻譜特性的貢獻度 影響不大，在本研究的實驗裡將分別使用3、6、9 個特徵向量，搭配 120 筆光譜 與240 筆光譜兩組樣本進行實驗。

在上述的實驗條件設定下，每一張作為Test data 的圖片，都會由 6 組 train data 進行測試，以了解樣本數量的多寡和主成分數量的變化會對光譜重建效果造成什 麼樣的影響。

實驗執行步驟：

在進行實驗時我們假定拍攝下來的影像，是一張光源資訊不明的 Macbeth 色票影像，我們擷取Macbeth 色票第 19 個色塊當作參考白（圖 3-8）：

圖3- 8 Macbeth 色票的編號

取得該色塊的畫素r g b 值後，可經由公式（3-1）正規化後，接著以公式（3-2）、

公式（3-3）進行接著進行 TRC（Tone Reproduction Cure）轉換修正，

sRGB bit sRGB bit sRGB bit

B

sRGB sRGB sRGB sRGB sRGB sRGB

B

sRGB sRGB sRGB sRGB sRGB sRGB

B

配色函數，vis 指人眼可見光的波長範圍，（一般可見光範圍是在 380nm-780nm 之間，本研究將範圍控制在400nm-700nm 的範圍，以 5nm 為一個間距進行估算，

量，C_j為特徵向量對應的係數，m=61 為光譜的樣點數，將公式 3-8 代入公式 3-7

但是當選取的特徵向量大於3 時（即 n>k）， n 個特徵向量的係數矩陣

C 可以用

_e 偽逆矩陣（pseudo inverse matrix）計算得到：

ρ

⋅ Λ

⋅ Λ

⋅ Λ

= ^{T − T}

e

) 1

(

C （3-12）

將公式3-11 與 3-12 分別帶入公式 3-8 就可以分別得到由不同數量的特徵向量組 成的模擬光譜。

第三節 以支援向量回歸進行影像光譜估計

主成分分析得到的模擬光譜有時會出現負值的不合理狀況，因此常常須要經 過額外的修正，而一般的回歸方法在樣本數量較少的時候會出現預估效果不佳的 問題，因此本研究將利用在樣本數量較少的情況下也可以獲得不錯效果的支援向 量回歸法來模擬影像中的光譜，並與主成分分析法做比較。

支援向量回歸在運算時必須要先建立一組具有代表性的訓練資料(Training Data)作為評估的標準，在訓練資料中輸入項和輸出項的選擇會直接影響到最後 回歸的結果，南韓學者Jing Zhang 等人提出利用主成分分析法降低人臉資料的維 度後，再將經過 PCA 得到的特徵向量作為資料進行 SVM 來提高人臉辨識的準確度 [26]。在主成分分析法（PCA）中，利用特徵向量組成的模擬光譜代入三刺激值 公式後，經由矩陣轉換所求出的特徵向量係數C，是影響光譜重建的重要元素，

且這些特徵向量係數彼此間的相關性不高，且可以有效減少因為共線性造成的誤 差。

在本研究中，我們選擇利用特徵向量係數C 作為訓練資料的輸入項，而對 應的輸出項則是以JETI 1201 光譜儀量測到的光譜，測試資料(Test data)採用相同 的方式取得輸入項的資料，經過尺度化的調整後就可以進入支援向量回歸機制進 行光譜預估的動作，由於特徵向量係數C 可以有效代表光源頻譜的特性，因此 作為SVR 的輸入項應該可以獲得不錯的預估效果。

實驗架構：

如同主分分析的實驗設計，為了解樣本數量和主成分數量對預估成果的影 響，我們將兩組不同樣本數量的訓練資料作主成分分析後，求取出特徵向量係數 C 作為輸入值的變項，將取用的主成分數量設定為 3、6、9 三組，因此一張測試 影像會經過6 組訓練資料的測試（120 樣本,3、6、9 個輸入項，與 240 個樣本 3、

6、9 個輸入項），藉以釐清不同樣本數和主成分數量的測試資料，是否會對支援 向量回歸的結果造成影響。

在整理SVR 的資料時，本研究將 400nm-700nm 之間的光譜每隔 5nm 取一 個值進行SVR 的操作，所以要求出一筆光譜資料共需進行 61 次 SVR 的程序，

將這61 筆離散點的資料依序整合起來就是我們要求的光譜。

本研究採用台灣大學資工系林智仁老師開發出來的Libsvm-2.88 版的 SVR 程式作為研究工具，其執行的流程如圖3-9。

圖 3-9 搭配主成分分析的支援向量回歸流程圖

圖3-9 中最後一個流程支援向量回歸的效果與參數的設定有密切的關係，所 以在進行回歸之前必須先對訓練資料進行整理，找出最效果好的參數，根據林智 仁老師的建議進行支援向量回歸可以依照下列的步驟執行[27]：

1.特徵抽取：對樣本進行特徵抽取，將抽取出的特徵，以數值的方式表示為輸入 項，本研究利用主成分的特徵值作為輸入項。

2.尺度調整：將訓練數據的數值調整到(0~1)或者(1~-1)之間，調整尺度後的數值 可以避免原始數據中過大的數值取得絕對的主導權而影響到預估的結果，也可 光譜訓練資料 主成份分析

逆短陣(3V)＋

三刺激值公式

假轉置(6V,9V)

＋三刺激值公 式

特徵值 C

3 個特徵值做為 SVR 的 input 項

6 個特徵值做為 SVR 的 input 項

9 個特徵值做為 SVR 的 input 項

以支援向量回 歸預估光譜

以減少計算上的負擔。

3.核心函數的選擇：本研究計畫使用 RBF 作為回歸的核心函數，所以選擇使用 RBF 核心函數，是因為這個函數可以將非線性的測試資料映射到高維空間以線 性回歸來處理，有助於提高非線性資料的預測準確度，而且BRF 核心函數需要 設定的參數較少僅需設定C 與 γ，讓模式選擇的複雜度也大為降低。

4.參數設定：RBF 中需要設定的參數為懲罰參數 C 及核心函數的參數 γ，而回歸 本身也需要設定誤差參數ε，本研究採用暴力搜尋法與網格搜尋法，對每筆訓 練用的光譜資料，找出誤差值最小的參數作為實驗的參數。上述操作流程可以 圖3-10 表示：

圖 3-10 SVR 執行流程 訓練資料

Scale

以暴力搜尋法設定參數

訓練SVR model

建構最佳model

進行回歸預估誤差

測試資料

Scale

第五節 小結

400nm-700nm，每 5nm 取一個值所得到的頻譜數量。

CIE94 色差值是用來評估相機拍攝到的原始影像與利用模擬光譜建構的重

第四章 實驗結果與討論

在本章節中將對在上一章所提出：在以不同數量的主成分及不同數量的訓練 樣本組成的實驗環境中，利用主成分分析法（PCA）與支援向量回歸（SVR）兩 種方法來重建影像中的光譜，並對重建後的效果進行比較，藉此分析樣本數量的 多寡及主成分數量的變化對光譜估計效果是否有影響，同時也比較在實驗條件相 同的情況下，主成分分析法與支援向量回歸兩種方法何者在估計影像光譜上的表 現較佳。

第一節 不同訓練樣本數量下的 PCA 與 SVR 光譜重建結果

本研究利用120 筆和 240 筆實際測量到的光譜作為訓練資料，當以主成分分 析法進行光譜重建時，發現訓練樣本數量較多的實驗環境下，所得到的光譜重建 效果較佳，實驗結果顯示在使用PCA 做光譜重建時，240 個光譜樣本的訓練資 料在平均RMSE 值（圖 4-1）與平均Δ

E

₉₄色差值（圖4-2）的表現都優於 120 個 光譜樣本的訓練資料，其中240 筆訓練樣本重建的光譜的平均 RMSE 值比 120 筆訓練樣本重建的光譜低了5﹪，且兩者間的差距維持穩定。

0.017 0.018 0.019 0.02 0.021 0.022 0.023 0.024 0.025

3 4 5 6 7 8 9 10

特徵向量的數量 平

均 r m

s e 值

120 240

圖4–1 不同數量的訓練樣本中，使用 PCA 進行光譜重建得到的平均 RMSE 值

在平均Δ

E

₉₄色差值的表現上240 筆訓練資料重建的光譜比 120 筆訓練資料 重建的光譜在平均色差上低了0.35，顯示樣本數量的多寡確實會影響到光譜重建 的效果。

圖4-2 在不同數量的訓練樣本中，使用 PCA 進行光譜重建得到的平均 色差值

接下來討論在不同樣本數量不同的實驗環境下SVR 在光譜重建的表現，研 究結果顯示利用SVR 來估計影像中的光譜時，訓練樣本較多的組別仍然可以獲 得較準確的頻譜重建成果(圖 4-3)，利用 240 筆訓練資料重建的光譜比 120 筆訓 練資料重建的光譜在平均RMSE 值上低了 25﹪，而平均Δ

E

₉₄色差值(圖 4-4)則低 了約0.45，因此可以推論在樣本特徵分佈均勻的情況下，訓練樣本的數量越多，

接下來討論在不同樣本數量不同的實驗環境下SVR 在光譜重建的表現，研 究結果顯示利用SVR 來估計影像中的光譜時，訓練樣本較多的組別仍然可以獲 得較準確的頻譜重建成果(圖 4-3)，利用 240 筆訓練資料重建的光譜比 120 筆訓 練資料重建的光譜在平均RMSE 值上低了 25﹪，而平均Δ

E

₉₄色差值(圖 4-4)則低 了約0.45，因此可以推論在樣本特徵分佈均勻的情況下，訓練樣本的數量越多，

在文檔中 自然影像中的光譜估計 (頁 32-0)