色彩評估

第 四 章

影 像 接 合 處 理 與 色 彩 校 正

4.1 環場式影像接合處理

環場式膠囊內視鏡利用錐狀鏡拍攝到環場式影像，利用重建影像還原所拍攝的環 場立體影像，整體流程圖如圖4.1所示。因為環場影像為極座標形式呈現，故先利用直 角座標轉換，將環場影像由極座標形式轉換至直角座標形成呈現[36]，如圖4.2所示，

笛卡兒轉換公式(cartesian coordinate transformation)如式4.1所示。將直角座標影像利用對 位方式進行影像重建，在此利用皮爾森相關係數(pearson’s correlation coefficient)進行接合影 像，皮爾森相關係數是利用兩張影像兩者的相關性去進行接圖，如式4.2所示，如果兩 者相關係數越高就代表著兩者越相似，反之相關係數越小代表著兩者越不相關[37]，如 圖4.3所示。影像接合完畢時，會受幾何不同與亮度不平均[38]，造成影像接合處會產 生不連續問題出現，這裡提出兩種處理縫隙的方法，分別為平均加權平滑法與最佳化 縫隙法。

圖4.1 環場式膠囊內視鏡拍攝流程

( ) ( )

⎟⎟⎠

⎜⎜ ⎞

⎝

⎛

−

= −

−

−

−

=

−

o o

o o

x x

y tan y

y y x

x z

1

2 2

θ

(4.1)

圖4.2 直角座標轉換

( )( )

( ) _∑∑ ( )

∑∑

∑∑

−

−

−

−

=

i j ij

i j ij

i j

ij ij

Cp

2

2 β β

α α

β β α

α (4.2)

圖4.3 (a)正相關, (b)負相關, (c)完全正相關, (d)完全負相關

4.1.1 平均加權平滑法[39]

平均加權平滑法是利用兩張影像重疊的部分，進行平均加權減少縫隙，如式4.3所 示，越靠近的左邊影像的重疊部分，左邊影像的加權比重就越重，當靠近右邊影像的

重疊部分，右邊影像的加權比重就越重，如圖4.4所示。

4.1.3 影像品質

影像處理過後的影像，利用人眼觀測的統計與數值化兩種模式去評估影像的品 質。一張經過處理後的影像會與原圖放在一起提供給欲觀測者觀看，由觀測者利用問 卷的方法，將其觀測結果用統計的方式呈現，但是此方法容易受到個人主觀意識影響 而變化，故需要利用數值化將影像品質量化。

數值化評估影像品質，通常都是利用峰值雜訊比(Peak Signal to Noise Ratio, PSNR) 當作影像品質的數值。峰值為影像中最大的數值，例如8bits的峰值為255，將峰值與影 像中的雜訊做比值來做為峰值雜訊比的評估依據[42]，如式4.5。均方根差(Mean Square Error, MSE) 是將輸出影像每一個像素值減去輸入影像每一個像素值，將差值平方後相 加取平均值。峰值訊號雜訊比越大時，代表著輸出影像與輸入影像越接近，失真越 少。

( )

dB MSE PSNR

MSE

2 1 2

0 1

0

10 255 1

log m n

n

i m

j

ij ij

=

⋅ −

=

∑∑

⁻

=

−

=

β

α (4.5)

4.2 色彩校正

因為CMOS鏡頭在拍攝時，會受到燈源或者CMOS製程等影響，造成所拍攝到的影 像並非是正確的色彩，故需要利用色彩校正將錯誤的色彩資訊校正至正確的色彩資訊 上[43]。主要利用係數法與複變映射轉換多項式法，將錯誤的色點校正至新的色點。首 先將所拍攝到的影像資訊(RGB)轉換至色彩刺激值(XYZ)，利用色彩三刺激值轉換至xy 座標進行映射，流程如圖4.6所示。

圖4.6 色彩校正流程圖

4.2.1 係數法

利用xy座標當作係數將錯誤的色點映射到正確的色點上[44]，如式4.6所示，係數 的排列是利用x與y座標之間的關係去定義。係數的排列如下表4.1所示。利用最小誤差 平方法(Least-Square Error, LSE)將矩陣參數求出，如式4.7所示。推演到更高階層如式 4.8所示。

⎥⎦

⎢ ⎤

⎣

⎥⎡

⎦

⎢ ⎤

⎣

=⎡

⎥⎦

⎢ ⎤

⎣

⎡

C C r

r

y x A A

A A y

x

22 21

12

11 (4.6)

表4.1 係數法係數表 First order

x , y

Second order

x , y , xy , x

²

, y

²

Third order

x , y , xy , x

²

, y

²

, x

²

y , xy

²

, x

³

, y

³

( ) ( )

4.2.2 複變映射轉換多項式法

複變函數中會利用z表示複變函數，z可以分成實部(real part)與虛部(imaginary part) 兩部分，如式4.9所示，將複變函數利用一個複數平面表示，x為橫軸與y為縱軸。將橫 座標視為實數，縱座標為虛數，將xy平面映射至uv平面，如圖4.7所示。利用多項式方 式去做為色彩校正的演算法，如式4.10為一個n階的多項式，其中a0,a1,a2,La_n為複數 常數(Complex constants)

( ) ( )

z

最小誤差會出現於微分後的極值位置，並將所有微分後方程式加以整理並且利用

第 五 章

實 驗 結 果 分 析

5.1

實驗架構.

本實驗架構主要利用影像感測器拍攝色票，電腦將所拍攝的資訊儲存於電腦中，

並且使用Matlab軟體進行分析與色彩校正，如圖5.1所示。本實驗架構主要分為兩部 份，分別為內視鏡與環場式膠囊內視鏡，兩者之間最大的差別在於內視鏡機構為前看 式可以拍攝前方影像，然而環場式膠囊內視鏡利用錐狀鏡拍攝側邊影像，所以兩者所 拍攝與量測並不相同，另外環場式膠囊內視鏡拍攝環場式影像，並且利用影像重建理 論將所拍攝影像進行重建，影像感測器的規格如下表5.1。

圖5.1 實驗架構流程圖 表5.1 影像感測器規格

Item Description

Model CY300-M

TV system NTSC

Image device Super Color VGA Sensor Effective pixels 720(H)*525(V)

Frame rate 60 Field/sec

Lens view angle 60∘

Lens F/# 2.8

環場式膠囊內視鏡的實驗流程，如圖5.2所示，先利用膠囊內視鏡進行色票拍攝，

將所拍攝色票資訊存入電腦，並且利用膠囊內視鏡進行假體拍攝，將拍攝到的假體影 像進行接合與影像處理，最後將處理後的影像利用色彩校正將其色彩還原至正確色 彩。

圖5.2 環場式膠囊內視鏡腸道假體影像重建流程

利用環場式膠囊內視鏡置於色票上方，利用內部所投射出的光源投光於錐狀鏡 上，由錐狀鏡反射於色票上進行拍攝，如圖5.3所示。光纖光譜儀可以量測光譜資訊進 行光譜分析。

圖5.3 環場式膠囊內視鏡量測色票

可以很有效率的拍攝色票資訊。內視鏡分為標準燈源與LED燈源下拍攝色票，分別對 影像感測器與燈源做校正，如圖5.4所示。

圖5.4 內視鏡量測色票

環場式膠囊內視鏡放入腸道假體中，可以模擬環場式膠囊內視鏡在於腸道假體中 拍攝腸道影像。本論文所使用的假體利用美國NASCO公司所生產的直腸模型，如圖5.5 所示，此模型包含乙狀結腸、結腸、盲腸與闌尾等器官，內部提供有有蒂的息肉、無 蒂的息肉、增生型息肉與結腸癌等病徵點[45]。

圖5.5 NASCO直腸模型

5.2 腸道假體影像接合

環場式膠囊內視鏡拍攝草履蟲影像，如圖5.6所示，利用皮爾森相關係法與笛卡兒

座標法將所拍攝影像展開與接合，如圖5.7所示，由圖中可以發現所拍攝影像因為投光 不平均與幾何圖形不同造成縫隙問題，故利用減少縫隙方法將縫隙減少，如圖5.8所 示，分別利用平均加權平滑法與最佳化縫隙法，由人眼觀察圖形可以發現縫隙有減少 的效果，接著使用峰值訊號雜訊比去比較經處理縫隙後影像與未處理縫隙影像作比 較，並以量化方式呈現其中的差異，如表5.2所示。

圖5.6 草履蟲影像

圖5.7 草履蟲接合影像

圖5.8 (a)草履蟲接合圖, (b)平均加權平滑法, (c)最佳化縫隙法 表5.2 PSNR比較表

Image Stitching Weighted Average Method Optimal Seam Method

PSNR 17.56 17.57 35.82

擷取到的影像利用笛卡兒座標轉換，將極座標影像轉換成直角座標影像，如圖5.9 所示，並且利用皮爾森相關係數法，將影像進行接合，如圖5.10所示，由圖可以知道影 像接合時，因為幾何圖形不同與亮度不平均造成縫隙問題，利用演算法將縫隙減少，

如圖5.11所示。

圖5.9 經直角座標轉換圖

圖5.10 腸道假體重建圖

圖5.11 (a)平均加權平滑法, (b)最佳縫隙法

5.3

色域體積計算分析

色票所定義的色彩資訊在於D65燈源下所拍攝的資訊，所以內視鏡先於D65標準燈 源下量測色票位置，圖5.12與圖5.13所表示著色票所定義的色度圖與內視鏡於D65標準 燈源下所拍攝的色度圖，圖5.14表示著兩者合併成一張進行比較，受到影像感測器的製 程影響，利用色差公式計算，兩者之間的色差值為8.2973。將D65燈源換為LED燈源進 行拍攝，內視鏡所拍攝的色度圖如圖5.15與色票所定義的色彩資訊之間的色差為 21.4483，由數值上可知燈源對於色差的影響較大。

圖5.12 色票色度圖

圖5.13 影像感測器色度圖(D65燈源)

圖5.14 色票與影像感測器色度圖(D65燈源)

圖5.15 色票與影像感測器色度圖(LED燈源)

將環場式膠囊內視鏡與內視鏡的色域面積做比較，如圖5.16所示，內視鏡與環場式 膠囊內視鏡的色域面積並不相同，內視鏡色域面積較為大，而環場式膠囊內視鏡的色 域面積較為小，可能是受到環場式膠囊內視鏡投光不均勻所造成色域面積的壓縮，之 間的誤差為4.4095。

圖5.16 內視鏡(LED燈源)

利用光纖光譜儀量測內視鏡照射參考白色票光譜與環場式膠囊內視鏡照射參考白 色票光譜，如圖5.17所示，由圖可以知道因為機構不同造成光譜不同而產生色偏問題，

環場式膠囊內視鏡與內視鏡之間機構的差異在於膠囊殼與錐狀鏡，將膠囊殼去除掉，

進行光譜量測，如圖5.18所示。

圖5.17 內視鏡與環場式膠囊內視鏡光譜

圖5.18 去除膠囊殼拍攝色票

圖5.19所表示的是去除膠囊殼與有膠囊殼的環場式膠囊內視鏡的光譜，圖中可以發 現所投射的光源因為受到膠囊殼影響，造成光譜在於500~700nm波段不同。

圖5.19 有無膠囊殼的環場式膠囊內視鏡光譜

圖5.20 有無膠囊殼的環場式膠囊內視鏡光譜增益比較

5.4 色彩校正結果分析

由量測結果分析可以發現到，內視鏡會受到燈源與影像感測器的影響而產生色 偏，環場式膠囊內視鏡除了受到燈源與影像感測器的影響外，還會受到錐狀鏡機構的 影響而色域面積壓縮，由以上的結果來看，內視鏡與環場式膠囊內視鏡所拍攝的色彩 並非真實色彩，而會受到內部的影響而產生色偏，例如影像感測器、燈源與機構等，

故需要利用色彩校正將其色彩校正還原至真實色彩中。

本論文提出兩種方法去校正色彩，分別為係數法與複變映射轉換多項式法，並且

著每個人主觀的思想在其中，而造成精準度降低。圖5.21與圖5.22所表示的是係數法與 複變映射轉換分別利用不同階數係數色彩校正後的色域面積，表5.3所表示係數與色差 的關係，最後係數法可以改善色差至1.539，而複變映射轉換多項式法可以改善色差至 1.324，因為複變映射轉換多項式法式利用不同係數代表著不同階層，而複變映射轉換 多項式法每個係數只代表著一個係數而非一個階層，故複變映射轉換係數法只需利用 較少係數就可達到低色差的色彩校正。

利用經過縫隙處理的腸道假體模型的腸道重建影像進行色彩校正，圖5.23分別為係 數法與複變映射轉換多項式法校正後的影像。經過色彩校正後的腸道假體影像。

利用經過縫隙處理的腸道假體模型的腸道重建影像進行色彩校正，圖5.23分別為係 數法與複變映射轉換多項式法校正後的影像。經過色彩校正後的腸道假體影像。

在文檔中 內視鏡之色彩影像校正 (頁 38-0)