2. 研究方法
2.2 影像處理
2.2.2 去霧處理基本原理
在室外拍攝影像時,有時因為氣候不佳或大氣的吸收與光源的散射會造成影像有霧 化的情形,造成影像對比度與色彩辨識度有失真的情形,此時會造成資訊的損失,因此 必須進行去霧處理。
霧化影像拍攝當下,相機所接收之輻射值比一般情況低,起因於大氣光量被環境散 射光量所替代,此時的環境散射光量即為霧光(airlight)。霧光的多寡端視於景深,因此 去霧處理的程序與景深有密切的相關,目前廣泛用來描述霧化影像資訊的方程式如下:
15
戶外無霧化影響之影像,非天空範圍的區域會有一些像元在RGB 三個波段至少會有一
個波段之輻射量擁有低強度,這些波段就稱為Dark channel。
首先利用Dark channel prior 方法估計大氣光量,藉由無霧化影像之 J 值趨近於 0 之 假設推導傳輸量圖,最後使用soft matting 方法優化影像。Soft matting 之程序主要為先 限制一小區域,由已知鄰近灰度值或反覆執行非線性α檢定推估前色與背景色,當 matting 方程式導出之α示意圖與霧化模型推導之傳輸量圖相似時,藉由適當的調整可 用來優化傳輸量圖。
其中softmatting 之程序主要為截取影像之一部分,由已知前景深與背景深的像素推 估αmap,以α值替代傳輸量 t(x)。
I(x)=J(x)t(x)+A(1-t(x)) → I(x)=Fα+B(1-α) (2.11)
輸入霧化 影像
Dark Channel Prior
估計大氣光量A
估計傳輸量t(x)
Softmatting 優化 去霧影像
圖 2.8、去霧處理流程圖
施伶蒨(2011)使用農林航空測量所於民國 94 年拍攝之東沙環礁數值影像進行測試,
如圖2.9,可以發現在去霧處理後,色彩增顯及視覺效果有所改善,因此選用去霧處理
對於影像日光返照之改正進行測試。
17
圖 2.10、EMD 架構流程圖
Huang et al.(1998)認為 IMFs 須滿足兩個條件:
(1)函數在整個範圍內,每個 IMF 局部的極值點及跨零點數目必須相同或相差一個。
(2)在任意時刻點,局部最大值包絡線(上包絡線)與局部最小值(下包絡線)之平均值需為 0,
並且每個IMF 對稱於局部平均線。
18
2.2.3.2 二維經驗模態分解
EMD 基本原理主要適用於與時間相關之函數,如潮汐之變化及音調之分析等等,
對於處理二維影像時可以保有EMD 能處理非線性及非穩態資料之特性,以二維影像之
行數(或 pixel 數)替代原來的時間作為橫軸。
BEMD 之假設類似於 EMD 如下:
(1) 二維平面至少包含一個極大值和一個極小值,或是整個平面沒有極值點但是可以進 行一階或多階求導數運算後得到極值點。
(2) 特徵尺度由極值間的距離差值定義。
Pei (2007)將餘數 rn視為光場分布趨勢,藉由線性轉換將原始影像光影移除,如下式 表示:
Gain(x,y)=I(x,y)-rn(x,y)
I’(x,y)=Gain(x,y)*255 (2.12) 其中=I(x,y)為原始影像;rn(x,y)為光場分布影像;I’(x,y)為移除光影後之影像。
2.2.3.3 實驗過程
如圖2.11 所示,將原始影像 RGB 空間轉為 HSV 色彩空間,且投影到 XY 平面,取 出影像對應灰度值點的亮度(Value)為 Z 座標值。找出影像亮度的局部極大值與局部極小 值,對找出之散亂極值點進行平面 Delaunay 三角剖分,曲面擬合後得到局部極大值包 絡線與局部極小值包絡線,並求其均值包絡線。
將原始影像亮度減去均值包絡線,檢查是否滿足篩選程序結束條件,若滿足則結束
程序得到IMFs,檢查殘餘項是否滿足影像分解結束條件(殘餘項已為常數無法再分解),
若滿足則輸出各層結果並結束,若不滿足則繼續篩選過程。由IMFs 或殘餘項可以找到
相應之特徵或趨勢,扣除該趨勢項即可得到改正影像。
19
圖 2.11、BEMD 分解流程圖
22
(2) 標準偏差值(Standard Deviation, SD)設定在 0.2~0.3 之間,
SD ∑
(2.15)30
(二)均方根誤差(Root-Mean-Square Error, RMSE)
均方根誤差(RMSE)常用來量測精度,可以比較原始影像與處理後影像之差異。
RMSE √MSE ∑ ∑ I i, j K i, j (2.22) (三)峰值訊號雜訊比(Peak Signal-to-Noise Ratio, PSNR)
峰值訊號雜訊比(PSNR)一般使用在影像壓縮前後的品質比較,亦常用在檢查影像處 理後品質,確認該處理程序之適當程度。峰值訊號雜訊比之計算方式如下:
MSE ∑ ∑ I i, j K i, j (2.23) PSNR 10 ∙ log (2.24)
31
(四)結構相似性指標(Structural similarity, SSIM)
結構相似性指標一般用來衡量兩張影像之相似程度,當以一張影像為無失真影像,
另一張是否為失真影像,則可由結構相似性判斷失真程度,相較於傳統影像品質指標,
例如峰值訊號雜訊比(PSNR),更能符合人眼對於影像品質之判斷。
Wang(2004)提出之結構相似性指標之性質主要如下:
(1)指標值有對稱情形,亦即 SSIM(x,y)=SSIM(y,x)。
(2)指標值有界限,-1≦SSIM≦1;當結構完全相同時,SSIM=1。
32
Step2:
結構相似性指標中對比度由標準差σx、σy估計,對比度估計值C(x,y)計算方式如 下:
σ ∑ x μ
N 1 ,σ ∑ y μ
N 1
C x, y
σ σ σ σ
(2.27) 其中常數C2之作用為防止σ σ 之值趨近於零,定義 C2=(K2L)2,K2=0.03,L=255。Step3:
結構相似性指標中結構相似度由兩張影像之共變異相關係數Cov(x,y)估計,結構相 似性量化後之估計值S(x,y)計算方式如下:
Cov x, y σ ∑ x μ y μ N 1
S x, y
,
(2.28) 其中常數C3之作用為防止σxσy之值趨近於零,定義C3=C2/2。Step4:
由亮度估計值L(x,y)、對比度估計值 C(x,y)及結構相似性估計值 S(x,y)將結構相似 性指標(SSIM)定義為:
SSIM x, y L x, y C x, y S x, y (2.29) 當α=β=γ=1 時,上式 SSIM(x,y)值可以表示為:
SSIM x, y μ μ (2.30)
34
表 3.3、實驗影像資訊
影像 航帶 編號 像素
A 32 36924340165 1600×1200 B 31 32432020013 1600×1200 C 19 62096010166 1600×1200
D 19 62096010164
62096010165 62096010166
1823×1349
第二組測試影像為農航所於民國94 年拍攝之東沙環礁航空影像掃描數值檔,以
RMKTOP15 型 144116 號相機拍攝,影像編號 94R001_16~20、33~37、68~72 ,每張 16858X16806 像素,共計 15 張。
表 3.4 飛行及相機相關參數
相關參數 RMKTOP15型144116號相機 解析度 16858×16806
焦距 152.818mm
E 94R001_ 16858×16806 F 94R001_ 16858×16806 G 94R001_16~20
94R001_33~37 94R001_68~72
35443×43323
35
4. 成果與討論
本章主要就能量傳輸解析及影像處理方法之結果進行展示與討論。MODO 軟體可 以計算太陽輻射量及傳輸量,但沒有雙向反射分布函數無法進一步模擬反射表面輻射量;
白平衡與去霧處理由影像成果可看出對於日光返照改正之效果不佳;二維經驗模態分解 在去除日光返照之雜訊後結果,可以看出日光返照的明顯改善。
4.1 輻射傳輸解析-MODO
MODO 之輸出有三:(一) 太陽(輻射光源)之位置:如圖 4.1,輸入拍攝日期、UTC 標準時間以及拍攝地點經 緯度,即可輸出太陽方位角、太陽仰角及太陽天頂角。
(二) 太陽表面輻射值或傳輸量:如圖 4.2,輸入波長範圍及解析度,選擇輻射值或傳輸 量輸出,即可得到太陽表面輻射值或傳輸量。
(三) 將(二)之輸出量進行繪圖,得到如圖 4.3 之結果,橫坐標為波數(波長之倒數,單位 為cm-1,表示每公分含有的波數),縱座標為輻射量,黑色與藍色圖示分別為太陽輻 射量及輻射傳輸量。
可見光波段之波數計算後為1.4×104~2.5×104(cm-1),由圖十可看到可見光範圍內,輻 射消散量(黑色與藍色曲線之差值)接近一個常數,因為在 tape5 介面輸入之參數相同,
因此只能得到單一數值。此時如果能計算影像拍攝區域表面之雙向反射分布函數(BRDF),
可由表面反射之狀況及輻射消散常數進行表面輻射量之計算,但實驗影像無法求得 BRDF,即無法得知感測器接受輻射增量與表面反射輻射增量之比值。
除此之外,沒有參數可以得知加常數及乘常數將輻射量換算為影像灰度值,即使得 到表面輻射量,若無法換算為影像灰度值,即無法直接對於影像進行日光返照之改正。
38
4.2 白平衡&去霧處理成果
使用三張影像A、B、C 進行去霧處理及白平衡,影像 A 原始影像及結果如圖 4.4~4.6,
影像B 原始影像及結果如圖 4.7~4.9,影像 C 原始影像及結果如圖 4.10~4.12。
影像A 為海域,海面下有不明顯之礁塊,去霧處理後影像(圖 4.5)色彩在強度較強 區域過於增顯,呈現整張影像色彩失真之情況,右半部有嚴重的資訊損失,但是隱藏之 礁塊範圍比較可以分辨;影像A 白平衡後影像(圖 4.6)色調被均勻化,可以看出右下角 區選區域日光返照區域過於強化,海底下之原本不明顯之礁塊範圍比較可以分辨,但是 無論是去霧處理或是白平衡只能增顯影像之資訊,對於影像之日光返照無法處理。
影像B 為較單純海域,因為風浪的走向而使日光返照呈現明顯的波紋,去霧處理後
影像(圖 4.8)因為過度誇張化,整張影像偏亮,有嚴重色偏;白平衡後影像(圖 4.9)將色 調均化後,右上角之色彩資訊較為明顯,但也看出了日光返照區域反而有強化的反效 果。
影像C 有明顯之礁塊,去霧處理後影像(圖 4.11),整張影像過度增顯,亮度過亮以 致整張影像失真;白平衡後影像(圖 4.12)色彩均勻化,但日光返照區域沒有明顯改善。
由影像A、B、C 之測試,可以發現去霧及白平衡處理對於海域影像直接進行處理
是不可行的,甚至於去霧處理後整張影像過亮,可能是整張影像範圍皆有日光返照之影 響,因此在增顯後過度誇張。
58
4.3.2 第二組測試影像
圖4.36 為測試影像 E 原始影像,涵蓋區域為東沙島環礁的一部分,經過二維經驗
模態分解扣除殘餘項後,得到如圖4.37 之結果,右下角日光返照區域與附近色調相近,
改善了亮度過亮的情況,但是殘餘項內可能含有部分環礁紋理,扣除後雖然改善日光返 照影響,卻也讓紋理辨識程度下降。
圖4.38 為測試影像 F 原始影像,涵蓋整個島嶼,經過二維經驗模態分解扣除殘餘
項後,得到如圖4.39 之結果,影像處理後日光返照區域與周圍顏色較為接近,但是島嶼
邊界以及海域特徵都有模糊之情形。
圖4.40 為 15 張原始影像鑲嵌結果,在日光返照區域有光暈情形,使得接合處有不 連續的情況,經過二維經驗模態分解扣除殘餘項後(圖 4.41),色彩較為均化,但日光返 照區域無法完全消除,並且每張影像單獨進行處理時,因為海底底質不同造成單張影像 主要組成色彩不同,在影像處理過後顏色略有深淺之差異。
比起第一組影像,因為影像解析度較差,經過二維經驗模態分解之訊號無法單獨分 出影響日光返照之亮度,因此在移除殘餘項後模糊情況較第一組嚴重,顯示使用此方法 進行亮度分解時會受到影像解析度之限制。
63
4.4 影像品質分析
除了人眼判識外,以指標值對於去霧處理、白平衡及 BEMD 之結果進行指標品質
分析,分析對象為影像灰度值,主要分析項目有平均值(Mean)、標準差(STD)、均方根 誤差(RMSE)、標準化互相關法(NCC)、峰值訊號雜訊比(PSNR)及結構相似性指標,由統 計指標值探討影像處理前後之灰度值變化情形。
均調區域影像A、B 經過白平衡處理後,R、G、B 平均值皆增加;礁塊區域影像 C 原始色彩為藍綠色調為主,因此在白平衡後G、B 值降低,而 R 值增加。由 RMSE、PSNR 及SSIM 值皆可看出影像 C 因為有礁塊特徵,因此結構與原始影像較為接近。加上人眼 判識後,白平衡處理雖然可以使影像色調均勻,但無法改正日光返照之影響。
均調區域影像A、B 經過白平衡處理後,R、G、B 平均值皆增加;礁塊區域影像 C 原始色彩為藍綠色調為主,因此在白平衡後G、B 值降低,而 R 值增加。由 RMSE、PSNR 及SSIM 值皆可看出影像 C 因為有礁塊特徵,因此結構與原始影像較為接近。加上人眼 判識後,白平衡處理雖然可以使影像色調均勻,但無法改正日光返照之影響。