2. 研究方法
2.2 影像處理
2.2.3 經驗模態分解原理
2.2.3.3 實驗過程
如圖2.11 所示,將原始影像 RGB 空間轉為 HSV 色彩空間,且投影到 XY 平面,取 出影像對應灰度值點的亮度(Value)為 Z 座標值。找出影像亮度的局部極大值與局部極小 值,對找出之散亂極值點進行平面 Delaunay 三角剖分,曲面擬合後得到局部極大值包 絡線與局部極小值包絡線,並求其均值包絡線。
將原始影像亮度減去均值包絡線,檢查是否滿足篩選程序結束條件,若滿足則結束
程序得到IMFs,檢查殘餘項是否滿足影像分解結束條件(殘餘項已為常數無法再分解),
若滿足則輸出各層結果並結束,若不滿足則繼續篩選過程。由IMFs 或殘餘項可以找到
相應之特徵或趨勢,扣除該趨勢項即可得到改正影像。
19
圖 2.11、BEMD 分解流程圖
22
(2) 標準偏差值(Standard Deviation, SD)設定在 0.2~0.3 之間,
SD ∑
(2.15)30
(二)均方根誤差(Root-Mean-Square Error, RMSE)
均方根誤差(RMSE)常用來量測精度,可以比較原始影像與處理後影像之差異。
RMSE √MSE ∑ ∑ I i, j K i, j (2.22) (三)峰值訊號雜訊比(Peak Signal-to-Noise Ratio, PSNR)
峰值訊號雜訊比(PSNR)一般使用在影像壓縮前後的品質比較,亦常用在檢查影像處 理後品質,確認該處理程序之適當程度。峰值訊號雜訊比之計算方式如下:
MSE ∑ ∑ I i, j K i, j (2.23) PSNR 10 ∙ log (2.24)
31
(四)結構相似性指標(Structural similarity, SSIM)
結構相似性指標一般用來衡量兩張影像之相似程度,當以一張影像為無失真影像,
另一張是否為失真影像,則可由結構相似性判斷失真程度,相較於傳統影像品質指標,
例如峰值訊號雜訊比(PSNR),更能符合人眼對於影像品質之判斷。
Wang(2004)提出之結構相似性指標之性質主要如下:
(1)指標值有對稱情形,亦即 SSIM(x,y)=SSIM(y,x)。
(2)指標值有界限,-1≦SSIM≦1;當結構完全相同時,SSIM=1。
32
Step2:
結構相似性指標中對比度由標準差σx、σy估計,對比度估計值C(x,y)計算方式如 下:
σ ∑ x μ
N 1 ,σ ∑ y μ
N 1
C x, y
σ σ σ σ
(2.27) 其中常數C2之作用為防止σ σ 之值趨近於零,定義 C2=(K2L)2,K2=0.03,L=255。Step3:
結構相似性指標中結構相似度由兩張影像之共變異相關係數Cov(x,y)估計,結構相 似性量化後之估計值S(x,y)計算方式如下:
Cov x, y σ ∑ x μ y μ N 1
S x, y
,
(2.28) 其中常數C3之作用為防止σxσy之值趨近於零,定義C3=C2/2。Step4:
由亮度估計值L(x,y)、對比度估計值 C(x,y)及結構相似性估計值 S(x,y)將結構相似 性指標(SSIM)定義為:
SSIM x, y L x, y C x, y S x, y (2.29) 當α=β=γ=1 時,上式 SSIM(x,y)值可以表示為:
SSIM x, y μ μ (2.30)
34
表 3.3、實驗影像資訊
影像 航帶 編號 像素
A 32 36924340165 1600×1200 B 31 32432020013 1600×1200 C 19 62096010166 1600×1200
D 19 62096010164
62096010165 62096010166
1823×1349
第二組測試影像為農航所於民國94 年拍攝之東沙環礁航空影像掃描數值檔,以
RMKTOP15 型 144116 號相機拍攝,影像編號 94R001_16~20、33~37、68~72 ,每張 16858X16806 像素,共計 15 張。
表 3.4 飛行及相機相關參數
相關參數 RMKTOP15型144116號相機 解析度 16858×16806
焦距 152.818mm
E 94R001_ 16858×16806 F 94R001_ 16858×16806 G 94R001_16~20
94R001_33~37 94R001_68~72
35443×43323
35
4. 成果與討論
本章主要就能量傳輸解析及影像處理方法之結果進行展示與討論。MODO 軟體可 以計算太陽輻射量及傳輸量,但沒有雙向反射分布函數無法進一步模擬反射表面輻射量;
白平衡與去霧處理由影像成果可看出對於日光返照改正之效果不佳;二維經驗模態分解 在去除日光返照之雜訊後結果,可以看出日光返照的明顯改善。
4.1 輻射傳輸解析-MODO
MODO 之輸出有三:(一) 太陽(輻射光源)之位置:如圖 4.1,輸入拍攝日期、UTC 標準時間以及拍攝地點經 緯度,即可輸出太陽方位角、太陽仰角及太陽天頂角。
(二) 太陽表面輻射值或傳輸量:如圖 4.2,輸入波長範圍及解析度,選擇輻射值或傳輸 量輸出,即可得到太陽表面輻射值或傳輸量。
(三) 將(二)之輸出量進行繪圖,得到如圖 4.3 之結果,橫坐標為波數(波長之倒數,單位 為cm-1,表示每公分含有的波數),縱座標為輻射量,黑色與藍色圖示分別為太陽輻 射量及輻射傳輸量。
可見光波段之波數計算後為1.4×104~2.5×104(cm-1),由圖十可看到可見光範圍內,輻 射消散量(黑色與藍色曲線之差值)接近一個常數,因為在 tape5 介面輸入之參數相同,
因此只能得到單一數值。此時如果能計算影像拍攝區域表面之雙向反射分布函數(BRDF),
可由表面反射之狀況及輻射消散常數進行表面輻射量之計算,但實驗影像無法求得 BRDF,即無法得知感測器接受輻射增量與表面反射輻射增量之比值。
除此之外,沒有參數可以得知加常數及乘常數將輻射量換算為影像灰度值,即使得 到表面輻射量,若無法換算為影像灰度值,即無法直接對於影像進行日光返照之改正。
38
4.2 白平衡&去霧處理成果
使用三張影像A、B、C 進行去霧處理及白平衡,影像 A 原始影像及結果如圖 4.4~4.6,
影像B 原始影像及結果如圖 4.7~4.9,影像 C 原始影像及結果如圖 4.10~4.12。
影像A 為海域,海面下有不明顯之礁塊,去霧處理後影像(圖 4.5)色彩在強度較強 區域過於增顯,呈現整張影像色彩失真之情況,右半部有嚴重的資訊損失,但是隱藏之 礁塊範圍比較可以分辨;影像A 白平衡後影像(圖 4.6)色調被均勻化,可以看出右下角 區選區域日光返照區域過於強化,海底下之原本不明顯之礁塊範圍比較可以分辨,但是 無論是去霧處理或是白平衡只能增顯影像之資訊,對於影像之日光返照無法處理。
影像B 為較單純海域,因為風浪的走向而使日光返照呈現明顯的波紋,去霧處理後
影像(圖 4.8)因為過度誇張化,整張影像偏亮,有嚴重色偏;白平衡後影像(圖 4.9)將色 調均化後,右上角之色彩資訊較為明顯,但也看出了日光返照區域反而有強化的反效 果。
影像C 有明顯之礁塊,去霧處理後影像(圖 4.11),整張影像過度增顯,亮度過亮以 致整張影像失真;白平衡後影像(圖 4.12)色彩均勻化,但日光返照區域沒有明顯改善。
由影像A、B、C 之測試,可以發現去霧及白平衡處理對於海域影像直接進行處理
是不可行的,甚至於去霧處理後整張影像過亮,可能是整張影像範圍皆有日光返照之影 響,因此在增顯後過度誇張。
58
4.3.2 第二組測試影像
圖4.36 為測試影像 E 原始影像,涵蓋區域為東沙島環礁的一部分,經過二維經驗
模態分解扣除殘餘項後,得到如圖4.37 之結果,右下角日光返照區域與附近色調相近,
改善了亮度過亮的情況,但是殘餘項內可能含有部分環礁紋理,扣除後雖然改善日光返 照影響,卻也讓紋理辨識程度下降。
圖4.38 為測試影像 F 原始影像,涵蓋整個島嶼,經過二維經驗模態分解扣除殘餘
項後,得到如圖4.39 之結果,影像處理後日光返照區域與周圍顏色較為接近,但是島嶼
邊界以及海域特徵都有模糊之情形。
圖4.40 為 15 張原始影像鑲嵌結果,在日光返照區域有光暈情形,使得接合處有不 連續的情況,經過二維經驗模態分解扣除殘餘項後(圖 4.41),色彩較為均化,但日光返 照區域無法完全消除,並且每張影像單獨進行處理時,因為海底底質不同造成單張影像 主要組成色彩不同,在影像處理過後顏色略有深淺之差異。
比起第一組影像,因為影像解析度較差,經過二維經驗模態分解之訊號無法單獨分 出影響日光返照之亮度,因此在移除殘餘項後模糊情況較第一組嚴重,顯示使用此方法 進行亮度分解時會受到影像解析度之限制。
63
4.4 影像品質分析
除了人眼判識外,以指標值對於去霧處理、白平衡及 BEMD 之結果進行指標品質
分析,分析對象為影像灰度值,主要分析項目有平均值(Mean)、標準差(STD)、均方根 誤差(RMSE)、標準化互相關法(NCC)、峰值訊號雜訊比(PSNR)及結構相似性指標,由統 計指標值探討影像處理前後之灰度值變化情形。
均調區域影像A、B 經過白平衡處理後,R、G、B 平均值皆增加;礁塊區域影像 C 原始色彩為藍綠色調為主,因此在白平衡後G、B 值降低,而 R 值增加。由 RMSE、PSNR 及SSIM 值皆可看出影像 C 因為有礁塊特徵,因此結構與原始影像較為接近。加上人眼 判識後,白平衡處理雖然可以使影像色調均勻,但無法改正日光返照之影響。
影像A、B、C 經過去霧處理後,對於日光返照區域過度增顯,因此 R、G、B 平均 值皆誇張化,由PSNR 與 SSIM 值亦可看出其視覺效果與結構已被破壞,可知整張影像 進行去霧處理產生的增顯效果對於日光返照影響無法去除。
影像A 及 B 為日光返照影響區域較小之影像,經過 BEMD 處理後,因為返照區外
亮度增加,因此整體灰度平均值反而有增加的情形;影像 C 及 D 為日光返照影響幾乎
整個範圍之影像,在改正日光返照區域之亮度後,灰度平均值皆有降低之情形。以均方 根誤差(RMSE)來看,測試影像 D 與原始影像之灰度值偏差較小,測試影像 C 次之,與
肉眼觀察結果符合;測試影像B 之灰度值偏差最高,以肉眼觀察影像色偏情形,的確有
一定的色偏情形。
BEMD 處理後之影像,PSNR 值皆 40 以上,較無法提供視覺判斷;以結構相似性 指標(SSIM)來看,測試影像 C 與 D 保留原始影像灰度值結構的情況較好,測試影像 A
與B 在影像灰度值結構有較多的差異,可能會有色彩失真,與肉眼觀察結果相符。但是
礁塊區域之細節在 BEMD 處理後有平滑趨勢,表示對於特徵特徵可能會有資訊損失之
情形。
64
RMSE PSNR(dB) SSIM 白平衡 43.122/68.875 59.503/88.615 79.914/107.936 22.128 28.775 0.632 去霧化 43.122/161.909 59.503/206.382 79.914/242.150 122.015 19.554 0.462 BEMD 43.122/53.822 59.503/76.792 79.914/104.308 17.320 49.449 0.752
表 4.2、影像 B 指標值
RMSE PSNR(dB) SSIM 白平衡 29.855/70.500 40.535/91.187 69.961/130.354 62.764 21.632 0.588 去霧化 29.855/92.118 40.535/142.43 69.961/228.577 75.939 17.331 0.377 BEMD 29.855/39.560 40.535/55.322 69.961/100.820 24.778 50.855 0.774
表 4.3、影像 C 指標值
RMSE PSNR(dB) SSIM 白平衡 80.699/104.458 95.495/90.645 108.855/107.479 7.201 45.311 0.833 去霧化 80.699/238.381 95.495/252.323 108.855/254.106 147.377 11.232 0.293 BEMD 80.699/74.696 95.495/88.237 108.855/102.577 28.230 50.560 0.697
表 4.4、影像 D 指標值
RMSE PSNR(dB) SSIM BEMD 84.610/63.220 102.329/77.008 113.777/86.698 1.874 43.882 0.922
65
66
Cox, C. and W. Munk, 1954. Measurement of the Roughness of the Sea Surface from Photographs of the Sun’s Glitter. Journal of the Optical Society of America, 44(11):
838-850.
Centennial, N., 2001. Bidirectional Reflection Distribution Function, http://math.nist.gov/~
FH unt/appearance/brdf.html. (last access:2012/06/20)
Chiou, T.S. and C.S. Fuh, 2001. Automatic White Balance for Digital still Camera, MSC thesis, National Taiwan University.
Delaunay, B., 1934. Sur la sphere vide . Izvestia Akademii Nauk SSSR, Otdelenie Mate matic heskikhi Estestvennykh Nauk, 7:793-800.
Damerval, C., Sylvain and Valérie Perrier, 2005. A Fast Algorithm for Bidimensional EMD.
IEEE Processing Letters, 12(10): 701-704.
Huang, N. E., Z. Shen, and S. R. Long et al, 1998. The Empirical Mode Decomposition Method and The Hilbert Spectrum for Non-stationary Time Series Analysis. Proc. R.
Soc. Lond. A, 454:903-995.
Hochberg, E. J., Serge Andréfouët and M. R.Tyler, 2003. Sea Surface Correction of High Spatial Resolution Ikonos Images to Improve Bottom Mapping in Near-Shore Environments. IEEE Transactions on Geoscience and Remote Sensing, 41(7):
1724-1729.
Hedley, J.D., A. R. Harborne and P.J. Mumby, 2005. Simple and robust removal of sun glint for mapping shallow-water benthos. International Journal of Remote Sensing, 26(10):
2107-2112.
He, K., J. Sun and X. Tang, 2009.Single Image Haze Removal Using Dark Channel Prior.
IEEE Conference on Computer Vision and Pattern Recognition.1957–1963.
Kay, S., J. D. Hedley, and S. Lavender, 2009. Sun Glint Correction of High and Low Spatial Resolution. Remote Sensing, 1: 697-730.
Matlab central, 2011. SSIM code, http://www.mathworks.com/matlabcentral/answers/9217-ne
67
ed-ssim-m- code. (last access: 2012/06/20)
Pei, S.C. and Mary Tzeng, 2007. Uneven Illumination Removal and Image Enhancement Using Empirical Mode Decomposition. 20th Conference in Computer Vision, Graphics and Image Processing(CVGIP).
Rosa, M. C., P. Stefano, and Z. Elisabetta, 2006. Correction of Sun Glint Effect on MIVIS Data of the Sicily Campaign in July 2000. Annals of Geophysics, 49(1): 277-286.
ReSe, 2010. MODO, http://www.rese.ch/products/modo/index.html. (last access: 2012/09/17) Schläpfer, D., Dr. sc. Nat. and D. Odermatt, 2010. MODO User Manual. Rese Application
Schläpfer under support of the Remote Sensing Laboratories(RSL) of the University of Zurich.
Wikipedia, 2012a. Peak signal to noise ratio, http://en.wikipedia.org/wiki/Peak_signal-to-noi se _ ratio. (last access: 2012 /06/20)
Wikipedia, 2012b. Delaunay triangulation, http://en.wikipedia.org/wiki/Delaunaytriangulati on. (last access: 2012/06/20)
Wikipedia, 2012c. Sun glint, http://en.wikipedia.org/wiki/Sunglint. (last access: 2012/09/17) Wikipedia, 2012d.色溫, http://zh.wikipedia.org/wiki/色溫(last access: 2012/09/17)