影像品質評估相關研究

隨著技術的發展各種各樣的影像應用，像是影像增強、醫學影像處理和影像/

視訊壓縮、影像品質評估(image quality assessment，IQA)吸引了越來越多的學者 投入在電腦視覺和影像處理領域中的相關研究。

影像品質評估主要是以自動化計算影像品質的一種方式，且與人類的感知有 一致的評估為目的。一般來說，影像品質評估大略可以被分為兩種，根據是否參 考完美影像的品質而進一步去作比較。

第一種的影像品質評估方式是完整參考影像品質評估(IQA)，這個方法已經 被研究了很多年了，主要被使用在影像/視訊壓縮，提供一個客觀的量測影像壓縮 的失真。使用全參考的方法中，為了計算目標影像的品質必需先計算完美品質的 參考影像。在這一類之中最簡單且眾所皆知的方法是均方誤差(mean square error，MSE)，量測參考和目標影像之間的相似性是透過計算平方影像像素的強度 值。在 2004 年 Wang et al.提出結構相似性品質指標(Structural SIMilarity，

SSIM)[12]，是用於測量在兩幅影像之間相似性的一種方法，可以被視為一個完美

亮度、對比和結構。首先比較每一個信號的亮度，並估計為平均的強度。第二將 信號除去平均的強度，使用標準偏差作為對顯著對比的估計。第三信號正規化 後，以基準影像標準偏差，與參考影像的信號標準偏差相比較。最後，三個部分 結合產生相似性量測。而模型中三個組成部分是各自獨立的，例如，亮度和對比 的變化將不影響影像的結構。而結構相似性指標計算簡單且與主觀品質評估有較 強的關聯性，並且得到符合人眼視覺的評估結果。

圖1-14 結構相似性量測系統圖

第二種的影像品質評估是無參考的方式，在近幾年來，無參考影像品質評估 開始發揮重要作用，由於全參考影像通常是無法在實際應用情況下比較的這個理 由，現有的無參考影像品質評估的大多數影像特色是專門設計給各種變化的影像 失真，像是影像模糊[13,14,15,16,17]、方塊效應[17]和振鈴現象[16]，其中大部分 的原因是因為 JPEG/JPEG2000 壓縮所產生。在[13,14,15]中，計算區域邊緣寬度 作為衡量區域性清晰度的標準。Wang et al. [17] 在各區塊的邊界計算平均差異進 一步量測是否有方塊效應和影像是否有模糊的情形，透過他們所訓練出來的模型 進行測試，並且使用Mean Opinion Score(MOS)對影像品質進行評估，如圖 1-15 是Group 1 做為訓練影像，使用 Group 1 的模型預測結果為圖 1-17。Sheikh et al. [16]

提 出 以 統 計 自 然 影 像 的 小 波 係 數 作 為 影 像 特 徵 ， 利 用 Principle Component Analysis(PCA)去分析量測因為 JPEG2000 壓縮所產生的模糊和振鈴現象。

圖 1-15 Group 1 影像

圖 1-16 Group 2 影像

圖 1-17 預測結果

影像品質評估在無參考影像品質評估方法中可分類為啟發式、學習式、多準 則和人類視覺系統方法。在啟發式方法裡，影像品質量測只由實驗或影像特徵的 線性組合而被設計出來，這些被選擇的影像特徵只能由經驗法則來決定，這並沒 有什麼特別的物理意義。要縮小在人類感知和影像品質評估的差距，在學習式方 法中[18,19]提出學習的影像品質評估與現有的訓練演算法，以便在影像特徵和影 像分數中獲得非線性映射。最近Sheikh et al. [18]更進一步的提出影像品質標準，

根據線性組合品質指標，透過最佳化訓練模型預測誤差來決定品質指標的權重，

並且為了在非線性映射範圍內可以穩定的客觀預測，使用映射函數式(1-47)、

(1-48)，則可以達到在主觀和客觀之間的非線性映射。

1 2 3 4 5

Quality( )x logistic( ,( x )) x (1-47)

1 1

logistic( , )

2 1 exp( )

x x

 ^{ }   (1-48)

Tong et al. [19]提出使用即時 Adaboost 演算法，流程圖如圖 1-18，直接學習 JPEG/JPEG2000 影像，作為無參考影像品質標準模型。並且也跟 Bayesian classifier 做比較，如表 1-1 及表 1-2。在人類視覺系統方法，明確地使用適合的影像品質 評估方法去處理不同的模式，模擬人類視覺系統的行為。在[15]使用式(1-49)作為 發展作為以人類視覺系統無參考客觀的評估方法量測清晰度，這裡人類視覺系統 模型是以通過最小可察覺的模糊度去考慮人類視覺系統的行為，主要是為了在不 同的對比程度的清晰度去考慮人類視覺系統的行為。其中表1-3 為不同方法的無 參考客觀評估的實驗結果。測試影像為圖1-19，使用了 4 種不同標準差的高斯濾 波器所產生的模糊影像。

圖 1-18 系統流程圖

表1-1 Assessment results for JPEG images

表1-2 Assessment results for JPEG2000 images

0.024( 50)

0.0042 1, for 0 50 MJNB 0.8092 ^C , for 51 200

C C

e^{ } C

   

 

   (1-49)

表1-3 執行不同的客觀無參考評估測試圖 1-19

(a) (b) (c) (d) 圖 1-19 無 參 考 客 觀 測 試 影 像 描 述 在 [3]; (a)FishingBoat, (b)Man,(c)Pepper,(d)Houses.

由於人類視覺系統是一個複雜的系統，其中涉及眼睛、視覺感應器、和在大 腦裡的視覺處理，判斷影像品質只有一個特色或標準，過程好像太啟發式並且過 於簡單，到目前還沒有函數可以代表人類視覺系統。一個較為成熟的人類視覺模 型，如圖1-20 所示，該模型表示了視覺感知的三大特性[21]，幅度非線性衰減、

理生理學實驗的影響，其模型中也應該這樣的校正因子，它負責調節計算時的某 些臨界值和參數。由於上述的這個事實使得已經沒有任何解模糊的方法，可以不 透過學習的方法而去評估影像復原後的品質，我們提出一種學習為基礎的影像復 原演算法，解決影像復原後的問題。

圖1-20 人類視覺模型

在本論文提出的演算法中，使用了影像復原後的影像當作訓練的影像，並且 作為無參考影像品質評估的模型。這些被作為影像品質評估的模型接著被使用去 分類復原影像的品質，且可自動偵測復原影像的模糊程度及振鈴現象。