題目: 一個以 Soft Thresholding 降低影像區塊效應的頻域補償法

(1)

中華大學碩士論文

題目: 一個以 Soft Thresholding 降低影像區塊效應的頻域補償法

A Soft Thresholding Based Frequency

Compensation Method For Reducing Image Blocking Artifacts

系所別 : 電機工程學系碩士班通訊組學號姓名 : 8701529 王賢昌

指導教授 : 辛錫進博士

(2)

中華大學碩士班研究生論文指導教授推薦書

電機工程學系碩士班王賢昌君所提之論文一個以 Soft Thresholding 降低影像區塊效應的頻域補償法，係由本人指導撰述，同意提付審查。

指導教授

^（簽章）

中華民國八十九年七月

(3)

中文摘要

影像以區塊轉換編碼(blockwise transform coding)的方式進行資料壓縮、解壓縮後的影像資料會有所謂的區塊效應(blocking artifacts) 產生，尤其在高壓縮比的情況下，區塊效應的現象會特別明顯，因此，

如何消除影響影像品質的區塊效應是區塊化編碼技術重要的研究課題之一。目前常用的方法中，以“後處理法(post-processing)”的方式來降低影像的區塊效應是較簡單且有效的方法，原因之一是後處理法是在影像解碼端的後段中進行，可以很容易地應用在解碼程序中，不需改變原有的編解碼架構。為了降低影像的區塊效應，本論文將探討如何利用相鄰區塊間影像資料的關連性，在頻率領域下分析其能量分布情形以判斷有無區塊效應的發生，並利用頻域補償的方式進行非線性濾波法以降低區塊邊緣影像資料的不連續性。實驗結果顯示，我們所提出的非線性頻域係數補償後處理法能有效地平滑影像的區塊效應，因而能提高區塊化編碼後解碼影像的品質。

(4)

Abstract

The reduction of the so-called blocking effects caused by compressing images with blockwise transform coding algorithms such as JPEG coding has been one of the most important tasks in image compression applications. In this thesis, we develop a post processing method which first detects those having strong blocking effects and then reduces such artifacts by means of soft thresholding in the frequency domain. Its performance in terms of processing time and visual comparison with Jeon’s method is demonstrated by experimental results.

(5)

誌謝

由於國家整體經濟環境的進步與變化及本人工作之需求，深刻感受到技術及學術知識的不足，鼓舞我再繼續進修的勇氣，回想進修過程心中的錯綜複雜，事業、家庭、學業都想要兼顧，還好家人的支持及鼓勵，得以順利考上中華大學電機系碩士班就讀，重新回到學生的生活裡。在碩士班期間，同學之間愉快相處讓我遇到工作上有困難時，得到師長及同學最大的協助。使我能學以致用解決所面臨各項問題。

本篇論文之所以能夠順利完成首要感謝師長的指導、同學與朋友的協助及支持。在此感謝我的指導教授辛博士錫進先生，對於在研究所這兩年裡求學生涯中，所給予悉心的指導與教誨，協助我解決學識上的問題及個人心靈教導，讓我受益無窮、擔任論文審核委員的袁正績博士與鄭木火博士，為本論文指正疏漏與澄清觀念，使本論文更加充實完備，在此衷心敬上最深之謝意。並在論文研究與撰寫期間的協助，使得順利地完成。另外也要感謝好同學邵玄琦、王興湧的協助以及實驗室裡的各位學長、同學及學弟，對於我在求學與論文寫作期間，所給予的各種幫助，當然也非常感謝內人柔嘉及可愛女兒品方大力支持與精神上付出，相信這段時間沒有她們的支持與體諒跟本無法完成我的夢想。再次向大家說聲謝謝。此外，對於未在此列出曾經關懷過我和幫助過我的人，亦在此致上由衷的謝意。

最後再次感謝我的指導教授辛錫進博士。而此論文將獻給最親愛的父母親與內人柔嘉、女兒品方。

謝謝各位!

(6)

圖目錄

圖 2.1 (a)壓縮、(b)解壓縮方塊圖 …....… … … … . … … . . … … … . . . … . . . 9 圖 2.2 各轉換之特性比較 ……...………...…… … … … . . … . . 9 圖 2.3 一維轉換之隱含週期(a)DFT 、 (b)DCT… … … . 1 0 圖 2.4 JPEG 編、解碼系統架構 … … … 11 圖 2.5 鋸齒形掃描順序 … . … … … . . . … … … . . . 1 1 圖 2.6 區塊之8×8 DCT 係數 … . . … … … ...… … … ....12 圖 2.7 以三度空間表示8×8 DCT 係數之振幅 … . . … … . … … … ....12 圖 3.1 上、下、左及右鄰近區塊 … . . … … … . . … … … … . … ...20 圖 3.2 影像後處理模型 … … … . . … … … … . . . 2 0 圖 3.3 4 點、8 點與 12 點低頻 DCT 係數位置 … … … . … … . . … … . . . 2 1 圖 3.4 交錯(alternate)處理{•處區塊}與{X 處區塊} … … … . … … … … .21 圖 3.5 低頻 DCT 係數補償影像(λ =^0.1)之最小化

計量區塊效應值 ….. … … … . . … … … . … . . … … … ..22 圖 3.6 低頻 DCT 係數補償影像(λ=^0.5)之最小化

計量區塊效應值 ….. … … … . . . … . . … … …..22 圖 3.7 低頻 DCT 係數補償影像(λ=1)之最小化

計量區塊效應值 … … … . … . . … … … . . 2 3 圖 3.8 巨區塊 … . … … … . . … … … ...23 圖 3.9 子、巨區塊之二值化頻域能量分佈示意圖. . … … … . . … … … … ..24 圖 3.10 ‘1’的個數T_C >臨界值 T 則判斷有區塊效應發生 … … … ..24 圖 3.11 Hard thresholding … … . . … … … ...25 圖 3.12 Soft thresholding … … … . . … … … … . … … … … ...25 圖 3.13 4 個相鄰區塊(b1、b2、b3、b4)之內部四個圖素

(巨區塊內的十字形邊界寬度為 4點像素寬) … … … . . … … … ..26

(9)

圖 4.1 原始 Lena 影像 … … … . . . . … … … …..…....34 圖 4.2 原始狒狒影像 … . … … … ...34 圖 4.3 JPEG 解壓縮後 Lena 影像 … … … 3 5 圖 4.4 JPEG 解壓縮後狒狒影像 … … … . . … … … 3 5 圖4.5 是原始影像(圖4.1)減去解壓縮影像(圖4.3)所得到的

誤差影像 … … … . … … … …...36 圖4.6 是原始影像(圖4.2)減去解壓縮影像(圖4.4)所得到的

誤差影像. … … … …...36 圖4.7 補償4點低頻DCT係數後之解壓縮Lena影像

(比重係數λ=0.5)………...37

圖4.8 原始影像(圖4.1)減去解壓縮影像(圖4.7)所得到的

誤差影像 … … … . . … … … . 3 7 圖 4.9 (a)、(b)、(c)與((d)、(e)、(f))分別是部份原始影像、

直接解壓縮影像與 4 點 DCT 係數補償後的影像之比較 … … … 3 8 圖 4.10 一維 Lena 影像區塊效應比較(第 216 列) … . … … . … … … . … … 3 8 圖 4.11 補償 4 點低頻 DCT 係數後之解壓縮狒狒影像

(比重係數λ=0.5)……….………...39 圖4.12 原始影像(圖4.2)減去解壓縮影像(圖4.11)

所得到的誤差 … … … …...39 圖 4.13 (a)、(b)、(c)與((d)、(e)、(f))分別是部份原始影像、

直接解壓縮影像與 4 點 DCT 係數補償後的影像之比較 … … . 4 0 圖 4.14 一維狒狒影像區塊效應比較(第 216 列). … … … … . . … … … … 4 0 圖 4.15 補償 8 點低頻 DCT 係數後之解壓縮 Lena 影像

(比重係數λ=0.5) … … … ... … … … ...41

(10)

圖 4.16 補償 8 點低頻 DCT 係數後之解壓縮狒狒影像 (比重係數λ=0.5)………..………..41 圖 4.17 補償 12 點低頻 DCT 係數後之解壓縮 Lena 影像

(比重係數λ=0.5) … … … … . . … … … . . . … … … . . . 42 圖 4.18 補償 12 點低頻 DCT 係數後之解壓縮狒狒影像

(比重係數λ=0.5) … … … . . … . . … … … … . … … … ...42 圖 4.19 以臨界值 T=200 偵測解壓縮 Lena 影像(圖 4.3)

所得到的結果 … … … . . … … … … . . 4 3 圖 4.20 以臨界值 T=150 偵測解壓縮 Lena 影像(圖 4.3)

所得到的結果 … … … . . … … … … . . 4 3 圖 4.21 Lena 影像 DCT 域能量統計分佈圖，(a)有區塊效應

(共 111 塊)、(b)無區塊效應(共 850 塊)，T=200。

(c)有區塊效應(共 161 塊)、(d)無區塊效應(共 800 塊)，

T=150 … . . … . . … … … . 4 5

圖 4.22 以 4 點 DCT 係數補償圖 4.19 後的結果

(比重係數λ=0.5). … … … … . . … … … . … . . … … … … . . 46 圖 4.23 原始 Lena 影像(圖 4.1)減去解壓縮 Lena 影像(圖 4.22)

後所得到的誤差影像….…………..………..46 圖 4.24 (a)、(b)、(c)與((d)、(e)、(f))分別是部份解壓縮

Lena 影像、4 點 DCT 係數補償結果與區塊效應偵測

下的 4 點 DCT 係數補償結果比較 … … … …...47 圖 4.25 以臨界值 T=200 偵測解壓縮狒狒影像(圖 4.4)

所得到的結果 … … … . … … … . . … .47 圖 4.26 以臨界值 T=150 偵測解壓縮狒狒影像(圖 4.4)

所得到的結果 … … … . … … … . . … . 4 8

(11)

圖 4.27 狒狒影像 DCT 域能量統計分佈圖，(a)有區塊效應 (共 116 塊)、(b)無區塊效應(共 845 塊)，T=200。

(c)有區塊效應(共 191 塊)、(d)無區塊效應(共 770 塊)，

T=150 … … … . . … … … . . … … … . … … ..50

圖 4.28 以 4 點 DCT 係數補償圖 4.25 後的結果(比重係數λ=0.5) …...50 圖 4.29 區塊效應偵測加非線性濾波的結果

(巨區塊內的十字形邊界寬度為 4點像素寬) … … … . . … … … ..51 圖 4.30 原始影像(圖 4.1)減去解壓縮影像(圖 4.29)所得到的

誤差影像 … … … . … … … . . … … … ..51 圖 4.31 無偵測區塊效應加非線性濾波的結果

(巨區塊內的十字形邊界寬度為 4 點像素寬) … … … . . 5 2 圖 4.32 原始影像(圖 4.1)減去解壓縮影像(圖 4.31)

所得到的誤差影像 … … … . . 5 2 圖 4.33 (a)、(b)、(c)與((d)、(e)、(f))分別是部份解壓縮

Lena 影像、區塊效應偵測下 4 點 DCT 係數補償的結果與 soft thresholding 非線性濾波法補償的結果比較 … … … . . . . 5 3

(12)

表目錄

表 3.1 JPEG 壓縮量化表step-size … . . … … … …..27 表 3.2 擴充8×8 JPEG 量化表為16×16量化表

(Quantization Step)… … … . . … … … . ... … … . . … … . . … 2 7 表 4.1 不同補償係數與比重係數解壓縮 Lena 影像之

PSNR(一次 iteration)及計量區塊效應值 … … . . . … … … 5 4 表 4.2 不同補償係數與比重係數解壓縮狒狒影像之

PSNR(一次 iteration)及計量區塊效應值 … . . … … … . 5 5 表 4.3 不同比重係數下 8 點低頻 DCT 係數補償後所得到的

解壓縮 Lena 影像之 PSNR(一次 iteration)及

計量區塊效應值 … … … … . … … … 5 6 表 4.4 不同比重係數下 8 點低頻 DCT 係數補償後所得到的

解壓縮狒狒影像之 PSNR(一次 iteration)及

計量區塊效應值 … . … … … . . … … … . . … … … … . . … … . . 5 6 表 4.5 不同比重係數下 12 點低頻 DCT 係數補償後所得到的

解壓縮 Lena 影像之 PSNR(一次 iteration)及

計量區塊效應值 … … … . . … … . . … … … .57 表 4.6 不同比重係數下 12 點低頻 DCT 係數補償後所得到的

解壓縮狒狒影像之 PSNR(一次 iteration)及

計量區塊效應值 … . … … … . . … … . … … … . 58 表 4.7 Lena 影像總處理時間，PSNR 及計量區塊效應值 … ... … … … ..59 表 4.8 soft thresholding 非線性濾波法處理時間

(補償的十字形邊界寬度為 4 個圖素點 Lena 影像)，

PSNR 及計量區塊效應值 … . … … … . . … … … 5 9

(13)

第一章緒論

影像乃泛指所有實際存在含有某種消息的信號，“影”是物體透射或反射光的分布，“像”是人的視覺系統對影的接收在大腦中形成的認識；前者是客觀的存在，後者是人的感覺，因此影像應是兩者的結合。

若將影像視為二維平面或三維立體空間下具有明暗色彩變化的資料分布，並不是很嚴格的，它應該包括人的心理因素，而影像處理當然也應該考慮到這點。

影像處理是對影像訊息進行加工，以滿足人的視覺心理或符合實際應用的要求，處理的方式主要分為兩種：一種是傳統的光學影像處理，以類比的方式對影像作某種特殊處理。另一種則是數位影像處理，其理論基礎大多是借用其他的學科如資訊理論、訊號處理等，利用電腦完成某種處理從系統化的角度來看並未成熟，但是實際應用上卻已經解決了不少的問題。影像處理的目的分為兩類：一類是以人為對象，處理的目的是改善視覺的效果，並非純粹以修改影像本身的資料值為依歸，例如刻意地添加偽隨機雜訊以消除影像中的”假輪廓”現象就是為了 ”迎合” 人的視覺心理。另一類則是以機器為對象，處理的目的是突出影像中目標物的某些特性，如邊界、屬性等，以提高計算機或自動機器在辦識應用上的準確度。

隨著現代通訊技術的發展，傳輸影像資訊的種類和資料量越來越大，為了有效地提高傳輸效率並降低儲存影像的資料量，影像資料的壓縮是必需的；若影像資料不壓縮，在有限的頻寬條件下即時傳輸影像訊息將難以實現。因為一般的影像資訊常存著很大的相關性，應用編碼技術減少這些相關性，便可達到影像資料壓縮的目的。目前的壓

(14)

等影像壓縮標準所採用的離散餘弦轉換(DCT)最為普遍，其作法是將原始影像分割成為一塊塊不重疊的小區塊後獨立進行轉換、量化與編碼。因量化過程是在頻域下進行，量化後的誤差雜訊會影響區塊內所有的影像資料值，所以解壓縮後的影像在相鄰區塊的邊界處常會有資料不連續的現象產生，即所謂的區塊效應(blocking effects)，嚴重影響到影像壓縮的品質。目前有許多研究是針對如何能減少此類編碼法所產生的區塊效應，例如利用重疊直角轉換法 (lapped orthogonal transform) [5]，將原始影像分割成有少許重疊的區塊，而解碼重建時，

相鄰區塊之重疊區域影像則以平均取樣來降低區塊間資料的不連續；其他消除區塊效應的方法以後處理法(post-processing)的方式較為普遍，例如利用濾波器(filter) [7]，[12]，[15]，[16]，封閉凸面集合之空間投影(projections onto convex sets)[9]，[10]或強迫最小平方法 (constrained least square method) [17]等，因後處理法可以獨立進行，

不需修改原先的編解系統架構，故可適用在不同的壓縮編碼系統中。

若將區塊效應視為影像在區塊邊界處錯誤的高頻雜訊，那麼利用簡單的低通濾波器應可消除此錯誤的高頻雜訊，達到區塊平滑的效果，但是直接使用低通濾波器平滑區塊效應的同時，原始影像的高頻資訊也會被濾除，造成解碼影像的模糊。空間投影後處理法是在影像空間下定義近似無區塊效應的封閉凸面集合，利用適當的投射運算子以反覆疊代的方式獲得一幅近似無區塊效應的影像，而強迫最小平方法亦是根據此理論所提出來的，所以這兩種方法非常相似。此外利用適當的頻率係數補償改變影像的高頻頻域資訊，也可以降低影像的區塊效應。在第二章裏，我們將簡單介紹影像壓縮、編碼與探討區塊效應的發生；第三章將介紹以頻域補償降低區塊效應的後處理法；第四章是實驗結果的分析與比較；第五章論文總結論。

(15)

第二章

區塊化影像壓縮與區塊效應

在成本的考量與有限頻寬的環境下，影像壓縮是有必要的。壓縮可以節省儲存影像資料所需的記憶體容量，減少傳輸通道的容量等，

反之，無壓縮的影像資料龐大，即時傳輸或儲存都很難實現。為了縮短影像處理的時間，不同的應用目的和不同的影像內容應採用不同的壓縮方法，但壓縮後的結果仍應以影像的品質與真實性為考慮的依據。

影像資料之所以能夠壓縮，是因為影像的相鄰像素點之間常有明顯的相關性，簡單的說，就是某一個像素點的影像值與周圍的像素點影像值有一定程度的關連性。若能應用編碼技術分析並整合這些關連性，便可壓縮影像資料，即利用消息理論減少影像訊息中重覆出現的多餘訊息而保留重要的訊息。如此，不僅減少了影像的資料量，同時影像原有的基本訊息也沒有丟失。從另一個角度來看影像的訊息，資訊的接收者常是人眼，而人的視覺系統對不同訊息的接收能力是不同的，例如明暗變化程度、灰階解析度、空間解析度等，都有一定的接收靈敏度。基於上述理由我們可以根據影像訊息本身的統計特性和訊息接受者的接收能力，儘可能地捨去較不重要的資料，達到壓縮的目的。

2.1 資料冗餘性(data redundancy)

數位影像資料的冗餘性可分為三種：編碼冗餘性 (coding redundancy)、像素間冗餘性(inter pixel redundancy)、視覺心理冗餘性

(16)

一般的影像中各個灰階出現的機率並非完全一樣，若不考慮此特性而採用標準的二進碼直接編碼，則會有編碼的冗餘性產生。為了使編碼更有效率，對出現機率較大的灰階值應以較少位元長度的碼代表之，此為可變長度編碼(variable–length coding)法。

先前所提的影像中相鄰的像素間有相當程度的相關性，此即為像素間冗餘性，利用此冗餘性可對任意像素的灰階值以鄰近的像素灰階值預估，如差值脈衝碼調變(DPCM)即對此預估的誤差值作編碼，藉此減少影像資料的重覆性，達到壓縮的效果。

視覺心理冗餘性是指在不影響影像的主觀品質下刪除較不重要的資訊，因為大腦不會對個別像素作定量分析，而是尋找一些諸如邊界或紋理的特性組成可辨識的群體，以便對影像的訊息有所了解。但依據視覺心理冗餘性而被刪除的影像資訊是一不可逆的處理，屬於有損耗的壓縮方式。

2.2 影像轉換壓縮

圖 2.1 為一個典型的轉換編碼系統：將一個輸入影像分成許多的子影像，然後分別對每個子影像做轉換產生出轉換係數陣列。然後再進行量化與編碼，而接收端先對收到的資料進行解碼，然後再進行反量化及反轉換以恢復原來的影像資料。正轉換的方法有很多，其中又以正交轉換法較為普遍，例如我們所熟知的傅立葉轉換(DFT)、離散餘弦轉換(DCT)、K-L(Karhunen-Loeve)轉換、Walsh-Hadamard 轉換等。

以 KL 轉換所得到的壓縮率最佳，但計算最複雜。由圖 2.2 所示，一般的壓縮結果比較得知 DCT 的壓縮效果近似於 K-LT，但計算上卻簡易許多。

(17)

2.2.1 離散傅立葉轉換(Discrete Fourier Transform)

離散傅立葉轉換(DFT)的應用十分廣泛，其將輸入的數位訊號以 DFT 轉換至頻域中進行分析、處理後，再以反 DFT 轉換至原來的訊號空間，可以簡化計算的複雜度，提昇處理的速度，即配合快速演算法(Fast Fourier Transform；FFT)的使用可以減少大量的計算。在數位影像處理的領域下，二維 DFT 已被廣泛地應用在影像的增強、復原、

壓縮等應用中。

一般影像以二維離散傅立葉轉換後，大部分的能量會集中在低頻的區域，利用此一特性，對不同頻域的影像資料作適應性地編碼，應可達到壓縮的效果。二維離散傅立葉之順、逆向轉換公式如下：

∑ ∑

⁻

=

−

=

+

=

¹ − 0

1

0

] / ) ( 2

) [

, 1 (

) , (

N

u N

v

N vy ux

e

j

y x N f

v u

F

^π (2-1)

∑ ∑

⁻

=

−

=

¹ + 0

1

0

] / ) ( 2

) [

, 1 (

) , (

N

u N

v

N vy ux

e

j

v u N F

y x

f

^π (2-2)

其中影像

f

(

x

,

y

)與其離散傅立葉係數

F

( v

u

, )的大小皆是

N × N

。由於

N × N

影像資料的傅立葉轉換是一個二維傅立葉展開式，其隱含著週期的特性，會造成子影像邊界點的資料取得錯誤的數值，此即所謂的 Gibbs 現象(如圖 2.3(a)所示)，影響影像重建的品質，解決此問題的方法之一是可利用二維離散餘弦轉換(DCT)代替二維傅立葉轉換(如圖 2.3(b)所示)。

2.2.2 離散餘弦轉換(Discrete Cosine Transform)

在一維傅立葉級數展開式中，如果被展開的函數是實偶函數(即對稱於原點)，那麼其傅立葉級數中只有餘弦函數，它的傅立葉頻譜

(18)

轉換(Discrete Cosine Transform；DCT)。DCT 比 DFT 更常被應用在影像的處理上，其一維的轉換定義如下：

1 , 2 , 1 , 0 2 ]

) 1 2 cos[( ) ( ) 2 ( ) (

1

0

− + =

=

∑

⁻

=

N N u

u x x

f N u

u F

N

X

L π ；

α (2-3)

其中： 





=

otherwise

; 1

0

; 2 1 )

(

u

α u

式中

f

(x)；x=0,…,N-1 可利用下式的一維反離散餘弦轉換由

F

(u)重建：

1 ,

2 , 1 , 0 2 ]

) 1 2 cos[( ) ( ) ( )

(

1

0

− + =

= ∑

⁻

=

N N x

u u x

F u x

f

N

u

L

π

；

α

(2-4)

實數訊號之傅立葉轉換的實數部分對應於餘弦項而虛數部分則對應於正弦項，因此，離散餘弦轉換可從 DFT 的實數部分求得，並不會增加計算的複雜度。

可分離式二維離散餘弦轉換定義如下：

∑∑

⁻

=

−

=

+

= ¹ +

0 1

0

2 ] ) 1 2 cos[( 2 ]

) 1 2 cos[( ) , ( )

( ) 2 ( ) , (

N

X N

y N

v y N

u y x

x f v

N u v u

F α α π π

(2-5) 其相對應的二維離散餘弦反轉換為：

∑∑

⁻

=

−

=

+

= ¹ +

0 1

0

2 ] ) 1 2 cos[( 2 ]

) 1 2 cos[( ) , ( ) ( ) 2 (

) , (

N

u N

v N

v y N

u v x

u F v N u

y x

f α α π π

(2-6) 式中： 





=

otherwise

; 1

0 z

; 2 1

)

α

(z

可分離式二維DCT 轉換的特點是可應用一維DCT 轉換對影像的垂直與水平資量逐次計算後求得。一般 DCT 具有以下的優點：

(1) 在最少個數的係數上集中最大量的資訊。

(2) 在頻域下之實數影像資料的 DCT 係數為實數。

(19)

(3) DCT 之轉換過程為線性、可逆的。

(4) 區塊效應的現象比其他二維轉換小，如圖 2.3(b)所示，DCT 隱含

2N 點的週期特性，故區塊效應的發生機率較小。

2.3 JPEG 影像壓縮標準

JPEG(Joint Photographic Experts Group)影像壓縮標準是 CCITT 與 ISO 所共同開發出來的連續色調靜止畫面影像(continuous-tone still image)壓縮標準。JPEG 標準定義了三種編碼系統：(1) 有損耗的基本列編碼系統(baseline coding system)、(2) 延伸的編碼系統(extended coding system)，可獲得更大的壓縮量、更高的精確度與漸進式影像的重建、(3)無損耗的獨立編碼系統(independent coding system)，這是可逆的壓縮系統。

JPEG 壓縮是依序以三個步驟完成：區塊 DCT 計算、量化與可變長度編碼。圖 2.4(a)、(b)為 JPEG 編、解碼系統架構圖：影像先被分成8×8影像區塊後，以從左到右從上到下的順序來處理，對每一個8×8

影像區塊進行壓縮編碼時，先做灰階位移，然後再進行二維離散餘弦轉換、量化後再以圖 2.5 的”之”字形重新排序構成一維量化係數序列，區塊中位置(0,0)的係數稱為直流(DC)係數，剩下的 63 個係數稱為交流(AC)係數(如圖 2.6 所示)。每個區塊經過離散餘弦轉換後，原始影像的視覺訊息會集中在 DC 係數及低頻的 AC 係數上，即能量大都集中在低頻，如圖 2.7 所示。

根據圖 2.5 的”之”字形所產生的一維陣列是按頻率遞增的方式排列，DC 係數則是根據與前一子影像的 DC 係數的差值進行編碼，而非零的 AC 係數則以可變長度編碼。JPEG 提供了亮度影像的預設碼字與亮度量化陣列顯示標準(JPEG 量化表)，它可以改變其參數以提

(20)

供各種壓縮程度。雖然預設的編碼表和經過驗證的量化陣列可供亮度影像的處理應用，但使用者仍可以自由地建構特製的編碼表格和/或陣列，使它們在實際上更能適合被壓縮的影像的特性。

所謂量化是捨棄視覺上較不易查覺的訊息。我們可依照量化表將 DCT 係數逐個給予不同的量化值進行線性量化產生壓縮的效果。選擇比較小的量化值作為量化時雖然可以得到較佳的重建影像品質，但相對地其壓縮比會較小。JPEG 並沒有規定量化表的標準，因此可依所需選擇適當的量化表，使得解碼端能重建所需的影像品質。基於人眼對於低頻比較敏感，高頻比較不敏感的特性，一般可將 DC 係數及低頻的 AC 係數選擇較小的量化值，高頻的 AC 係數則選擇較大的量化值，如此我們便可以保留低頻重要的係數，而降低高頻係數的資訊。

由於影像資料的各種數值都有可能發生，且發生的機率並不相同，此數值的分佈可以求出，此即為影像的 histogram，根據消息理論(information theory)，發生機率愈高的數值，應給予較小長度的碼字，可降低平均碼長。採用 Huffman 編碼可以達到最大的編碼效率，

但碼產生的程序較複雜，JPEG 則採用修正過的 Huffman 編碼 (modified Huffman coding)。

2.4 區塊效應

影像壓縮編碼時，首先我們將原始影像分割成一塊塊不重疊的子影像後再進行二維區塊離散餘弦轉換，此時各區塊間的相關性若沒有在考慮的範圍內，若再將每個區塊之 DCT 係數以較大的量化值量化後，會破壞區塊間原有的關連性，因此，解碼影像中會有區塊效應的產生。我們將利用後處理的方式來改善影響影像品質的區塊效應，這是本篇論文最主要的目的和研究方向。

(21)

輸入影像壓縮影像

壓縮影像

正轉換量化器符號

編碼器

符號

解碼器反轉換

(a)

解壓縮影像

(b) 反量化器

圖 2.1：(a) 壓縮、(b) 解壓縮方塊圖。

圖 2.2：各轉換之特性比較。

平均平方誤差

區塊大小

Fourier 轉換 Harr 轉換

Hadamard 轉換 Slant 轉換

K-L 轉換

DCT(離散餘弦轉換)

(22)

圖 2.3：一維轉換之隱含週期(a)DFT、(b)DCT。

FDCT Quantizer Entropy

Encoder source

image data

compressed image data

table specifications

(a) JPEG 編碼流程。

2N N

(23)

IDCT Dequantizer

Entropy Decoder

table specifications table

specifications compressed

image data reconstructed

image data

(b) JPEG 解碼流程。

圖 2.4：JPEG 編、解碼系統架構。

0,1

0,0 0,2 0,3 0,4 0,5 0,6 0,7

1,1

1,0 1,2 1,3 1,4 1,5 1,6 1,7

6,1

6,0 6,2 6,3 6,4 6,5 6,6 6,7

2,1

2,0 2,2 2,3 2,4 2,5 2,6 2,7

3,1

3,0 3,2 3,3 3,4 3,5 3,6 3,7

4,1

4,0 4,2 4,3 4,4 4,5 4,6 4,7

5,1

5,0 5,2 5,3 5,4 5,5 5,6 5,7

7,1

7,0 7,2 7,3 7,4 7,5 7,6 7,7

圖 2.5：鋸齒形掃描順序。

(24)

圖 2.6：區塊之 ⁸×⁸ DCT 係數。

圖 2.7：以三度空間表示 8×8 DCT 係數之振幅。

(25)

第三章

以頻域補償降低區塊效應

相鄰區塊邊界上，不連續的影像資料值所造成的區塊效應直接影響了人的視覺反應，如何適當地定義區塊效應並有效地減少其對視覺上的影響是本章所探討的重點。在第一節中，我們將介紹由 Jeon[25]

所提出的以區塊邊界之差分平方和計量區塊效應的程度；以最佳化的方式修改區塊的離散餘弦轉換係數，補償區塊邊界上的影像值，獲得最小的邊界差分平方和以降低區塊效應的影響。

第二節中，我們將介紹 E.H. Lin[26]所提出的二維頻域判斷法則來偵測有無區塊效應發生，配合 Jeon 的頻域補償法則，只針對有區塊效應發生的影像邊界處作補償，如此，在減少區塊效應的同時亦能保有部份影像原有的高頻資訊。

在第三節中，我們將提出一種非線性的濾波方法配合 Lin 的二維頻域區塊偵測法則，將有區塊效應發生的頻域係數視為被雜訊干擾的資訊，利用 soft thresholding 來降低此頻域的雜訊干擾，即以 soft thresholding 的方式補償被區塊效應雜訊所干擾的頻域之 DCT 係數，

平滑區塊效應以及提高解壓縮影像的品質。

3.1 計量區塊效應

Jeon[25]以區塊邊界處相鄰影像資料相減的平方總和來計量影像 的區塊效應程度，他定義了影像 f 中第 k 個

N × N

區塊的區塊效應計 量值 Dk如下：

(26)

[ ] [ ]

[ ] ∑ [ ]

∑

∑ ∑

−

= +

= −

−

=

−

= +

−

− +

−

=

1

0

2 1

1

0

2 1

1

0

1

0

2 2

) 1 , ( - ) 0 , ( )

0 , ( - ) 1 , (

) , 1 ( - ) , 0 ( )

, 0 ( - ) , 1 ( )

(

N

x

k k

N-

x

k k

N

y

N

y

k P

k k

P k k

N x f x f x

f N

x f

y N f y f

y f y N f f

D

(3-1)

其中 fk-P 與 f_k+P

代表第 k 個區塊的上方與下方的相鄰區塊，f

_k-1 與

f

k+1 是左方與右方的鄰近區塊(圖 3.1 所示)，而影像 f 整體的區塊效 應計量值 D(f)則表示為：

∑

=

= ^K

k

k f D f

D

1

) ( )

( (3-2) 其中 K 為影像 f 的所有區塊總數。圖 3.2 為 Jeon 採用的影像後處理模 型，其中 fQ

(x,y) 是直接反量化後的解壓縮影像，

λ為比重係數 (0<λ≤1)，此目的是控制影像的補償量，採用λ= 0 代表不做任何補償。由於在高壓縮比的情況下，量化誤差過大時會有明顯的區塊效應產生，所以以∆f(x,y)為其補償影像(compensation image)。以上兩者相加後即獲得補償修正後的解壓縮影像為：

) , ( )

, ( ) ,

ˆ(x y f x y f x y

f ≡ _Q +λ∆ (3-3) 影像fˆ之第 k 個區塊的區塊效應計量值定義為：

[ ]

[

^g ⁽ ⁾^- ⁽ ^, ¹⁾

]

) 0 , ( - ) (

) , 1 ( - ) (

) , 0 ( - ) ( ˆ)

(

1

0

2 ,

1 k 1

0

2 ,

1 1

0

2 ,

1

0

2 ,

∑

−

= +

−

= −

−

= +

−

= −

−

∆ +

−

∆ +

∆

=

N

x

Q k N

x

Q k k

N

y

Q k P

k N

y

Q k P

k k

N x f x

x f x g

y N f y g

y f

y g f

D

(3-4)

其中：

) , 0 ( - ) , 1 ˆ (

)

(y f N y f _, y

g_k₋_P ≡ _k₋_P − _Q_k (3-5)

) , 1 ( - ) , 0 ˆ ( )

(y f y f _, N y

g_k₊_P ≡ _k₊_P _Q_k − (3-6)

) 0 , ( - ) 1 , ˆ ( )

( ₁ _,

1 x f x N f x

g_k₋ ≡ _k₋ − _Q_k (3-7)

(27)

) 1 , ( - ) 0 , ˆ ( )

( ₁ _,

1 ≡ ₊ −

+ x f x f x N

g_k _k _Q_k (3-8) 式中(3-5) ~ ( 3-8) fˆ的總區塊效應計量值為：

∑

=

= ^K

k

k f D f

D

1

ˆ) ( ˆ)

( (3-9) 由於 Jeon 的區塊效應計量值最小化是在頻域上完成的，因此補償影像是以轉換係數(transform coefficient)的形式來表述，所使用的轉換方法是二維離散餘弦轉換，其正轉換核(kernel)定義為φ_uv(x,y)：其中φ_u(x)與φ_v( y)分別代表 x 方向與 y 方向的一維正轉換核，N 為子區塊 的大小，其定義分別表示：



 



 +

= N

u u x

NC

u x

2 ) 1 2 cos( ) 2 ( )

( π

φ (3-10)



 



 +

= N

v v y

C

v y

2 ) 1 2 cos( ) N ( ) 2

( π

φ (3-11) 其中：

0 z , 1 ) (

0 , 2 ) 1 (

≠

=

= z C

z z

C

上述正轉換核可寫成鋸齒形次序(raster-ordered) N² ×1向量，如下所示：

[

N- N- uv N-, N- , N-

]

^T

y x, )

( φ₀₀_...φ_0, ₁ φ₁₀_...φ₁_, ₁_...φ _...φ ₁ ₁_...φ ₁ ₁

φ = (3-12)

其中φ_uv可表示為φ_u(x)φ_v(y)。補償影像的轉換係數第 k 個區塊亦可寫 成一個N²×1的向量 X，以下是其表示法：

X=[a

_k,₀₀…a_k,_0,N-1a_k,₁₀…a_k,_1,N-1…a_k,_uv…a_k,_N-1,1…a_k,_N-1,N-1]^T

(3-13) 其中 ak

,

_uv, 0 ≦ u, v ≦ N–1。所以第 k 個區塊之補償影像可寫成 下列形式：

(28)

∑∑

=

−

=

∆ ^N^-¹

0 u

1

0 uv

T (x,y)X , (x,y)

y) (x,

N

v

uv k

k a

f φ φ (3-14) 一般來說人的視覺系統具有低通(low-pass)的特性，加上區塊效應原本就極易為人眼所察覺，利用選擇少數的低頻 DCT 係數做為主要的影像補償係數應可大幅降低區塊效應。選擇後的補償係數表示為

X

_H，選擇後的正轉換核表示為φ_H(x,y)，因此式(3-14)所描述的第 k 個 區塊之空間域補償影像為：

H

k x,y x y X

f ( )=φ_H^T( , )

∆ (3-15) 將式(3-15)代入至式(3-4)之後可獲得 XH，其詳細計算推導過程可參閱 Jeon[25]的著作。 Jeon 以低頻四點離散餘弦轉換係數為例，亦即

{ }

⁰^,¹

, ,

, u v∈

a_k_uv 時(如圖 3.3 所示)，時域的補償影像∆f_k(x,y)可表示為：

) ( ) ˆ (

) ( ) ( aˆ ) ( ) ˆ (

) ( ) (

) , ( ) , (

1 1 11 , 1

0 01 , 0

1 10 0

0 00 1

0 1

0 , T H

y x a y x a

y x y

x a

y x a

X y x y

x f

k k

k, k,

v u N

u N

v uv k

H k

φ φ φ

φ φ

φ

φ φ φ

+ +

+

=

∆

∑∑

₌⁻ ₌⁻

(3-16) 其中：

{

⁽⁰⁾ ⁽⁰⁾ ⁽⁰⁾ ⁽⁰⁾

}

^/⁴

ˆ_k_,₀₀ = N G_k₋_P +G_k₊_P +G_k₋₁ +G_k₊₁

a

(3-17)

{

⁽¹⁾ ⁽¹⁾ ⁽⁰⁾^- ⁽⁰⁾

}

^/

{

² ⁴^cos ⁽ ^/² ⁾

}

ˆ_,₀₁ N G G G ₁ G ₁ ² N

a_k = _k₋_P + _k₊_P + _k₋ _k₊ + π

(3-18)

{

⁽⁰⁾^- ⁽⁰⁾ ⁽¹⁾ ⁽¹⁾

}

^/

{

² ⁴^cos ⁽ ^/² ⁾

}

ˆ_,₁₀ N G G G ₁ G ₁ ² N

a_k = _k₋_P _k₊_P + _k₋ + _k₊ + π

(3-19)

{

⁽¹⁾^- ⁽¹⁾ ⁽¹⁾^- ⁽¹⁾

}

^/⁴ ²^cos( ^/² ⁾

ˆ_,₁₁ N G G G ₁ G ₁ N

a_k = _k₋_P _k₊_P + _k₋ _k₊ π

(3-20)

{

^, ²^~⁷

}

,

, =0 u v∈

a_k_uv ，式(3-17) ~ (3-19)中 Gk(r)係指 g_k的一 維離散餘弦轉換係數中第 r 個位置的係數，表示為：

(29)

∑

=

≡ ¹

0

) ( ) ( )

(

N-

s

r k

k r g s s

G φ (3-21) 此外在做補償影像時對各個區塊的處理方式是將影像fˆ中全部 K 個子區塊分為二個子集合{K₁}與{K₂}，{K₁}以˙表示，{K₂}以 X 表示，如圖 3.4 所示。其過程利用交錯(alternate)的方式來處理，首先計算˙處的區塊，接著計算 X 處的區塊，並重覆上述的過程直到區塊邊界處的不連續值達到最小化。圖 3.5 是以 Lena 影像為範例，以 4 點、8 點與 12 點低頻 DCT 係數，λ =^0.1交錯補償時所得到的收斂圖。

由圖中的收斂曲線可知隨著重覆運算次數的增加，總區塊效應計量值 (total block discontinuity；

∑

k k f

D (ˆ))會逐漸降低，最後可達到最小值。

圖 3.6 與圖 3.7 是以λ =0.5與λ =1所得到的收斂圖。同樣由圖可知λ (控制影像補償量)越大時收斂越快，但是會使得補償後的影像品質變差。λ 越小則補償的效果越好，但需要較多的運算次數。因此選擇適當大小的λ 值，將可兼顧運算次數與影像的品質。

3.2 區塊效應偵測

E.H Lin 的二維頻域區塊效應判斷法是將每個8×8的區塊定義為子區塊(sub-block)，而上下左右相鄰的四個子區塊組合成一個巨區塊 (macroblock；如圖 3.8 所示)，子、巨區塊經由二維離散餘弦轉換後，

在頻域下比較其能量分佈。DCT 係數絕對值大於等於臨界值之頻域值設為 “ 1 ”，小於臨界值設為 “ 0 ”，以產生二值化的頻域能量分佈圖(如圖 3.9 所示)，並藉由巨區塊能量分佈與其四個子區塊能量分佈之聯集的比較以判斷有無區塊效應發生。Lin 利用每組巨區塊頻域能量分佈圖與其四個子區塊頻域能量分佈圖的聯集做互斥

(30)

產生 “ 0 ”。經過互斥後獲得一新的二值分佈矩陣，若無區塊效應發生，互斥後的“ 1 ”的個數應會非常地少，反之，則有明顯的區塊效應發生。計數互斥後之“ 1 ”的個數可以由下式完成：

} ) ( )

( {

4 1

k E exclusiveOR E sum

T_C _k

∪=

= (3-22) 式中E_k; k =1,L,4為四個相鄰的子區塊之二值化頻域能量分佈圖，E 為巨區塊之二值化頻域能量分佈圖，如圖 3.10 所示，若T_C＞臨界值T 表 示該巨區塊內有明顯的區塊效應發生，臨界值T 可依所需調整至適當 的值。以 Lin 的二維頻域判斷法及 Jeon 的頻域補償係數法結合應用於區塊效應的消除將於第四章的實驗比較中探討。

3.3 Soft Thresholding 非線性濾波法

前一節所介紹 Lin 的方法用於判斷有無區塊效應發生，避免浪費不必要的運算在無區塊效應的區塊上，此種方法可與各種影像後處理法結合，例如 3.1 節 Jeon 的頻域補償法與本節所要介紹的 thresholding 非線性濾波法。Thresholding 非線性濾波法分為 hard tresholding 與 soft thresholding 兩種(圖 3.11 與圖 3.12 所示)；hard thresholding 僅對 DCT 係數 C <T_r，其中

2

T_r =QS (Quantization Step；QS)的部分做限制；

而 soft thresholding 除了前述的限制之外還會針對 C >T_r部分加以運算。

對影像區塊效應所造成的高頻雜訊來做 thresholding 時，是為了避免因過度修正而造成影像品質的降低，因此才以量化誤差的最大值

Tr做為限制時的臨界值。在本節裏我們將以 soft thresholding 的方式對產生影像區塊效應的高頻 DCT 係數進行非線性濾波修正。其方式是將巨塊化壓縮後的解壓縮影像中，針對每個巨區塊，分析個別子區

(31)

塊的頻率響應與巨區塊的頻率響應，以判斷有無明顯的區塊效應發生。若有區塊效應發生，那麼相鄰的 4 個子區塊邊界處所形成的十字形區域內將存有高頻的雜訊。因此我們可以 soft thresholding 的方式來修改產生此高頻雜訊的 DCT 係數，進而補償此十字形區域內的影像資料，以降低區塊效應的影響。巨區塊能量與四個8×8子區塊能量分布的差異矩陣 “ 1 “ 的位置即代表可能為區塊效應所在的頻率位置，因此我們可以針對這些頻率位置來作一些修正與補償的動作，以降低區塊效應的現象。對於每個巨區塊而言，我們可以對照差異矩陣的數值，將每個巨區塊的 DCT 係數中可能為區塊效應所產生出的頻率位置與數值取出。接下來將這些取出的頻率數值再經過一個限制量化表的量化處理，並以下面這些判斷式來求出對應的頻率補償係數：

r Q

k r

Q k Q

k Q

k u v F u v F u v F u v T F u v T

F′_, ( , )= _, ( , )−sgn( _, ( , ))( _, ( , )- ) ; _, ( , )≥

∆

(3-23)

) , (

; 0 ) ,

( _,

,Q kQ r

k u v F u v T

F′ = <

∆ (3-24)

其中∆F′_k_,_Q(u,v)為限制後的頻域補償係數，QS 為量化表，而F_k_,_Q(u,v)則為限制前的頻域補償係數。使用的壓縮量化表是原先的8×8標準量化表，如表 3.1 所示，然後我們將其擴充為16×16的壓縮量化表，如表 3.2 所示。有了這些頻率補償係數後，便可以利用 IDCT 的運算求出空間域的補償影像，並針對相鄰區塊四個圖素點寬度的資料做修正，

如圖 3.13 所示。其原因是區塊效應係發生於8×8區塊的邊緣處，因此在以16×16區塊來處理時針對其 4 個8×8子區塊相鄰處做補償即可。

以 Lin 的二維頻域判斷法及 thresholding 非線性濾波法結合應用於區塊效應的消除與降低高頻雜訊的干擾，提高影像品質將於第四章的實驗中做深入的探討。

(32)

fk f_k₊₁

P

fk₋

P

fk₊

−1

fk

x

y 0 1 2 N -1LLL

0 1 2

N-1

M M

圖 3.1：上、下、左及右鄰近區塊。

圖 3.2：影像後處理模型。

minimize discontinuity )

, ( yx

∆f λ

) , (

^

y x ) f

, ( yx f_Q

(33)

a

⁰⁰

a

⁰¹

a

¹⁰

a

¹¹

a

¹²

a

²¹

a

²⁰

a

⁰²

a

¹³

a

⁰³

a

³⁰

a

³¹

圖 3.3：4 點(a₀₀、a₀₁、a₁₀、a₁₁)、8 點(4 點 + a₀₂、a₂₀、a₁₂、a₂₁)與 12 點(8 點 + a₀₃、a30、a13、a31)低頻 DCT 補償係數。

X X

X X X X X

X X

X X X X X

X X

X X X X X

X X

X X X X X

X X

(34)

圖 3.5：低頻 DCT 係數補償 Lena 影像(λ =0.1)之最小化計量區塊效應值。

圖 3.6：低頻 DCT 係數補償 Lena 影像(λ =0.5)之最小化計量區塊效應值。

Total block discontinuity Total block discontinuity

(35)

圖 3.7：低頻DCT 係數補償 Lena 影像(λ=1)之最小化計量區塊效應值。

子區塊

子區塊子區塊

1 子區塊

b

b4

b3

b2

圖 3.8：巨區塊。

Total block discontinuity

(36)

1

0

1 0 (4 8x8 blocks)

E

k

E

b

1

b b

b

4 3

2 4 BDCT with

padding zeros Bk k = 1, 2, 3, 4

Energy Distribution

Mapping

, k = 1, 2, 3, 4

b

^BDCT

巨區塊 (16x16)

B

16x16 Energy Distribution

Mapping

圖 3.9：子、巨區塊之二值化頻域能量分佈示意圖。

0

1

0

造成區塊效應的雜訊頻域

圖 3.10：’ 1 ’的個數 TC > 臨界值 T 則判斷有區塊效應發生。

(37)

Hard tresholding Cˆ

Tr

− Tr

Tr

− C





≥

= <

r r

T T C

; C

C

; Cˆ 0

Slope = 1

圖 3.11：Hard tresholding。

Soft tresholding Cˆ

Tr

−

C





≥

= <

r r

r

T T

T C

; ) - C ( sgn(c)

C

; Cˆ 0

Slope = 1

(38)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

b

1

b

₂

b

3

^b

⁴

圖 3.13：4 個相鄰區塊(b₁、b₂、b₃、b₄)之內部四個圖素(巨區塊內的十字形邊界寬度為 4 點像素寬)。

(39)

表 3.1：JPEG 量化表 step-size。

16 11 10 16 24 40 51 61 12 12 14 19 26 58 60 55 14 13 16 24 40 57 69 56 14 17 22 29 51 87 80 62 18 22 37 56 68 109 103 77 24 35 55 64 81 104 113 92 49 64 78 87 103 121 120 101 72 92 95 98 112 100 103 99

表 3.2：擴充8×8 JPEG 量化表為16×16量化表(Quantization Step)。

16 16 11 11 10 10 16 16 24 24 40 40 51 51 61 61 16 16 11 11 10 10 16 16 24 24 40 40 51 51 61 61 12 12 12 12 14 14 19 19 26 26 58 58 60 60 55 55 12 12 12 12 14 14 19 19 26 26 58 58 60 60 55 55 14 14 13 13 16 16 24 24 40 40 57 57 69 69 56 56 14 14 13 13 16 16 24 24 40 40 57 57 69 69 56 56 14 14 17 17 22 22 29 29 51 51 87 87 80 80 62 62 14 14 17 17 22 22 29 29 51 51 87 87 80 80 62 62 18 18 22 22 37 37 56 56 68 68 109 109 103 103 77 77 18 18 22 22 37 37 56 56 68 68 109 109 103 103 77 77 24 24 35 35 55 55 64 64 81 81 104 104 113 113 92 92 24 24 35 35 55 55 64 64 81 81 104 104 113 113 92 92 49 49 64 64 78 78 87 87 103 103 121 121 120 120 101 101 49 49 64 64 78 78 87 87 103 103 121 121 120 120 101 101 72 72 92 92 95 95 98 98 112 112 100 100 103 103 99 99 72 72 92 92 95 95 98 98 112 112 100 100 103 103 99 99

題目: 一個以 Soft Thresholding 降低影像區塊效 應的頻域補償法

中 華 大 學 碩 士 論 文