解交錯系統架構

在本文的第三章和第四章，將提出一個整合式解交錯的架構，但在此之前，我們需 要分析在過去文獻中，已經被提出的解交錯架構，在圖2.11 的解交錯架構[10]，它至少 需要四張圖場的記憶體，主要的方塊圖包括雙向移動估計 (Bi-directional Block-base Motion Estimation) 方塊、移動向量修正偵測(Motion Vector Correctness Detection)方塊、

權重產生器(Weighting Generation)方塊、圖場內內插(Intra-Field Interpolation)方塊、圖場 間內插(Inter-Field Interpolation) 方塊等組成。它的優點是針對錯誤的移動向量有很多偵 測補償的機制，但它並未考慮影片偵測及雜訊干擾之類的問題，而且對於何時使用圖場 償圖場插點（Motion Compensated Field Interpolation，簡稱 MCFI）方塊、圖場間內插(Field Merging)方塊、移動向量修正偵測(Rearrangement)方塊等。其中比較特殊的為移動補償 圖場插點方塊，它含有移動估計、移動向量平滑處理及圖場插點等功能。這個架構也需

要有三張圖場的記憶體，在移動估計時，使用雙向相同圖場來找移動向量，由於點對點

第三章 整合式解交錯演算法設計

在移動補償解交錯的架構中，記憶體的大小會影響硬體的成本，所以本文所提出的

3.2 移動估計的設計

Odd Field Odd FieldEven Field

time time

Field Number

y y

在這些過程中，我們知道移動估測運用在影像壓縮，和運用在交錯掃描格式移動估 計是有很大的不同。不同的地方是影像壓縮在作移動估測，主要減少平均預測的錯誤值

（Average Predictive Error），並針對整個畫面，找尋移動向量。而運用在交錯掃描格式 時，可以比較的資料只有一半的畫面，所以如何找到真實的移動向量，就顯得相當重要。

time y

evrn field

odd field

Interlaced fields Progressive frames

De-interlacer

3.2.1 交錯掃描格式的移動估測設計

交錯掃描格式的電視訊號是由連續的圖場所組成的，而交錯掃描格式移動估計是要 從相鄰的兩個圖場，找到每一個像素的移動向量，而移動向量的定義，即由圖3.5 所示。

由現在的影像往前一張找到最相似的區塊，我們可將(X1, Y1)－(X2, Y2)作為移動向量。

圖 3.5 移動向量定義

( X1,Y1)

( X2,Y2)

Current Image Previous Image

解交錯掃描格式轉換過程中，移動向量的估測，若是用連續的兩個圖場作為比對的 標準，我們可從圖3.6a 得知，虛線表示不存在的掃描線，實際的影像應如圖 3.6b 所示。

偶數圖場只有偶數線，奇數圖場只有奇數線，若是用連續兩個圖場作為移動估計，垂直 的方向就有一條線的差異。但如果考慮的是奇數場對奇數場，偶數場對偶數場，就如圖 3.7a 和圖 3.7b 所示。也就是對相同的圖場畫面作移動估計，那就可以避免上述的問題 產生，但卻又衍生另一個問題，假設有一個物件移動速度相當的快，它將超出在兩場的 移動搜尋範圍。因此可能將找不到正確的移動向量，但是如果只隔一個圖場的時間，通 常就不會有此問題，所以在此我們將探討下列幾種方法。

圖3.6a 理論上偶數圖場對奇數圖場的移動估計

Even Field Odd Field

Even Line 0

Odd Line 0 Even Line 0

Odd Line 0

圖3.6b 實際上偶數圖場對奇數圖場的移動估計

Even Field Odd Field

Even Line 0 Even Line 1

Odd Line 0 Odd Line 1

Even Field Odd Field

Even Line 0 Odd Line 0

Even Field

Even Line 0 Odd Line 0

圖3.7a 理論上偶數圖場對偶數圖場的移動估計

圖3.7b 實際上偶數圖場對偶數圖場的移動估計 Even Field Odd Field

Even Line 0 Even Line 1

Even Field

Even Line 0 Even Line 1

在一般影像處理系統中，以方塊比對的移動估計使用最廣泛，主要是硬體計算非常

準則（match criterion），是使用的誤差方程式（Error function）中絕對差異的總和（Sum of Absolute Difference, SAD）。在 MPEG 中，通常是在連續的全場畫面中，計算絕對差 異的總和。不同於解交錯掃描格式轉換，移動向量估測所用來計算絕對差異總和的方 法，在解交錯掃描格式轉換中，連續的圖場畫面有奇數圖場和偶數圖場的差異。如果直 接拿相鄰的兩個圖場，來計算絕對差異的總和是不適當的，會發生一些問題。尤其是在 畫面垂直亮度訊號的高頻成分很大時，影響更為嚴重。

依據交錯掃描格式圖場的不同，我們將移動估計作法，大約分成下列五種方式：

方法一 : 偶數圖場對奇數圖場模式 1 的移動估計，如圖 3.8a 所示，若目前的圖場 是奇數圖場，而它前一張是偶數圖場。其中黑色的點，表示有資料；白色的點，表示無 資料，所以用兩張圖場的資料，來作移動估計的區塊比對，則會有一條線的差異。

n-1 (even field) n (odd field)

圖3.8a 偶數圖場對奇數圖場模式1的移動估計

方法二 : 偶數圖場對奇數圖場模式 2 的移動估計，如圖 3.8b 所示。若目前的圖場 是奇數圖場，而它前一張是偶數圖場，其中黑色的點表示有資料，白色的點表示無資料。

因為用兩張圖場的資料來作移動估計的區塊比對，則會有一條線的差異，所以可利用奇 數圖場奇數線，作垂直兩點的平均，而得到偶數線，再與前一張偶數圖場作移動估計。

n-1 (even field)

n (odd field)

圖3.8b 偶數圖場對奇數圖場模式2的移動估計

方法三 : 偶數圖場對奇數圖場模式 3 的移動估計，如圖 3.8c 所示。若目前的圖場 是奇數圖場，而它前一張是偶數圖場，其中黑色的點表示有資料，白色的點表示無資料，

灰色的點表示已插點過的資料。可利用這些點和目前的圖場點作移動估計，而不會有位 置的差異。不過這種方式必需保證已插過點是正確的，否則解交錯的畫質會隨時間越來 越差。

n-1 (even field) n (odd field)

圖3.8c 偶數圖場對奇數圖場模式3的移動估計

方法四 : 偶數圖場對偶數圖場的移動估計，如圖 3.8d 所示。若目前的圖場是奇數 圖場，而它前一張是偶數圖場，下一張也是偶數圖場，其中黑色的點表示有資料，利用 前一張偶數圖場，和下一張偶數圖場作移動估計，而不會有位置的差異。但當物體移動 速度很快時，移動向量可能已經超過搜尋範圍。

n-1 (even field) n (odd field)

圖3.8d 偶數圖場對偶數圖場的移動估計

n+1 (even field)

方法五 : 雙向偶數圖場對奇數圖場的移動估計[12]，如圖 3.8e 所示。若目前的圖 場是奇數圖場，而它前一張是偶數圖場，下一張也是偶數圖場，由目前的奇數圖場分 別向前一張，及下一張的偶數圖場作移動估計，然後將兩個移動估計的值作平均的處

n-1 (even field) n (odd field) n+1 (even field)

圖3.8e 雙向偶數圖場對奇數圖場的移動估計

各種移動估計的方式，是先取得循序掃描方式拍攝的自然圖片，由於它的寬和高 的像素為1920*1080，拿來觀察與分析並不方便。所以選取某一區域的大小為 720*480 的像素，連續取20 張，將它作成交錯掃描的格式，依照偶數圖場、奇數圖場、偶數圖 場、奇數圖場的排列順序，由循序掃描格式(720*480)轉換成偶數圖場時，需將奇數線 的資料移除，因此偶數圖場變成720*240。同理循序掃描格式(720*480)，轉換成奇數圖 場時，需將偶數線的資料移除，因此奇數圖場變成720*240，由這樣的作法及即可得到 交錯掃描的格式。將這20 張交錯掃描的格式，輸入到上述五種不同移動估計解交錯系 統，可得到720*480 循序掃描圖片(720*480)輸出，將這 20 張的輸出和原始的循序掃描 圖片(720*480)作 MSE 的計算，可得到表 2 的結果。MSE 的數學式如（ 式 3.1）所 式 :

MSE =

Σ Σ Σ

│ F (x, y, n)－ F (x, y, n)│

N-1 X-1 Y-1

n=0 x=0 y=0

^ ²

1

N

．

X

．Y

（ 式 3.1）

N 表示圖場數，N = 20 張 X 表示圖場寬度 X = 720 像素 Y 表示圖場高度 Y = 480 像素

F │x, y, n│

表示原始的循序掃描圖片

F │x, y, n│

^ 表示解交錯後循序掃描圖片

經過實際模擬的結果，我們可得到表2 中的結果。其中方法二和方法五有差不多的 計算在搜尋區域當中，最有可能擁有最小SAD 值的位置，如三步數搜尋法（Three-Step Search）、鑽石搜尋法（Diamond Search） 等。而另一類是減少計算 SAD 值時所需要的 運算量，也就是將比對的兩個區塊作次取樣而不需要計算每一點的絕對差值，如階層式 的搜尋法（Hierarchic Search）。

所以本文使用第二種搜尋法是階層式搜尋法，圖3.9 是階層式的搜尋法的示意圖，

它是一種將搜尋的範圍由粗而細，從方塊16*16 變 8*8 最後是 4*4。其中在方塊 16*16 大小時，是四個像素只取一個像素，方塊8*8 大小時，是兩個像素只取一個像素，方塊 4*4 大小時則是每一個像素都比對。由於這樣的作法會減少計算 SAD 值時所需要的運 算量，另外也對搜尋範圍做改變，方塊8*8 大小搜尋的範圍減少為 4*4，方塊 4*4 大小 時則減少為2*2，從圖 3.10 我們就可以很清楚的了解它的搜尋過程。

以方塊為基準的移動估計，有兩個重要參數需要決定。其中一個參數是方塊的大 小，當方塊選擇太大時，計算量就相地增加、硬體成本高。當方塊選擇太小時，在作方 塊比對時，容易有誤判的情況發生，而且容易受到雜訊的干擾。

圖3.9 階層式搜尋法方塊

16

16 8

8 4

4

圖3.10 階層式搜尋法步驟

圖3.11 是針對不同的區塊大小所模擬的結果，其中圖 3.11a 是區塊大小 4*4 移動估 計，因為比對區塊小，就容易找到很多相似的區塊而造成誤判，所以在鐘擺球的邊緣就 有很多鋸齒狀。若區塊設計太大時，除了增加運算量，也會在一些特別形狀的物體上，

無法找到最好的區塊。圖3.11b 是區塊大小 16*16 移動估計，鐘擺的地方就呈現不規則 線。因此為了解決上述兩種的問題，可採用階層式的搜尋法，如圖3.11 是階層式的搜 尋法模擬的結果。此外，在表3 中，我們可以得到全區域搜尋法，和階層式搜尋法的三 種不同畫面MSE 值。歸納這些數據，可以得到階層式搜尋法和全區域搜尋法有相同的 效能，而且階層式搜尋法的速度快，是它的另一項優點。

fish (慢速移動) tomato (縮放) traffic (快速移動)

全區域搜 尋法

0.7351 1.1415 1.2269

階層式搜 尋法

0.7167 1.1079 1.1127

表 3 : 移動搜尋法的比較表

(b)

(c)

圖3.11 不同移動估計搜尋法的模擬結果 : ( a ) 4*4 區塊全區域搜尋法 ( b ) 16*16 區塊全區域搜尋法 ( c ) 階層式搜尋法 。

3.3 移動向量平滑處理的設計

MV4 MV5 MV6 MV7 MV8 MV9

Xa Xb Xc

方式一 : 辨別移動向量的方向，將移動向量分成水平方向與垂直方向各別處理，

( a )

( b )

( c )

( d )

圖3.14 移動向量平滑處理的模擬結果 : ( a ) 無平滑處理 ( b )

3.4 移動補償的設計

Field In MUX

1-K K

Output

K Look-Up Table

在(式 3.2)中 ，輸出式 f out（x, n）是循序掃描的資料格式，f o（x, n）是目前圖

K=0.5

3.5 移動偵測的設計

圖3.16 移動偵測區塊圖

n-1 Field Field Pixel

Difference

圖3.17 移動偵測流程圖 Start

Data Calaulate

Film ?

MV Correct ?

Film

Film

在文檔中 整合式解交錯演算法之設計 (頁 31-0)