適應性影像補償之輸出決策

3.2. 適應性影像補償之輸出決策

為使影像的動作偵測具有適應性，使用影像的內容的移動的資訊來決定輸出的補 償。亦可取代平滑向量的處理，以鄰近的移動向量與區塊差異值變化，決定影像補償的 種類。利用移動資訊相鄰的差異做適應性的動作補償，可針對不同狀況的動作做最佳的 補償，讓輸出有適應性的補償效果。

3.2.1. 最近相鄰差異的移動判斷決策改善

為改善移動向量誤差的補償，本文嘗試以最近相鄰差異(Nearest Neighbor Difference, NND)的比較，如圖 21，在相鄰近移動向量處理中，一般只有平滑向量(MV smooth)處 理較多，但直接平滑向量可能會使輸出的移動補償變的更差。且相關研究較少對相鄰近 移動向量(NNMV)與相鄰近比對差異值(NNSAD)一起做判斷，所以本文以建構適應性的 補償判斷，利用它們相互關聯性判斷出適當的動作補償，不只是中間值平滑處理的輸 出，而是以NNMV 與 NNSAD 的關係做為輸出的依據，亦改善單方向動作估計的動作 補償的誤差時的補償，增加輸出的品質。

圖 21 臨近關聯性決策關係圖

為了使動作估計解交錯能有正確判斷動作補償的方法，越多的移動資訊越可以做有 效的判斷，增加輸出的影像品質。在雙圖場的動作估計中，移動向量資訊的相鄰關係就 變的很重要了。當MV 可靠度不高時，還有 SAD 可判斷差異來決定輸出的品質。

33

說明圖 21 使用改良式物體的移動關聯性判斷。以定義動作估計的鄰近關聯性資 訊，判斷其區塊種類，可使區塊分類的補償更好。定義移動區塊(Active Block, AB)、移 動邊緣區塊(Boundary Active Block, BAB)、邊緣區塊(Boundary Block, BB)、非移動區塊 (Inactive Block, IAB)。

當圖 21 中間的 AB 是區域性的物體移動，就像是鏡頭的平移一樣或是物體平移，

移動區域會包含了數個AB，這代表中間區域的 AB 與前一個畫面的搜尋範圍內有相似 度很高的區塊，就可使用MC 的方式補償。而圖 21 中的 AB 區域旁的物體邊緣，是包 含了影像背景的BAB，BAB 是相鄰 AB 的區塊，如圖 21 所示在 BAB 形體分布，移動 向量不一定可以正確找到，加上SAD 大小差異很大，就需判斷移動區域影像邊緣是否 還適合使用MC 的方式補償。如果 SAD 分布於鄰近區域中，不是所有 SAD 中最大的，

移動向量與相鄰的方向一致，這就可代表該區塊是移動物體的邊緣區塊，代表動作補償 是會比較好，使用MC 的補償。反之 SAD 是該區域最大的，過大的 SAD 代表 MC 補償 的效果會不好，所以移動的邊緣會以ELA 內插，以達適應性的補償。

而BB 為變化物體的邊緣，IAB 即為靜態背景，如果背景是靜態的，又因移動物體 的影像或許才佔影像的1/4，或更小，為避免小物體的移動影像不連續的區域產生，若 移動的物體小於區塊內，移動向量會不精確，其SAD 值也會大於相鄰區塊，亦可判斷 出移動物體是局部物體的移動，則由ELA 的方式補償。如果 MV 與 SAD 變化不大，才 會是以MC 的方式補償。

這部份的動作估計主要以MV 與 SAD 其相鄰的關係，由該區塊與它的鄰近區塊的 移動關係的分布，判斷圖 21 所的

(

)

(

)

(

)

的移動關聯性。很多狀況下MC 會因為移動向量不準確或有誤差，而出現區塊狀的線 條，這種條件下用SAD 關聯性判斷就很重要，由 SAD 的大小與相鄰的區塊比較是否差 異很多，以改善交錯式影像的動作補償方式。其中不論是MV 或是 SAD 都以相鄰的關 係比較，確保區域性動作的動作補償是可靠的，增加適應性補償效能。

34

3.2.2. 移動區域邊緣向量誤差補償

由於物體的移動變化是無法預知是大或是小，所以才需對移動物邊緣的移動向量加 以判斷，確認其準確性。以圖 22(a)的物體邊緣移動向量示意圖來說，當移動物體大於 宏塊，其內部的移動向量會比較一致，這可由移動向量鄰近的分布，看出移動的關連性，

這時使用MC 補償會比較好。但圖 22(b)雖然也是移動，但移動物體接近於比對宏塊，

這時比對鄰近的移動向量差將會是有差異的，差異太大又會讓MC 可能會補償不好，且 邊緣的移動會是移動的前景加靜態的背景，這種狀況下使用 ELA 的效果會比較好，可 減少不連續影像或是鋸齒邊緣。

(a) 移動區域大於 MB (b) 移動區域小於 MB 圖 22 物體邊緣的移動向量種類

先前的研究會使用移動向量平滑處理，處理方式亦中間值或平均值的方式，但缺點 有動態的移動向量會被鄰近的靜態向量給改變，且鄰近的移動向量分布不集中，平滑移 動向量處理誤差就更嚴重了，所以就以 SAD 分布的判斷來說，如果移動物體是不一致 的，並且造成很大的 SAD 值時，則代表改以空間性的補償為佳。以圖 21 的MV 會與₅ 鄰近的MV_1~9移動向量做平滑向量濾波器說明，因平滑移動向量處理後，再將其補償回 去，是改變其對應的區塊不一定很合適，所以在移動向量上才必須判斷正確性與可靠度。

在YY Jung 的研究中[20]也有平滑向量處理，但如果沒有加以判斷而直接濾波其動 作估計效能將會被降低。因為使用平滑向量的缺點是 SAD 最佳的移動向量有可能會被

35

改變，所以要有處理判斷移動向量的可靠性。在比較小的物體移動，如果移動向量還有 參考價值，採用動作補償會比較好，反之如果移動向量差異很大，就需要空間性的內插。

以圖 23(a)為例，因為該區塊的移動跟內容變化太太，無法完全的找到很合適的區 塊，即使採用了平滑向量也找到正確的移動向量，所以才必須以鄰近的移動資訊做判 斷，當圖 23(b)中移動向量MV 的移動向量跟相鄰靜態的_a MV 等差異很大時，代表物體_s 移動的形態已經改變很多，或是移動很快。無法整個區塊補償過來，為避免發生不連續 的狀況出現，MV 的區域就必須是以ELA補償為主。 _a

(a)移動向量誤差 (b)鄰近移動向量比較 圖 23 影像序”Container”移動向量處理誤差的補償

其主要的判斷關係式表示如式(3.2)，MVD 為移動向量的相鄰差異比較，SADR 為 相鄰SAD 的差異比較， U 為的主要的適應性補償的參數表示。

{

} {

}

U= ∪ (3.2)

從以上改善比較中可確認，相鄰的MV與SAD關係是非常的重要，它可提供移動關 聯性並加以判斷誤差或是了解其關聯性的適應性補償，當移動向量差異很大時，還有 SAD輔助，加以正確判斷，使輸出補償可以適應性的補償，使得輸出有較好的補償品質。

36