第三章 雙圖場適應性混合解交錯演算法設計
3.5. 雙圖場適應性混合解交錯演算法
本文利用相鄰動作MV 與 SAD 動作資訊的差異做分類處理(Motion classification process)決定動作補償方法，決定動作補償的規則。搭配改良的邊緣線內插補償機制，
其判斷的動作分類處理如圖 31。以雙圖場影像動作估計的資訊之建構的適應性混合式 解交錯之技術，主體以動作估算補償的解交錯演算法為基礎。再以動作資訊做適應性決 策補償，接著說明使用動作資訊補償的決策演算法。
圖 31 臨近關聯性判斷流程關係圖
首先對動作分類處理，對MV 的移動方向做判斷，再以不同的 MV 移動條件下判斷 SAD 的分布，藉此適應性的判斷出移動向量的可靠度，與其合適的補償方法。
46
47
底下說明在這步驟上在影片所得到結果。以鄰近移動向量的輸出關係可從Stefan 這 個影像序是平移的影像，有MC 補償的部份，其效果會好較好。
(a) Stefan 第三張 (b) Stefan 第四張 (c) Stefan 第五張 圖 32 連續影像平移示意圖
(a) 移動向量第四張 (b) 移動向量第五張 圖 33 區塊比對的前後影像移動向量圖
圖 32 是連續移動影像鏡頭的水平移動偵測，在畫面平移的狀況下，一般的水平移 動偵測如果超出範圍，是無法有效的補償回去。所以ME/MC 在影像平移或上下移動的 補償是可以有最佳的效果，因為平移畫面代表移動方向一致，輸出可從前一個畫面補償 原始的影像回去。所以水平移動的動作偵測，在動作估計後可以從整體的移動向量分析 看出，當影像是平移時，移動向量也是整體的移動，所以從圖 33 前後張移動向量可看 出，其背景是一直移動的，這樣在交錯的影像動作估計上，平移的畫面是可以由區塊比 對得到最合適的補償方法。
48
The number of motion vector
Y-direction X-direction
49
50
說明這個步驟的區域動作物體補償改善。
(a)原始畫面第 18 張 (b)原始畫面第 19 張 (c)區塊比對動作補償第 19 張
圖 35 應用於解交錯的移動補償的輸出影像圖
以Stefan 的影像序為例，說明移動的前景補償。圖 35(a)(b)分別為 Stefan 原始畫面 第18 張與原始畫面第 19 張，直接使用動作補償，由於原始影像的變化太大無法從前一 張畫面直接補償之下，就會出現圖 35(c)的影響不連續影像。基於這樣的原因，在動作 變化比較大的區域影像就得對物體的移動向量與區域的SAD 值比對確認。
在Stefan 影像中，由於移動的人物區塊部份移動的方向較不一致，加上 SAD 值的 判斷，來決定該區域的SAD 是否變化很大。如果 SAD 分布範圍與鄰近相比還算接近，
代表它是一個區域性物體的移動，將會是MC，否則變形太大的區域將會轉換為 ELA。
但如果物體的邊緣可能部份是靜態，部份是移動物體的經過，則判斷SAD 也可得知該 區域的SAD 是否過大。所以由人物區域性的快速移動向量中，可以看到的前後張影像 趨勢已與周遭物體大不相同，可能是移動的很快的物體，也有可能是已經完全找不到合 適的區塊，所以加入SAD 的判斷就是要排除過大的 SAD 差異，確認是合適的補償。
分析Stefan 第二十張畫面的移動向量 MV，移動的人物區塊部份因為移動的方向較 不一致，所以由判斷SAD 值來決定該區域的 SAD 是否有著變化很大，如果變化範圍與 鄰近相比還算接近，代表它是一個區域性物體的移動，而不是畫面的移動，還是會維持
51
MC，否則變形太大的區域將會轉換為 ELA。而移動物體的邊緣可能部份是靜態，部份 是移動物體的經過，這樣的話將會需要加強移動物體的形態處理。
12 13 14 15 16 17 18 12 13 14 15 16 17 18 MV5 7,0 7,0 7,0 8,0 8,0 8,0 8,0 SAD5 2240 2682 3102 2721 3146 2602 2770 MV6 7,0 7,0 5,0 4,0 7,0 8,0 8,0 SAD6 2913 2831 2347 2143 2320 2457 2506 MV7 7,0 7,0 4,0 5,0 6,0 7,3 8,3 SAD7 1371 1760 2531 2032 894 886 1465 MV8 7,0 5,0 3,0 4,0 6,0 5,2 7,3 SAD8 1033 2272 4667 2942 2353 2576 2689 MV9 7,0 3,6 3,0 2,1 6,1 2,2 8,1 SAD9 697 1328 4371 2871 2887 1422 707 MV10 7,-2 4,0 4,0 4,0 5,1 6,0 8,0 SAD10 717 557 2278 2831 2781 478 213 MV11 7,0 2,-8 4,0 3,0 5,1 8,0 8,0 SAD11 1652 371 2320 2317 2344 2566 473 MV12 7,0 7,0 7,2 8,0 5,0 4,0 8,0 SAD12 1385 419 1503 2948 2073 2883 573 MV13 7,0 7,0 7,0 7,0 7,0 4,0 8,0 SAD13 780 1780 2519 2295 2169 861 709 MV14 3,0 8,0 5,1 7,0 6,0 6,0 0,0 SAD14 142 639 1766 1641 808 926 456
圖 36 影像序”Stefan”人物移動區域對應之 MV 與 SAD 值
所以從分析Stefan 第二十張畫面的 SAD 值，如圖 36。由人物區域性的不一致的移 動向量中，可以看到的趨勢已與周遭物體大不相同，可能是移動的很快的物體，也有可 能是已經完全找不到合適的區塊。以區塊比對是在無法偵測到一致的整體移動向量時，
SAD 判斷的結果又大於鄰近的區域很多，就必須是使用空間性的內插了。
以本文所提出的區塊動作比對可以由移動向量分布與SAD值的比對，相比於全域的 動作估計。如果影像中間有運動物體的移動，全域動作估計比較無法偵測小物體移動，
就還是需要以區域動作估計。
Step 4. 確認移動較大的動態區域補償
第四步是要確認移動差異較大的區域，要找出移動邊緣，並採用ELA 補償。當鄰 近移動向量差異大於2，且
(
SAD 大於等於)
5 SADth(vx,vy)=Max{SAD2,4,5,6,8(vx,vy)}，代 表其區域的移動變化較大，如式(3.21)與(3.22)，代表區塊 SAD 值變化很大，是代表差 異性較大的區塊或是影像邊緣動態前景與靜態背景的交界，採用改良的子像素邊緣線平 均內插會是比較合適的。52
53
會讓動作補償回去的效果不好，直接的動作補償的會像圖 37 的補償不連續的狀況產 生，所以用SAD 的輔助判斷影像的可靠度就很重要。
(a) Foreman 移動向量 (b) Foreman 差異比對分布 圖 38 影像”Foreman”的物體移動下的 MV 與 SAD 差異值比較
以圖 38(a)所表示人像移動邊緣向量，可比對再圖 38(b)的 SAD 分布圖，顏色越深 代表SAD 越大。可發現因人像物體的移動，其邊緣移動向量相對應在 SAD 的區域上，
其SAD 分布變的比較大，也因為它落在移動區域邊緣，所以它的鄰近 SAD 就會比較大。
除此之外，其背景有一些邊緣線的SAD 其比對的結果也是顯示出 SAD 很大，輸出的品 質可能會比較不好，所以背景邊緣線的部份會被判斷成是以ELA 來補償。
另外MV 的比對必須是相對的，也就是它與鄰近區域的動作比對，其 MV 可以清楚 的顯示出移動物的邊緣，因為移動估計無法比對到很合適的值，所以移動向量就會落在 奇怪的位置。因此影像內容有物體移動，會涵蓋到部份的靜態影像，這樣的補償通常會 使用空間性內插或是移動形態比較處理，減少可能錯誤的補償。
另外影像動作是鏡頭的縮放(Zooming)，在動作估計比對前後場影像，如果影像會 因為鏡頭縮放而使前後場影像放大或是縮小，移動向量的方向是外擴或內縮，而適合的 縮放影像補償會是直接的空間性內插。所以這部份為測試動作估計是否能夠找到正確的 影像移動方向，確認在決策時能正確判斷補償方法。如圖 39 第 38 張到第 40 張影像鏡 頭縮放的畫面，用來說明鏡頭縮放的偵測。底下分析其輸出的移動向量的結果說明。
54
(a) Tabletennis 第 38 張 (b) Tabletennis 第 39 張 (c) Tabletennis 第 40 張 圖 39 前後影像的區塊比對圖
(a) 移動向量第四張 (b) 移動向量第五張 圖 40 前後影像的區塊比對移動向量圖
以圖 40 的區塊比對的向量分布所示，其影像的動作趨勢大致是向外擴展，所以移 動向量會是放射狀的向外增加，而SAD 值與相鄰比較，也沒有特別的大，也沒有特別 小，只有桌球邊緣的區塊SAD 會比較大。但影像的縮放補償如果要使用區塊的補償，
必須是移動較慢的，如影像的中央部份，縮放比例還沒有很大，還有可能使用MC，但 是影像邊界縮放是很快的，使用ELA 的內插補償會是比較適合的。
圖 41 鏡頭縮放移動下的補償
以圖 41 說明影像縮放時的補償，中心內容會放大，而 ELA 補償剛好符合空間性
55
的內插補償，因為放大的影像細節較無法從前面的畫面，再補償到現在的畫面，所以必 須是空間性的內插補償。所以本文在ELA 的改良上才加入子像素的內插，特別是在影 像物體縮放的時候，可對影像鄰近點做子像素內插補償，子像素內插的優點會比較細 膩，其結果亦優於一般邊緣線內插補償。
動作形態與邊界影像處理
圖 42 動作形態與影像邊緣的處理流程圖
在主要的動作分類處理後，圖 42 為動作形態(Motion Morphology Process)，其為消 除移動區域與靜態區域的區塊不連續，稱動作邊緣形態擴展(Morphological Dilation)處 理，可消除移動物體的邊緣，這部分的演算法會參考前面已經歸類好的區域，針對移動 物體的邊緣設定為差異選擇補償。因為移動估計誤差或所帶來的區塊效應，已利用先前 判斷的資訊中處理，這部分主要對動作物體邊緣的再次分類的處理，消除移動區域MC 補償所帶來的區塊效應。達到更正確的動作補償。
由於影像在物體區塊部份的變化不一，當該區域的背景為是靜態的，只在移動區域 邊緣發生，所以必須要有不同的補償方式。由於物體的邊緣區塊的內容如有一小部份會 是動態的，有時動作區的大小不一，然而該部份無法造成SAD 的差異變化，而 MV 也 是一致的狀況下，就無法以這兩種資訊判斷出該區塊是否有不連續影像的區域。所對小 部份的移動來說，ME 也無法正確的找出合適的方塊，會把它當成靜態的處理，其結果 就會看到解交錯的影像有缺了一角的不連續的狀況。所以對移動的區域做移動物體的形 態擴展，這個擴展會是選擇為動態邊界的區塊上作移動區域的擴展。
如果該區的MV 與 SAD 滿足要找的區塊條件，則會把最靠近圖 24 中標示的 BAB
56
57