國
立
交
通
大
學
電機學院 電機與控制學程
碩
士
論
文
根據雙圖場影像建構適應性混合式解交錯技術之研究
Adaptive Hybrid De-interlacing Technique
With Two Field Image Construction
研 究 生：李裕鴻
指導教授：董蘭榮 教授
根據雙圖場影像建構適應性混合式解交錯技術之研究
Adaptive Hybrid De-interlacing Technique
With Two Field Image Construction
研 究 生：李裕鴻 Student： Yu-Hong Li
指導教授：董蘭榮 Advisor： Lan-Rong Dung
國 立 交 通 大 學
電機學院 電機與控制學程
碩 士 論 文
A Thesis
Submitted to College of Electrical and Computer Engineering National Chiao Tung University
in partial Fulfillment of the Requirements for the Degree of
Master of Science in
Electrical and Control Engineering June 2009
Hsinchu, Taiwan, Republic of China
i
根據雙圖場影像建構適應性混合式解交錯技術之研究
研究生：李裕鴻 指導教授：董蘭榮 博士
國立交通大學 電機學院 電機與控制學程碩士班
中文摘要
摘要
在視訊解交錯的相關研究中，動作補償是許多高階的解交錯方法之一。由於動作補 償在鏡頭的移動與物體的移動時，可以補償出較好的垂直細節。而邊緣線內插法則廣泛 的應用於重建影像邊緣並增加邊緣線的細膩。為保有影像移動補償以及降低動作估計所 需的記憶體並減少硬體代價，本文提出以雙圖場影像的適應性混合方法的動作補償解交 錯技術，本文提出的解交錯是以雙圖場的動作估計補償與改良的邊緣線內插為主體的解 交錯。本文以動作估計補償為主要的架構，從前一張影像做動作估計所得的移動資訊來 補償，搭配移動向量與差異比對的動作適應性的決策法則，與改良的子像素邊緣線內插 方法，會使得輸出的影像具有適應性的補償。適應性的決策法則利用其移動判斷資訊做 進一步的動作補償的分類，再混合適當的補償。其適應性決策法以相鄰移動向量與差異 值偵測比對動作的資訊，進而改善移動向量不準確之下，所造成的視覺上的缺失。整體 來說，本文提出的架構，可由適應性的決策法則再搭配動作估計補償與改良的空間性邊 緣線內插得到合適的影像。其實驗結果顯示，而實際的顯示效果也比一般解交錯方法有 更進一步的提升。從PSNR 的比較亦可改善其輸出效能約 2db，可比一般的動作補償解 交錯有更好的影像顯示品質，其亦可減少多圖場動作估計的所需的硬體代價。ii
Adaptive Hybrid De-interlacing Technique
With Two Field Image Construction
Student： Yu-Hong Li Advisor： Lan-Rong Dung
Degree Program of Electrical and Computer Engineering
National Chiao Tung University
英文摘要
Abstract
This thesis presents an adaptive deinterlacing algorithm that switches the deinterlacing policies between motion compensation and edge-directed interpolation. The motion- compensation-based deinterlacing is one of the most advanced approaches among deinterlacing techniques in that motion compensation can produce better quality on vertical details than the others. However, when the motion estimation is inaccurate the deinterlacing might result in blocking effects. The blocking effects can be dismissed by the edge-directed interpolation. Therefore, this thesis proposes an adaptive hybrid deinterlacing technique for two-field image reconstruction. The hybrid deinterlacing algorithm is based on two-field motion estimation and adaptive motion decision system. The adaptive motion decision system counts the variation of neighborhood motion vector (MV) and SAD to evaluate the error of motion estimation. This can help the deinterlacing to avoid from the interlace artifacts. In the edge-directed interpolation, this thesis presents the sub-pixel interpolation scheme to smooth the edge of object and reduce serration on edges. The experiment results show that the proposed algorithm can produce better video quality than conventional methods by 2 dB of PSNR while the computational complexity is low.
iii
誌謝
承蒙恩師董蘭榮教授在論文研究中所給予我的指導與提攜，當我遭遇困難與瓶頸時 給予我適時的指點，讓我得以突破難關，順利完成此論文。在此，獻上至高的謝意。 也非常感謝口試委員陳宏銘老師、林昇甫老師、林進燈老師，感謝您們在百忙之中 撥冗參與並給予我精闢的建議，感謝你們寶貴的意見，使我的論文更加的完善。 感謝在週末時一起找教授的同學及學弟們，有你們的一起努力，使我感到研究生涯 要更加的努力不懈及堅持。感謝學長盟淳、建發、江修，同學以群，學弟明豪、偉勇、 啟彰等，感謝有你們的意見交流，讓我有個充實的研究生活。 同時我也要深深的感謝養育我的父母，讓我在求學過程中無後顧之憂，也要感謝我 的女友淑君給予我的鼓勵與支持，謝謝您們！ 隨著論文的完成，碩士班的研究生涯也接近尾聲了，一路走來感觸良多，這三年的 時間彷彿就像是昨天的事而已，要感謝的人還有很多，僅將本篇論文獻給所有愛我及我 愛的人，獻上由衷的感謝，謝謝大家！iv
目錄
中文摘要...i 英文摘要...ii 誌謝...iii 目錄...iv 圖目錄...vi 表目錄...viii 第一章 緒論 ...1 1.1. 研究動機與目的 ...1 1.2. 論文架構 ...3 第二章 解交錯技術文獻探討與研究 ...4 2.1. 交錯式影像與解交錯式概述 ...4 2.2. 線性內插 ...6 2.3. 非線性內插 ... 11 2.4. 動作適應性補償 ...15 2.5. 動作補償 ...18 2.6. 時間遞迴解交錯濾波 ...22 2.7. 混合式解交錯演算法 ...23 2.8. 本章總結 ...26 第三章 雙圖場適應性混合解交錯演算法設計 ...27 3.1. 適應性混合解交錯架構改善 ...27 3.1.1. 減少動作估計的圖場 ...28 3.1.2. 輸出判斷決策改善 ...29 3.1.3. 整體架構 ...30v 3.2. 適應性影像補償之輸出決策 ...32 3.2.1. 最近相鄰差異的移動判斷決策改善 ...32 3.2.2. 移動區域邊緣向量誤差補償 ...34 3.3. 子像素邊緣線內插 ...36 3.3.1. 改良式邊緣線子像素內插 ...36 3.3.2. 中心差異值比對法的邊緣線內插 ...37 3.4. 動作補償解交錯之設定 ...42 3.5. 雙圖場適應性混合解交錯演算法 ...45 3.6. 邊界區域的補償改善 ...57 3.6.1. 邊界區塊的移動向量誤差 ...57 3.6.2. 改良邊界區塊的補償 ...58 3.7. 本章總結 ...60 第四章 模擬結果與比較 ...61 4.1. 影像效能評估 ...61 4.2. HD測試影像序與結果分析 ...62 4.3. CIF影像序測試結果與分析...69 4.4. 計算複雜度統計表 ...84 第五章 結論與未來展望 ...87 5.1. 結論 ...87 5.2. 未來展望 ...88 參考文獻...89 自傳...93
vi
圖目錄
圖 1 解交錯系統示意圖...5 圖 2 空間性內插與時間性內插法...7 圖 3 線性內插之頻率響應表示圖...8 圖 4 垂直時間性濾波器...9 圖 5 垂直時間性濾波下的快速移動殘影...10 圖 6 邊緣線平均內插演算法...12 圖 7 邊緣方向內插之”News”影像序比較...14 圖 8 一般影像動作偵測的影像差異...15 圖 9 同極性多圖場的動作偵測處理...17 圖 10 同極性動作偵測下的”Table Tennis”影像序比較...17 圖 11 循序與交錯掃瞄之垂直解析度頻率比較圖...18 圖 12 區塊比對法的動作估計...20 圖 13 動作估計誤差的動作補償結果...21 圖 14 三圖場的動作偵測解交錯架構...23 圖 15 使用Quad-pixel動作偵測圖...23 圖 16 四圖場動作估計的比對方法...24 圖 17 不同的四圖場動作偵測的架構...25 圖 18 多圖場動作估計搜尋區域...28 圖 19 不同的動作判斷機制...29 圖 20 適應性混合動作補償之解交錯主要架構圖...31 圖 21 臨近關聯性決策關係圖...32 圖 22 物體邊緣的移動向量種類...34 圖 23 影像序”Container”移動向量處理誤差的補償...35 圖 24 影像邊緣內插的改良...36 圖 25 子像素邊緣線內插流程圖...38 圖 26 邊緣線方向性 9+6 抽頭內插...39 圖 27 中間值內插與改良邊子像素內插的差異比對圖...41 圖 28 不同的邊緣線內插的效能比對圖...41 圖 29 宏塊大小之效能比較...43 圖 30 子像素圖場差比對法...44 圖 31 臨近關聯性判斷流程關係圖...45 圖 32 連續影像平移示意圖...47 圖 33 區塊比對的前後影像移動向量圖...47 圖 34 水平移動下的”Stefan”移動向量統計圖...48 圖 35 應用於解交錯的移動補償的輸出影像圖...50 圖 36 影像序”Stefan”人物移動區域對應之MV與SAD值...51vii 圖 37 影像”Foreman”的鏡頭物體移動下的差異值比較...52 圖 38 影像”Foreman”的物體移動下的MV與SAD差異值比較...53 圖 39 前後影像的區塊比對圖...54 圖 40 前後影像的區塊比對移動向量圖...54 圖 41 鏡頭縮放移動下的補償...54 圖 42 動作形態與影像邊緣的處理流程圖...55 圖 43 搜尋區域邊界區塊的補償問題...57 圖 44 搜尋區域邊界區塊的移動向量...57 圖 45 影像邊界的移動向量與鄰近位置關係判斷...58 圖 46 解交錯效能比較方法...61 圖 47 影像“Stockholm”輸出結果比較...64 圖 48 影像“Stockholm”房屋邊緣細節的輸出比較...65 圖 49 影像“Shields”輸出比較...66 圖 50 影像“Parkrun”輸出比較...68 圖 51 比對”Stefan”輸出與原圖影像差異...71 圖 52 影像“Stefan”輸出結果比較...72 圖 53 方塊比對誤差處理...73 圖 54 影像”Foreman”邊緣內插的結果比較...74 圖 55 比對”Foreman”輸出與原圖影像差異...75 圖 56 影像“Foreman”第 15 張輸出結果比較...77 圖 57 影像”Table Tennis”輸出結果比較...78 圖 58 影像“Container”輸出結果比較...80 圖 59 影像“Silent”輸出結果比較...82 圖 60 影像“Flag”輸出結果比較...83 圖 61 演算法的指令數百分比...86
viii
表目錄
表 1 高解析度測試影像序內容分析...62 表 2 高解析HD解交錯影像的PSNR平均比較表...63 表 3 各種方法的PSNR平均比較表...69 表 4 連續影像”Stefan”的PSNR比較表...70 表 5 連續影像”Foreman”的PSNR比較表...76 表 6 指令數計算表...851
第一章 緒論
在目前解交錯技術中，提出具有動作估計補償的解交錯技術，同時降低對暫存記憶 體的需求，增加移動向量的準確性，改善動作判斷的可靠度與邊緣線平均內插的效果， 將是本文的研究解交錯技術的方向，本章將說明其研究的動機與目的，與文章組織。1.1. 研究動機與目的
視訊解交錯的研究從早期的無動作補償的內插，到近期的多圖場動作補償(Motion Compensation)解交錯來還原影像，其中的動作估計是需要大量的記憶體與存取頻寬，多 圖場動作估計又需要的大量的計算，因此發展有動作補償的效果的，且降低硬體需求的 解交錯，其演算法就必須要從動作估計資訊中，適應性的變化補償方法，以期達較好的 顯示品質。 為了重建遺失的影像，在[1]所介紹到一般常用的做法如線平均法(Line Average)，圖 場合併(Field Merged )，垂直時間濾波器(Vertical Temporal Filter)，中間值權重濾波器 (Weighted Median Filtering)等，這些方法都只是由線性內插出遺失的影像，傳統的內插 並不是效能不好，只是這些方法是有使用限制的，因為它無法判斷影像移動的資訊。所 以之後的發展是使用動作適應性補償 (Motion Adaptive)來決定影像為動態補償或靜態 補償，其缺點是只能判斷出動態區域與靜態區域，靜態區域直接以圖場內插，但動態區2 域無法判斷出移動的資訊量。所以比較高階的做法是動作估計補償，但動作估計補償是 需要大量的資料傳輸，如果動作估計參考多圖場影像，其硬體代價與記憶體頻寬將會是 相當大的，且動作補償應用在解交錯技術中，移動向量的準確性與可靠度是很重要的， 如果影像變化很大時，導致移動向量不是很精確的話，就必須要有判斷機制判斷決定的 補償方式。 本文利用單向的動作估計資訊，計算出影像的動作資訊，從物體的移動向量與臨近 區域的動作比對，得到具有動作適應性補償的資訊，這樣可使得解交錯技術具有動作補 償的效果，且可降低記憶體頻寬的需求與降低所需記憶體。而一般的動作估計補償解交 錯，只利用動作估計得到的影像，再混合其他的方法，且在移動向量不可靠的狀況下， 沒有判斷移動向量的正確與否，直接補償會使得動作補償的效果在解交錯應用中會變的 比較差。然而物體的移動會是反應在移動向量上，比較結果的可靠度亦會反應在區塊的 差異絕對值加總上，所以本文利用了動作估計比對結果來達到動作的適應性的判斷，可 取代動作偵測無法判斷出影像的移動量之缺點，動作估計的資訊也可在讓影像內容變化 較大的區域，決策出合適的補償，並由區塊判斷出動作區域與鄰近動作區域的關係，偵 測移動物體的動作，可以判斷整體的移動，或區域的移動，並補償各種可能的動作種類。 然而當影像快速移動的變化，致使影像無法從前一張影像補償回來時，也可判斷出，並 改採用空間性的邊緣線內插改良。所以本文亦改良了一個空間性內插，以邊緣線內插方 法為基礎，增加四分之一像素的邊緣線判斷，使物體邊緣線的地方能夠更加的平滑。 本文的研究目的為提出一個雙圖場動作估計的解交錯技術，由前一個圖場動作估計 資訊中，找尋適合的補償方法，主要為利用相鄰近的移動向量差異，判斷出影像正確的 動作資訊與判斷移動向量的可靠度，從有效的移動資訊補償，降低解交錯中使用動作估 計的硬體代價。而在空間性的內插方法提出一個改良的子像素邊緣線內插技術，可針對 移動快速的影像與邊緣線變化區域大的影像做補償，它增加了四分之一像素的邊緣線判 斷，讓影像物體的邊緣可以更加平滑，並使用中間值差異的比較，增加邊緣線的內插效 能，以得到較佳的邊緣內插品質。
3
1.2. 論文架構
在本文中介紹說明解交錯演算法的研究想法與建構，並模擬比較輸出的結果。 第一章 緒論 為本章所說明的簡介，說明研究動機與章節組織 第二章 解交錯技術的概述與相關研究 針對目前的解交錯演算法，分析其優缺點與效應，了解使用上的限制，與可能出現 的問題與解決方法。 第三章 雙圖場適應性混合解交錯演算法 針對上述章節之問題，提出本論文的演算法，分析其移動補償的可靠度，與可改善 的範圍，以及可行的解決要點，並對其演算法流程說明。 第四章 整體模擬結果之比對 效能分析與比較，針對上述之優缺點做結果分析，包含評估影像效能的實驗結果與 影像的細節比較，最後計算所需要硬體上的複雜度。 第五章 結論與未來展望 分析說明整體的結果，並由分析結果分析訂出未來可進行的方向等。4
第二章 解交錯技術文獻探討與研究
本章節將針對[2][3][4][5]中所揭露解交錯的各種演算法，分析其優缺點比較，因為 解交錯的方法各有適合的使用條件與限制考量，使得解交錯技術有許多不同的改善。其 方法可概分空間性內插，時間性內插，動作適應性補償，動作估計補償等。也說明目前 交錯式影像相關的應用與解交錯的各種方法，了解目前解交錯研究問題的要點。2.1. 交錯式影像與解交錯式概述
交錯影像(Interlaced)的標準格式在[6]有詳細介紹，主要問題為交錯影像在輸入是由 場(Field)所構成，有分奇圖場與偶圖場，而解交錯方法是由場(Field)轉換為幀(Frame)， 轉換完的交錯式影像稱為循序式(progressive)的影像，如 1080i 轉 1080p，1080 張場畫面 轉1080 張幀畫面。而轉換的方法又稱之為交錯式轉換循序式，轉換的方法是影像輸出 最主要的品質關鍵。定義解交錯輸出的信號表示為(2.1)。 ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ = = ) ( ), , ( ) mod mod ( ), , ( ) , ( otherwise n x f n y n x f n x F i out r r r 2 2 (2.1) ) , ( nx Fout r :定義為輸出的解交錯式信號，n是場的編號。 ) , ( nx f r :輸入的第 n 影像場，xr =(x,y)T:為影像在( yx, )的位置上，T 是影像轉置。 ) , ( nx fi r :輸出為內插或是解交錯的第 n 影像場。5
當奇圖場奇數線 n mod 2= y mod 2=1 條件下，輸出原始影像Fout(x,n) f(x,n) r
r = ，
奇圖場偶數線為 n mod 2≠ y mod 2 條件下，輸出 fi( nxr, )內插的影像。而在偶圖場下
n mod 2= y mod 2=0 條件時，在偶圖場偶數線輸出原始影像。而 n mod 2≠ y mod 2 條
件下，為偶圖場奇數線，輸出內插的影像，其解交錯示意如圖 1 所示。 圖 1 解交錯系統示意圖 早期交錯(Interlaced)掃瞄影像的傳輸的優點，主要原因是可以減少一半的傳輸頻寬 與硬體的代價，如圖 1 的虛線即代表被抽掉的線。因為早期的電視系統並不需要額外的 解交錯系統，配合著電視的掃瞄方式將接收到的影像就可逐一掃瞄顯示出，交織成影 像。而掃瞄的影像線分成奇圖場與偶圖場，以兩個場畫面的交錯掃瞄而構成一個幀畫 面，這樣的架構下，一般顯示的幀率(Frame Rate)是可以接受的，但在大片面積閃爍時， 人眼對影像閃動會比較不靈敏[1]，但對細節的閃爍卻是較是靈敏的，所以傳統電視的架 構整體掃瞄線的閃爍是可以接受的，因為人眼感受整體閃爍的感覺比較不明顯。 由於影像來源與顯示設備的關係，循序式顯示器直接顯示交錯的信號將會出現閃爍 的問題，所以有不同的交錯到循序掃瞄的轉換被提出。以平面TFT-LCD 與數位投影機 之進展，現在有多數的顯示設備都是循序掃描，但以電視廣播系統的標準依然是交錯掃 瞄式，且很多的影片記錄格式也都是以交錯式影像記錄著。在相同頻寬下，影像解交錯 後就可以得到較高的解析度，來源所需要的傳輸的頻寬也可以比較低，所以只要解交錯 系統品質優良，其就能有效降低影像閃爍，還原影像將是可以被接受的。
6 整體來說交錯式影像可降低頻寬，交錯掃瞄利用人眼對整體頻率變化的敏感度較細 節頻率變化的低，以奇偶交錯的圖場，掃描出一張畫面，讓人眼比較感受不到整體的閃 動，又可降低頻寬。但為配合現在的顯示設備，影像解交錯的基本內插方法又分底下幾 種，有空間性內插方法，時間性內插方法，垂直時間濾波器，邊緣線平均方法，混合解 交錯法，動作適應性補償，動作估計補償等，底下將針對這幾類補償說明。
2.2. 線性內插
基本的解交錯演算法是由線性內插所構成，本節將對使用線性內插的解交錯技術的 方法做說明。包括有空間性的內插，時間性的內插，以及垂直時間內插，然後再延伸到 非線性內插，動作適應性補償、動作估計補償、時間遞迴解交錯與混合解交錯法等。 (1)空間性內插空間性內插(Spatial Interpolation)，又稱圖場內部內插(Intra-Field Interpolation)，以複 製內插(Line Double)或平均內插(line Average)來說，都是空間上的內插，它雖然是很容 易實現的方法，但缺點是在影像內容解析度較高的影像會造成解交錯影像的模糊。如圖 2 所示，以 Line Average 為例，取得相鄰的上下點做平均而得，說明如下。 其關係式定義如(2.2) 2 1 1) ( , ) , ( ) , ( _ + + − = f x y f x y y x fspatial average (2.2) ) , ( _ x y fspatial average :為在( yx, )位置的空間性內插的輸出。 ) 1 , (x y− f :為輸入的交錯影像場。 式(2.2)中的，它是由上一條線的像素 f(x,y−1)加上下一條線的像素 f(x,y+1)，然 後再平均得到的，其所使用的資料是包含了上下兩條線的資料，所以它需要使用到線暫 存器(Line Buffer)，來內插出所需要的資料。
7
圖 2 空間性內插與時間性內插法
(2)時間性內插
時間性內插(Temporal Interpolation)又稱圖場之間內插(Inter-Field Interpolation, FI)， 它的變化有合併法(Merged)或是時間平均法(Temporal Average, TA)，它是取前後場的資 料做平均所得，但缺點是影像為動態時，會造成很嚴重的影像殘影(Artifact)或是鋸齒邊 緣(Serration)，但影像為靜止的狀況下，前後圖場之合併是最好的內插法，可以完整還 原影像的細節，不像空間性內插法會降低解交錯後的影像的品質，如圖 2 所示。 時間平均法的關係式如(2.3)。 2 1 1) ( , , ) , , ( ) , , ( _ + + − = f x y n f x y n n y x ftemporal average (2.3) ) , ( _ x y ftemporal average :為在( yx, )位置的時間性內插的輸出。 ) , , (x y n−1 f :為前一個畫面中( yx, )的位置的值。 ) , , (x y n+1 f :為後一個畫面中( yx, )的位置的值。
8 式(2.3)中由前一張畫面中( yx, )的位置，與後畫面的位置資料做平均得到的。它與 空間性的內插不同的是它參考的資料是前影像場與後影像場，不是在現在的圖場中，所 以它需要圖場記憶體來儲存所要的影像，其大小依照影像而定。 30 60 Ft[Hz] Fy[c/ph] 240 Passband Passband
(a) 空間性內插(Spatial Interpolation) (b) 時間性內插(Temporal Interpolation) 圖 3 線性內插之頻率響應表示圖
由線性內插頻率響應分析圖 3 所示[1]，可以了解其效能是有限的。由圖 3 的 x 軸 中的Ft[Hz]是代表影像更新率(Frame Rate)，圖 3 的 y 軸為影像的垂直掃瞄出現的掃瞄 線週期(Cycle per Picture Height, CPH)，Pass-band 代表空間性內插法會讓信號通過的頻 率，圓圈代表交錯影像的頻譜。 由圖 3 (a)為空間上的內插，可得知垂直解析度會的頻率響應無法在 Fy[cph]的高度 上有所提昇，會被限制在一定的高度，這也代表垂直方向的解析度無法很高，所以垂直 細節將被空間濾波給平均掉，解析度無法提高，且Pass-band 在時間上也無法分離開中 間的圓圈。而圖 3 (b)時間性內插在 y 軸的 Fy[cph]雖然可以保留較多的垂直細節，但畫 面有變化，或是變化速度較快的時候，因為圖場是以平均的方式，所以x 軸中的 Ft[Hz] 就無法達到比較高的分辨率。
9 (3)時間與空間的內插法 時間與空間的內插法是一個利用前後圖場及上下點做權重濾波的一種方式，是混合 時間與空間內插數值的方法。它在靜態的狀況下能有效的補償到適當的值，但動作快速 及解析度較高等變化快的高頻影像其畫面通常有會不自然的殘影。以垂直時間濾波解交 錯(Vertical-Temporal filter)來說，它採用了數值與位置的權重的關係上，如果它在時間上 是低頻的，可藉由前面場的資訊抵消權重，使其成為空間性內插。否則時間的變化是高 頻的，其前後場的影像是快速移動的影像時，其輸出會是前後場的平均來得到影像。 垂直時間濾波器使用之位置與權重關係如(2.4)。 ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ − + − + − + − − − + + + − + + + − = ) , , ( ) , , ( ) , , ( ) , , ( ) , , ( ) , , ( ) , , ( ) , , ( 1 2 18 5 1 18 10 1 2 18 5 3 18 1 3 18 1 1 18 8 1 18 8 n y x f n y x f n y x f n y x f n y x f n y x f n y x f n y x f (2.4) 它的係數可以抵消畫面間垂直與時間方向的變化，使其正確內插。式(2.4)中的 ) , , (x y t F 是代表內插的位置點，n 為圖場， y 為垂直方向的位置，當n=0，取權重分別 為 y 為方向在y=−3、y=−1、y=1、y=3的位置，分別乘上權重，再加上前一個畫 面的資料與係數，再將這些值的和除上總權重18 總可得到F(x,y,n)位置的內插值，如 圖 4 (a)所表示。 (a) 垂直時間濾波的權重平均 (b) 垂直時間濾波頻率響應 圖 4 垂直時間性濾波器
10 因為前一個圖場在y=−2,y=0,y=−2位置的資料可以抵消掉，代表其影像的變化 是低頻的，也就可以讓現在圖場的y=−3、y=−1、y=1、y=3位置資料做內插，就 會是空間上的內插，但如果影像移動快速，影像間會因為權重無法相互抵消掉，其代表 的是高頻信號，結果會是使用前後場影像，為有權重相加起來的時間平均影像。 由垂直時間濾波器的頻譜分布如圖 4 (b)可知，x 軸中的 Ft[Hz]是代表影像更新率， 圖的y 軸是影像的垂直大小會出現掃瞄線次數(CPH)，它的頻譜分布不會有空間性內插 或時間性內插的頻譜混疊的現象，輸入影像完全落在Pass-band 上，是所有線性處理中， 頻譜分析看來比較好的一種方法，但實際上移動邊緣還是會有些殘影。
(a) 垂直時間濾波下的 Stefan (b) 垂直時間濾波下的 Foreman 圖 5 垂直時間性濾波下的快速移動殘影 以圖 5(a)為例，動態畫面左右移動時，前後場差異較大的時間濾波器因為包含了前 場資料的加權，很容易出現影子狀產生，這是因為影像前後場的差異太大，前場資訊沒 法相互抵消所造成的，但在靜態畫面下，垂直時間濾波(VT Filter)則會是以平均內插為 主的內插。普遍來說，這類型前後影像權重式內插都會因為移動或是物體邊緣，都會造 成這種現象，圖 5 (b)所示的也是相類似狀況，是上下移動的影像補償不連續。 雖然理論上垂直時間濾波器(VT Filter)是線性內插方法中，效果較好的方式，但是
11 實際上會因為它是取加權再平均，其結果會與取樣的點數，取樣的權重，甚至於是取前 後圖場的變化影像再做加權處理，但結果是會因為影像的移動，或是垂直解析度很高， 無法完全回復，甚至於一些物體的邊緣或是影像水平移動的，都無法從有效的回復，亦 會造成一些殘影存在，也因為平均的關係，所以空間上的細節還是會有所損失。 總結線性內插方法與技巧後，線性的內插方法主要是直接對影像做運算，空間性的 內插在低頻的信號有良好的效果，它不會造成空間性影像不連續的問題。而時間性的內 插雖然可以提高影像解析度，但在移動的影像下，沒辦法有效的對應到空間上的連續， 所以就必須考量影像高頻或是移動的判斷等其他因素。線性補償是交錯式影像內插的基 礎，雖然是簡單，但因為有限制使用方法，並不是每一個方法都適用在相同狀況下。所 以如果沒有正確的判斷，其補償輸出影像時就會出現影像不連續的狀況產生，所以為使 影像有更好的解交錯結果，下一章將介紹非線性內插法的解交錯。
2.3. 非線性內插
非線性內插包含有邊緣線平均、中間值濾波、動作適應性、動作補償等。非線性內 差方法有加入了判斷的條件，在條件下可得到良好的補償，但還是有其缺點的。本節將 針對邊緣線平均與中間值濾波的優缺點說明，與適合的使用條件。 (1)邊緣線方向內插邊緣線方向平均處理(Edge Line Direction Average)是影像處理中針對邊緣線導向 的內插演算法，專門處理邊緣線平均內插，可以計算出影像物體的輪廓或邊界，所 以正確判斷邊緣方向就很重要。邊緣方向做差異判斷是決定方向的關鍵，判斷影 像物體的邊緣方向後，再依照這的方向的取平均得到內插值，再補償影像邊緣到 對應位置上。圖 6 使用了 3×3 的 ELA window 來做說明。
12 圖 6 邊緣線平均內插演算法 圖 6 所表示是一個 3×3 的 ELA 邊緣線判斷方法，中間的 f( yx, )是內插影像， 以 3×3 說明，所以使用的資料只有上下兩條線的資料。在圖 6 中的 f( yx, )代表所要 內插影像的位置，在式(2.5)中表示之 a、b、c 分別代表不同的方向，以角度來說明是-45 度、0 度、45 度角方向，其中 a 為-45 度角方向的差異絕對值，使用上下兩條線的對角 兩點資料，分別是(f(x−1,y−1),f(x+1,y+1)來做差異計算。b 為 0 度角方向的差異絕 對值，由(f(x,y−1),f(x,y+1)的差異所組成，c 為 45 度角方向的差異絕對值，由 ) 1 , 1 ( ), 1 , 1 ( (f x+ y− f x− y+ 的差異值所組成。 個別的邊緣方向差異計算如(2.5)。 ⎪ ⎩ ⎪ ⎨ ⎧ + = + − − − + = = + − − = − = + + − − − = ⇒ 1 , )) 1 , 1 ( ) 1 , 1 ( ( 0 , )) 1 , ( ) 1 , ( ( 1 , )) 1 , 1 ( ) 1 , 1 ( ( ) ( d y x f y x f c d y x f y x f b d y x f y x f a d ED (2.5) 最小差異值的邊緣方向關係式如(2.6)。
ED(d)
min
Arg
d
1 d 1≤ ≤ −=
(2.6) 邊緣線方向平均內插關係式如(2.7)。 2 1 1) ( , ) , ( ) , (x y = f x+d y− + f x−d y+ fELA (2.7) 在計算完個別方向的差異值後，其a、b、c 中最小的值為該邊緣方向，它代表的位13 置為補償的邊緣方向。如果影像計算完的差異值代表的方向為-45 度角，代表其位置資 訊是-1，再將其對應的資料做平均內插。當比較的角度比較少，最小值選擇輸出可直接 用邏輯運算來判斷來決定大於或等於，然後挑選出中間值，但角度較多的邊緣也可使用 排序來決定大小，進而得到差異最小的值。 (3)邊緣線方向內插與中間值濾波 邊緣線只計算差異會很容易誤判的，因此會在邊緣線內插計算後加入中間值濾波， 稱為邊緣線的中間值濾波處理(ELA Median filter)，相關研究如 C.J. Kuo 的[7]與 J. Salo 的[8]，與 C. Hentschel 的[9]，可避免差異值的計算結果不是真的邊緣，還可以讓中間值 濾波將計算錯誤的值排除掉。邊緣線與中間值濾波表示式如(2.8)
{
( , ), ( , ), ( , )}
) , (x y Median f x y f x y F x yfELA+Median = −1 +1 ELA (2.8)
) , (x y fELA+Median :邊緣線內插與中間值濾波輸出。
{}
⋅ Median :中間值濾波處理。 而中間值濾波(Median Filter)是非線性濾波技術，它對於斑點雜訊和椒鹽雜訊的過濾 相當有用。而在解交錯邊緣線內插中，它的角色算是一個限制器，可避免內插值錯誤所 產生的鋸齒邊，如果與邊緣內插值一起比較的是 f(x,y−1),f(x,y+1)，那麼該邊緣內插 就會被限制在 f(x,y−1),f(x,y+1)內，可依設計的形式不同給予的對應的值，但最常用 的邊緣線內插只參考 f(x,y−1),f(x,y+1)上下兩點來限制，如果同時加入了很多參考影 像反而會沒效果，如J. Salo 的研究[8]中就有提出多種的中間值濾波的處理方式。 在 M.K. Park 的研究[10]中，其邊緣線平均內插則是使用角度的圖形樣板來比 對可能的邊緣，並使用不同的偵測法，但影像邊緣的變化較多樣化，必須有多角 度的邊緣樣板比較，才有比較好的補償。而在M.H. Lee 的研究[11]中多使用上下第三 條線資料做運算，用 f(x,y−3)與 f(x,y+3)計算更多的差異比較，但y =−3,y=+3離要14 內插的位置太遠了，實際的內插以y=−1,y=+1關係較接近，所以使用到y =−3,y=+3 的線資料，其參考價值小於鄰近的上下點，效果上也不有有很大的提昇。 相關研究還有以F. Michaud的[12]研究利用模糊法則偵測邊緣線以及H.S. Oh[13] 的混合時間與空間的邊緣線方向內插補點。但沒有對其方向做內插，其影像也會 有鋸齒邊，又因判斷條件在差異值相同時，或是複雜變化或細膩的圖形時容易判 斷錯誤。為了預防方向判斷的錯誤，邊緣方向內插法都通常加入上下像素做中間值 濾波，確保當影像是跟上下關聯性較大時，不至於內插錯誤值，但缺點則是會降 低解析度。
以圖 7(a)以 News 影像背景為例，說明 ELA 與中間值實際的內插效果。使用邊緣 線內插(ELA)內插得到的圖片，在人物的手上使用 ELA 如果沒有判斷正確則會出現圖 7(b)人為的加工(artifact)的雜訊，加入了中間值濾波雖然會改善，但其結果如圖 7(c)還是 有較粗糙的顆粒像素，無法很平順。 (a)原使影像 (b)邊緣線平均(ELA) (c) 中值濾波邊緣線平均 圖 7 邊緣方向內插之”News”影像序比較 雖然邊緣方向內插方法在邊緣或線條像素內，可以得到良好的表現，但缺點是當 畫素的關連性要是不高，如背景的高頻，會在靜態畫面中內插模糊的畫素，甚至於比直 接平均的效果差。加上中間值邊緣線內插的方法，雖然補的畫面由單張看起來還不錯， 但連續影片播放卻會出現閃動(flicker)的現象，會有固定的頻率在，所以這樣的結果也會 使這方法有了使用上的限制。
15
2.4. 動作適應性補償
動作適應性解交錯(Motion Adaptive Interlaced-to-Progressive conversion, MA-IPC)， 它是直接計算影像的差異，經由臨界值取得動態與靜態，由於無法得到移動的資訊，所 以在動態補償的效果有限。因為它只計算動作差異(Motion detector, MD)，但沒有計算動 作的資訊。其動作偵測定義如下。 定義動作偵測如(2.9)。 ) mod mod ( )}, , , ( ) , , ( { ) , , (x y n Threshold f x y n f x y n 1 y 2 n 2 MD = − − ≠ (2.9) 動作適應性補償關係式如(2.10)。 ) , , ( ) ( ) , , ( ) , , (x y n F x y n F x y n
fMotionAdaptive =
α
still + 1−α
motion (2.10) 由MD(x,y,n)為影像動作偵測(Motion Detect)式(2.9)輸出，Threshold{}
⋅ 為臨界值濾 波，f(x,y,n)為現在圖場所要比對動作的位置，f(x,y,t−1)為前一個圖場所要比對動作 的位置，定義MotionDector( yx, )=α 值，fstill(x,y,n)為靜態所要使用的方法，fmotion(x,y,n)為式(2.10)動態所使用的方法，以動作偵測到的 α 值決定輸出為補償方法。由此可知臨 界值的選取很重要，因為會影像動作偵測後的補償的好壞。
16 在T. Koivunen 的研究中[14]中使用動作偵測器來計算影像差異，會直接計算點對 點的圖場差異，但如果是高頻區域的小部份移動，如圖 8 中的背景，動作偵測器會把高 頻內容當成也是移動的區域，且這樣的差異無法使用濾波器過濾高頻誤差，且空間性內 插補償，也會使原本的高頻影像變的相當模糊，雖然動作偵測器可以設有臨界值可以調 整，但臨界值的設定往往跟影像的內容有關，比較無法全面性的符合各種影片，也沒有 辦法分辨出影像差異的移動量等。 然而MD(x,y,n)是影像差異再由臨界值運算得到，臨界值的設定是決定動作偵測的 關鍵。以圖 8 表示動作偵測經過臨界值計算的輸出，如果設成固定的臨界值，動作偵測 將會因為影像內容而有不同，會致使輸出不一定可以正確偵測到。所以也有使用多圖場 的動作偵測來確認圖場之間的差異值是否大於臨界值，才決定是否為動態影像，避免參 考的動作偵測是錯誤的。當動作偵測畫面差異值時，小於臨界值的會被當成是靜態的， 超過臨界將會把判斷結果設為動態的部份。但臨界值的上下，如果有設範圍，則由α 來 決定動態與靜態畫面所佔有的比例。而計算好偵測到的動作區域後，依其動作區域α 值 的設定來內插方式，α 值的設定一般界於 0<α<1 間，如果當 α=1，輸出 fstill(x,y,n)，是 靜態則使用時間性內插。如果α=0，輸出 fmotion(x,y,n)，是動態影像則使用空間性內插。 所以對一個動作偵測器來說，臨界值的設定會很重要，且會與影像內容有關。 其他如C. Hentschel 的研究中[15]都有使用前後多圖場來做動作偵測的濾波器，如 圖 9(a)所示，偵測後才依其特性選擇適合的內插，其相關研究亦有使用四到五個圖場 來偵測影像的動作差。再設計其匹配的濾波器，來補償動態與靜態影像的部份，所以臨 界值的設定會是動作偵測的關鍵因素。 雖然多圖場偵測的有加入水平方的移動偵測，如圖 9(b)所示。由於影像的移動範 圍不一定，水平的移動距離的偵測範圍太小會沒有其效果，但太大的偵測範圍的偵測誤 差會很大，這樣會使得多圖場的水平偵測只能在設計的範圍內偵測，其效能也是會被限 制的，使得動作偵測在靜態的影像下會比較有效果。
17 (a) (b) 圖 9 同極性多圖場的動作偵測處理 圖 10 是使用同極性的f(x,y,n−1)與 f(x,y,n+1)的差異所偵測的輸出結果，因為 乒乓球的變化在每一張畫面下都在不同位置上，且移動都超過乒乓球形體大小的距離， 所以會無法偵測到是否為動態，而當成是靜態區域進而產生出影像重疊的樣子。 圖 10 同極性動作偵測下的”Table Tennis”影像序比較 整體來說動作適應性(MA-IPC)的方法，主要是將畫面區分為兩部份，一個是偵測 靜態畫面，一個是偵測動態畫面，由一個動作偵測器來決定現在是動態畫面或是靜態畫 面。但只有動作偵測是不夠的，因為它的偵測不包含動作移動量的資訊，所以後來的研 究以動作估計，來計算移動量，不只有偵測的區域是否為靜態畫面或動態畫面。所以要 有更好的效果，需加上動作估計補償，再應用動作估計補償在解交錯影像上。底下將進 一步的介紹比較高階的動作估計補償。
18
2.5. 動作補償
由於動作偵測器(MD)並不是真實的找到正確的移動走向，而是只有判斷動態與靜 態，為了要找到影像實際的移動走向，必須使用動作估計(Motion Estimation)來計算移動 向量，再進行動作補償(Motion Compensation)。有動作估計才能由前場畫面找回原本在 影像附近的資料，並提昇垂直的分辨率。但動作補償會因為移動估算的準確性而影響好 壞，且比對到的移動向量是否合適?，如果移動向量準確度不高或是物體變形大，將導 致補回的影像會發生不連續的狀況，或是移動區塊邊緣的效應，這也都是動作補償所需 要注意的。 power 60 120 180 240 0 Vertical frequency (cph) power 60 120 180 240 0 Vertical frequency (cph) power 60 120 180 240 0 Vertical frequency (cph) power 60 120 180 240 0 Vertical frequency (cph) 480p picture 480p picture (frame) 480i picture (field) converted 480p picture alias 圖 11 循序與交錯掃瞄之垂直解析度頻率比較圖 動作估算補償的好處是因為它可以增加影像解析度。由K. Sugiyama 與 H. Nakamura [5]的研究中，垂直解析度對應交錯式影像中以圖 11 表示，垂直頻率分布可明顯看出。 以480p 循序掃瞄為例，圖 x 軸是影像垂直掃瞄週期(Cycle per Picture Height, CPH)。加 入動作估算補償的解交錯可以增加其垂直方向的解析度，如果只有相鄰圖場(intra-field) 的解交錯並無法增加其垂直方向的解析度，因為一般線性內插得到的效果會是只有一半 的垂直解析度(120p)，就算是適應性補償(Motion Adaptive)其靜態畫面下，垂直解析度可以達到170cph，水平動作與垂直動作都無法有效提昇。而使用動作補償會得到比較高的
19
率會依內容而不同，其他都可以達到比較高的影像分辨率。讓原本的交錯式影像其垂直 解析度是循序式(240p)的 70%(170p)。
為使解交錯的系統中的動作估算比對的移動向量有較高的準確性，所以解交錯系統 是使用區塊比對的方法計算移動向量，而較少使用像素基底的動作估計。不同的動作估 算的技巧，有梯度計算(Gradient Techniques)，像素遞迴(Pel-recursive Techniques)，還有 區塊比對方法(Block Matching Techniques)。像素遞迴(Pel- recursive)的動作估計可使影像 得到個別的像素最佳移動向量，每一個像素都有自己的移動向量，但實際上，像素比對 像素中，要比對到相類似的像素會有太多有著相同的值，且還有雜訊也會影響移動向量 的準確性，因為它的計算有因果關係的，且計算的複雜度也相當高。
比較熱門的動作估計比對為區塊比對法(Block-based Matching Algorithm, BMA)，區 塊比對的優點是可以得到較準確的移動向量(Motion Vector, MV)，計算複雜度也是可接 受的。影像動作估計計算移動向量的方法廣泛應用在很多動態影像處理上，在F. Dufaux [16]研究中有說明幾種視訊常用技巧。在動作估計動作中，還需要一些規格來設定所需 要的參數。動作估計的幾個基本條件，如圖 12 所表示，包含了搜尋法則、比對的條件、 搜尋範圍、宏塊大小等。由於完全搜尋( Full Search ,FS)會完整的比對所有的區塊，並計 算出最小差異的區塊，得到最準確的移動向量。而三步搜尋(Three Step Search , TSS)、 新三步搜尋(New Three Step Search, NTSS)、四步搜尋(Four Step Search, FSS)、鑽石搜尋 (Diamond Search, DS)等，都是屬於快速搜尋的方法，是以差異分布的原理，快速找到移 動向量。 但動作估計應用在解交錯上，最主要是要找出不同圖場所要內插的像素。因此藉由 比對前一個圖場來得到相關聯的像素，如圖 12 所示，由於交錯的影像在移動時，其細 節會因此消失，為了找回因為移動而消失的影像細節，所以使用現在的影像區塊比對到 前一張影像區塊，來找回缺少的移動影像。而影像的移動量稱為移動向量，找出其前後 場可重複使用的區塊，動作補償時再把前一張圖場最相似的區塊補償現在的區塊內。搜 尋移動會有一個範圍，稱為搜尋範圍(Search Range, SR)。
20 MB Forward -SR SR SR (x,y) Search Range =2SR+1 Macro Block best matching (x+vx,y+vy) Best Matching fn-1 (x,y) MB current n-1 n Frame number Motion Vector 圖 12 區塊比對法的動作估計 而式(2.11)定義移動估算中的移動向量比對方法，使用差異絕對值加總(Sum of Absolutely Differences, SAD)方法。式(2.11)中比對的區塊大小為 M×N。
定義在(x,y)位置上計算的MAD(vx,vy)關係式如(2.11)。
∑∑
= = − + + − = M j N i y x t t y x f i j f i v j v MN v v 0 0 1 1 ) , ( ) , ( ) , ( MAD (2.11) ) , ( SAD vx vy 關係式如(2.12)。 ) , ( MAD ) , ( SAD vx vy =MN⋅ vx vy (2.12) 範圍內最小的SAD(vx,vy)即代表 MV，其關係式表示(2.13)。{
v v}
SR v v SR A x y − ≤ x y ≤ = SAD( , ) , MV y x,v v min rg (2.13)21 式(2.12)中在計算完搜尋範圍內最小的SAD(vx,vy)後，該區塊的移動向量可表示成 ) , ( MV vx vy ，而SAD(vx,vy)為該位移的差異值，SR為搜尋範圍，Ft( yx, )為比對的區塊， 移動向量輸出後的對應的影像補償為(2.14)式，補償的區塊為移動向量指到的位置，補 償到現在的位置上。 定義動作補償輸出FMC(x,y,n)的關係式如(2.14)。
)
,
,
(
)
,
,
(
x
y
n
=
f
x
+
v
y
+
v
n
−
1
f
MC x y (2.14) 避免快速搜尋可能會犧牲一些準確性，所以使用全區搜尋的動作估計而在解交錯中 可降低移動向量的錯誤。如果動作估計是有誤差或不準確，則會有圖 13(a)的狀況，或 者是影像中無法找相似的區域時就會像圖 13(b)一樣，補償到的區塊會是不連續的。(a) Foreman 之區塊不連續 (b) Stefan 之區塊不連續 (c) Silent 之區塊不連續 圖 13 動作估計誤差的動作補償結果 此外為解決解交錯中的動作估計誤差，或是錯誤，如圖 13 所示，許多解交錯採用 動作補償中間值濾波(MC Median Filter)可以加以過濾這樣的誤差，如式(2.13)，但這種 方式就會變成與邊緣線平均(ELA)或是中間值濾波的效果，但其影像品質也會因為加了 中間值濾波而下降，如果不加以判斷該區域的動作估計可靠度或誤差，雖然直接使用中 間值濾波輸出結果不會因為動作估計誤差而有不連續區域存在，但加中間值濾波於動作 補償中其品質會下降，否則必須要有另外的機制判斷，以確保其品質不會下降。
22 動作補償之中間值濾波器如式(2.15)
{
( , , ), ( , , ), ( , , )}
) , , ( _ x y n Median f x v y v n f x y n f x y n fMC Median = + x + y −1 −1 +1 (2.15) ) , ( _ x y fMC Median 是動作補償加上中間值濾波輸出，f(x+vx,y+vy,n)是動作補償的畫 面，加入了 f(x,y−1,n), f(x,y+1,n)上下影像，限制輸出的結果要在要在f(x,y−1,n)， ) , , (x y n f +1 範圍內，使輸出不會因為移動向量的誤差而造成影像的不連續的變化，至 少輸出在快速移動的狀況下，不會有錯誤。但輸出這樣的狀態在移動區域內容為高頻 時，就會因為補償的不定而出現閃爍，也無法增加解析度，因為當影像是移動的，動作 估計補償的輸出會被限制在 f(x,y−1,n)與 f(x,y+1,n)內，如果影像內容都不在限制內, 則會造成選擇的影像不固定，這樣會使輸出都是上下資料居多，效果會比較差。2.6. 時間遞迴解交錯濾波
時間遞迴解交錯(Time-Recursive Filter)參考資料的元素由前場已經補回的資料做動 作估計，但缺點為如果前場變化很快，有可能前場已經是錯誤的資訊，那再併入錯誤的 資訊將會更無法找到正確的值，在FM Wang的研究中[17]，納入前面以經解完交錯的圖 場到現在決策中當參考資料做動作估計，如式(2.16)，原理與動作補償(MC)很相似，也 會有中間值的濾波的保護。 時間遞迴解交錯關係式如(2.16)。{
(
,
,
),
(
,
,
),
(
,
,
)
}
)
,
,
(
x
y
n
Median
f
x
y
n
f
x
y
n
f
x
y
n
f
TR=
Deinterlaced−
1
+
1
−
1
(2.16) fTR(x,y)遞迴輸出，fDeinterlaced (x,y,n−1)代表動作估計是使用前一為輸出的幀畫面 做動作估計，完成後再使用中間值濾波來選擇中間值，其內容會包括前面一個畫面的補 償結果再加入，加上使用現在畫面上下線的資料來做限制避免錯誤的累積，其輸出也使 用了中間值濾波，整體來說，效能上也會被限制住。23
2.7. 混合式解交錯演算法
近期研究解交錯的發展變成了混合式(Hybrid De-interlacing)的作法，以加入很多方法 來使影像的品質提昇。例如混合了邊緣線平均內插ELA，合併圖場的動作補償，適應性 水平動作偵測補償，動作補償等。 圖 14 三圖場的動作偵測解交錯架構 在A.J. Patti等人的研究中[18]使用三個圖場的動作估計解交錯，如圖 14所示。使用 內插得的畫面做動作估計後，再平均動作補償的兩個畫面，再抽掉影像還原動作補償後 的畫面，再混合其它的做法解交錯，也是屬於多圖場動作估計。 圖 15 使用 Quad-pixel 動作偵測圖 圖 15是O. Kwon等人的研究中[19]，除了邊緣內插外，與前後圖場做動作估計的運 算，再使用其移動向量做補償，並加入子像素的動作補償，且混合很多方法。而在YY Jung 等人在[20]中的研究混合了動作補償與基本的邊緣內插與平滑向量，但平滑向量可能會 將正確的向量過濾掉的可能性，所以要考慮的平滑向量使用時機。24
在YL Chang的研究中[21]除了使用多圖場外，更混合了動作補償與全域動作補償與 邊緣內插，動作適應性等各式方法，其架構相當的複雜，其判斷的方向包含了多圖場的 SAD比對等如式(2.17)~(2.19)。比對兩個搜尋到的多方向移動向量，k為區域內前後比對 的最小SAD總合。以SAD較小的為其移動向量，區域的動作補償再以這個移動向量補 償。而全域移動(Globe Motion Estimation)來計算的部份，GME通常需要降低取樣，由計 算梯度來判斷影像是否是全域的移動，如攝影機的平移、旋轉、變焦等，但全域的動作 估計比較不適合有運動物體的移動的畫面，因為它會降低取樣，會使小物體的移動被忽 略，效果可能會有限。 Time Current Field n Forward Field n-1 F.Forward Field n-2 Backward Field n+1 MV2 -MV2 MV1 SAD1 SAD2 Search Window Backward-Forwrad Macro Block Current-F.Forwrad Macro Block 圖 16 四圖場動作估計的比對方法 使用的多圖場的差異值比對準則(2.17)-(2.19)。
∑
∈ − − + + = MB j i t y x t k f x v y v f x y , ) , ( ) , ( SAD1 2 1 1 (2.17)∑
∈ − + + + − − − = MB j i y x t y x t k v y v x f v y v x f , ) , ( ) , ( SAD 2 2 2 2 2 2 1 2 2 1 2 (2.18) ) SAD SAD ( min k k SR k Arg K = 1 + 2 ∈ (2.19)25 在D. Wang的研究[22]混合了MC與VT Filter，但VT的缺點是會殘存影像。HM Mohammadi等人的研究[23]更是使用到五個圖場的畫面差異偵測，再利用其資訊做垂直 動作的補償，亦是多圖場的動作估計。S. Byun等人的研究[24]則是遞迴式的雙圖場動作 比對補償，但它也是在輸出使用中間值選擇輸出。J. Kovacevie的研究[25]中則是以權重 混合遞迴的方法來完解交錯，但其效果依舊會有遞迴缺點。 圖 17 不同的四圖場動作偵測的架構 圖 17為D. Han等人的研究[26]，探討當區域亮度改變時對應的動作偵測，但輸出亦 有用臨界值，臨界值設定則會影響輸出效益。T.S. Chong 等人的研究[27]則是內容適應 性的邊緣線解交錯，使用比對區域內的邊緣線走向的適應性補償方法。G. de Haan 的研 究[28]則是使用了適應性遞迴(Adaptive Recursive)的解交錯系統。X.B. Gao 的研究[29] 則是以不同搜尋法搭配移動物體的區分做補償。在M. Biswas的研究中[30]，有使用移動 向量的關聯處理，但是以判斷出有效或是無效的移動向量，並降低內插誤差。Q. Huang 的研究[31]則是三圖場的動作估計，利用多圖場SAD來當判斷法則，以權重的方法重疊 影像。越多的做法越需要準確的決策，來決定輸出的補償方式等適合的使用條件，或是 混合輸出的結果再用中間值去選擇統計上的最佳狀況，或是依其特性加入權重比較來處 理。但不論是何種方法，都必須是有效的決策出適合的影像，否則在影像上會有不連續 的內插出現，所以以決策法針對不同狀況做考量，以便達到更好的品質。
26
2.8. 本章總結
回顧本章所探討的文獻研究，品質的好壞與所花費的代價會因不同需求有不同的取 捨，與硬體的設定。但要降低硬體代價，又要維持相對的品質，其對應的演算法架構與 決策機制就相當重要。所以由交錯信號的產生，解交錯還原，其方法有空間性內插、時 間性內插與垂直時間濾波器等，可了解線性的方法容易實現但效果有限。進而延伸到非 線性內插，有邊緣線平均法、動作偵測、動作估計與補償，或是利用時間遞迴或混合式 的解交錯的尋找最佳的內插值。 但不論哪一種方法都有其優缺點與其適用的地方，但影像是變化的，如何有效的降 低硬體代價，並考量計算上的負擔就與品質的提昇就非常重要。因為這些基本方法中， 基本設定上就會有互相牴觸的地方，例如使用空間性內插，就必須接受垂直解析度無法 提高，使用動作補償雖然可以提高垂直解析度，卻是要付出必要代價，所以不同的應用 範圍的解交錯，需求也不同，所以動作估計是提高品質的方法，但必須要有相關搭配決 策的法則。27
第三章 雙圖場適應性混合解交錯演算法設計
由先前的研究探討中，基本的空間與時間內插方法雖然簡單但效果有限。而動作偵 測的方式雖然可以分辨出動態區域與靜態區域，但臨界值的設定動態與靜態是與內容有 相關的，且因為只能得知動態區域與靜態區域的區分，無法得到有效的動作資料。而動 作補償可以得到移動向量的資訊，但動作估計補償的移動向量準確度也相當重要，只有 直接動作補償將會使影像出現不連續交錯的影像線。為解決動作補償的不連續的影像， 必須是由動作估算所得到的資訊來決定動作補償的方法，並加入時間與空間的內插補 償。另外為降低動作補償的所需要的代價，所以本研究將以降低硬體代價的動作補償解 交錯系統為主體，並有效判斷影像動作再加以補償與內插。3.1. 適應性混合解交錯架構改善
由解交錯研究中，有動作資訊的多圖場動作估計，在架構上將需的很多的記憶體， 為保有動作估計的優點，架構上又不需要太多記憶體，因為多圖場計憶體的計算複雜， 耗費較多記憶體，且影像內容變化大的時候，其移動向量不一定是線性的移動。所以降 低所需要的記憶體，本文以雙圖場的動作估計的架構為基礎，再搭配改良的動作決策判 斷，改善移動向量誤差的錯誤補償，增加補償的效能。28 3.1.1. 減少動作估計的圖場 在[5] [20] [21][30][31]中所提出的方法都是用前後圖場以上的動作估計，來降低移 動向量誤差的與消除圖場極性不同。但計算前後圖場的動作估計如果遇到影像變化比較 大，或是計算到的移動向量差異很大，其動作估算的計算可靠度將會降低。而在硬體的 代價上，也會比較高。 fn fn-1 fn-2 Large Search Area Search Area MV (a)三圖場的動作估計搜尋範圍 (b) 前後圖場的移動向量中心點對映 圖 18 多圖場動作估計搜尋區域 如圖 18(a)所示，跨越多圖場的動作估計代表著必須要使用更多的計憶體，且因為 跨越圖場，物體的搜尋範圍也需要比較大，可能的移動向量誤差也會比較大，在這樣的 狀況下不但硬體代價會比較高，處理上也比較複雜。而圖 18(b)所說明的是它使用前後 圖場做動作估計，再從1/2 MV 做動作補償，其會有對映的區塊中心點不在現在區塊上 的問題，這樣的比對將會更加困難，如果採用前後場都個別做動作估計，其計算量等於 是兩倍。所以針對這部份的改善，本文以雙圖場的動作估計為基礎，可降低所需要搜尋 範圍與計算量，亦可降低跨圖場的移動量太大的移動向量誤差，再判斷移動的可靠度。
29 3.1.2. 輸出判斷決策改善 在[20]的研究中輸出的決策方法採用了中間值濾波，表示如式(3.1)。因為中間值選 擇只是做影像大小的排列，如果中間值濾波的影像差異很大，中間值選擇的輸出可能會 無法控制輸出的品質，因為它是由影像鄰近像素去選擇的，如果相鄰影像變化很大，中 間值選擇的機制將使影像品質低落。式(3.1)為中間值選擇決策，關係式如下。 ⎪⎩ ⎪ ⎨ ⎧ + = = − ) ( ), , , , , ( ) mod mod ( ), , , ( ) , , ( otherwise D C D C B A median n y n y x f n y x FMS MC 2 2 2 (3.1) 其中 ) , , ( ) , , ( ) , , ( ) , , ( n y x f D n y x f C n v y v x f B n v y v x f A y x y x 1 1 1 1 + = − = − − − = + + + = ) , ( yx FMS−MC :在(x,y)位置的中間值選擇輸出的動作補償。 ) (⋅ median :中間值選擇濾波處理。 y x v v , :為該區塊的移動向量。 另外有相關的研究在決策是採用移動向量或是區塊比對差異值，其決策流程如圖 19。 (a)比對差異值判斷機制 (b) 移動向量判斷機制 圖 19 不同的動作判斷機制
30 在圖 19(a)，輸出判斷機制中，在[21]的研究中以 SAD 的大小去確認輸出是使用空 間性內插或是空間性內插，如果是使用空間性內插，就需再比對移動向量與全域搜尋移 動向量(GMV)是否相同，如果不相同就只有區域的動作補償。但全域動作搜尋對畫面整 體移動比較有效果，雖然它在判斷不是全域移動後，有對局部的移動做動作補償，但區 域的移動沒有判斷移動向量可靠度再加以補償，可能會有局部的影像不連續現象。 而在[22]的研究中以判斷移動向量的差異大小來做輸出的決策，如圖 19(b)，只以 臨近的區域內的移動向量如果小於±2，就會認為該區域的移動向量是可靠的，進而使用 動作補償或是空間性的內插補償，但這樣移動判斷的誤差容許值會比較大一點，輸出就 會受到移動向量誤差影響，由相鄰移動向量判斷得到。 3.1.3. 整體架構 在架構上，多圖場會使得輸出會有時間延遲，也就是現在輸出影像會是上一張影像 補償輸出的，會有時間差別。所以採用雙圖場進行動作估計，以前圖場與現在的圖場的 動作估計，就不會有這樣的問題，亦可降低計憶體需求與降低傳輸頻寬的改善。 本文研究方向以動作估計為基本架構，可降低所需記憶體，並用前一張畫面與現在 畫面的資料作估計來做判斷，研究可行的方法，判斷出影像適應的補償方法。動作估計 補償是使用區塊比對方法，其動作補償效能的好壞與移動向量精確度有關。所以當移動 向量有因內容變化大而有誤差，必須要有機制判斷影像是否為變化很大的區塊，所以決 策上採用移動向量與比對差異值的相鄰關係，由鄰近的關係分析影像動作與移動向量補 償的可靠度。整體來說，由雙圖場動作估算所得到的移動向量與區塊比對差異值，做為 本文的適應性動作估計的決策因素，讓移動向量的關聯性作畫面動靜上的區分，再予以 使用動作補償，並配合改良的空間性的內插，來達到更好的效果。
31 f(x,y,n) Interlaced Video In Progressive video Motion Estimation Motion Compensation f(x,y,n-1) fELA(x,y,n) ELA SAD(n) MV(n) fMC(x,y,n) Interleave by line Improved Motion Decision f(x,y,n) Selector D(n) f(x,y,n-1) MV(n) Field Merge 2-Field Memory f(x,y,n) 圖 20 適應性混合動作補償之解交錯主要架構圖 且為了有較好的補償效果，增加動作估計的準確度與動作補償的適應性判斷的正確 性，與加強邊緣線內插，讓整體的效能在雙圖場的架構上仍有好的補償效果。藉由判斷 移動的資訊來達到影像動作的判斷，提高動作補償的準確性，降低多圖場動作估計的記 憶體需求，亦可降低整體的存取頻寬，降低計算複雜度。 就動作估計的部份，因為使用動作估計的資訊判斷。也因此需要比較準確的移動向 量資訊做判斷，由於快速搜尋的準確度會比較差，所以使用完全搜尋(Full Search)，增加 移動向量的比對準確性。定義圖 20 的動作補償輸出的移動向量為 MV(n)，比對的差異 絕對值為 SAD(n)。決策判斷由整個畫面的 MV(n)與 SAD(n)做關聯性比較，因此在動作 估計估計輸出所有的區塊移動資訊後，動作估計會輸出 MV(n)與 SAD(n)給動作決策處 理，決策法則就以 MV(n)與 SAD(n)相鄰關係去判斷輸出該區域的移動資訊是否可靠， 進而判斷補償種類，來決定動作補償是 MC 或 ELA 的部份。圖 20 所示中，決策輸出 D(n)，D(n)是一個決策參數的矩陣，D(n)會設定所有的區域要用何種方法補償，所以動 作補償電路之後會依照 D(n)，來決定輸出的種類，最後再混合原始影像成為循序的影像 輸出。
32
3.2. 適應性影像補償之輸出決策
為使影像的動作偵測具有適應性，使用影像的內容的移動的資訊來決定輸出的補 償。亦可取代平滑向量的處理，以鄰近的移動向量與區塊差異值變化，決定影像補償的 種類。利用移動資訊相鄰的差異做適應性的動作補償，可針對不同狀況的動作做最佳的 補償，讓輸出有適應性的補償效果。 3.2.1. 最近相鄰差異的移動判斷決策改善為改善移動向量誤差的補償，本文嘗試以最近相鄰差異(Nearest Neighbor Difference, NND)的比較，如圖 21，在相鄰近移動向量處理中，一般只有平滑向量(MV smooth)處 理較多，但直接平滑向量可能會使輸出的移動補償變的更差。且相關研究較少對相鄰近 移動向量(NNMV)與相鄰近比對差異值(NNSAD)一起做判斷，所以本文以建構適應性的 補償判斷，利用它們相互關聯性判斷出適當的動作補償，不只是中間值平滑處理的輸 出，而是以NNMV 與 NNSAD 的關係做為輸出的依據，亦改善單方向動作估計的動作 補償的誤差時的補償，增加輸出的品質。 圖 21 臨近關聯性決策關係圖 為了使動作估計解交錯能有正確判斷動作補償的方法，越多的移動資訊越可以做有 效的判斷，增加輸出的影像品質。在雙圖場的動作估計中，移動向量資訊的相鄰關係就 變的很重要了。當MV 可靠度不高時，還有 SAD 可判斷差異來決定輸出的品質。
33
說明圖 21 使用改良式物體的移動關聯性判斷。以定義動作估計的鄰近關聯性資 訊，判斷其區塊種類，可使區塊分類的補償更好。定義移動區塊(Active Block, AB)、移 動邊緣區塊(Boundary Active Block, BAB)、邊緣區塊(Boundary Block, BB)、非移動區塊 (Inactive Block, IAB)。
當圖 21 中間的 AB 是區域性的物體移動，就像是鏡頭的平移一樣或是物體平移， 移動區域會包含了數個AB，這代表中間區域的 AB 與前一個畫面的搜尋範圍內有相似 度很高的區塊，就可使用MC 的方式補償。而圖 21 中的 AB 區域旁的物體邊緣，是包 含了影像背景的BAB，BAB 是相鄰 AB 的區塊，如圖 21 所示在 BAB 形體分布，移動 向量不一定可以正確找到，加上SAD 大小差異很大，就需判斷移動區域影像邊緣是否 還適合使用MC 的方式補償。如果 SAD 分布於鄰近區域中，不是所有 SAD 中最大的， 移動向量與相鄰的方向一致，這就可代表該區塊是移動物體的邊緣區塊，代表動作補償 是會比較好，使用MC 的補償。反之 SAD 是該區域最大的，過大的 SAD 代表 MC 補償 的效果會不好，所以移動的邊緣會以ELA 內插，以達適應性的補償。 而BB 為變化物體的邊緣，IAB 即為靜態背景，如果背景是靜態的，又因移動物體 的影像或許才佔影像的1/4，或更小，為避免小物體的移動影像不連續的區域產生，若 移動的物體小於區塊內，移動向量會不精確，其SAD 值也會大於相鄰區塊，亦可判斷 出移動物體是局部物體的移動，則由ELA 的方式補償。如果 MV 與 SAD 變化不大，才 會是以MC 的方式補償。 這部份的動作估計主要以MV 與 SAD 其相鄰的關係，由該區塊與它的鄰近區塊的
移動關係的分布，判斷圖 21 所的
(
MV ,SAD)
5與相鄰的(
MV, SAD)
2,4,6,8與(
MV, SAD)
1,3,5,7的移動關聯性。很多狀況下MC 會因為移動向量不準確或有誤差，而出現區塊狀的線
條，這種條件下用SAD 關聯性判斷就很重要，由 SAD 的大小與相鄰的區塊比較是否差
異很多，以改善交錯式影像的動作補償方式。其中不論是MV 或是 SAD 都以相鄰的關
