行政院國家科學委員會專題研究計畫 期中進度報告
子計畫二:無線網路串流視訊之編碼問題研究(1/2)
計畫類別： 整合型計畫
計畫編號： NSC92-2219-E-009-016-
執行期間： 92 年 08 月 01 日至 93 年 07 月 31 日
執行單位： 國立交通大學電子工程學系
計畫主持人： 王聖智
計畫參與人員： 陳信嘉、陳宜賢、鄭佳韻、陶世軒
報告類型： 完整報告
處理方式： 本計畫涉及專利或其他智慧財產權，1 年後可公開查詢
中 華 民 國 93 年 6 月 1 日
行政院國家科學委員會專題研究計畫期中報告
基於正交分頻多重進接之無線多媒體傳收機研究及設計
子計畫二
:無線網路串流視訊之編碼問題研究(1/2)
Encoding Techniques in Wireless Streaming Video
計畫編號：NSC－92-2219-E-009-016-執行期限：92 年 8 月 1 日至 93 年 7 月 31 日 共同主持人：王聖智 (交通大學電子工程系副教授) 計畫參與人員：陳信嘉、陳宜賢、鄭佳韻、陶世軒 (交通大學電子所研究生)
一、中文摘要
H.264 是 ITU-T 所制訂的視訊編碼技術標準[1]，它 具有高編碼效率的特性，其編碼後之視訊串流亦符合現 有網路傳輸協定的資料格式。在報告中，為了使 H.264 編碼之視訊串流可以適用於無線網路傳輸，我們針對在 無線網路通道傳輸的兩個主要的問題：1) 頻寬變動 2) 封包遺失，討論在 H.264 編碼的架構上合理而可行的解 決方法。為了適應無線網路中頻寬的變動，我們在現有 的 H.264 編碼架構上，採用了強健可調適性的編碼技術 (Robust Fine Granularity Scalability, RFGS)；我們並利用 RFGS 將資訊依重要性區分的特性，試著保護較重要的資 訊，以加強視訊串流的抗錯能力以對抗因為封包遺失所 造成的錯誤。此外，我們並討論了圖場(field)編碼技術在 視訊串流抗錯技術方面的適用性與潛力。 關鍵詞：視訊編碼, 可調適性編碼技術, 抗錯性 AbstractH.264 is the ITU-T’s newest video coding standard. It not only achieves very high coding efficiency but also contains a network adaptation layer (NAL) to adjust bit strings in a network-friendly way. The topic of this project is to make the H.264 standard more suitable for wireless communications. In wireless communications, there exist two major problems: 1) variation of channel bandwidth, and 2) packet losses. Here we adopt the RFGS technique over the
H.264 standard to adapt bit-streams to the variation of bandwidth. Under the RFGS scheme, we partition compressed visual data according to their importance with respect to PSNR. With this arrangement, the error resilience capability of the compressed video streams could be enhanced and the impact of packet losses could be reduced. Besides, we also discuss how to use the field coding technique to improve error resilience and error concealment. Keywords：video coding, scalable coding, error resilience
二、進度報告
1. 在無線傳輸中的視訊編碼 網路傳輸中，無論是有線或者無線，錯誤的發生來 源大體上可分為兩種。一種是源自網路本身的壅塞，舉 例來說，當網路繁忙，交換器(switch)或路由器(router)中 緩衝儲存器的容量不能夠負擔如此龐大的流量時，即可 能發生封包遺失的情況，此時的訊號遺失以封包為單 位；另一種情況則是頻道本身受到雜訊干擾而使訊號產 生錯誤，此時產生錯誤的訊號以位元為單位，但由於視 訊使用熵編碼(entropy coding)，使得單一個位元的錯誤會 波及其後的一連串位元，因此一個位元的出錯造成的影 響將會是一段資訊而非僅僅一個位元，而此段資訊的長 短則視編碼時所分的段落大小而定。如圖1 所示，在 H.264 視訊編碼標準中，我們可先將視訊資料分割，再由一個 專為網路傳輸設計的網路適應層，將分割後的段落包裝 成各個獨立的視訊封包，其名稱為NAL 單位(NAL unit)； 當其中一個視訊封包發生位元錯誤時，此錯誤的影響只會侷限在此封包之內，而不會影響到其他的封包。這種 視訊封包可以以一個或數個為單位，直接傳遞給較下層 的網路協定以製作成一個網路上流通的封包，如此一來 則網路上的封包遺失也可以直接對應成一個或數個視訊 封包遺失。因此，我們將視訊的錯誤最小單位定為一個 視訊封包。視訊封包的長度是可變的，其長短與抗錯力 有很大的相關性，封包長度愈短，錯誤機率愈小，抗錯 能力也又愈好；但由於每個封包都必須有一個固定長度 的標頭資訊(Header)，故封包愈短，標頭資訊所佔比例愈 高，編碼效率也就愈差。顧及整體效益，我們傾向當網 路品質愈差時，使用愈短的封包，而當網路品質較佳時 則使用較長的封包。 圖1. H.264 架構圖。包含視訊編碼層與網路適應層[2]。 2. RFGS 架構在 H.264 上對抗錯能力的提升 關於H.264 標準的細節，請參考[1][2][3][4]。 圖 2.為 H.264 視訊編碼層的架構圖；H.264 的視訊 編碼層並不與之前的視訊標準(如 MPEG2, H.263)相符， 它在幾個傳統視訊編碼所用的技巧上作出重大的改變， 例如將8x8 DCT 轉換變成 4X4 的整數轉換、加入影像內 部的預測(intra prediction)、加入內容適應性二元算數式編 碼 (Context-based Adaptive Binary Arithmetic Coding, CABAC)、提供較多樣的畫面間預測(inter prediction)選擇 模式等等。每一項改變皆小幅度地提高編碼的效率，這 許多的改變導致整體編碼效率的大幅度提升。 RFGS[5]是多層可調適性視訊編碼(scalable video coding)的一種方法。多層可調適性視訊編碼可增加其適 應無線網路頻寬變動的能力。在這編碼技術中將會依重 要性將影像資料分成較重要的基礎層及較次要的加強 層，而我們正得以藉此對重要的資訊提供重點式的保 護；另外，由於在加強層中影像間的獨立性較強，可以 有效減低影像間的錯誤傳遞，但也因此造成編碼效率的 降低。RFGS 以兩個參數 α、β 調整加強層中影像間的依 存程度，加強層被切成數個位元層，由參數 β 決定在作 影像間預測時可用到的位元層數；0≤α ≤1 則用來與所得 之預測資訊相乘，藉此降低錯誤一旦出現時影像間的錯 誤傳遞現象，RFGS 的示意圖請參考圖 3。 圖2. H.264 視訊編碼層架構圖[2] 圖3. RFGS 作影像間預測動作之示意圖[5] 由定性上的分析，我們可以得知β 值的選取必須視 網路傳輸上現有的頻寬而定，當β 值等於此時頻寬最大 可傳送的位元層數目時，我們可以得到在此頻寬下最佳 的編碼，至於β 值對於抗錯性的影響，目前尚未得到明 顯的結論；圖4.為改變 β 值所得之模擬結果，由圖中我 們可以看到在頻寬較低的情況下，較小的β 值會得到較 佳的編碼效率，反之在頻寬較高的情況下，較大的β 值 xα xα β β β
較佳；而在有錯誤發生的情況下，圖中則無法推得明顯 且合理的結論。至於α 值的選取則與網路傳輸時雜訊多 寡息息相關，當雜訊干擾嚴重時，傾向取較小的α 值， 使影像之間的關聯性減小，以降低錯誤傳遞的影響及提 高抗錯力；反之，若雜訊影響很低時，抗錯力的需求跟 著降低，此時為了提高編碼效率，傾向用較大的α 值， 如圖5.所示。 圖 4. RFGS 架構中改變β 之模擬圖。其中 β 值以預測時所取之 位元數表示，亦即圖中所示之 0 位元, 14400 位元,以及 115200 位元。有效位元出錯率 = 10-5 圖 5. RFGS 架構中改變α 之模擬圖。有效位元出錯率 = 10-5 還有一個影響抗錯力的因素為基礎層的資料量的多 寡。採用 RFGS+H.264 的架構時，壓縮效率會因為加強 層編碼方式與基礎層不同而降低，如圖 6.所示。我們發 現隨著量間距(QP:量化參數，決定量化間距)變大，基礎 層的資料量減少，壓縮效率隨之降低。但當大量的錯誤 發生時， 基礎層資料量愈少，則基礎層遺失的機率愈 小，愈可以維持視訊品質不要下降太多。由此可知，基 礎層在多層視訊編碼中是一個關鍵，基礎層的遺失會嚴 重影響視訊品質，只有在基礎層幾乎可以完全無錯的情 況下，增進加強層的抗錯性才會變成下一個問題。以下 我們便就如何增強基礎層抗錯能力作一番討論。基礎層 的編碼方式其實就是一個完整的 H.264 編碼，其中，我 們發現圖場(field)編碼的特性可以使視訊的抗錯能力得 到很好的提升。可以使視訊的抗錯能力得到很好的提升。 圖6. Base layer 的大小對編碼效率與抗錯性的影響 3. 圖場分割對 H.264 抗錯能力的增進 我們在設法增進 H.264 的抗錯能力時，有幾個前提 是我們所希望的： 1. 壓縮效率不要降低太多，甚至可能的話不要降低更 好。由於通道編碼的研究已經可以利用少許的代價使 訊息得到不錯的抗錯能力，因此在訊源編碼(亦即我 們的視訊編碼)的部分，我們不考慮需要太多代價的 方法。 2. 不需大幅更動原有的壓縮標準。我們的目的是研究 如何增進H.264 的抗錯力，可能的話我們希望就其提 供的工具以不更動或僅僅是稍加更動的形式來探討 最具抗錯力的工具組合。 秉持著前述兩個原則，我們在 H.264 現有的工具中，發 無錯誤情況下H.264 最佳化編碼 無錯誤情況下H.264+RFGS, QP=42 無錯誤情況下H.264+RFGS, QP=51 有錯誤情況下H.264 最佳化編碼 有錯誤情況下H.264+RFGS, QP=42 有錯誤情況下H.264+RFGS, QP=51
現圖場編碼對於抗錯力的提升，有著不錯的效果。 圖 7.為將一張影像分為兩個圖場的示意圖，兩個圖 場分別為上圖場與下圖場，上圖場包含所有奇數列的像 素，下圖場包含所有偶數列的像素。我們會對其感興趣 的原因是由於 H.264 中的圖場編碼將上下相鄰的兩個像 素分開做的編碼，並分配到不同的視訊封包中傳輸；這 樣的架構使得當錯誤發生時，我們可以透過很簡單的後 處理就得到滿意的畫質。 X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X
Luma samples in a frame
X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X
Luma sample in a top field
Luma sample in a bottom field
圖7. 影像分割為圖場之示意圖。 將圖場編碼與 H.264 的抗錯工具 FMO (Flexible Macroblock Ordering)做比較。FMO 的原理是將影像中的 巨方塊做分散式的排列，如圖 8.所示，每一個方格代表 一個巨方塊(注意:在圖 7 圖場編碼的示意圖中，每一個方 格為一個像素)，不同顏色的方格屬於不同的群(group)， 編碼時將不同的群分開個別編碼。FMO 雖然能將錯誤分 散，但由於它的基本單位是 16x16 的巨方塊，資料的遺 失型態是整個巨方塊的遺失，亦即大部分的像素處於相 鄰像素同時遺失的狀態，如此一來在後處理時便不能有 效率的利用相鄰像素做內插，所得畫質便不如圖場編碼 了。另一方面，FMO 會使壓縮效率大幅度的降低，如表 1.(a)。因此，我們認為圖場編碼在作為一個抗錯工具上效 果是優於FMO 的。 圖場編碼在做影像間預測時，有四種不同的模式。 如圖 9.所示，模式(b)中上圖場與下圖場除第一張外，其 餘皆為互相獨立的，這種模式可以保證在錯誤發生時上 下圖場間不會互相干擾。模式(c)則明顯的將上圖場放在 比較重要的地位，下圖場的遺失則不會造成任何的錯誤 傳遞。以上兩種模式抗錯力雖佳，損失的壓縮效率卻也 太大了些，如表 1.(b)所示。模式(e)則是針對第一種模式 做壓縮效率上的改進，這種模式可保持同一張影像上下 圖場間的獨立性，又因為可作為預測參考的資訊變多， 壓縮效率較第一種模式好，但效果並不十分顯著。因此， 我們採用影像間預測最自由的模式(d)，這種方法雖然失 去了第一種方法的獨立性和第二種方法的減低錯誤傳 遞，但它仍保有圖場編碼上下相鄰像素分開傳輸的特 性 ， 並 且 可 以 將 壓 縮 率 的 損 失 降 到 最 小 。(上所述之 (b)(c)(d)(e)為圖 9.中之編號)
圖8. 影像以 FMO 分割之示意圖。(a) 2 群 (b) 3 群
Frame coding FMO 2 groups FMO 3 groups
Coding rate (kbps) 75.23 100.07 104.43
Coding rate ratio 1 1.330 1.388
Frame coding Field coding (PP) Field coding (TOP) Field coding (TP) Field coding (reduced TP) Coding rate (kbps) 75.23 87.19 98.26 77.33 86.38 Coding rate ratio 1 1.159 1.306 1.028 1.148 表1. 壓縮效率紀錄 (a)FMO (b)圖場編碼。QP=42, packet length=200 bytes
圖 10.為傳統全圖編碼(frame coding)與圖場編碼模 式(3)以軟體模擬所得的效能分析圖。由圖中可看出，純 就壓縮效率來說，全圖編碼較圖場編碼稍高，但在解碼 端不做任何後處理的情況下，隨著傳輸過程中錯誤率的 增加，圖場編碼的表現將漸漸超過全圖編碼，顯示圖場 編碼本質上便具有較高的抗錯能力，但圖中顯示兩者差 異並非非常顯著。
圖9. 圖場編碼做影像間預測的三種模式示意圖 (a) frame coding
(b) field coding with parallel prediction mode(PP),
(c) field coding with top-field oriented prediction mode(TOP), (d) field coding with trellis prediction mode (TP)
(e) field coding with reduced trellis prediction mode (reduced TP)
若將解碼端的後處理加入考慮，圖場編碼的抗錯能 力將明顯的遠高於傳統的全圖編碼。這是由於圖場編碼 在解碼端做錯誤修補時，遺失的資料可由同一張影像的 另一個圖場以上下相鄰像素內插的方式修補，而以巨集 區塊(Macroblocks)為單位的全圖編碼則無法有效率的利 用同一張影像的其他資訊對遺失的資料做修補的動作， 只能利用前後影像的資訊做修補。就效能來說，有效率 的影像內修補方式較影像間修補方式穩定許多，故圖10. 中，淺藍色曲線表示的圖場編碼加上後處理的效能，在 有封包遺失的情況下，幾乎皆優於紅色曲線表示的經過 後處理的全圖編碼，且隨著傳輸過程中錯誤率的增加更 加明顯。 圖10. 圖場編碼模式(3)與傳統全圖編碼效能與抗錯性之比較 4. 結論與未來工作 1. 由於圖場編碼位元配置交錯的特性，使其在解碼端的 後處理變的容易且效果極佳，未來我們將更進一步的 探討其後處理的方法，以期效能得到更大的提升。 2. 我們所採用的架構為 H.264+RFGS, 此架構具多層可 調適性，適合頻寬多變的無線傳輸，也能大幅的提升 編碼的抗錯能力。目前我們對於圖場編碼的討論只在 架構中的基礎層部分，未來我們將在加強層上作圖場 編碼的探討，應可再次提升編碼的抗錯能力。 3. RFGS 架構的特色為引進了兩個部分預測的參數 — α、β，使視訊編碼能針對抗錯力與編碼效率對不同的 網路情況做適當的調整。我們所採用的圖場編碼，效 能在參數改變的情況下會受到影響，對此我們會做進 一步的分析。 4. 針對圖場編碼的架構本身，未來我們將探討其進一步 修改的可能性，研究是否能使此架構的效能(編碼效率 與抗錯力)得到再一次的提升。 全圖編碼，無後處理 圖場編碼，無後處理 全圖編碼，有後處理 圖場編碼，有後處理
三、參考文獻
[1] ISO/IEC JTC 1/SC 29/WG 11 N5555, Draft Text of Final Draft International Standard for Advanced Video Coding. (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)
[2] T. Wiegand, G. J. Sullivan, G. Bjontegaard, and A. Luthra, “Overview of the H.264/AVC Video Coding Standard,”
IEEE Trans. on Circuits and Systems for Video Technology, vol. 13, No. 7, July 2003.
[3] T. Stockhammer, M. M. Hannuksela, and T. Wiegand, “H.264/AVC in Wireless Environment,” IEEE Trans. on
Circuits and Systems for Video Technology, vol. 13, No.
7, July 2003.
[4] S. Wenger, “H.264/AVC Over IP,” IEEE Trans. on
Circuits and Systems for Video Technology, vol. 13, No.
7, July 2003.
[5] H. C. Huang, C. N. Wang, and T. Chiang, “A Robust Fine Granularity Scalability Using Trellis-Based Predictive Leak,” IEEE Trans. on Circuits and Systems for Video
Technology, vol. 12, No. 6, June 2002.
四、成果自評
視訊在無線網路上的傳輸是目前非常熱門的課題， 低頻寬且高錯誤率是無線網路的特色，因此編碼效率與 編碼抗錯能力是視訊編碼所要克服的重點，參與此計畫 之人員﹐將可以透過此計畫之執行﹐對視訊資料編碼技 術有深入的瞭解熟悉，並透過對於未知技術的開發過程 中﹐學習到十分珍貴的經驗。此計畫所探討之可調層次 式編碼方式具有廣泛的應用價值﹐是影像壓縮方面重要 的技術﹐將有助於影像編碼方面之研究，另一方面，本 專題在研究視訊如何在壓縮效率影響極小的情況下而能 得到不錯的抗錯能力，所發展出的技術可使目前的視訊 編碼在無線網路上的適應性做更進一步的提升。 綜合評估：研究內容與原計畫大致相符，獲得頗具 學術與應用價值之成果，且達成人才培育之目標，本計 畫討論之問題兼具學術價值與工業應用價值，預計投稿 一篇論文於國際期刊或研討會議中，亦可技術移轉於工 業界。碩士學位論文一冊如下。 Publications:[1] Chia-yun Cheng 鄭佳韻, A Study of Error Resilience
