行政院國家科學委員會專題研究計畫 期中進度報告
子計畫二:無線網路串流視訊之抗錯與錯誤補償技術研究
(1/3)
計畫類別： 整合型計畫
計畫編號： NSC94-2219-E-009-017-
執行期間： 94 年 08 月 01 日至 95 年 07 月 31 日
執行單位： 國立交通大學電子工程學系及電子研究所
計畫主持人： 王聖智
計畫參與人員： 陳宜賢 任慈澄 蔣宗翰 姚文翰 蔡孟修
報告類型： 完整報告
報告附件： 出席國際會議研究心得報告及發表論文
處理方式： 本計畫可公開查詢
中 華 民 國 95 年 5 月 26 日
行政院國家科學委員會補助專題研究計畫
□成果報告
期中進度報告
使用分頻訊號處理之高速行動多媒體傳收器系統研究與設計
子計畫二:無線網路串流視訊之抗錯與錯誤補償技術研究(1/3)
計畫類別：□ 個別型計畫
整合型計畫
計畫編號：NSC 94－2219－E－009－017－
執行期間： 94 年 8 月 1 日至 95 年 7 月 31 日
計畫主持人：王聖智
共同主持人：
計畫參與人員：
陳宜賢
任慈澄 蔣宗翰 姚文翰 蔡孟修
成果報告類型(依經費核定清單規定繳交)：
精簡報告 □完整報告
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、
列管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢
執行單位：交通大學電子工程系
中 華 民 國 95 年 5 月 31 日
使用分頻訊號處理之高速行動多媒體傳收器系統研究與設計
子計畫二:無線網路串流視訊之抗錯與錯誤補償技術研究(1/3)
計畫編號：NSC -94-2219-E-009-017- 執行期限：94年8月1日至95年7月31日 主持人：王聖智 (交通大學電子工程系教授) 計畫參與人員：陳宜賢 任慈澄 蔣宗翰 姚文翰 蔡孟修 (交通大學電子所研究生)一. 中文摘要
在無線傳輸的過程中，通道的特性往往 經常改變，若是在編碼的過程中無法有效掌握 碼率的控制，往往會產生不必要的編碼錯誤及 降低編碼的品質。在這次的進度報告當中，我 們 先針對 影像 編碼之 中碼 率的控 制加 以研 究，藉由適當的控制，使得編碼出最適合通道 狀態的編碼結果。在本次研究當中我們討論的 架構建立在 H.264/AVC 影像編碼標準上，將 針對其 R-D 模型加以討論，主要利用 MAD、 QP 與編碼數的關係去改變原先的模型，實驗 證實能有效的改善傳輸時 buffer 的狀態，更進 一步能對影像品質加強，而得到較佳的編碼結 果。可以有效避免因為碼率控制不當所造成的 編碼瑕疵。 關鍵詞：H.264/AVC、碼率控制、R-D 模型。 In this project, we proposed some modifications over the rate control techniques in H.264 video compression. According to the adaptable control, we can better encode the video to fit the channel requirement. So far, we have discussed the R-D model of the H.264/AVC video standard. Based on the relation among MAD, QP and the encoded bits, we try to modify the original R-D model. The experiments had shown that based on the new model we may better estimate the coding buffer and thus reduce some apparent coding artifacts.Keywords：H.264/AVC、Rate Control、R-D model 圖一. Rate Control 在影像編碼架構圖
二. 進度報告
(1) 背景 現今通訊系統的發達，使得及時視訊傳 輸的重要性變的更加重要，而龐大的視訊資料 在有限的頻寬下傳送，必須仰賴高效率的壓縮 技術，目前較廣泛被研究與應用的壓縮技術， 是由 JVT(Joint Video Team)組織所制定出的 H.264/AVC(Advance Video Coding)影像壓縮 標準，它提供了比先前所有壓縮標準更高的壓 縮效率，特別在高壓縮率的應用，因此在無線 通訊上的應用，使用 H.264/AVC 可以提供相 當好的壓縮效果。 而在通訊的傳輸上，通道將會影響影像的 壓縮品質，低頻寬所可以傳送的資料較少，因 此影像品質會較差，而在高頻寬則能傳送較佳 的影像品質。在影像的編碼端提供了一個機 制，可以依照頻寬的特性調整影像的壓縮率， 進而提供最適合當時頻寬的壓縮品質，這個機 制稱之為碼率控制(Rate Control)。在圖一中， 當資料做完 Entropy Coding 後，會先送到 encoder 的 buffer 等待送入 channel，太多的資料量會使得 buffer overflow，而太少的資料量 則會造成使用的效率過低，因此我們往往藉由 控 制 壓 縮 時 的 量 化 係 數 (Quantization Parameter)去達到最佳的使用效率，這個過程 就是所謂的 Rate Control。在過去的影像壓縮 標 準 都 已 經 制 定 出 適 合 的 Rate Control Model，例如：MPEG-2 的 TM5[1]、H.263 的 TMN8[2] 和 MPEG-4 的 VM-18[3] 。 而 在 H.264/AVC 標準當中，目前也提供了一套 Rate Control 的機制在 Joint Model(JM)[4]之中。而 我們演算法的架構將會建立在此 Joint Model 上面。
(2) 架構
2.1 Joint Model 中 Rate Control 的架構 在 JM 的 Rate Control 的架構當中主要分 為三個階段。1.GOP(Group of pictures)層級， 2.Pictures 層級，3.Basic Unit 層級。在 GOP 層 級當中會計算此 GOP 總共應該編碼出的資料 量，例如：如果頻寬為 64Kbits，每秒傳送 15 張畫面，一個 GOP 大小為 30 張時，則一個 GOP 內可使用的資料大小則為 128Kbits，而在 此層級會控制使得壓縮出來的資料量不會超 出原本預期的大小。另外，在此層級也會決定 每個 GOP 第一張畫面的 QP 值。而在 Picture 層級，將會決定出每張畫面的 QP 值，主要會 分成 Stored 跟 Non-stored 畫面，在 Stored 畫面 會利用當時 buffer 的狀況跟這個 GOP 剩下可 用的資料量來決定出這張畫面的 QP，數學式 可以表示成： , , , , , ( ) ( ) ( ( ) ( )) 0.5 ( 1) ( ) ˆ ( ) ( 1) ( 1) ˆ ( ) ( ) (1 ) ( ) 0.5 i i i i p i i i p i p r b i b r i i i R j T j S j V j f W j B j T j W j N W j N T j T j T j γ γ β β β = + × − = − × = − × + − × = × + − × = % % (1) 在這邊，T 代表要用來編碼的 Target Bits，而 R 代表通道每秒可傳送的資料量，f 則是每秒 須送幾張畫面，S 是預期 buffer 飽滿的程度， 而 V 是當時 buffer 飽滿的程度，B 代表當時 GOP 內剩下可以用的 bits 數，W 代表畫面的 複雜度，而 N 則是畫面的數量。當決定好 Target Bits 後，則需要一個 model 來預測要用多大的 QP 才能達到此 Target Bits，在 JM 裡面所使用 的是之前在 MPEG-4 當中被提出來使用的 quadratic Rate-Distortion model[5]，數學式如 下：
在 這裡σ 表示 做完運 動補 償後兩 張畫 面的 MAD(Mean of Absolute Difference )值，而 m 表 示 header bits 的大小，T 則是之前已經求得的 Target Bits ， 經 由 這 個 式 子 可 以 求 得 出 Quantization Step size(Qstep)的值，最後經由簡
單的轉換就可以得到 QP 值。而在 Basic Unit 層級當中，將會更進一步決定每個 Basic Unit 的 QP 值。首先說明 Basic Unit 的定義，Basic Unit 是由一張畫面中連續的幾個 macroblock 組成的單位，假設今天使用 Basic Unit 的大小 為 11 個 macroblock，則整張畫面將會被分成 數個 Basic Unit，以 QCIF 影像(176×144)為例， 共有 99 個 macroblock，將會被分成 9 個 Basic Unit，所以在此層級當中將會決定出每個 Basic Unit 的 QP 值。如果 Basic Unit 的大小愈小， 則愈能夠滿足一張畫面 Target Bits 的值。上面 簡 單 的 介 紹 完 在 JM 裡 面 所 提 供 的 Rate Control 後，本研究將會針對裡面的架構作調 整，進而希望能得到更佳的控制。 圖二. 固定 MAD 時，QP 跟 Bits 的關係 1 2 2 , , , ( ) ( ) ( ) ( ) ( ) ( ) i i i h i step i step i j j T j c c m j Q j Q j σ σ = × % + × % − (2)
圖三. MAD=0.7695，QP 跟 Bits 的關係 圖四. MAD=2.7383，QP 跟 Bits 的關係 圖五. MAD=3.9297，QP 跟 Bits 的關係 2.2 Rate-Distortion model 在上面已經介紹過目前在 JM 裡面所使 用的 quadratic R-D model，而在最近的研究裡 面有其他人提出不同的 R-D model[6][7][8]， 而我們將會先分析 QP、MAD 跟壓縮出資料量 (Bits)關係，在圖二當我們固定 MAD 之後，可 以發現 QP 跟 Bits 之間可以用二階的多項式來 描述，因此接下來我們利用二階多項式針對不 同的 MAD 值作實驗，觀察是否皆能符合此特 性，圖三、四、五各代表當 MAD 等於 0.7695、 2.7383 和 3.9297 時的結果，各可以代表小中 大的 MAD 值。而二階的多項式可以表示如下： 2
Bits
= ×
a QP
+ ×
b QP
+
c
(3) 在這裡 a、b、c 代表此多項式的係數，我們用 最小平方誤差可以求得此係數，因此不同的 MAD 可以得到不同的係數。 接下來我們利用大量的數據去觀察這些係 數和 MAD 的關係。圖六是針對不同的影像與 不同的 MAD 值所得到 a 跟 MAD 的關係圖， 在 這邊我 們用 簡單的 一維 線性來 描述 此關 係；圖七則是 b 跟 MAD 的關係圖，可以明顯 的發現 b 跟 MAD 並沒有明顯的關係存在，所 以係數我們假設維持不變，最後圖八則是 c 與 MAD 的關係圖，在此可以發現有很重要的關 係存在，經過不同的數學式實驗，最後發現使 用下面式子得到的誤差最小，而且對整體式子 簡化最有幫助： 1 2c
= ×
z
MAD
+ ×
z
MAD
(4) 接下來可以將上面得到的關係，將原本的式子 (3)改寫如下： 圖六. a 與 MAD 之間的關係(
)
2 2 1 2 1 1 2 2 1 2 2 3 4 5 2 2 2 2 1 2 3 4 5 Bits a QP b QP c x x M AD QP y QP z M AD z MAD k MAD QP k MAD k QP k MAD k QP k A B k A k B k A k B A MAD B QP = × + × + = + × × + × + × + × = × × + × + × + × + × = × + × + × + × + × = = (5)圖七. b 與 MAD 之間的關係 圖八. c 與 MAD 之間的關係 而在上面的式子裡面只適用在 non-zero 的壓縮結果，因為當 QP 值超過某個值時，編 碼出來的量都會是零，從圖三到五可以看得出 來，當 QP 超過某個值後壓縮出的 Bits 數都會 是零，在這邊我們稱此 QP 為 Zero Point，而 圖九是 Zero Point 與 MAD 的關係，由圖可以 發現 Zero Point 與 MAD 值呈現正比關係，也 就是說愈大的 MAD 值需要愈大的 QP 才會編 碼為零，所以可以利用此線性關係針對式子(5) 加以限制，改寫如下： 2 2 1 2 3 4 5 1 2 1 2 1 t t t t t t t
Bits k MAD QP k MAD
k QP k MAD k QP MAD h QP QP h QP MAD h QP QP h σ σ = × × + × + × + × + × − ⎧ ≤ × ⎪⎪ = ⎨ − ⎪ − > × ⎪⎩ (6)
圖九. Zero Point 與 MAD 關係圖 上 面 我 們 已 經 建 立 出 了 壓 縮 資 料 量 跟 MAD 與 QP 之間的關係，在這邊的壓縮資料 指的是做完 DCT 轉換、量化一直到 Entropy Coding 後的資料，尚未包含 Header Bits，而在 Rate Control 決定的 Target Bits 是兩者一起包 含的數量，所以接下來我們將針對 Header Bits 的特性作一些分析。
圖十. Macroblock 種類，使用於移動補償[9]
2.3 Header Bits 分析
首 先 說 明 在 H.264/AVC 的 Inter Prediction 提供有多種的 Macroblock Mode，能 夠針對不同的影像內容找到最適合的 mode， 進而能增加 inter prediction 的效能。圖九就是 Macroblock Mode 的種類，愈大的愈適合使用 在影像細節較少的部分，而愈小的 block size 則適合在較複雜的部分。而不同的 Macroblock Mode 所需儲存的 Header Bits 也有不同，圖十 一針對 16×16、16×8、8×16 和 8×8 四種形式的 Header Bits 跟 MAD 的比較，在這邊可以發現 16×16 的 Header Bits 比其他三種來的低，而且 跟 MAD 大小沒有關係，而 16×8 跟 8×16 兩種 形式的 Header Bits 大小相當接近，而且也跟
MAD 大 小 關 係 不 明 顯 ， 但 是 在 8 × 8 的 macroblock mode，可以發現 Header Bits 數量 與 MAD 呈現正比的關係，要說明這個原因首 先要先分析 Header Bits 的組成成分。由表一 可以發現，因為 16×16 只需要存一個移動向 量，而 16×8 跟 8×16 需要存兩個移動向量，所 以後面的 Header Bits 平均來看會比前者來的 高，而在 8×8mode 裡面因為可以更細分為四 種 8×8 的 types，所以需要儲存的移動向量差 異較大，從四個到十六都有，而我們更進一步 觀察造成 Header Bits 差異是否是因為移動向 量的差別，根據圖十二我們可以了解切的愈細 的 block 需要存愈多的移動向量，而所產生的 Bits 數也會愈多，另一方面愈大的 MAD 也愈 容易切成較細 block mode，所以在這邊可以將 8×8mode 的 Header Bits 用一階線性的數學式 來描述此關係：
8 8
Hbits
×= ×
a MAD b
+
(7)而其他的三種 Macroblock Mode 的 Header Bits 則用平均值來代表即可，因此我們將原來 JM 裡的 R-D model(2)改用上面的 model，接下來 作實驗觀察最後得到的結果。
圖十一. Header Bits 與 MAD 之間關係
圖十二. 8×8mode 中，不同數目的移動向量和 Header Bits 與 MAD 之間關係
(3) 實驗結果
我們將我們的 model 跟原本 JM 的 model 作比較，首先設定 Basic Unit 的大小為一個 macroblock，畫面的大小使用 QCIF，Profile 設定在 baseline profile，Frame Rate 設定為 30f/sec，Buffer 大小設定為頻寬的 0.5 倍，GOP 大小為所有的畫面數，也就是只有第一張為 I-frame，而 RDO(Rat Distortion Optimization) 為開啟。在這邊我們選擇的影像為 Bus、Flower 和 Stefan，頻寬為 64Kb。圖十三為 buffer 額滿 的情形，在這邊我們先忽略當 buffer 額滿而造 成的畫面遺失的問題，Target Buffer Level 是指 預期希望 buffer 的位置，而使用我們的 model 跟 JM 原本的比較，可以發現改變 R-D model 後，對於 buffer 更能有效率的控制，也能比較 少發生畫面遺失的問題，而這是因為改變 R-D model 後對於符合
表一. P-slice 的 Macroblock Header Bits 成分
成分 說明
Macroblock skip run 記錄是否為 skip
Macroblock type 記錄為何種 moe
Motion vector 記錄移動向量資訊 CBP(Coded Block Patterns) 記錄被編碼為零的 資料 Delta QP 記錄跟前者 QP 的差
(a) Bus sequence
(b)Flower sequence
(c)Stefan sequence
圖十三. Rate Control 過程 Buffer 的狀態 Target Bits 的誤差有相當的減少，在表 2 我們 定義誤差為實際編碼出來的數量跟預期編碼 數量的平均絕對差值，改善比較是計算改進 量對於原本 JM 誤差的比值，可以發現都有不 小的改善，接下來將針對每張畫面的 PSNR 作比較。經過 model 精確度的改善，可以發 現對於畫面的品質並沒有造成不好的影響，反 而對於 GOP 最後面的幾張影像，因為 buffer 有效的控 表二. R-D model 預測精確度比較 Sequence JM Our Improvement
Bus
569.7 193.7
0.66
Flower
1185.9
995.2 0.16
Stefan
245.2 163.28
0.33
(a) Bus sequence
(b) Flower sequence
(c)Stefan sequence 圖十四. PSNR 的比較
制，使得畫面品質有不小的提升，而對於整體 PSNR 看來也都能有不錯個改善，最後我們比 較此改善對於實際視覺影像上的改進，圖十五 到十七是其實際壓縮出來的影像，可以很明顯 的觀察出來改善的結果，特別是像 Bus 跟 Stefan 在地上的線段，還有 Flower 右半邊花的 (a) JM (b) Proposed approach 圖十五. Bus 第 145 張畫面 (a) JM (b) Proposed approach 圖十六. Flower 第 220 張畫面 部分，這是因為當編碼到畫面的一半時，不精 確的 model 很容易就將這張畫面所分配到的
Target Bits 用完，而造成剩下 Basic Unit 會使 用過大的 QP 來減少編碼出過多的資料數，所 以對於畫面中後面的 Basic Unit 我們能效果不 錯的改善。
(4) 結論
在這篇報告當中，我們針對 H.264/AVC Rate Control 的 R-D Model 分析，然後我們根 據實驗觀察出 MAD、QP 跟 Bits 之間的特性， 而設計出 R-D Model，能有效的利用在影像的 傳輸上，不但能安全的控制 buffer 的狀態，更 能對於影像品質有明顯而重要的影響，分析完 R-D Model 的特性，更進一步的我們需要去討 論如何決定 Target Bits，不論是以畫面為單位 還是 Macroblock 為單位，決定不同的 Target Bits 也會影像畫面的品質，而這是下一步需要 去研究的部分。 (5) 參考文獻
[1] ISO/IEC JTCI/SC29/WG11, Test Model 5, 1993.
[2] ITU-T/SG15, Video Codec Test Model, TMN8,
(a) JM
(b) Proposed approach 圖十七. Stefan 第 50 張畫面
Portland, June 1997.
[3] MPEG-4 Video Verification Model V18.0, Coding of Moving Pictures and Audio N3908, ISO/IEC, JTC1/SC29/WG11, Jan. 2001. [4] Z. Li et al., "Adaptive Basic Unit Layer Rate
Control for JVT," JVT-G012, 7th Meeting: Pattaya, Thailand, March 2003.
[5] H. J. Lee and T. H. Chiang and Y.-Q. Zhang, “Scalable rate control for MPEG-4 video,”
IEEE Trans. Circuits Syst. Video Technol., vol.
10, pp. 878-894, 2000.
[6] Thung-Hiung Tsai and Jin-Jang Leou, “A Rate Control scheme for H.264 Video Transmission.” IEEE International Conference on Multimedia and Expo (ICME), 2004.
[7] Satoshi Miyaji, Yasuhiro Takishima and Yoshinori Hatori, “A Novel Rate Control Method for H.264 Video Coding.” IEEE ICIP vol. 2, 11-14 Sept. 2005
[8] Siwei Ma and Wen Gao, “Rate-Distortion Analysis for H.264/AVC Video Coding and its Application to Rate Control.” IEEE Trans. on Circuits and Syst. For Video Technol.,vol.15,No.12,Dec. 2005
[9] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, and Ajay Luthra, “Overview of the H.264/AVC Video Coding Standard,” IEEE Trans. on Circuits. Syst. Video Technol.,vol.13,No.7,July 2003
