國 立 交 通 大 學
資訊科學與工程研究所
碩 士 論 文
高效能視訊編碼之適應性迴圈濾波器研究
Study of the Adaptive Loop Filter in
High Efficiency Video Coding
研 究 生：陳彥宇
指導教授：彭文孝 教授
高效能視訊編碼之適應性迴圈濾波器研究
Study of the Adaptive Loop Filter in
High Efficiency Video Coding
研 究 生：陳彥宇 Student：Yan-Yu Chen
指導教授：彭文孝 Advisor：Wen-Hsiao Peng
國 立 交 通 大 學
資訊科學與工程工程研究所
碩 士 論 文
A ThesisSubmitted to Institute of Computer Science and Engineering College of Computer Science
National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master
in
Computer Science February 2013
Hsinchu, Taiwan, Republic of China
i
高效能視訊編碼之適應性迴圈濾波器研究
研 究 生：陳彥宇 指導教授：彭文孝
國立交通大學資訊科學與工程研究所 碩士班
摘
要
本論文針對高效能視訊編碼中適應性迴圈濾波器進行研究，適應性迴圈濾波 器可去除重建畫面中量化後的雜訊，提升重建畫面的品質。高效能視訊編碼中適 應性迴圈濾波器是基於整體畫面資訊做濾波器優化，必須等待整張畫面編碼完畢 之後暫存所有區塊的資訊以取得最佳濾波器係數，不僅需耗費額外記憶體空間儲 存，同時也造成編碼延遲的上升。直接套用先前已重建畫面的濾波器係數於目前 的編碼畫面，雖解決編碼延遲的問題，但此方式並非該編碼畫面的最佳濾波器係 數設計。為每個區塊設計一組目前編碼畫面中最佳濾波器係數，雖有效解決上述 問題，但濾波器係數數量可能因畫面大小而呈正比成長。在不考慮編碼延遲上升 的情形下，本論文探討適應性迴圈濾波器對於畫面品質的改善極限，提出基於整 體畫面資訊之濾波器優化演算法，利用階層式四分樹切割方式將畫面作分割後再 以 Bottom-up 的方式進行不規則合併。期望達成單一區塊編碼延遲並同時取得區 塊之最佳濾波器係數。實驗結果顯示本論文提出的演算法在解析度 1920x1080 之視訊序列下平均達 0.3%的壓縮效能提升，而雙區塊編碼延遲之設計則造成 0.3%的壓縮效能下降，但兩種方法皆能有效地提升重建畫面的主觀品質。
ii
Study of the Adaptive Loop Filter in
High Efficiency Video Coding
Student : Yan-Yu Chen Advisor : Wen-Hsiao Peng
Institute of Computer Science and Engineering
National Chiao Tung University
ABSTRACT
The adaptive loop filter (ALF) is mainly used to reduce the quantization noise of reconstructed pictures, and provides, at the same time, a better quality of reference frames for coding future frames. In the High Efficiency Video Coding (HEVC), an optimal filter is derived by minimizing the square error between original and reconstructed frames. Such operation, however, needs an extra memory buffer to store the information, such as all the original and reconstructed pixels, of the current frame, and thus the encoding latency is inevitably risen up. To alleviate such problem, a so-called time-delay filter, which is an optimal filter optimized for a previously coded frame, is applied as if it were found for the current frame. To keep the encoding at single block latency while retaining the filters to be optimal for the current frame, this thesis studies the trade-offs between the coding performance and the encoding latency. A quadtree-like filter optimization algorithm is proposed to improve the coding performance at the cost of a higher rate overhead for signaling filters. As compared with the HM-6.0 software, the proposed scheme achieves BD-rate saving of 0.3%. A negligible BD-rate loss of 0.3% is observed for the two-blocks encoding latency scheme. Although the two approaches do not bring any impact on the coding performance in terms of BD-rate saving, they can still provide noticeable improvement to the visual quality of the reconstructed frames.
iii
誌謝
回顧兩年的碩士生涯，首先我要感謝我的指導教授－彭文孝 博士。彭老師 在學問研究上永遠抱持著追根究柢的精神，訓練我們能夠自己思考問題並且找出 解決問題的方法。在老師的指導之下，讓我能夠順利完成碩士論文。我所學習到 的不只是如何學習做研究，老師對於任何事情的認真態度更是我學習的典範，我 想這對於我往後的生涯絕對是受用無窮。再一次感謝彭老師，致上無限的敬意。 其次我要感謝我的學長－陳俊吉 博士以及李宗霖學長在我的研究上擔任了啟 蒙的指導，不辭辛勞地與我討論，在研究實作上提供了寶貴的意見，並適時從旁 給予建議，使我的碩士生涯不再舉步維艱，在此由衷地致上謝意。 非常榮幸進入多媒體架構與處理實驗室，能夠有熱心與親切的實驗室成員陪 伴是我碩士生涯中最快樂的時光，我要感謝其餘的學長姐們－陳渏紋 博士、吳 崇豪 博士與黃嘉彥學長、陳孟傑學長、曾于真學姊，帶領我進入專業領域；感 謝我的好同學吳牧軒，在研究上遇到挫折時總是能陪伴我抒發心情並給予鼓勵； 感謝我的學弟曹德堅、吳昱興、王信硯、朱弘正，提供我實驗上的幫助。 最後，我要感謝我的父母－陳榮信 先生與林淑芬 女士的栽培，在取得碩 士學位的路途中真的謝謝你們給予我最溫暖的鼓勵，讓我能夠專心地在研究上做 奮鬥。感謝我的弟弟－陳彥霖，不斷地給我加油打氣，使得我在碩士生涯的旅途 上並不孤單。感謝我的老師、家人與朋友們，是你們的支持使我有信心取得學位， 由衷地感謝你們。iv
目錄
摘要 ……… i Abstract ……… ii 誌謝 ……… iii 目錄 ……… iv 圖目錄 ……… vi 表目錄 ……… vii 第一章 緒論 ……… 1 1.1 研究背景 ……… 1 1.1.1 高效能視訊編碼介紹 ……… 1 1.1.2 HEVC 之適應性迴圈濾波器介紹……… 2 1.2 問題闡述 ……… 4 1.3 研究貢獻 ……… 5 1.4 論文架構 ……… 5 第二章 相關研究 ……… 6 2.1 適應性迴圈濾波器分類 ……… 6 2.2 濾波器參數傳送 ……… 92.2.1 適應性參數集 (Adaptive Parameter Set) ………… 9
2.2.2 LCU-based Syntax ……… 9 2.2.3 HM6.0 之濾波器參數傳送 ……… 9 2.2.4 三種濾波器參數傳送方式 ……… 10 2.3 增加單張畫面所允許之濾波器個數 ……… 13 2.4 比較與討論 ……… 14 第三章 濾波器係數優化演算法 ……… 17 3.1 區域分類法之延伸 ……… 17 3.2 不規則四分樹合併演算法 ……… 18
v 3.2.1 四分樹分割 ……… 18 3.2.2 不規則合併法 ……… 20 3.2.3 演算法流程 ……… 21 3.2.4 演算法比較 ……… 22 第四章 實驗結果與討論 ……… 24 4.1 實驗環境 ……… 24 4.2 實驗一：區域分類之延伸 ……… 25 4.3 實驗一分析 ……… 26 4.4 實驗二：不規則四分樹合併演算法 ……… 30 4.5 實驗二分析 ……… 31 4.6 PSNR 比較 ……… 36 4.7 主觀視覺比較 ………. 39 4.8 以列為單位之濾波器優化 ……… 41 第五章 結論 ……… 42 參考文獻 ……… 43
vi
圖目錄
圖(1.1) HEVC 之編碼端架構 ……… 1 圖(1.2) 適應性迴圈濾波器 ……… 3 圖(1.3) 區域分類之區域切割方式 ……… 3 圖(2.1) Laplacian activity 之計算……… 6 圖(2.2) 時間延遲濾波器……… 8 圖(2.3) HM6.0 之 APS Mode……… 9圖(2.4) HM6.0 之 Slice header Mode ……… 10
圖(2.5) Option 1 濾波器參數傳送方式 ……… 10 圖(2.6) Option 2 濾波器參數傳送方式 ……… 11 圖(2.7) Option 3 濾波器參數傳送方式 ……… 12 圖(3.1) 區域分類與區域分類法之延伸比較 ………17 圖(3.2) 四分樹區域分割 ……… 18 圖(3.3) 不規則合併之 Bottom-up 合併方式 ……… 19 圖(3.4) 不規則四分樹區域合併方式 ……… 20 圖(3.5) 不規則四分樹合併之演算法流程 ……… 21 圖(3.6) 區域分類與不規則四分樹合併演算法之濾波器優化差異 ………… 22 圖(3.7) 區域分類與不規則四分樹演算法之 syntax 表示法差異 ………… 23 圖(4.1) QP 為 22 時各演算法使用適應性迴圈濾波器其 PSNR 前後差異 ……… 37 圖(4.2) QP 為 37 時各演算法使用適應性迴圈濾波器其 PSNR 前後差異 ……… 38
圖(4.3) All Intra HE10 BasketballDrill QP37 第 45 張畫面 ……… 39
vii
表目錄
表(2.1) Random Access HE10 區域分類個數之效能比較 ………13
表(2.2) Low Delay B HE10 區域分類個數之效能比較 ………13
表(2.3) 區域分類下且使用時間延遲濾波器 Option 2 與 Option 3 之差異 ……14
表(2.4) 區域分類下且使用時間延遲濾波器 Option 2 與 Option 3 BD-Rate … 15 表(2.5) 區塊分類下且使用時間延遲濾波器 Option 2 與 Option 3 之差異 ……15
表(2.6) 區塊分類下且使用時間延遲濾波器 Option 2 與 Option 3 BD-Rate …15 表(2.7) 使用 Option 2 區域分類與區塊分類之 BD-Rate ………16
表(2.8) 使用 Option 3 區域分類與區塊分類之 BD-Rate ………16
表(4.1) 實驗環境設定 ………24
表(4.2) Random Access HE10 區域分類延伸與區域分類之 BD-Rate ………25
表(4.3) Low Delay B HE10 區域分類延伸與區域分類之 BD-Rate ………25
表(4.4) Intra HE10 區域分類延伸與區域分類之 BD-Rate ………26
表(4.5) Intra HE10 Class B 視訊序列區域分類延伸與區域分類濾波器數量比 較 ………26
表(4.6) Intra HE10 區域分類延伸與區域分類之 Bit-Rate ………27
表(4.7) Intra HE10 區域分類延伸與區域分類之 PSNR 比較 ………28
表(4.8) Intra HE10 區域分類延伸與區域分類之等效比例面積 ………29
表(4.9) Random Access HE10 不規則四分樹合併與區域分類之 BD-rate ………30
表(4.10) Low Delay B HE10 不規則四分樹合併與區域分類之 BD-rate …………30
表(4.11) Intra HE10 不規則四分樹合併與區域分類之 BD-rate ………31
表(4.12) Intra HE10 Class B 視訊序列不規則四分樹合併與區域分類濾波器數量比 較 ………31
表(4.13) Intra HE10 Class B 視訊序列不規則四分樹合併與區域分類 Bit-Rate 比 較 ………32
viii
表(4.14) Intra HE10 Class B 視訊序列不規則四分樹合併與區域分類 PSNR 比 較 ………33 表(4.15) Intra HE10 Class C 視訊序列不規則四分樹合併與區域分類 Bit-Rate 比 較 ………34 表(4.16) Intra HE10 Class C 視訊序列不規則四分樹合併與區域分類 PSNR 比 較 ………35 表(4.17) Intra HE10 每一個 LCU 擁有自身最佳濾波器與區域分類不進行區域合併 之 PSNR 比較 ………36 表(4.18) 各項實驗結果之平均 BD-Rate 比較 ………41
1
第一章 緒論
1.1 研究背景
1.1.1 高效能視訊編碼介紹
高效能視訊壓縮編碼（High Efficiency Video Coding, HEVC）是一個嶄新的視 訊壓縮技術，由 ISO/IEC MPEG 及 ITU-T VCEG 所共同開發。 此新標準的目標是 提供比目前眾所皆知的 AVC 視訊壓縮標準更高的編碼效率，約節省 50%的位元率， 同時可以在高效能（High Efficiency）及低複雜度（Low Complexity）兩種模式下 操作。 其涵蓋了從行動裝置上的 HD 到 Ultra HD 影片的應用，解析度從 WVGA (800x480)到 4Kx2K 或更高解析度影片如 8Kx4K。
HEVC 之編碼端架構如圖（1.1）所示。其中 In-loop filter 包含了下列步驟：解 區塊濾波器（Deblocking Filter），樣本適應性補償（Sample Adaptive Offset, SAO） 以及適應性迴圈濾波器（Adaptive Loop Filter, ALF）。
2
1.1.2 HEVC 之適應性迴圈濾波器
在 HEVC 中，編碼器在進行編碼時會先將輸入的影像切割成大小為 64x64 的 編碼單元，稱之為最大編碼單元（Large Coding Unit, LCU）[1][2]。每一個 LCU 可 以利用四分樹的分割方式進行更深入的切割，可得 8x8、16x16、32x32 以及 64x64 四種尺寸之編碼單元（Coding Unit, CU）。而編碼單元經過量化之後會產生量化誤 差（Quantization error），特別是在 low bitrate 時會造成區塊效應（Block Artifacts）。 為了解決區塊效應的問題，可以使用解區塊濾波器。 但解區塊濾波器的缺點是無法對編碼單元當中的像素進行濾波，因為解區塊 濾波器只會影響編碼單元的邊界，可以減少邊界的像素的量化誤差，而編碼單元 當中的像素其量化誤差依然存在。 另一個缺點是在高精確度的畫面之下（e.g. 45dB），區塊效應通常較不容易被 觀察出來，而量化誤差有如雜訊在編碼單元內充斥其中，因此解區塊濾波器在高 精確度的畫面之下並無法對主觀視覺或是客觀數據有所改善。 為了解決上述兩個問題，提出了適應性迴圈濾波器的做法[3][4]，其中適應性 迴圈濾波器係數是利用 Wiener filter 的方式所取得。透過適應性迴圈濾波器可減少 畫面當中像素的量化誤差，降低原始畫面與重建畫面之間的失真率。對於未來要 進行編碼的畫面來說，參考品質較佳的重建畫面進行畫面間預測（Inter Prediction） 可讓編碼效率有所提升。 適應性迴圈濾波器的形狀如圖（1.2）所示[5]，紅色區塊為進行濾波之像素。 根據濾波器的形狀，以及相對應像素位置的重建畫面訊號與原始畫面訊號可取得 auto-correlation matrix R 與 cross-correlation vector p，由此可得濾波器係數為 w = R-1
p 式(1.1)
取得該像素之濾波器係數之後，即可對濾波器係數以及重建畫面像素值進行線性 組合得到新的像素值。
3
圖（1.2）適應性迴圈濾波器
但若是每一個像素都需要傳送濾波器係數的話，對於傳輸上是一極大的負擔， 於是現階段的做法是利用區域分類的方式（Region-based Approach, RA）將畫面均 勻切割成 16 個區域，每一個區域分配對應的編號（0-15），如圖（1.3）所示。其 中每一個正方形區塊代表一個 LCU，矩形區域的邊界即為 LCU 的邊界，每一個矩 形區域收集資訊之後可取得自己的濾波器係數。區域之間也可進行合併重新取得 並共享新的濾波器係數，接著使用貪婪演算法（Greedy algorithm）得到各區域之 間的合併方式且合併的限制條件必須是鄰近編號的區域才可以進行合併。例如： 區域 3 可以合併的區域為區域 2、區域 4，若是區域 3 想和區域 5 進行合併，則必 須將區域 4 一起合併。使用區域分類可達成多個 LCU 共享一組濾波器係數。 圖（1.3）區域分類之區域切割方式
4 1.2 問題闡述 在現階段的適應性迴圈濾波器參數的取得過程中，是將畫面均勻切割成 16 個 區域，每一個區域擁有自己的濾波器係數，若是想要得到對於目前畫面的最佳濾 波器係數的話，則會遇到兩個問題： 需要額外的記憶體空間紀錄整張畫面的資訊。 造成單張畫面編碼時間延遲，必須看完整張畫面之後才可獲得濾波器係 數。 目前為了解決上述兩個問題，現階段的方法是直接將先前已編碼過畫面的濾波器 係數直接套用在目前的編碼畫面上，雖然解決了編碼延遲，但卻衍生了另外一個 問題： 時間延遲濾波器對於目前編碼畫面而言，並不是最佳的濾波器。 另外濾波器參數的傳送問題上，在現有的 syntax 設計架構上若是區域 3 與區域 6 是使用相同的濾波器係數的話（區域 3、4、 5、6 並不同時合併），則必須傳送兩 組相同的濾波器係數造成冗餘。 為了取得目前畫面最佳的濾波器係數，且不需要額外的記憶體空間紀錄畫面 資訊，直覺上就是讓每一個 LCU 都可以傳送一組濾波器係數。我們今天使用 LCU-based syntax 的方式來進行濾波器係數傳送，其中支援了一些特殊編碼來減少 傳輸位元的數量。我們知道若是每一個 LCU 都可以傳送自己的濾波器係數的話， 對於傳輸上是一極大的負擔，我們想知道在濾波器係數的取得過程中，考慮每一 個切割區域之間的合併以及優化，如果在這樣的前提之下我們可以得到極佳的畫 面品質因而抵銷掉傳輸上所帶來的負擔，則有可能可以達到一個 LCU 參考完當前 資訊獲得濾波器係數，並且壓縮完畢之後立即傳送。 另外在其他的文件中討論濾波器在單張畫面中的個數， 討論了單張畫面中濾 波器數量是否該增加，將原先區域分類（RA）畫面均勻分成 16 個區域增加為 64 個區域，並同樣使用 LCU-based syntax，但區域之間的合併方式仍有所限制。
5 1.3 研究貢獻 本論文的研究工作中，主要目標是希望達到每一個 LCU 參考完當前資訊獲得 濾波器係數後，並可立即傳送。直覺的想法是我們允許每一個 LCU 可以傳送自己 的濾波器參數，因此我們使用 LCU-based syntax 的方式來進行傳送。但因為這樣 的做法必定會造成傳輸上極大的負擔，我們想知道如果利用整張畫面的資訊來達 成濾波器優化後，其畫面品質的提升是否可以抵消掉傳輸上所帶來的負擔。在這 樣的方式之下如果達成極佳的壓縮效率，則有可能可以達到一個 LCU 參考完當前 資訊獲得濾波器係數，並且壓縮完畢之後立即傳送。因此我們提出兩種濾波器的 優化方式： 將原本區域分類（RA）只切成 16 個區域，延伸為每一個 LCU 即為一個區 域，區域間合併方式類似於區域分類（RA）演算法。 將畫面以四分樹分割的方式做最大深度切割之後，利用 Bottom-up 的方式 將區域做合併，其中除了原先四分樹合併方式之外，額外提供了多種區域 合併方式。 由於最後的實驗結果所得到的壓縮效率並不如我們預期，於是我們根據其 他的數據觀察找出壓縮效率為何提升有限。
提出一簡易以列為單位取得最佳濾波器係數（Line-based filter optimization） 以降低編碼延遲。
1.4 論文架構
本論文後續的組織架構為 :第二章介紹適應性迴圈濾波器之相關研究與前人 工作。第三章呈現作者所提出之適應性濾波器係數最佳化演算法。第四章為實驗 結果與分析。最後第五章為本篇論文的結論。
6 第二章 相關研究 2.1 適應性迴圈濾波器分類 在一開始的適應性迴圈濾波器的設計中，是針對每一個像素計算出其適應性 迴圈迴圈濾波器係數，但是每一個像素都有自己的濾波器的話，對於位元的傳輸 量來說是一極大負擔，於是在 2010 年十月，適應性迴圈濾波器是根據像素分類法 （Pixel-based Approach）而取得濾波器係數[6][7]，以像素為單位計算 Laplacian activity 將像素區分成 16 種分類。Laplacian activity 的計算方式如圖（1.3）所示， 計算紅色點的 Laplacian activity 需要鄰近四個點來計算，每一個像素根據分類結果 選擇自己的濾波器係數。解碼端解出濾波器迴圈係數後，還必須計算 Laplacian activity 以對應每一個像素的分類。
圖（2.1）Laplacian activity 之計算
由於用 Pixel-based 方式必須在解碼端額外對每一個像素計算 Laplacian activity 造成複雜度增加，為了解決複雜度增加的問題，2011 年三月，標準會議採納了區 塊分類（Block-based Approach, BA）以及區域分類（Region-based Approach, RA） 兩種濾波器分類方式[8] [9]。
區塊分類（Block-based Approach, BA）
區塊分類（BA）[8]有別於像素分類（Pixel-based Approach）的方式以像素為 單位區分成 16 種分類。計算方向性資訊（directional information）區分成 16 類， 每一個分類分配對應的編號（0-15）並獲得自己的濾波器係數。分類之間也可進行 合併重新取得並共享新的濾波器係數，但合併的限制條件必須是鄰近編號的分類 才可以進行合併。例如：分類 3 可以合併的分類為分類 2、分類 4，若是分類 3 想 和分類 5 進行合併，則必須將分類 4 一起合併。使用區塊分類，一個 LCU 中最多 會使用 16 組濾波器係數。
7
區域分類（Region-based Approach, RA）
區域分類（RA）[9]有別於像素分類（Pixel-based Approach）的方式每一個像 素擁有自己的濾波器係數，造成位元傳輸上的負擔。區域分類將畫面切割成 16 均 勻大小的區域，每一個區域分配對應的編號（0-15），如圖（1.3）所示。其中每一 個正方形區塊代表一個 LCU，矩形區域的邊界即為 LCU 的邊界，每一個矩形區域 收集資訊之後可取得自己的濾波器係數。區域之間也可進行合併重新取得並共享 新的濾波器係數，使用貪婪演算法（Greedy algorithm）得到各區域之間的合併方 式且合併的限制條件必須是鄰近編號的區域才可以進行合併。例如：區域 3 可以 合併的區域為區域 2、區域 4，若是區域 3 想和區域 5 進行合併，則必須將區域 4 一起合併。使用區域分類可達成多個 LCU 共享一組濾波器係數。 2012 年四月，針對適應性迴圈濾波器的分類以及傳送方式進行一連串的討論， 雖然區塊分類法（BA）跟像素分類法（Pixel-based Approach）相比減少了在解碼 端分類計算複雜度，但區域分類法（RA）只要將畫面切割成 16 個區域即可．在考 量計算複雜度與壓縮效率的結果後，決定採用區域分類法（RA）。 從過去到現在，可以看出由最一開始的像素分類法，接著區塊分類法到最後 定案的區域分類法，一個 LCU 中減少了相當多的濾波器數量。在區塊分類（RA） 的方式甚至是讓多個 LCU 共享一個濾波器係數，另外在解碼端也完全不需要額外 計算分類方式。但這意味著若是使用目前畫面資訊取得濾波器係數，需要額外的 記憶體空間將畫面資訊記錄下來以取得每一個區域的濾波器係數，因此會造成編 碼延遲的上升（1 picture encoding latency）。
8 時間延遲濾波器 為了解決編碼延遲的問題，提供了使用時間延遲濾波器的方法達成僅一個 LCU 的編碼延遲。時間延遲濾波器係數獲得方式如下敘述： 時間延遲濾波器[10]的概念是使用先前已編碼過的畫面所獲得的濾波器係數，直接 套用在目前畫面上。如圖（1.4）所示：第 n-1 張畫面編碼完畢後，可以根據其畫 面資訊獲得濾波器係數 Filtern-1。要對第 n 張畫面進行編碼時，直接套用 Filtern-1 在第 n 張畫面。 圖（2.2）時間延遲濾波器 使用區域分類（RA）做濾波器分類，多個 LCU 可以共享相同的濾波器參數， 同時也隱含了編碼端必須收集完畫面資訊之後才可得到每一個區域的濾波器係數。 這樣就需要額外的記憶體空間來記錄畫面資訊，同時也會造成較高的單張畫面編 碼延遲（1 picture encoding latency）。而使用時間延遲濾波器對目前畫面進行編碼 之前，就可以獲得濾波器係數，所以在目前畫面只需要針對每一個 LCU 決定開關 控制，僅一個 LCU 之編碼延遲（1 LCU encoding latency）。
9
2.2 濾波器參數傳送
2.2.1 Adaptive Parameter Set
在 2011 年七月，標準會議採納了 Adaptive Parameter Set（APS）[11]之 High level syntax 傳送方式，將原先在 Picture Parameter Set（PPS）中進行傳送的適應性迴圈 濾波器（ALF）參數改成在 APS 進行傳送。APS 中傳送的 syntax 是屬於畫面階層 的（Picture-level），但是和 Picture Parameter Set（PPS）是有所不同的。APS 所傳 送的參數在每一張畫面之間經常是會改變的，其中包含了適應性迴圈濾波器（ALF） 以及樣本適應性補償（SAO）的參數，舉例來說：適應性迴圈濾波器的係數根據 畫面中的資料特性所取得，所以每一張畫面中的濾波器係數值經常會是不一樣的; 然而 PPS 中所傳送的參數在每一張畫面之間幾乎是不會改變的。為了達到傳輸位 元的節省，將這些經常在畫面之間變動的參數，另外使用 APS 進行傳送是有必要 的。 2.2.2 LCU-Based Syntax 2012 年二月，適應性迴圈濾波器傳送方式採納 LCU-based syntax [12]。使用了 三種特殊的編碼方式：repeat_row_flag，run 以及 merge_up_flag。repeat_row_flag 在每一列的第一個 LCU 傳送，用以表示一整列的 LCU 是否使用相同的適應性迴 圈濾波器參數。run 用來代表目前解碼的 LCU 其後方使用相同濾波器參數的 LCU 共有多少個數。merge_up_flag 則是用以決定當前解碼的 LCU 是否使用與正上方 LCU 相同的濾波器參數。
2.2.3 HM6.0 之濾波器參數傳送
HM6.0 支援兩種濾波器參數傳送模式：APS mode 以及 Slice header mode。 HM6.0
1. APS mode，如圖（2.3）所示。濾波器係數在 APS 中傳送，LCU 的開關控制在 Slice header 中傳送，造成單張畫面之編碼延遲（1 picture encoding latency）。
圖（2.3）HM6.0 之 APS Mode
SPS PPS APS Slice Header Slice Data
on/off control flags coefficients or index
10
2. Slice header mode，如圖（2.4）所示。濾波器係數與 LCU 的開關控制皆在 slice header 中傳送，造成一個 slice 之編碼延遲（1 slice encoding latency）。
圖（2.4）HM6.0 之 Slice header Mode
在 2012 年四月的會期中，針對濾波器的傳送方式、濾波器分類以及濾波器個 數進行了深入的討論[10] [13][14][15]。以下小節介紹三種濾波器係數傳送方式。
2.2.4 三種濾波器參數傳送方式 Option 1
濾波器係數以及 LCU 開關控制在 LCU 階層（LCU level）傳送，如圖（2.5） 所示。在這種傳送方式下，並沒有對濾波器做區域分類或是區塊分類，而是每一 個 LCU 只允許一組濾波器係數。LCU 可以有三種選擇： 1. 使用傳送在 LCU 階層之單一濾波器係數，其濾波器係數是根據該 LCU 的資訊 所取得 2. 根據 index 選擇使用同一張畫面下前面已編碼過的 LCU 之濾波器係數，稱為時 間延遲濾波器（Spatial-delay filter）。 3. 不使用濾波器。 圖（2.5）Option 1 濾波器參數傳送方式
由於只在 LCU 階層傳送濾波器參數的資訊，只會造成一個 LCU 的編碼延遲（1 LCU encoding latency）。
SPS PPS APS Slice Header Slice Data
on/off control flags coefficients or index
SPS PPS APS Slice Header Slice Data
LCU LCU LCU
single filter
on/off control flags coefficients or index
11
Option 2
濾波器係數在 APS 中進行傳送，LCU 開關控制在 LCU 階層（LCU level）傳 送，如圖（2.6）所示。利用區塊分類（BA）或是區域分類（RA）的方式，在 APS 中傳送最多 16 組濾波器係數。一個 LCU 可以有兩種濾波器係數選擇方法： 1. 使用傳送在 APS 之濾波器係數。 2. 不使用濾波器。 圖（2.6）Option 2 濾波器參數傳送方式 APS 所傳送的濾波器係數可用兩種方式取得： 3. 收集目前畫面的資訊以獲得濾波器係數，但是需要額外的記憶體空間紀錄目前 畫面資訊，且造成單張畫面的編碼延遲（1 picture encoding latency）。
4. 使用時間延遲濾波器，在目前畫面編碼之前就可以獲得濾波器係數，只需考慮 LCU 開關控制即可，僅一個 LCU 編碼延遲（1 LCU encoding latency）。
Option 3
Option 3 其實是 Option 1 與 Option 2 的結合，如圖（2.7）所示。除了在 APS 中傳輸濾波器係數之外，每一個 LCU 階層（LCU level）還可以額外傳送濾波器係 數。若是傳送在 APS 之濾波器係數，利用區塊分類（BA）或是區域分類（RA） 的方式可傳送最多 16 組濾波器係數；若是傳送在 LCU 階層之濾波器係數，一個 LCU 只允許一組濾波器係數。一個 LCU 可以有四種濾波器係數選擇方法： 1. 使用傳送在 LCU 階層之單一濾波器係數，其濾波器係數是根據該 LCU 的資訊 所取得。 2. 根據 index 選擇使用傳送在 APS 之濾波器係數。 3. 根據 index 選擇使用同一張畫面下前面已編碼過的 LCU 之濾波器係數，稱為時 間延遲濾波器（Spatial-delay filter）。 4. 不使用濾波器。
SPS PPS APS Slice Header Slice Data
LCU LCU LCU
up to 16 filters
on/off control flags coefficients or index
12
圖（2.7）Option 3 濾波器參數傳送方式 APS 所傳送的濾波器係數可用兩種方式取得：
1. 收集目前畫面的資訊以獲得濾波器係數，但是需要額外的記憶體空間紀錄目前 畫面資訊，且造成單張畫面的編碼延遲（1 picture encoding latency）。
2. 使用時間延遲濾波器，在目前畫面編碼之前就可以獲得濾波器係數，只需考慮 LCU 開關控制即可，僅一個 LCU 編碼延遲（1 LCU encoding latency）。
SPS PPS APS Slice Header Slice Data
LCU LCU LCU
single filter up to 16 filters
on/off control flags coefficients or index
13
2.3 增加單張畫面所允許之濾波器個數
區域分類（RA）是將目前畫面切割成 16 個均勻的區域，每一個區域可以取得 一組濾波器係數。[13]將 16 個區域增加到 64 個區域，濾波器傳送方式同 HM6.0 之 APS Mode，比較壓縮效率的差異。HE10-RA 的測試條件下 16 個區域的 BD-Rate 為-2.8%且 64 個區域的 BD-Rate 為-2.9%；而 HE10-LDB 的測試條件下 16 個區域 的 BD-Rate 為-2.4%，64 個區域的 BD-Rate 為-2.5%。
由實驗數據上可以看出即使將區域個數由 16 增加至 64，壓縮效率並沒有明顯的提 升，所以區域分類（RA）的區域個數仍舊維持 16 個。
表（2.1）Random Access HE10 區域分類個數之效能比較 Anchor: ALF-Off, CTC Seq.
Test: HE10-RA
BD-Rate Y (%) BD-Rate U (%) BD-Rate V(%)
RA16 -2.8 -2.6 -2.7
RA64 -2.9 -2.8 -2.9
表（2.2）Low Delay B HE10 區域分類個數之效能比較 Anchor: ALF-Off, CTC Seq.
Test: HE10-LDB
BD-Rate Y (%) BD-Rate U (%) BD-Rate V(%)
RA16 -2.4 -8.6 -9.8
14
2.4 比較與討論
Option 2 vs Option 3
不論濾波器的分類方式是使用區域分類（RA）或是區塊分類（BA），Option 3 和 Option 2 相比之下，LCU 除了可使用 APS 所傳送的濾波器係數之外，還可以選 用在 LCU 階層所傳送的濾波器係數，濾波器的選擇較有彈性的情況下卻沒有帶來 相對應的壓縮效率提升。且 Option 3 在編碼端還需要取得 LCU 階層的濾波器係數， 複雜度自然比 Option 2 要高。所以在編碼效率以及編碼端複雜度考量之下，決定 使用 Option 2。
表（2.3）中列出考慮區域分類（RA）的方式，且使用時間延遲濾波器（Time-delay Filter）取得 APS 之濾波器係數 Option 2 與 Option 3 之差異，測試條件為 HE10-AI/RA/LDB/LDP，平均的壓縮效率 Option 2 的 Y BD-Rate 為-2.2%；Option 3 的 Y BD-Rate 為-2.2%，如表（2.4）所示。
表（2.3）區域分類下且使用時間延遲濾波器 Option 2 與 Option 3 之差異 Option 2 ALF with RA Option 3 ALF with RA Encoding Latency 1 LCU 1 LCU
Decoding Latency 1 LCU 1 LCU Filter Classification RA RA
LCU on/off Control O O
Time-delay Filter O O
Spatial-delay Filter O
Picture-level Filter O O
15
表（2.4）區域分類下且使用時間延遲濾波器 Option 2 與 Option 3 之 BD-Rate Anchor: ALF-Off, CTC Seq.
Test: Average of
HE10-AI/RA/LDB/LDP
BD-Rate Y (%) BD-Rate U (%) BD-Rate V(%)
Option 2 ALF with RA -2.2 -3.8 -4.0 Option 3 ALF with RA -2.2 -3.3 -3.5
表（2.5）中列出考慮區塊分類（BA）的方式，且使用時間延遲濾波器（Time-delay Filter）取得 APS 之濾波器係數 Option 2 與 Option 3 之差異，測試條件為 HE10-AI/RA/LDB/LDP，平均的壓縮效率 Option 2 的 Y BD-Rate 為-2.5%；Option 3 的 Y BD-Rate 為-2.5%，如表（2.6）所示。
表（2.5）區塊分類下且使用時間延遲濾波器 Option 2 與 Option 3 之差異 Option 2 ALF with BA Option 3 ALF with BA Encoding Latency 1 LCU 1 LCU
Decoding Latency 1 LCU 1 LCU Filter Classification BA BA
LCU on/off Control O O
ALF Redesign
Time-delay Filter O O
Spatial-delay Filter O
Picture-level Filter O O
LCU-level Filter O
表（2.6）區塊分類下且使用時間延遲濾波器 Option 2 與 Option 3 之 BD-Rate Anchor: ALF-Off, CTC Seq.
Test: Average of
HE10-AI/RA/LDB/LDP
BD-Rate Y (%) BD-Rate U (%) BD-Rate V(%)
Option 2 ALF with BA -2.5 -4.0 -4.1 Option 3 ALF with BA -2.5 -3.6 -3.7
16
區域分類（RA） vs 區塊分類（ BA）
表（2.7）我們可以看到使用 Option 2 在區域分類（RA）方式的 BD-Rate 為-2.2%； 區塊分類（BA）方式的 BD-Rate 為-2.5%。 理論上區塊分類方式較為細緻，但是壓縮效率卻沒有有效地提升。由於每一 個 4x4 區塊的分類方式是不需傳送的，代表解碼端需要再一次根據方向性資訊 （directional information）重新計算每一個 4x4 區塊的分類為何，付出額外的計算 複雜度，於是最後濾波器的分類方式僅保留區域分類（RA），且濾波器係數傳送方 式使用 Option 2。 表（2.7）使用 Option 2 區域分類與區塊分類之 BD-Rate Anchor: ALF-Off, CTC Seq.
Test: Average of
HE10-AI/RA/LDB/LDP
BD-Rate Y (%) BD-Rate U (%) BD-Rate V(%)
Option 2 ALF with RA -2.2 -3.8 -4.0 Option 2 ALF with BA -2.5 -4.0 -4.1
表（2.8）我們可以看到使用 Option 3 在區域分類（RA）方式的 BD-Rate 為-2.2%； 區塊分類（BA）方式的 BD-Rate 為-2.5%。
表（2.8）使用 Option 3 區域分類與區塊分類之 BD-Rate Anchor: ALF-Off, CTC Seq.
Test: Average of
HE10-AI/RA/LDB/LDP
BD-Rate Y (%) BD-Rate U (%) BD-Rate V(%)
Option 3 ALF with RA -2.2 -3.3 -3.5 Option 3 ALF with BA -2.5 -3.6 -3.7
17
第三章 濾波器係數優化演算法
3.1 區域分類法之延伸（Region-based Approach Extension）
我們先用較簡單的方式來做濾波器優化的動作，將原本區域分類只將畫面切 割成 16 個區域的方式，延伸為每一個 LCU 即為一個區域。所以會根據不同的畫 面解析度，一開始所允許的濾波器數量會不相同 （1080p 允許 480 個濾波器，480p 允許 96 個濾波器，240p 允許 28 個濾波器）。而區域之間的合併方式我們使用類似 原先區域分類切割成 16 區域並使用特殊的 1-D scan 方式將各個區域合併起來，如 圖（3.1）所示。 (a) 區域分類切割成 16 個區域時之區域合併 (b) 區域分類法之延伸將每一個 LCU 視為一個區域及其區域合併方式 圖（3.1）區域分類（RA）與區域分類法之延伸（RA Extension）比較
18
3.2 不規則四分樹合併演算法（Irregular Quadtree Merge）
3.2.1 四分樹分割 (Quadtree Splitting) 首先我們將整張畫面利用四分樹分割法切割出區域[16][17]，四分樹分割法的 觀念如圖（3.2）所示： 圖（3.2）四分樹區域（Quadtree splitting）分割 深度 0 的區域（區域 0）大小為畫面整體大小，進一步將畫面做四等份的切割後可 得深度 1 的切割方式（區域 1~區域 4），則區域 1，區域 2，區域 3 以及區域 4 為 區域 0 的子節點區域，換句話說區域 0 為父節點區域。區域 1 可再做進一步的四 等份區域切割，得到區域 5，區域 6，區域 7 以及區域 8；區域 2，區域 3，區域 4 以此類推也可以個別切割出四個子節點區域，所以深度 2 一共可切割出 16 個區域。 若是畫面解析度夠高，則可以再做更深度的切割，但是一定要保持 LCU alignment。 將畫面切割至最大深度後，接著會利用 Bottom-up 的方式找出各種區域之間的 最佳合併方式如圖（3.3）所示，使得合併在一起的區域可以共享同樣的濾波器係 數，在圖（3.3）的例子中我們有別於以往四分樹的合併方式，另外提供了多種區 域合併的方式以增加濾波器係數優化的彈性。
19
20 3.2.2 不規則合併法 子節點區域之間的合併方式有別於以往四分樹一次將四個子節點區域合併為 一，使用如圖（3.4）所示之合併方式進行區域之間的合併，共有 12 種子節點區域 合併方式，標記為相同顏色代表合併區域且共享同樣的濾波器。 1 組濾波器 2 組濾波器 3 組濾波器 4 組濾波器 圖（3.4） 不規則四分樹區域合併方式
21 3.2.3 演算法流程 圖（3.5）不規則四分樹合併之演算法流程 1. 根 據 畫 面 解 析 度 大 小 將 畫 面 利 用 四 分 樹 切 割 方 式 切 至 最 深 深 度 ， 利 用 Bottom-Up 的方式決定各階層之子節點是否進行合併，合併方式使用不規則合 併法。畫面得到最佳分割方式後，此時各區域已得其濾波器係數。 2. 考慮 LCU 開關控制，利用位元－失真率決定各個 LCU 是否使用濾波器。決定 使用濾波器的 LCU 設為 ALF on; 否則設為 ALF off。將設定為 ALF on 之濾波 器挑選出來，根據其資訊重新設計濾波器係數。
3. 再次使用不規則四分樹合併演算法決定 Chroma 的濾波器係數，對於 Chroma 並不考慮 LCU 開關控制。也就是說所有的 LCU 都要使用 Chroma 的適應性迴 圈濾波器。
4. 分別將 Luma 以及 Chroma 的濾波器套用在畫面中。
5. 根據位元－失真率比較後決定該張畫面是否使用 Luma 的濾波器或是 Chroma 的濾波器。
22 3.2.4 演算法比較 此章節中我們比較區域分類與不規則四分樹合併演算法兩者之間的差異與相 同之處。如圖（3.6）所示：做濾波器優化時使用區域分類方式我們無法達成某些 區域的直接合併，而使用不規則四分樹合併演算法的話可以解決這樣的問題。但 圖（3.6）b 中有些區域在區域分類下是可以達成合併，但不規則四分樹合併演算 法則無法達成 a 不規則四分樹演算法可達成之濾波器優化 b 區域分類可達成之濾波器優化 圖(3.6) 區域分類與不規則四分樹合併演算法之濾波器優化差異
23
以 Syntax 傳輸方面來比較，圖（3.7）a 我們可以看到若是區域 3 與區域 6 使 用相同的濾波器係數的話，以目前的 syntax 設計架構下必須要傳送兩份相同的濾 波器係數。但是圖（3.7）b 我們是使用 LCU-based syntax，只需要一個 flag 告訴區 域 12 中的 LCU 直接取用左邊已編碼完成 LCU 的濾波器係數即可。
a 區域分類 b 不規則四分樹合併 圖（3.7）區域分類與不規則四分樹演算法之 syntax 表示法差異
24 第四章 實驗結果與討論 4.1 實驗環境 此次工作所提出的兩種濾波器係數優化的演算法皆在 HM-6.0 平台與高效能 視訊編碼所規範之測試條件[18]中實作，在我們的實驗中所使用的測試條件如表 （4.1）所示：
• Intra, high efficiency, 10 bit (AI-HE10)
• Random access, high efficiency, 10 bit (RA-HE10) • Low delay B, high efficiency, 10 bit (LB-HE10)
表（4.1）實驗環境設定
Encoder Configurations RA-HE10 LD-HE10 AI-HE10 Internal Bit Depth 10 10 10 NumOfReference L0:2, L1:2 L0:4
Search Range 64
Bi-Prediction Search Range 4
GOP Size 8 4 1
QP 22, 27, 32, 37
Sequences 1080p, 832x480, 416x240 CU Size 8x8, 16x16, 32x32, 64x64
25
4.2 實驗一：區域分類之延伸（RA Extension）
我們先比較在同樣的濾波器傳送方式下，針對畫面解析度大小給定其允許的 濾波器數量。
從表（4.2）與表（4.3）中可以發現增加濾波器數量會造成壓縮效率降低，特 別是在解析度較高的 Class B 畫面中。在 Random Access HE-10 的測試條件中區域 分類延伸的 BD-rate 為-2.1%；區域分類的 BD-rate 為-2.7%。Low Delay B HE-10 的測試條件中區域分類延伸的 BD-rate 為-1.4%；區域分類的 BD-rate 為-2.1%。
表（4.2）Random Access HE10 區域分類延伸與區域分類之 BD-Rate Anchor: ALF-Off, CTC Seq. Test: HE10-RA RA Extension RA Y U V Y U V Class B -2.1 -2.8 -1.9 -2.7 -3.1 -2.2 Class C -1.8 -2.1 -1.9 -2.2 -2.1 -1.9 Class D -2.8 -0.8 -0.8 -2.8 -0.8 -0.8 表（4.3）Low Delay B HE10 區域分類延伸與區域分類之 BD-Rate Anchor: ALF-Off, CTC Seq. Test: HE10-RA RA Extension RA Y U V Y U V Class B -1.4 -4.7 -4.1 -2.1 -5.2 -4.6 Class C -2.0 -3.7 -4.7 -2.3 -3.9 -4.9 Class D -1.8 -0.8 -1.3 -1.9 -1.0 -1.0
26
4.3 實驗一分析
表（4.4）在 Intra HE-10 的測試條件下，Class B（1920x1080）視訊序列中區 域分類延伸的 BD-rate 為-1.2%；區域分類的 BD-rate 為-1.4%。Class C （832x480） 視訊序列中區域分類延伸的 BD-rate 為-1.0%；區域分類的 BD-rate 為-1.1%。Class D （416x240）視訊序列中區域分類延伸的 BD-rate 為-0.5%；區域分類的 BD-rate 為-0.5%。
表（4.4）Intra HE10 區域分類延伸與區域分類之 BD-Rate Anchor: ALF-Off, CTC Seq. Test: HE10-AI RA Extension RA Y U V Y U V Class B -1.2 -2.8 -2.9 -1.4 -2.9 -3.1 Class C -1.0 -3.9 -4.4 -1.1 -3.9 -4.4 Class D -0.5 -3.3 -3.9 -0.5 -3.3 -3.9 表（4.5）統計了高解析度視訊序列（Class B, 1920x1080）區域分類延伸以及 區域分類兩個實驗的濾波器使用數量，我們可以觀察到區域分類延伸畫面中所使 用的濾波器數量比原本的區域分類僅允許最多 16 組濾波器還要多。
表（4.5）Intra HE10 Class B 視訊序列區域分類延伸 與區域分類濾波器數量比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI Filter Number RA Extension RA S03 22 28.3 11.7 27 15.2 9.3 32 5.9 6.4 37 1.7 4.5 S04 22 22.6 12.1 27 16.8 10.6 32 8.1 9.1 37 2.0 4.6 S05 22 17.7 12.6 27 17.3 11.6 32 11.4 10.4 37 6.8 8.9 S06 22 18.9 12.5
27 27 20.4 11.9 32 14.3 10.2 37 7.5 7.3 S07 22 16.4 9.1 27 20.0 10.9 32 21.7 12.1 37 15.8 10.0 表（4.6）統計出區域分類延伸以及區域分類兩者在傳輸濾波器參數時所需要 的位元率，可以看出區域分類延伸使用較多濾波器個數會造成位元率上升。
表（4.6）Intra HE10 區域分類延伸與區域分類之 Bit-Rate Anchor: ALF-Off, CTC Seq. Test: HE10-AI kbps RA Extension RA S03 22 52.75 19.66 27 37.23 17.61 32 23.23 14.49 37 8.29 11.48 S04 22 43.28 19.33 27 37.71 18.60 32 26.77 17.01 37 9.88 10.60 S05 22 73.60 38.11 27 79.69 39.67 32 68.12 39.00 37 52.18 36.48 S06 22 73.45 35.91 27 85.96 40.21 32 74.27 39.13 37 54.88 32.32 S07 22 81.64 34.05 27 90.83 40.98 32 107.02 48.64 37 93.44 45.90
28 表（4.7）PSNR 的比較，我們可以發現區域分類延伸允許較多的濾波器對於 畫面品質並沒有有所提升，反而比區域分類下降。 表（4.7）Intra HE10 區域分類延伸與區域分類之 PSNR 比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI PSNR RA Extension RA Diff Y U V Y U V Y U V S03 22 42.89 44.72 46.24 42.90 44.72 46.24 -0.01 0.00 0.00 27 41.21 42.92 43.80 41.22 42.92 43.80 -0.01 0.00 0.00 32 39.14 41.52 42.20 39.15 41.52 42.20 -0.02 0.00 0.00 37 36.68 40.51 41.27 36.69 40.51 41.27 -0.01 0.00 0.00 S04 22 41.90 43.65 44.33 41.90 43.65 44.33 0.00 0.00 0.00 27 38.82 41.13 41.38 38.82 41.13 41.38 0.00 0.00 0.00 32 35.77 39.27 39.73 35.77 39.27 39.73 0.00 0.00 0.00 37 32.88 38.00 38.89 32.89 38.00 38.89 0.00 0.00 0.00 S05 22 40.74 41.87 44.39 40.74 41.87 44.39 0.00 0.00 0.00 27 38.08 39.57 42.24 38.08 39.57 42.24 0.00 0.00 0.00 32 35.85 38.50 40.52 35.85 38.50 40.52 -0.01 0.00 0.00 37 33.41 37.66 39.25 33.42 37.66 39.25 -0.01 0.00 0.00 S06 22 41.42 44.52 46.20 41.42 44.52 46.20 0.00 0.00 0.00 27 38.83 42.99 43.97 38.83 42.99 43.97 0.00 0.00 0.00 32 37.06 41.61 42.07 37.06 41.61 42.07 -0.01 0.00 0.00 37 35.08 40.52 40.64 35.09 40.52 40.64 -0.01 0.00 0.00 S07 22 42.66 42.81 44.54 42.66 42.81 44.54 0.00 0.00 0.00 27 37.20 40.84 43.00 37.20 40.84 43.00 0.00 0.00 0.00 32 34.64 39.33 41.72 34.64 39.33 41.72 0.00 0.00 0.00 37 32.22 38.29 40.75 32.22 38.29 40.75 0.00 0.00 0.00 在單張畫面允許較多濾波器的情況下，直覺會認為畫面品質應該要有所提升， 表（4.8）我們觀察單張畫面使用濾波器的等效比例面積，發現區域分類延伸使用 濾波器的等效比例面積低於區域分類。
29 表（4.8）Intra HE10 區域分類延伸與區域分類之等效比例面積 Anchor: ALF-Off, CTC Seq. Test: HE10-AI Area RA Extension RA Diff S03 22 80.3% 82.4% -2.2% 27 80.6% 82.9% -2.2% 32 75.1% 78.0% -2.9% 37 64.5% 67.3% -2.8% S04 22 87.2% 86.1% 1.2% 27 86.8% 86.7% 0.1% 32 81.9% 82.3% -0.3% 37 69.1% 70.2% -1.1% S05 22 82.2% 84.4% -2.2% 27 74.7% 78.3% -3.6% 32 70.0% 73.4% -3.4% 37 60.3% 65.0% -4.7% S06 22 60.3% 64.6% -4.3% 27 64.0% 70.1% -6.1% 32 59.2% 64.3% -5.1% 37 47.4% 52.6% -5.2% S07 22 65.8% 65.7% 0.1% 27 81.1% 82.2% -1.1% 32 80.3% 81.0% -0.7% 37 77.5% 77.8% -0.3%
30
4.4 實驗二：不規則四分樹合併演算法（Irregular Quadtree Merge）
實驗二我們將濾波器的傳送方式改成使用 LCU-based syntax，濾波器係數取得 方式使用不規則四分樹合併，在我們的不規則四分樹合併演算法中，切割至最大 深度時每一個區域擁有自己的濾波器係數。此時幾乎是每一個 LCU 使用一組濾波 器係數，我們利用位元－失真率並以 Bottom-Up 的方式來決定每個子節點區域應 該合併或是分割進行優化，最後可得到對於此畫面最佳的分割方式以及各區域的 濾波器係數，而單一畫面中濾波器所使用的數量遠大於 16 組。實驗結果我們發現 雖然在高解析度畫面（Class B 1920x1080）下在 Random Access HE-10 的測試條件 中不規則四分樹合併演算法的 BD-rate 為-3.0%，如表（4.9）所示；RA 的 BD-rate 為-2.7%。Low Delay B HE-10 的測試條件中不規則四分樹合併演算法的 BD-rate 為 -2.2%；RA 的 BD-rate 為-2.1%，如表（4.10）所示。
表（4.9）Random Access HE10 不規則四分樹合併與區域分類之 BD-rate Anchor: ALF-Off,
CTC Seq. Test: HE10-RA
Irregular Quadtree Merge RA
Y (%) U (%) V (%) Y (%) U (%) V (%) Class B -3.0 -3.1 -2.1 -2.7 -3.1 -2.2 Class C -1.9 -2.0 -1.9 -2.2 -2.1 -1.9 Class D -2.6 -0.7 -0.9 -2.8 -0.8 -0.8
表（4.10）Low Delay B HE10 不規則四分樹合併與區域分類之 BD-rate Anchor: ALF-Off,
CTC Seq. Test: HE10-RA
Irregular Quadtree Merge RA
Y (%) U (%) V (%) Y (%) U (%) V (%) Class B -2.2 -4.2 -3.2 -2.1 -5.2 -4.6 Class C -2.0 -3.6 -4.6 -2.3 -3.9 -4.9 Class D -1.5 -1.4 -2.1 -1.9 -1.0 -1.0
31
4.5 實驗二分析
表（4.11）在 Intra HE-10 的測試條件下，Class B（1920x1080）視訊序列不規 則四分樹合併的 BD-rate 為-1.5%；區域分類的 BD-rate 為-1.4%。Class C（832x480） 視訊序列不規則四分樹合併的 BD-rate 為-1.0%；區域分類的 BD-rate 為-1.1%。Class D（416x240）視訊序列不規則四分樹合併的 BD-rate 為-0.5%；區域分類的 BD-rate 為-0.5%。
表（4.11）Intra HE10 不規則四分樹合併與區域分類之 BD-rate Anchor: ALF-Off,
CTC Seq. Test: HE10-AI
Irregular Quadtree Merge RA
Y (%) U (%) V (%) Y (%) U (%) V (%) Class B -1.5 -3.0 -3.4 -1.4 -2.9 -3.1 Class C -1.0 -4.1 -4.9 -1.1 -3.9 -4.4 Class D -0.5 -3.5 -4.0 -0.5 -3.3 -3.9 表（4.12）統計了高解析度視訊序列（Class B, 1920x1080）不規則四分樹合併 與區域分類兩個實驗的濾波器使用數量，我們可以觀察到不規則四分樹合併畫面 中所使用的濾波器數量比原本的區域分類僅允許最多 16 組濾波器還要多。
表（4.12）Intra HE10 Class B 視訊序列不規則四分樹合併 與區域分類濾波器數量比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI Filter Number Irregular Quadtree Merge RA S03 22 42.0 11.7 27 24.7 9.3 32 14.7 6.4 37 8.5 4.5 S04 22 45.5 12.1 27 28.7 10.6 32 21.6 9.1 37 15.1 4.6 S05 22 60.6 12.6 27 49.2 11.6 32 44.9 10.4 37 31.3 8.9 S06 22 56.8 12.5
32 27 46.4 11.9 32 42.0 10.2 37 29.2 7.3 S07 22 51.3 9.1 27 44.0 10.9 32 55.6 12.1 37 44.8 10.0 表（4.13）統計出不規則四分樹合併與區域分類兩者在傳輸濾波器參數時所需 要的位元率，可以看出前者使用較多濾波器個數會造成位元率上升。 表（4.13）HE10-Intra 測試條件 Class B 視訊序列下不規則四分樹合併 與區域分類之 Bit-Rate 比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI kbps Irregular Quadtree Merge RA S03 22 87.75 19.66 27 53.20 17.61 32 24.33 14.49 37 12.86 11.48 S04 22 95.11 19.33 27 60.40 18.60 32 40.26 17.01 37 26.39 10.60 S05 22 270.60 38.11 27 222.71 39.67 32 187.77 39.00 37 116.33 36.48 S06 22 284.31 35.91 27 225.71 40.21 32 175.97 39.13 37 108.07 32.32 S07 22 288.36 34.05 27 216.15 40.98 32 226.89 48.64 37 166.56 45.90
33
表（4.14）統計出不規則四分樹合併與區域分類兩者 PSNR 的比較，我們可以 發現雖然畫面品質 PSNR 較為改善，但改善的程度仍然有限。
表（4.14）Intra HE10 測試條件 Class B 視訊序列下不規則四分樹合併 與區域分類之 PSNR 比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI PSNR Irregular Quadtree Merge RA Diff Y U V Y U V Y U V S03 22 42.90 44.72 46.29 42.90 44.72 46.24 0.01 0.00 0.05 27 41.23 42.92 43.83 41.22 42.92 43.80 0.01 0.00 0.03 32 39.16 41.51 42.16 39.15 41.52 42.20 0.00 -0.02 -0.04 37 36.69 40.46 41.23 36.69 40.51 41.27 0.00 -0.05 -0.04 S04 22 41.90 43.65 44.38 41.90 43.65 44.33 0.01 0.00 0.06 27 38.82 41.13 41.42 38.82 41.13 41.38 0.01 0.00 0.04 32 35.77 39.28 39.75 35.77 39.27 39.73 0.00 0.00 0.02 37 32.89 38.01 38.89 32.89 38.00 38.89 0.00 0.00 0.00 S05 22 40.75 41.88 44.41 40.74 41.87 44.39 0.01 0.01 0.02 27 38.09 39.58 42.25 38.08 39.57 42.24 0.01 0.01 0.02 32 35.87 38.52 40.54 35.85 38.50 40.52 0.02 0.02 0.03 37 33.43 37.67 39.26 33.42 37.66 39.25 0.01 0.02 0.01 S06 22 41.43 44.54 46.25 41.42 44.52 46.20 0.01 0.03 0.05 27 38.85 43.01 44.03 38.83 42.99 43.97 0.01 0.03 0.05 32 37.08 41.62 42.12 37.06 41.61 42.07 0.02 0.01 0.05 37 35.11 40.49 40.67 35.09 40.52 40.64 0.02 -0.03 0.03 S07 22 42.67 42.83 44.55 42.66 42.81 44.54 0.01 0.02 0.01 27 37.21 40.86 43.00 37.20 40.84 43.00 0.01 0.02 0.00 32 34.65 39.35 41.70 34.64 39.33 41.72 0.01 0.01 -0.02 37 32.24 38.28 40.70 32.22 38.29 40.75 0.01 -0.01 -0.05
34
在我們使用不規則四分樹合併演算法所取得的濾波器參數，對於 Class B 視訊 序列其壓縮效率比 RA 高，但在 Class C 與 Class D 較低解析度的視訊序列其壓縮 效率卻較低。以 Class C 視訊序列為例我們觀察其 bit rate 以及 PSNR 的比較 表（4.15）統計出在 Class C 視訊序列不規則四分樹合併與區域分類兩者在傳 輸濾波器參數時所需要的位元率，可以看出不規則四分樹合併使用較多濾波器個 數會造成位元率上升。
表（4.15）Intra HE10 測試條件 Class C 視訊序列下不規則四分樹合併 與區域分類之 Bit-Rate 比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI kbps Irregular Quadtree Merge RA S08 22 149.59 33.12 27 130.56 32.30 32 101.27 31.69 37 60.54 27.38 S09 22 58.47 25.65 27 55.44 24.98 32 43.97 22.54 37 29.23 18.58 S10 22 26.51 11.59 27 32.37 16.75 32 34.62 16.37 37 26.45 16.64 S11 22 30.78 15.08 27 23.95 12.99 32 18.07 10.07 37 12.13 8.05
35
表（4.16）統計出 Class C 視訊序列不規則四分樹合併與區域分類兩者 PSNR 的比較，我們可以發現畫面品質 PSNR 較為改善。
表（4.16）Intra HE10 Class C 視訊序列下不規則四分樹合併 與區域分類之 PSNR 比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI PSNR Irregular Quadtree Merge RA Diff Y U V Y U V Y U V S08 22 41.98 44.11 44.83 41.97 44.00 44.65 0.01 0.11 0.18 27 38.56 41.38 41.80 38.54 41.29 41.65 0.02 0.10 0.15 32 35.60 39.42 39.60 35.57 39.36 39.50 0.03 0.06 0.11 37 32.96 37.92 37.88 32.94 37.91 37.79 0.02 0.01 0.09 S09 22 42.10 44.24 45.74 42.10 44.25 45.74 0.00 -0.01 0.00 27 39.21 41.87 43.10 39.20 41.88 43.10 0.01 -0.01 0.00 32 36.15 39.97 41.01 36.14 39.98 41.02 0.01 -0.01 0.00 37 33.04 38.55 39.48 33.04 38.56 39.49 0.00 -0.01 -0.01 S10 22 41.21 42.66 43.55 41.21 42.68 43.59 0.00 -0.02 -0.04 27 36.98 39.47 40.29 36.98 39.47 40.29 0.00 -0.01 0.00 32 33.18 37.33 38.03 33.18 37.34 38.03 0.00 -0.01 0.00 37 29.49 35.86 36.46 29.49 35.87 36.49 0.00 -0.01 -0.03 S11 22 42.53 43.95 44.71 42.53 43.95 44.71 0.01 0.00 0.00 27 39.15 40.54 41.92 39.15 40.54 41.92 0.00 0.00 0.00 32 35.73 38.17 40.01 35.73 38.17 40.00 0.01 0.00 0.00 37 32.28 36.73 38.57 32.28 36.73 38.56 0.00 0.00 0.00 在 Class B 以及 Class C 的視訊序列中我們看到由於我們在單張畫面中允許使 用較多的濾波器數量，會造成位元傳輸率的上升。雖然不規則四分樹合併演算法 在各個視訊序列對於畫面亮度（Luminance）有所提升，但畢竟改善的幅度有限， 無法抵銷掉位元傳輸上所帶來的負擔，因而造成整體壓縮效率無法明顯提升。
36 4.6 PSNR 比較 表（4.17）我們讓每一個 LCU 擁有自身最佳的濾波器係數，並與區域分類都 不進行區域之間的合併做比較，也就是說在單張畫面中每一個 LCU 擁有自身最佳 的濾波器係數的情況下濾波器個數與 LCU 個數相等，而區域分類在 Class B 視訊 序列永遠都是 16 個濾波器。不考慮 Bit rate 的情況下，僅觀察兩者 PSNR 的差異 我們可以看到每一個 LCU 擁有自身最佳的濾波器係數時的畫面品質較佳。但在這 樣的實驗設定之下每個濾波器都有自己的濾波器參數理應可以得到較佳畫面品質， 可是在實驗數據中其提升效果有限。
表（4.17）Intra HE10 每一個 LCU 擁有自身最佳濾波器 與區域分類不進行區域合併之 PSNR 比較 Anchor: ALF-Off, CTC Seq. Test: HE10-AI PSNR LCU with its own
filter RA Diff Y U V Y U V Y U V S03 22 42.93 44.80 46.39 42.90 44.72 46.24 0.03 0.08 0.15 27 41.25 43.03 43.95 41.22 42.92 43.80 0.03 0.11 0.15 32 39.18 41.64 42.34 39.15 41.52 42.20 0.03 0.12 0.14 37 36.71 40.61 41.36 36.68 40.51 41.27 0.03 0.10 0.08 S04 22 41.93 43.73 44.49 41.90 43.65 44.33 0.03 0.09 0.17 27 38.86 41.26 41.57 38.82 41.13 41.38 0.04 0.13 0.19 32 35.81 39.44 39.89 35.77 39.27 39.73 0.04 0.16 0.16 37 32.94 38.17 38.99 32.89 38.00 38.89 0.05 0.16 0.11 S05 22 40.77 41.95 44.54 40.74 41.87 44.39 0.03 0.08 0.15 27 38.12 39.68 42.44 38.08 39.57 42.24 0.04 0.11 0.20 32 35.92 38.64 40.74 35.86 38.50 40.52 0.06 0.14 0.22 37 33.50 37.79 39.44 33.42 37.66 39.25 0.08 0.14 0.20 S06 22 41.43 44.66 46.44 41.42 44.52 46.20 0.01 0.15 0.24 27 38.84 43.19 44.28 38.83 42.99 43.97 0.01 0.20 0.31 32 37.09 41.81 42.38 37.06 41.61 42.07 0.03 0.20 0.30 37 35.15 40.68 40.89 35.10 40.52 40.64 0.05 0.16 0.25 S07 22 42.69 42.94 44.68 42.66 42.81 44.54 0.03 0.13 0.14 27 37.23 41.02 43.17 37.20 40.84 43.00 0.03 0.18 0.17 32 34.69 39.50 41.88 34.64 39.33 41.72 0.05 0.17 0.15 37 32.30 38.41 40.84 32.23 38.29 40.75 0.07 0.12 0.09
37 我們觀察單張畫面各種演算法中每一個 LCU 執行適應性迴圈濾波器前後期 PSNR 的差異，圖（4.1）中每一個直條的位置代表畫面中 LCU 的位置濾波前與濾 波後的 PSNR 的差值。其中可觀察到當 QP 值設為 22 時雖然每個 LCU 在開關決策 下大部分的 LCU 都是使用適應性迴圈濾波器的，但是平均來看對於整體畫面的 PSNR 僅有些微的提升。而圖（4.2）觀察到當 QP 值設為 37 時，雖然有部分 LCU 的 PSNR 提升了很多，但是因為在 low rate 的情況下使得很多 LCU 是不使用適應 性迴圈濾波器的，所以 PSNR 平均之後對於整體畫面也是僅有些微提升而已
a 區域分類 b 區域分類之延伸
c 不規則四分樹合併 d LCU 擁有自己的濾波器 圖（4.1）QP 為 22 時各演算法使用適應性迴圈濾波器其 PSNR 前後差異
38
a 區域分類 b 區域分類之延伸
c 不規則四分樹合併 d LCU 擁有自己的濾波器 圖（4.2）QP 為 37 時各演算法使用適應性迴圈濾波器其 PSNR 前後差異
39 4.7 主觀視覺比較 圖（4.3）為五張使用不同濾波器方式的畫面，黑色的方格部分為不使用適應 性迴圈濾波器的區域，ALF off 代表整張畫面都不使用適應性迴圈濾波器。其中我 們可以看到紅色圓圈的位置在 ALF off 時有很明顯的波紋痕跡，而其他四張畫面可 以看到在有使用適應性迴圈濾波器的情形下將波紋痕跡去除。 (a)ALF Off (b)區域分類法 （c）區域分類法之延伸 (d)不規則四分樹合併 (e) LCU 擁有自己最佳濾波器係數
40 圖（4.4）為五張使用不同濾波器方式的畫面，其中我們可以看到藍色圓圈的 位置除了(d)與(e)之外，其他三種方法有很明顯的波紋痕跡。 (a)ALF off (b)區域分類法 （c）區域分類法之延伸 (d)不規則四分樹合併 (e) LCU 擁有自己最佳濾波器係數
41
雖然適應性迴圈濾波器在客觀數據上對於畫面品質的改善僅有些許的提升， 但是從主觀視覺上來看，由於在 high rate 時畫面品質已經夠高，對於人眼來說不 是那麼容易觀察到雜訊的存在，但是在 low rate 的情況下的確可以去除掉雜訊的部 分而且人眼可以辨別出來。
4.8 以列為單位之濾波器優化 (Line-based Filter Optimization)
為了達到較低編碼延遲之適應性迴圈濾波器，我們嘗試做出以列（Line）為單 位之濾波器優化。在這邊的實驗中我們以每兩個 LCU 為單位並取得濾波器係數， 同時每一個 Line 可以決定是否使用來自上方或是左方的濾波器係數，在這樣的做 法之下雖然和時間延遲濾波器（Time-delay Filter）的方式相比平均上還是輸了-0.4%， 但是在 chroma 的表現上和以 LCU 為單位的濾波器優化（LCU –based Filter Optimization）相比有較佳的表現，但在較低編碼延遲的考量下，其整體的表現上 依然是時間延遲濾波器的方式最佳。實驗結果如表（4.18）所示。
表（4.18）各項實驗結果之平均 BD-Rate 比較 Class B, Class C, Class D
Average of HE10-AI/RA/LB Encoding Latency Y (%) U (%) V (%) RA Picture -1.9 -2.8 -2.8 RA Extension Picture -1.6 -2.8 -2.9 Irregular Quadtree Merge Picture -1.8 -2.8 -3.0 Time-delay Filter LCU -1.6 -2.3 -2.4 LCU-based Filter LCU -1.4 -0.2 -0.2 Line-based Filter LCU Line -1.3 -0.7 -0.6
42
第五章 結論
本論文提出兩種參考整體畫面資訊以達到濾波器係數優化：區域分類之延伸 （RA Extension）以及不規則四分樹合併演算法（Irregular Qualtree Merge）並向讓 每一個 LCU 可以傳送自己的一組濾波器係數，其目的在於若是這樣的方法可以獲 得極佳的壓縮效率，我們可以進一步設計新的演算法方式，以達到一個 LCU 參考 完當前資訊獲得濾波器係數，並且壓縮完畢之後立即傳送。雖然在高解析度視訊 序列（Class B, 1920x1080）比現在的區域分類法之適應性迴圈濾波器係數取得方 式較佳，不規則四分樹合併演算法在測試條件 Random Access HE-10 中 BD-Rate 為-3.0%；測試條件 Low Delay HE-10 中 BD-Rate 為-2.2%。Option 2 RA 在測試條 件 Random Access HE-10 中 BD-Rate 為-2.7%；測試條件 Low Delay HE-10 中 BD-Rate 為-2.1%。以實驗一與實驗二的數據及當中的分析來看整體壓縮效率的提 升有限，達成一個 LCU 參考完當前資訊獲得濾波器係數，並且壓縮完畢之後立即 傳送是有難度的。 在我們所提出的演算法中，各個子節點區域之間並無法達成區域合併，此時 應該要再更進一步考慮子節點區域之間的合併，讓合併方式更加彈性以取得最佳 化之濾波器係數。甚至是每一個 LCU 可以再一次決定是否與上方或是左方的 LCU 共享相同的濾波器係數。 在觀察適應性迴圈濾波器對於 PSNR 的改善，在不考慮位元傳輸負擔的情況 下，每一個 LCU 真的根據自身資訊取得最佳的濾波器係數，我們也發現到說這樣 對於畫面品質的改善並不如我們所預期來的有效。儘管在客觀數據上的改善空間 有限，我們在主觀視覺的比較上發現適應性迴圈濾波器的確可以有效地去除掉雜 訊。
43
參考文獻
[1] K. McCann and et al., “Video coding technology proposal by Samsung (and BBC),” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1st meeting, JCTVC-A124, Dresden, DE, April 2010.
[2] I.-K. Kim, K. Sugimoto, K. McCann, B. Bross, W.-J. Han, J. Ohm, and G. Sullivan, “High Efficiency Video Coding (HEVC) Test Model 6 (HM 6) Encoder Description,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th meeting, JCTVC-H1002, San Jose, USA, February 2012.
[3] S. Wittmann and T. Wedi, “Transmission of post-filter hints for video coding schemes,” IEEE Int. Conf. Image Process (ICIP 2007), San Antonio, USA, Sep. 2007.
[4] T. Chujoh, A. Tanizawa and T. Yamakage, “Adaptive Loop Filter for Improving Coding Efficiency,” ITU-T SG16 Contribution, C402, Geneva, April 2008.
[5] M. Budagavi, “CE8.b: ALF with single filter type,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th meeting, JCTVC-H0068, San Jose, USA, February 2012.
[6] T. Wiegand, W.-J. Han, J. Ohm, and G. Sullivan, “High Efficiency Video Coding (HEVC) text specification Working Draft 1,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd meeting, JCTVC-C403, Guangzhou, CHN, October 2010. [7] C.-Y. Chen and et al., “CE8 Subset2: A Joint Proposal on Improving the Adaptive
Loop Filter in TMuC0.9 by MediaTek, Qualcomm, and Toshiba,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th meeting, JCTVC-D119, Daegu, KR, January 2011.
[8] O/IEC JTC1/SC29/WG11 5tI. S. Chong and et al., “CE8 Subtest 2: Block based adaptive loop filter,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th meeting, JCTVC-E323, Geneva, CH, March 2011.
[9] C.-Y. Chen and et al., “CE8 Subtest 2: Adaptation between Pixel-based and Region-based Filter Selection,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th meeting, JCTVC-E046, Geneva, CH, March 2011.
[10] C.-Y. Tsai and et al., “AHG6: Baseline options for ALF,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th meeting, JCTVC-I0157, Geneva, CH, April 2012.
[11] S. Wenger, J. Boyce, Y.-W. Huang, C.-Y. Tsai, P. Wu, and M. Li, “Adaptive Parameter Set (APS),” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th meeting, JCTVC-F747, Torino, IT, July 2011.
44
Video Coding (HEVC) text specification draft 6,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th meeting, JCTVC-H1003, San Jose, USA, February 2012. [13] T. Yamakage, T. Itoh, and T. Watanabe, “CE2.d.1: Number of regions in RA
mode,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th meeting, JCTVC-I0041, Geneva, CH, April 2012.
[14] T. Yamakage and et al., “JCT-VC AHG report: In-loop filtering (AHG6),” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th meeting, JCTVC-I0006, Geneva, CH, April 2012.
[15] T. Yamakage and et al., “CE2: Summary report of Core Experiment on Adaptive Loop Filtering,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th meeting, JCTVC-I0022, Geneva, CH, April 2012.
[16] T. Yamakage, T. Chujoh, and T. Watanabe, “TE10 Subtest 2: Reduction of number of encoding passes for quadtree-based adaptive loop filter (QALF),” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd meeting, JCTVC-C082, Guangzhou, CHN, October 2010.
[17] Takeshi Chujoh, Naofumi Wada, and Goki Yasuda, “Quadtree-based Adaptive Loop Filter,” ITU-T SG16 Contribution, C181, January 2009.
[18] F. Bossen, “Common test conditions,” ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th meeting, JCTVC-H1100, San Jose, USA, February 2012.
