參考畫面觀察統計與分析

在 HEVC 視訊編碼標準中，如圖 4.3 所示，每個 CTU 會以四分樹的結構往 下劃分成不同大小的 CU，每個 CU 都會進行畫面間預測，以 CU 大小 64×64 為 例，畫面間預測使用了 9 種不同的 PU 模式進行預測，而每個 PU 模式為了找到 最相似的區塊，必須在所有參考畫面中經過 AMVP 後比較 JAMVP找到 MVP，再 經過 ME 找到 MV 並計算 cost 與其他參考畫面比較，最後找到最佳的參考畫面，

其餘 CU 大小 32×32 至 8×8 則依照上述方式進行預測。由第三章節提到距離參

圖 4.3、選擇最佳參考畫面示意圖

考畫面最近的參考畫面，其 RefIdx=0，距離次近的參考畫面，其 RefIdx=1…以此 類推。藉由 8 個不同的標準影像序列來測試，參考畫面為 4 張，編碼張數為 48 張，QP 為 32，分別在不同 CU 深度之下，對於每個 PU 模組選擇最佳參考畫面 索引(RefIdx_best)進行統計，如圖 4.4 所示，大部分的情況 RefIdx_best 都選擇 RefIdx=0，即 RefIdx_best=0，原因是 HEVC 的編準影像中，影像之畫面率大多 數為 50~60 Hz，故影像在時間上的相關性很強，而大部分影像的特徵為背景或 物件移動緩慢，所以與距離當前畫面最近的參考畫面被選擇為最佳參考畫面的機 率最高，因此將 RefIdx_best=0 分類為 Class0，其他參考畫面為 Class1，但是在 HEVC 視訊編碼標準過程中，每個 PU 模組都必須在每張參考畫面進行 ME，才 找到最佳的參考畫面，而這會導致在 PU 結構中有較差的編碼效能。

圖 4.4、最佳參考畫面分佈之機率

然而，在每個 PU 模組中在找到最佳參考畫面之過程非常繁複與耗時，若能 將影像的相關性應用在 PU 結構中的 ME 模組上，就可以進一步改善其龐大的計 算複雜度。為了改善 ME 模組中找尋最佳參考畫面的所需要 cost 的龐大計算量，

我們使用 HEVC 標準模擬平台 HM16.7 作為實驗模擬之條件，接著對於參考畫 面進行觀察與分析，如圖 4.5 所示，BasketballPass 為一段連續影像序列，我們從 中取出兩張畫面，並以圖中紅色方框的位置之實際數據來舉例， 其數據如圖 4.6 與圖 4.7 所示，以參考畫面為 4、 CU 深度為 1、PU 預測模式為 2N×2N 為例，

以 9 個 CTU 來觀察參考畫面的相關性，由第三章節提到距離參考畫面最近的參 考畫面，其 RefIdx=0，距離次近的參考畫面，其 RefIdx=1…以此類推。圖 4.6 為 空間上 RefIdx 示意圖，圖中的數字為 RefIdx，以灰色區塊來觀察，可以發現 RefIdx 具有相同的情況，而由此圖可以看出，RefIdx 在空間上具有很高的相關性。圖 4.7

Frequency of occurrence

RefIdx_best

圖 4.5、BasketballPass 之舉例區塊示意圖

圖 4.6、Depth1_2N×2N 空間上 RefIdx 示意圖

(a)

(b)

圖 4.7、Depth1_2N×2N 時間上 RefIdx 示意圖(a)當前畫面(b)參考畫面

圖 4.8、鄰近 PU 與參考畫面相對位置之 PU 示意圖

由上述所觀察到的 RefIdx 有很高的時空相關性，接著對於每個 PU 的鄰近 PU 與相對 PU 位置，統計 RefIdx 相同的機率，如圖 4.8 所示，當前 PU 區塊為 C，其鄰近 PU 分別為左邊區塊(left: L)、左上區塊(above left: AL)、上面區塊 (above:

A)、右上區塊(above right: AR)，以及相對 PU 位置(co-located: Col)。

統計相同參考畫面之實驗模擬條件為測試平台使用 HM16.7，使用 8 組標準 影像序列來測試，畫面組態為 Low delay，畫面張數為 48 張，QP 為 32。表 4.2 至 4.5 為在編碼過程中，在不同 CU 深度下的當前 PU 之參考畫面與鄰近區塊或 相對區塊是否有相同參考畫面的機率統計結果。由實驗模擬結果可以發現 BQSquare 分別在不同 CU 深度下，參考畫面相同機率相對較低，主要是因為拍 攝鏡頭持續移動，且影像物件較多、複雜，導致相同區塊移動的方向不同，故參 考畫面相同的機率較低。

表 4.2、當前 PU 與鄰近 PU 之相同參考畫面統計表(Depth=0，QP=32) Sequence P(L)% P(AL)% P(A)% P(AR)% P(Col)%

S08_BasketballDrill 70.80 66.77 68.87 67.74 66.77

S09_BQMall 85.72 82.94 83.83 82.72 82.21

S10_PartyScene 78.49 73.98 76.56 72.74 71.57 S11_RaceHorses 82.99 81.67 83.53 82.48 81.47 S12_BasketballPass 82.39 81.20 80.22 75.43 81.85 S13_BQSquare 57.17 47.72 48.70 47.50 40.00 S14_BlowingBubbles 84.13 80.00 84.24 83.80 79.46 S15_RaceHorses 95.87 94.89 95.00 95.33 92.28 Average 79.70 76.14 77.62 75.94 74.45

表 4.3、當前 PU 與鄰近 PU 之相同參考畫面統計表(Depth=1，QP=32) Sequence P(L)% P(AL)% P(A)% P(AR)% P(Col)%

S08_BasketballDrill 65.31 64.20 65.31 64.48 64.51

S09_BQMall 79.88 75.84 76.17 76.03 74.56

S10_PartyScene 72.07 63.37 64.85 62.56 63.08 S11_RaceHorses 77.19 71.46 71.92 71.58 68.76 S12_BasketballPass 81.40 78.54 78.44 77.38 78.34 S13_BQSquare 60.52 47.88 47.88 48.68 45.50 S14_BlowingBubbles 74.04 66.57 68.24 65.38 62.97 S15_RaceHorses 83.31 79.56 80.85 81.39 78.00 Average 74.22 68.43 69.21 68.44 66.96

表 4.4、當前 PU 與鄰近 PU 之相同參考畫面統計表(Depth=2，QP=32) Sequence P(L)% P(AL)% P(A)% P(AR)% P(Col)%

S08_BasketballDrill 75.05 66.01 65.76 65.76 63.17

S09_BQMall 81.30 75.66 76.67 76.29 73.69

S10_PartyScene 72.17 61.93 62.50 61.71 59.43 S11_RaceHorses 75.17 65.65 66.28 66.34 60.57 S12_BasketballPass 80.79 78.08 79.60 79.94 77.72 S13_BQSquare 70.00 55.37 56.11 55.87 54.05 S14_BlowingBubbles 70.48 59.17 75.72 59.91 55.98 S15_RaceHorses 77.15 69.26 68.37 66.79 64.86 Average 75.26 66.39 68.88 66.58 63.68

表 4.5、當前 PU 與鄰近 PU 之相同參考畫面統計表(Depth=3，QP=32) Sequence P(L)% P(AL)% P(A)% P(AR)% P(Col)%

S08_BasketballDrill 80.38 73.73 73.99 73.96 69.35

S09_BQMall 86.70 83.73 82.99 83.88 79.05

S10_PartyScene 75.95 68.01 67.37 67.40 63.07 S11_RaceHorses 77.64 69.68 69.68 69.50 62.89 S12_BasketballPass 88.84 86.17 87.13 86.56 82.86 S13_BQSquare 78.85 70.20 69.54 70.60 66.76 S14_BlowingBubbles 75.44 66.40 67.27 67.49 61.06 S15_RaceHorses 76.23 69.20 67.38 67.42 61.59 Average 80.00 73.39 73.17 73.35 68.33

根據實驗結果得知，在不同深度下，當前 PU 與鄰近 PU 或相對位置發生相 面來的高，故將最後決策的結果分成兩類，RefIdx_best=0 為類別 0(class0)，其他 所有的參考畫面歸為類別 1(class1)，接著，如何建立適合的決策樹，來有效判斷