CHAPTER 5. THEORETICAL ANALYSIS ON SVC RATE-DISTORTION
5.2. T HEORETICAL D ATA AND M ODEL A NALYSIS
因為假設在相同 sequence 性質上運作,所以理論分析時給於每個 mode 相同的參數 而實際資料的實驗設定請看 Table 5.2,理論分析的實驗設定請看 Table 5.3。接下來的實 驗會針對 Mode Decision 的因素進行分析,觀察理論分析的結果和實際情況是否符合,
最後利用 model 進行更詳細的解釋。
Table 5.2 :實際資料測試條件
H.264/AVC
解析度:每秒 frame 數 QCIF :15、7.5、3.75 CIF :30、15、7.5
mode 選擇 16x16、16x8、8x16、8x8
Intra 週期 -1
搜尋範圍 32
搜尋型態 Full Search
Table 5.3 :理論分析測試條件
Single-Layer Coding Multi-Layer Coding
intensity variance 100 1000
motion variance 25 100
Positive number K 150 150
correlation between two motion
0.9 0.9
correlation between two noise in EL
0.3 0.3
correlation between two noise between EL and BL
0.6 0.6
Motion Rate rational value No Motion Rate
51
5.2.1 Experiment 1
此實驗觀察理論分析中 QP 對 Mode Decision 的影響,並舉 Single-Layer 為例子和實 際資料比較。理論分析上參數上的設定為 Table 5.3 的設定。而實際 R-D 的取得方法,
是在做 Mode Decision 時實行徹底式搜尋,只針對 sequence 中某一張 frame 記錄不同 mode 時每個 pixel 的平均 R-D。
(a)QCIF ice frame rate (b)理論分析資料 Figure 5.5 Rate-PSNR curve
Figure 5.5(a)中每個點表示某 QP 的 Rate-PSNR,為了方便比較,同一條 Rate-PSNR curve 的 QP 間隔為 5。觀察實際資料紅色圈內,當 QP 很大時,16x16 mode 的 PSNR 最 高且 Rate 需要最少,所以這時候選擇 16x16 能有最佳的編碼效能。相同的道理,觀察 藍色圈內,PSNR 接近 37 時會選擇 8x16,表示當 QP 由大變小時,會漸漸的選擇其他分 割較細的 mode。理論分析中也可以觀察出類似趨勢,因為公式(5.15)中 Distortion 隨 QP 而改變,所以 Figure 5.5(b)中相同 QP 下的點,所需 Rate 最少的 mode 就是編碼效能最 佳的 mode,觀察紅色圈內,明顯 QP 很大時會選擇 16x16,QP 由大變小時,漸漸的改 選了其他 mode。所以本論文所提出之 model 可以在 QP 改變時模擬出類似實際情況的 Mode Decision。
以 model 分析 QP 對 Mode Decision 的影響,觀察公式(5.1)的(A)部分,因為 block center 位置會隨 mode 不同而有差別。在不同 mode 時設定參數 一樣,則 16x16 在(A)部分的值會最大,8x8 的值最小,(B)部分則受到 reference frame QP 影響其大小,
(A)和(B)部分的相互比例明顯影響著 Mode Decision。當 QP 很小時,(A)部分值較大,(B) 較小,不同 mode 時的 covariance 比例上差異較大;QP 較大時,(B)部分值很大,顯得不 同 mode 的 covariance 比例差異變小。在進行 DCT 轉換後,(B)的影響會集中在 DC 值,
如以下的例子所示:
52
1,1 1,2 1,3 1,16 1,1 1,2 1,3 1,16
2,1 22 23 2,1 22 23
T
3,1 32 33 3,1 32 33
16,1 16,16 16,1 16,16
U U = residual covariance 和 DCT domain residual covariance,為了簡化表達過程,將(B)部分都 假設為 a。進行 DCT 後能量集中在 DC 值,表示當 reference frame QP 很大時,DCT domain 的 DC 值會更大,如果想達到相同的 Distortion,DC 值更大會使 DC 值需要更多的 Bit-Allocation,進而造成 MB 需要更多的 Rate。
53
5.2.2 Experiment 2
在理論分析中實行 Inter-Layer Residual Prediction,觀察 BL mode 對 EL 做 mode Decision 的影響,是否和實際情況類似。當 BL mode 不同時,通常有不一樣的 BL residual signal,由於 EL 實行 Inter-Layer Residual Prediction 時必須扣去 BL residual signal,表示 會因 BL mode 不同而扣去不一樣的 BL residual signal,進而影響 Mode Decision。因 SVC 採用 BUEC,先決定 BL mode,再決定 EL mode,所以在 BL mode 固定之下觀察實行 Inter-Layer Residual Prediction 的 EL mode R-D 效能,而本實驗中的 Rate 表示 Residual Rate,不包含 Motion Rate。
BL 16x16
54
Figure 5.6 中,BL mode 已經固定,顯示 EL 在不同的 Inter mode 下實行 Inter-Layer Residual Prediction 的 Rate-PSNR 曲線,figure 中顯示了當 BL mode 不一樣時,Mode Decision 的順序明顯不同,和實際的數據有類似的趨勢。
對 model 進行分析,從 model 中解釋 Figure 5.7 的結果。觀察公式(5.16)的(A) 部分,可以看出 EL 和 BL mode 的 block center 位置影響(A)的值,當 mode 的差異性越 大,像是 16x8 和 8x16 值就越大,若是 16x16 和 16x8,值就相對較小了些,而相同 mode 的情況,必須參看公式(5.20), 會代入適當的值,其值常理來說會小於 EL 和 BL mode 不同時 EL mode 和 BL mode 的 block center 的距離。
55
5.2.3 Experiment 3
QP Difference (QPD)表示 EL 和 BL 間 QP 的差值,此實驗要觀察本論文所提出 的理論分析中 QPD 對 Inter-Layer Residual Prediction 的影響。因為 QPD 和 residual signal 的相關性有一定影響,當 QPD 小的時候,EL 和 BL 的 residual signal 相關性強,這時實 行 Inter-Layer Residual Prediction 可能會得到更好的 R-D 效能。當 QPD 很大時,EL 和 BL 的 residual signal 相關性弱,這時候實行 Inter-Layer Residual Prediction 的 R-D 效能可 能不比 Single-Layer Coding。所以本實驗實行 Inter-Layer Residual Prediction,分別取 QPD 等於 2、4、6 來比較,其他參數設定都跟 Table 5.3 內容一樣,而本實驗中的 Rate 表示 Residual Rate,不包含 Motion Rate。
觀察 Figure 5.7,明顯當 QPD 的值越小,要求 EL 達到相同的 PSNR,則 Rate 所需 越少,反之亦然。這和實際情況相符合。
BL 16x16 EL 16x8
Rate
BL 16x16 EL 8x8
Rate
BL 16x8 EL 16x8
Rate
Figure 5.7 (a)(b)(c)(d)BL 和 EL mode 在各種組合之下實行 Inter-Layer Residual Prediction 的 Rate-PSNR curve
56
5.2.4 Experiment 4
Experiment 3 觀察 QPD 對 EL Rate 的影響,而此實驗要觀察所提出的理論分析 在實行 Inter-Layer Residual Prediction 之下 QPD 對 Total Rate 的影響。實驗設定在 EL QP 相同時,QPD 為 2、4、6,實行 Inter-Layer Residual Prediction,比較 Total Rate 的變化。
實驗設定請參考 Table 5.3,而本實驗中的 Rate 表示 Residual Rate,不包含 Motion Rate。
Figure 5.8 中顯示當 QPD 差距較小時,Total Rate 會更少,和實際數據的情況相同。
BL 16x16 EL 16x8
Rate
BL 16x16 EL 8x8
Rate
BL 16x8 EL 16x8
Rate Figure 5.8(a)(b)(c)(d)不同 QPD 之下的 Rate-PSNR curve
57
5.2.5 Experiment 5
本實驗觀察在 QPD 不同時,實行 Inter-Layer Residual Prediction 時 EL 的 BL usage,BL usage 的定義是 EL 對 BL 的資訊利用度,就是 EL 在使用 BL 參數之下的能 得到多少好處。所以實驗設定實行 Inter-Layer Residual Prediction,加入 EL Single-Layer Coding 和 SVC simulcast 的情況,EL Single-Layer Coding 是在考慮 EL QP 之下計算 Single-Layer Coding 的 Rate-PSNR,simulcast 是指 SVC 中 EL 不實行 Inter-Layer Residual Prediction 的情況計算 Rate-PSNR,需加上 BL Rate,觀察在不同 QPD 時的 BL usage,
QPD = 2、4、6,實驗設定請參考 Table 5.3,而本實驗中的 Rate 表示 Residual Rate,不 包含 Motion Rate。一般來說,EL 和 BL 的 QP 越接近,BL usage 會越高,期望在理論 分析中看到這樣的現象。
(a) (b)
(c)
Figure 5.9 (a)(b)(c)QPD 不同之下的 Rate-PSNR curve
58
在 Figure 5.9(a)(b)(c)中針對三種條件的某一 QP 分析,一般來說,如果 Inter-Layer Residual Prediction 的 Rate-PSNR curve 越接近 Single-Layer Coding,離 simulcast 越遠,
表示其 BL usage 更好。如 Figure 5.9(a)(b)(c)中,把 Single-Layer Coding 和 simulcast 的點 距離用紅色連線顯示,Inter-Layer Residual Prediction 和 simulcast 的點距離用藍色連線顯 示,藍色線段佔紅色線段的比例就是 BL usage 程度比例越高表示 BL usage 越高,反之 亦然,經由計算 Figure 5.9 所舉的例子 QPD == 2 時的 BL usage 是 51%,QPD == 4 時的 BL usage 是 40%,QPD == 6 時的 BL usage 是 24%,所以本論文的理論分析可以顯示 QPD 對 BL usage 的影響,QPD 越小時 BL usage 通常是越高的,這和實際的情況相符合。
以分析 model 的方式來解釋 QPD 的影響,因為固定 Mode Pair 的情況下公式(5.16) 和(5.20)的(A)部分都一樣,主要是 QP 對 noise 的影響,所以對公式(5,19)和公式(5,22) 進行分析:
59