Chapter 2 Background and Related work
2.2 Related work
對於減少 DPB size 的相關研究中,[2]針對 Hierarchical B Picture(HBP)[3]參考 模式提出一個方法來減少 DPB size。而此方法的主要設計概念是以 frame 為單位,
當該張 frame 的 life range 結束時,就將該張 frame 從 DPB 中移除,以減少 DPB 所需儲存的資料量,以達到減少 DPB size 的目標。接下來我們將分別介紹 Hierarchical B Picture 參考模式以及[2]針對 HBP 參考模式下所提出減少 DPB size 的方法。
2.2.1 Hierarchical B Pictures reference scheme
有別於標準 H.264 提供 DPB 內所有 frames 皆可被其他 frame 參考的彈性,
Hierarchical B Picture 參考模式限制了 frame 間彼此的參考行為,並且將 frames
24
依重要性而分層,越底層的 frames 其重要性越高。以下我們舉 4 層的 HBP 參考 模式為例,如 Figure 2-5 所示。其中最底層是以 I-frame 或 P-frame 所組成,而其 他層則由 B-frame 構成。對於所有 B-frame 而言,其所能參考的對象為最鄰近(依 照播放順序)且階層數較低的 frames,如 B3僅能參考 B2以及 B4,而 P-frame 僅 能往前參考同一層最鄰近的 frame。而越底層的 frames 其重要性越高,主要原因 在於被越多的 frame 所參考,而最上層的 frames 皆不會被其他 frames 所參考。
HBP 參考模式的層數可提供彈性做調整,而影響的將是最終所得到的 video quality 以及 H.264 encoder 所編出來的 bit 數。根據我們對於不同 HBP layers 的 統計發現,在固定編碼端所壓縮出來的 bit 數的前提下,其 4-layer HBP 參考模 式相較於其他 layer 的 HBP 所能達到較佳的 video quality,因此,在後續章節中,
我們將以 4-layer HBP 參考模式作為舉例以及參考的對象。
Figure 2-5 Referential behavior between frames in a 4-layer HBP reference hierarchy.
2.2.2 Related work
藉由分析 HBP 參考模式下 frame 間彼此參考的行為,可觀察出每一張 frame 的 life range,以 Figure 2-6 表示 frame 間 data dependency 的關係。可發現 I-frame
25
需等到 B1 解碼完之後其 life range 就會結束,而其他 frames 的 life range 結束時 間亦可得知。另外,由 Figure 2-5 可發現每當最上層的 frames 解碼完成後,其按 照播放順序前一張 frame 的 life range 也一併結束。
Figure 2-6 Data dependency of frames in a 4-layer HBP reference scheme.
根據每一張 frame 其 life range 結束的時間,此篇 work 提出以 frame 為單位,
移除其 life range 已經結束的 frames,來達到減少 DPB size 的目標。Table 2-4 為 每解碼完一張 frame 後,DPB 目前儲存那些 frames 以及那些 frame 的 life range 已經結束可以被移除。以 4-layer HBP 參考模式為例,在解碼正確性的情況下,
DPB 僅需保留住 5 張 frames 的空間即可。而當 HBP 參考模式為 N 層時,其 DPB 需要保留 N+1 張 frames 的空間。
Table 2-4 DPB status when decoding each frame in a 4-layer HBP reference scheme.
26
2.2.3 Summary of related work
根據此篇 work 所提出之方法,當 HBP 參考模式為 N 層時,可將 DPB 縮減 至保留 N+1 張 frames 的空間即可,以 4-layer HBP 參考模式為例,可將 DPB 由 原始需保留 17 張 frames 縮減至僅需保留 5 張 frames 的空間,約可省下 70.5%的 儲存空間。
然而此篇 work 必須限制 H.264 encoder 以 HBP 參考模式做編碼,其所設計的 decoder 才可以得到減少 DPB size 的好處。另外,以 HBP 參考模式所編碼出的 videos,相較於標準 H.264 encoder 而言,在相同 bit rate 的情況下,標準 H.264 所能達到更佳的 image quality,主要是因為 HBP 限制了每一張 frame 所能參考 的對象以及數量。
若將此方法應用在標準 H.264 decoder 上,其所能減少 DPB size 的機會相對 較小,而主要是因為此篇 work 是以 frame 作為移除的基本單位。根據我們對於 標準 H.264,統計所測試的 benchmarks 內每一張 frame 其 life range 的結果,如 Figure 2-7 所 示,可發 現 難以保 證 有機會提早移 除不再使 用到的 frames。
27
Figure 2-7 Accumulated percentage of frames which can be safely removed using the number of the subsequent decoded frames as the horizontal axis.