第二章 相關研究
2.1 可調視訊編碼
2.1.1 基本架構
可調視訊編碼 (Scalable Video Coding, SVC) 是 Joint Video Team (JVT) 以 H.264/AVC 為基礎進而延伸出來的另一套標準,讓視訊編碼能附有調節的功能。
可調視訊編碼主要是由一個基礎層(BL)和多個增進層(EL)所組成,且位於較低層 的增進層是位於較高層增進層的基礎層。層與層之間的可調性,能達到提供給各 種不同的環境和不同的機器設備,且在可調視訊編碼的架構下只需將多層不同品 質的視訊編碼成單一位元串流,當環境或機器的限制下,若只需要某層的視訊品 質,只要擷取單一位元串流中部份的位元串流即可得到此層所提供的視訊品質。
因此,可調視訊編碼的可調節性,可以有效的提供給不同的機器設備或環境,然 而在可調視訊編碼中主要支援三種可調性,其中包含:
空間可調性(Spatial Scalability)
不同層之間提供不同畫面解析度來做調節。
時間可調性(Temporal Scalability)
不同層之間提供不同每秒畫面張數來做調節(frame per second)。
畫質可調性(Quality Scalability)
不同層之間提供不同的畫面品質來做調節。
圖 3 可調視訊編碼所提供的三種不同調節性,由左至右分別為(1)空間可調性(2)時間 可調性(3)畫質可調性。
2.1.2 層與層之間預測
在前一小節中說明可調視訊編碼提供的三種主要的可調性,但在不同層之間 是利用什麼方法來達到可調節的好處呢,就是這小節所要介紹的層與層之間預測 方法(Inter-layer prediction)。在前一節中也有提到可調視訊編碼的基本架構是由 基礎層和增進層所組成,增進層利用層與層之間預測的方法,盡可能的利用基礎 層的資訊來達到減少編碼時所需的位元率。在可調視訊編碼中主要有三種層與層 之間預測方法,包括有:
層與層之間的移動向量預測(inter-layer motion prediction)
層與層之間的殘值預測(inter-layer residual prediction)
層與層之間的畫面內預測(inter-layer intra prediction)
因為位在增進層和基礎層相對位置的 MB(collocated MB)在編碼資訊上擁有非 常大的關係,基礎層的資訊若能適時且有效的給增進層在編碼時所使用,增進層 就可以用最少的位元率來做編碼。接下來的小節中,將介紹三種層與層之間的預 測。
2.1.2.1 層與層之間的移動向量預測
層與層之間的移動向量預測的做法如圖 4 所示,主要是增進層目前編碼的 MB 在做移動估測(motion estimation)時,利用基礎層相對位置 MB 的移動向 量(motion vector, MV)做為預測移動向量(motion vector predictor, MVP),而 且增進層和基礎層做移動估測時所使用的預測畫面是相同的。
圖 4 層與層之間的移動向量預測示意圖
圖 5 層與層之間的殘值預測示意圖
2.1.2.2 層與層之間的殘值預測
如圖 5 所示,增進層在做完移動估測後,原始畫面的 Y 值會和預測畫面的 Y 值相減,此過程稱為移動補償(motion compensation)。在做完移動補償後會得 到一差值,稱做為殘值(residual)。若沒有做層與層之間的殘值預測,則這個殘 值就會在量化(quantization)完後直接去做編碼,但因為兩層之間的資訊關連度 非常的高,兩層間的殘值亦可能非常的接近,因此增進層若有做層與層之間的殘 值預測,增進層會將殘值和基礎層的殘值再做一次相減,使殘值能越少越好,盡 可能減少編碼所需的位元率。
2.1.2.3 層與層之間的畫面內預測
增進層做層與層之間的畫面內預測需要有某種限制,此限制為基礎層相對位 置的 MB 是用畫面內預測(intra prediction)做編碼。然而層與層之間的畫面內 預測如圖 6 所示,基礎層相對位置的 MB 做完畫面內預測編碼且重建後,直接將 此重建後的 MB 做為增進層相對位置 MB 的預測。
圖 6 層與層之間的畫面內預測