C. 以動作向量修正為基礎的抗錯性編碼技術與 以損失畫面修復為基礎 的錯誤修補技術
3.2 Backward Motion Projection
Membership Function of
Temporal Reliability
Membership Function of Spatial Reliability
Fig. C.3.3 Membership function of temporal reliability and spatial reliability.
3.2 Backward Motion Projection
到目前為止我們介紹了許多編碼端錯誤修補
time Error
propagation Missing
frame
time Skip over
Missing frame
Fig. C.3.4 Missing frame skipped decoder.
基於這樣的想法，我們發展出來新的錯誤修
Reference Frame
Missing Frame Forward
projected OF
(a) Forward motion projection
OF
Reference Frame
Missing Frame
OF Backward
projected OF
(b)Backward motion projection
Fig. C.3.5 (a) Forward (b) Backward motion projection.
前向投射的做法中，修復的向量場使屬於「被
Backward Projected
MV Missing
frame
Fig. C.3.6 Missing frame recovery with backward motion projection.
time Missing
frame Missing
frame
Fig. C.3.7 Forward MV projection with intra frame
這樣的做法最大好處在於運算簡單，只需將 後續動作向量做線性的延伸即可，也不需額外對 於intra frame 做考慮。比較前向動作投射方式，
如Fig. C.3.7 所示，由於是使用損失畫面之前的動 作向量，當在損失畫面之前的是inter frame 時，
我們可以使用它的動作向量，但是當前一張畫面 是intra 時，我們就會需要另外找其他向量來做投 射，這樣就需要額外的處理方式。相對若我們使 用的是後向動作投射時，我們是利用受損畫面的 後一張畫面進行動作向量投射，當它屬於 inter frame 時，很自然就使用他的動作向量進行；而若 當他屬於intra 時，雖然沒有動作向量，但是 intra 本來就不需要參考前面的受損畫面，可以直接正 確解出畫面，這樣是屬於最好的情況。所以當我 們採用後向的動作投射作為修補方式時，無論投 射畫面是 intra 或是 inter 都可以正確的進行，不 需額外的處理。
(4) Experimental Results
我們將經過 H.264 壓縮過的視訊檔案通過 2.1.1 的傳輸模擬系統，設定不同的封包損失機 率，觀察使用我們所提出的演算法補償效果，Fig.
C.6.1 是 foreman sequence 經過封包損失率(PLR) 為 1%的通道之後，沒有錯誤修補(without EC)、
前向動作投射(FMP)、以及我們所提出的後向動 作投射(BMP)的 PSNR 比較圖，由於我們的方法 加入了動作向量修正，因此會有比較好的修補效 果。另外由於使用後向動作投射屬於主動性的修 正，在影像邊緣部分也會有比較好的效果，如Fig.
C.6.2 所示。另外我們也討論不同視訊在不同 PLR 下，修補的PSNR 比較，如 TABLE C.I 所示。
TABLE C.III Average PSNR for the considered sequence at different packet loss rates (PLRs).
(5) Conclusion and Future Works
在本文中我們提出了一種新的錯誤修補方 法，利用後向的動作投射，讓解碼視訊在惡劣的 傳輸狀況下，即使發生整張畫面都損失的情況，
仍能有效修補，在作法上也較之前的技術簡單。
為了提升修補的效果，我們也提出了一種新 的動作向量修正技術，藉由動作向量時間域與空 間域的連續性，經過模糊邏輯判斷動作向量之可 靠度之後進行修正，能夠讓錯誤修補時使用的動 作向量更接近真實運動軌跡，讓動作投射更加準 確。
再之後的研究中，我們希望能夠將動作向量 修正的技術移至編碼端，這樣能夠讓解碼端的錯 誤修補更為簡潔快速，也可以增進錯誤修補的效 果。除此之外，在編碼端進行動作向量修正將有 助於更多需要正確動作向量的影像處理技術，例 如時間域畫面內插或是畫面解析度增進技術。應 用動作向量修正技術可以改善編碼動作向量與真 實動作不符時所產生的瑕疵問題。
(6) Reference
[1] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, and Ajay Luthra, “Overview of the H.264/AVC Video Coding Standard,” IEEE
Trans. on Circuits Syst. Video Technol., vol. 13,
No. 7, pp.560 – 576, July 2003Sequence PLR No EC FMP BMP Foreman 1% 32.43 35.26 35.50
2% 29.75 34.51 34.94 5% 24.66 33.52 34.31 Flower 1% 32.66 34.14 34.52 2% 30.45 33.47 34.18 5% 20.65 30.29 32.27 Stefan 1% 31.27 33.43 33.48 2% 26.33 31.91 32.09 5% 18.43 29.20 29.51
[2] Iain E G Richardson, “H.264 and MPEG-4 Video Compression, ” John Wiley, 2003
[3] Thomas Stockhammer, Miska M. Hannuksela, and Thomas Wiegand, “H.264/AVC in Wireless Environment,” IEEE Trans. On
Circuits Syst. Video Technol., vol. 13, No. 7,
July 2003[4] Stephan Wenger, “H.264/AVC Over IP,” IEEE
Trans. On Circuits Syst. Video Technol., vol.
13, No. 7, July 2003
[5] Thomas Stockhammer, Thomas Wiegand, Tobias Oelbaum, and Florian Obermeier,
“Video coding and transport layer techniques for H.264/AVC-based transmission over packet-lossy networks,” Proc. ICIP 2003, vol.
3, September 2003.
[6] J. Klaue, B. Rathke, and A. Wolisz, "EvalVid – A Framework for Video Transmission and Quality Evaluation", In Proc. of the 13th International Conference on Modelling Techniques and Tools for Computer Performance Evaluation, Urbana, Illinois, USA, September 2003.
[7] Chih-Heng Ke, Cheng-Han Lin, Ce-Kuen Shieh, Wen-Shyang Hwang, “A Novel Realistic Simulation Tool for Video Transmission over Wireless Network”, The IEEE International
Conference on Sensor Networks, Ubiquitous, and Trustworthy Computing (SUTC2006), June
5-7, 2006[8] Network Simulator, http://www.isi.edu/nsnam/ns/
[9] Zhang Rongfu, Zhou Yuanhua, and Huang Xiaodong, “Content-adaptive spatial error concealment for video communication,” IEEE
Trans. On Consumer Electronics, vol. 50, Feb.
2004.
[10] Olivia Nemethova, Ameen Al-Moghrabi
and Markus Rupp, “Flexible Error Concealment for H.264 Based on Directional Interpolation,” International Conference on
Wireless Networks, Communications and Mobile Computin, vol. 2, June 2005.
[11] Steven Beesley, Andrew Armstrong, Christos Grecos, “An Edge Preserving Spatial Error Concealment Technique for the H.264 Video Coding Standard,” Research in
Microelectronics and Electronics 2006, Ph. D.,
June 2006.[12] W. M. Lam, A. R. Reibman, and B. Liu,
“Recovery of lost orerroneously received motion vectors,” in Proc. ICASSP’93, pp.
V417-V420, Apr. 1993.
[13] E. T. Kim, S.-J. Choi, and H.-M. Kim,
“Weighted boundary matching algorithm for error concealment in the MPEG-2 video bit stream,” Signal Process., vol. 73, pp. 291–295, Mar. 1999.
[14] Yan Chen, Au, O., Chiwang Ho, and Jiantao Zhou, “Spatio-temporal boundary matching algorithm for temporal error concealment,” Proc. ISCAS 2006, May 2006.
[15] Agrafiotis, D., Bull, D.R., Canagarajah, C.N., “Enhanced Error Concealment With Mode Selection,” IEEE Trans. on Circuits and
Systems for Video Technology, vol. 16, August
2006.[16] M. E. Al-Mualla, C. N. Canagarajah, and D. R. Bull, “Error concealment using motion field interpolation,” Proc. ICIP 1998, Vol. 2, pp. 512—516, October 1998.
[17] Jinghong Zheng, Lap-Pui Chau, “A temporal error concealment algorithm for H.264 using Lagrange interpolation,” Proc.
ISCAS 2004, vol. 2, May 2004.
[18] Jae-Young Pyun, Jun-Suk Lee, Jin-Woo
Jeong, Jae-Hwan Jeong, and Sung-Jea Ko,
“Robust error concealment for visual communications in burst-packet-loss networks,” IEEE Trans. On Consumer
Electronics, vol. 49, November 2003
[19] S. Gnavi, M. Grangetto, E. Magli, and G.
Olmo, “Comparison of rate allocation strategies for H.264 video transmission over wireless lossy correlated networks,” in Proc.
ICME\—IEEE Int. Conf. Multimedia and Expo,
2003.[20] E. N. Gilbert, “Capacity of a burst-noise channel,” Bell Syst. Tech. J., vol. 39, pp.
1253-1265, Sept. 1960.
[21] E. 0. Elliott, “Estimates of error rates for codes on burst-noise channels,” Bell Syst. Tech.
J., vol. 42, pp. 1977-1997, Sept. 1963.
[22] S. Belfiore, M. Grangetto, E. Magli, G.
Olmo, “Concealment of whole-frame loss for wireless low bit-rate video based on multiframe optical flow estimation,” IEEE Trans.
Multimedia, vol. 7, no. 2, pp. 316-329, Apr.
2005.
[23] S. Belfiore, M. Grangetto, E. Magli, G.
Olmo, “An error concealment algorithm for streaming video,” Proc. ICIP 2003, 2003.
[24] Baccichet, P.;and Chimienti, A., “A low complexity concealment algorithm for the whole-frame loss in H.264/AVC,” IEEE 6th
Workshop on Multimedia Signal Processing,
October 2004.[25] P. Baccicht, D. Bagni, A. Chimienti, L.Pezzoni, and F. Rovati, “Frame concealment for H.264/AVC decoders,” IEEE Trans.
Consumer Electronics, vol. 51, no. 1, pp.
227-233, Feb. 2005.
[26] Zhenyu Wu and J. M. Boyce, “An error concealment scheme for entire frame losses
based on H.264/AVC,” Proc. ISCAS 2006, May 2006.
[27] A. M. Tekalp, Digital Video Processing.
Englewood Cliffs, NJ: Prentice- Hall, 1995.
Fig. C.6.1 Performance comparison on the Foreman sequence (packet loss rate 1%).
Fig. C.6.2 Example of concealed frame (flower sequence, PLR 2%);
(top left) concealed frame by FMP;
(top right) concealed frame by BMP;
(bottom left) residual by FMP;
(bottom right) residual by BMP.
成果自評
本次計畫中，我們達成了三項成果。第一，
我們成功的在TI DSP 實驗版上，根據 H264/AVC 的影像壓縮規範，實現了一個即時影像傳輸系 統。此系統包含影像接收-壓縮-網路傳送端，以 及網路接收-解壓縮-播放端。當一端送出經過 H.264/AVC 編碼技術壓縮過的資料，經過網路傳 輸後，可以被另一端收到並進行解碼。此外，我 們也採用了多線程緒以及平行化的方式，來達到 即時執行的目的。而本專案所撰寫之程式碼，日 後除了可供學界研究外，也可供業界日後的參考 與使用。
此外在本計畫中，我們也針對 H264/AVC 原 始的碼率控制做一改善。我們首先分析量化參 數、移動補償資料與壓縮後資料量之間的關係，
進而針對壓縮後的檔頭資料作分析，然後重新建 立一個針對 H.264 /AVC 編碼特性的碼率失真模 型。對於每張畫面的位元配置，我們也利用前後 張影像的資料關係去調整，以改善影像品質跟穩 定度。最後，為了改良原本使用在 JM 上的 MAD 值預測，我們利用移動向量來預測每個巨區塊的 MAD 值。整合上述的方法，能改善原本在低碼率 時在緩衝器上的不佳效果，特別是藉由較精準的 碼率失真模型能預測出準確的量化參數。經過實 驗，可以發現在緩衝器的穩定性上能有不錯的效 果，在影像品質上更能獲得明顯的效果。
最後在本次計畫中，我們也完成在解碼端一 種新的錯誤修補方法，利用後向的動作投射，讓 解碼視訊即使發生整張畫面都損失的情況，仍能 有效修補，在作法上也較先前的技術簡單許多。
在解碼端，我們也提出了一種新的動作向量修正 技術，藉由動作向量時間域與空間域的連續性，
經過模糊邏輯判斷動作向量之可靠度之後進行修 正，能夠讓錯誤修補時使用的動作向量更接近真 實運動軌跡，讓動作投射更加準確。以上兩項研 究成果除了具有學術上之創新價值外，事實上也 具有工業界的實用性。