行政院國家科學委員會專題研究計畫 成果報告
運用基因演算法於熱門視訊廣播技術之錯誤控制研究
計畫類別： 個別型計畫 計畫編號： NSC93-2213-E-151-021- 執行期間： 93 年 08 月 01 日至 94 年 07 月 31 日 執行單位： 國立高雄應用科技大學資訊管理系 計畫主持人： 丁建文 計畫參與人員： 黃凱祥、廖國羽、王椿詠 報告類型： 精簡報告 處理方式： 本計畫涉及專利或其他智慧財產權，1 年後可公開查詢中 華 民 國 94 年 10 月 31 日
摘要
本計劃探討在 next-generation Internet 的環境（有線網路結合各類無線接取技術），如 何在隨選視訊廣播的架構下，利用FEC錯誤修復機制使隨選視訊的廣播視訊串流可以得到 最佳的修復效果。此外，本計畫也探討如何在隨選視訊廣播系統的架構中利用接收端的動 態調整克服有線/無線網路頻寬不穩定的現象。Abstract
This project explores how to perform efficient error control for broadcast on-demand video streams over the next-generation Internet. In addition, this project also discusses how the mobile users employ adaptive reception schemes to overcome the network bandwidth fluctuation problem.
1. 研究目的
目前，網際網路(Internet)與絕大多數的網內網路(Intranet)所執行的通訊協定為IPv4（由 於 CIDR 與 NAT 技術的發展，IPv6 可能延後數年或更久才有可能全面普及），但 IPv4 僅提供 best effort 的傳輸品質，所以封包傳輸的過程中可能遭遇：(1) 錯誤與被丟棄；(2) 可使用網路頻寬不穩定; (3) 傳輸時間不確定等現象。因此目前的 Internet 無法提供「隨選 視訊」或「視訊會議」這一類具即時性應用程式可接受的傳輸服務。雖然這些問題可以透 過一些最新發展的「具服務品質保證」(QoS-guaranteed) 的通訊協定來解決（例如：IEEE 802.11 WLAN 的 802.11e 標準[2]，UMTS WWAN 制定的四類 QoS 服務[15]，然而由 於這些 QoS 機制所需消耗相當大的網路資源，目前尚未廣泛啟用。 對於熱門視訊廣播而言，因為使用者可能多達數萬或數十萬人，網路傳輸錯誤或頻寬 變動將對收視品質將造成相當廣泛的影響，若能於傳送過程中提供適度的錯誤控制或頻寬 調適控制將可確保大多數使用者可享有良好的收視品質[10]。本計劃探討在 next-generation Internet 的環境（有線網路結合各類無線接取技術），如何在隨選視訊廣播的架構下，利用 FEC錯誤修復機制使隨選視訊的廣播視訊串流可以得到最佳的修復效果。此外，本計畫也 探討如何在隨選視訊廣播系統的架構中利用接收端的動態調整克服有線/無線網路頻寬不 穩定的現象。
2.文獻探討
有鑑於無線網路頻寬相當有限，且易變動，易錯誤，目前已有相當多的研究從事 wireless video streaming的傳輸錯誤控制及可用頻寬調適控制的研究[19]。這類研究又可分成 兩大類：unicast streaming 與 multicast streaming[4]。然而，一般研究將隨選視訊服務視為 unicast 與 multicast streaming 的簡易應用，並未特別針對隨選視訊系統的特性進行探討。 事實上，這樣的觀點並不正確，隨選視訊系統的視訊串流間有很高的相依性存在，如果直 接將一般 unicast 與 multicast streaming 的 QoS 控制方法套在隨選視訊系統，得到的效果 是很差的。本計畫探討隨選視訊系的傳輸錯誤控制及接收端的可用頻寬自動調適控制。本 計畫的研究架構是基於三種重要的機制上：(1)可擴展性視訊編碼; (2) 隨選視訊廣播技術; (3) FEC錯誤修正碼。相關文獻摘要如下。2.1可擴展性編碼的相關文獻探討
為網路本身具備許多不穩定的變數，新一代的視訊編碼標準多採可擴展性編碼。可擴 展性編碼的壓縮生產生許多個子串流(substreams)，其中一個是 base stream，它可以獨立解 碼，輸出粗糙品質的視訊。其他的 substreams 稱為 enhancement substreams，產生視訊品 質增強的效果。如果接收端可以收到所有的 enhancement substreams，則可還原出最好品質 的視訊。相對的，如果接收端僅可收到部分 enhancement substreams，則輸出的視頻在畫面 的雜訊比(signal to noise ratio)，畫面大小，或者畫面速率上較差。這三方面構成了三種基本 的可擴展性編碼技術：SNR/spatial/temporal scalability[3]。具體的可擴展壓縮選擇其中的某 一種或幾種實現擴展性。最近，為了提供更好的網路適應力，一種被稱為細粒度擴展性 （FGS）的新編碼機制已被MPEG-4標準所採用[6][7]。FGS編碼把視訊壓縮成兩個子串流︰ base substream 和enhancement substream。與SNR擴展性的編碼不同，FGS採用bitplane編碼。 它可以實現連續的網路速率與視訊品質改善控制。一個FGS編碼的變體是PFGS(progressive FGS)編碼，除了具有FGS的基本優點外，PFGS可以實現超過兩個位流層，具有更好的預測 和錯誤恢復能力[5]。
2.2 隨選視訊廣播演算法的相關文獻探討
為節省隨選視訊服務的龐大頻寬需求，目前已有相當多種隨選視訊廣播技術被提出， 例如：pyramid broadcasting[18], harmonic broadcasting[12], fast broadcasting[13], pagoda broadcasting[8], new pagoda broadcasting[9], and recursive frequency-splitting broadcasting[21]。大部分隨選視訊廣播演算法的做法如下：首先，將影片內容切割成許多 等片段(video segments); 然後，在不同的廣播頻道上，使用不同的廣播頻率，重複廣播這些 片段。當一位用戶在收看任何一個片段時，這些廣播演算法可確保在本片段播放完成前， 下一個片段可被即時收進來，以確保影片播放的連續性。由於廣播的本質使然，每一個用 戶須點選影片時須等待第一個片段開始廣播之後才能開始收看，這時間稱為「服務起始延 遲時間」。 2.3 傳輸錯誤機制的相關文獻探討 視訊資料在網路傳輸時會有錯誤情況發生，例如封包遺失或位元錯誤，處理錯誤的方 法有下列四種方式：(1) FEC：使用多傳多餘資料去修正錯誤 [4]; (2) Retransmission：如果 資料發生錯誤，會重新發送封包，但此方法於即時視訊傳輸的限制下不可運作；3) Error Resilient Encoding：錯誤發生時，可利用鄰近的封包，將發生錯誤的封包重構[16][22]; (4) Error Concealment：(a) Spatial Interpolation：固定一個時間點，觀察到信號在空間中的大小， 如果發生錯誤，會忽略某些pixel，以鄰近點重構出新的資訊; (b) Temporal Interpolation：固 定一個觀測點, 看信號對時間的變化，當某些資料遺失時，利用先前的框架，建構出資料 [23]。方法(1), (2)屬於應用程式的技術；但方法(2)較不具即時性，故不太適合視訊資料的傳 輸。方法(3), (4)屬於壓縮方法的技術，一般實現於codec中，不同的壓縮標準有不同的處理 方式。本計畫採方法(2)。
3. 研究方法
3.1 系統架構 我們提出一個具動態調適性之架構來提供個人化熱門影片串流的服務，該架構可適用 於下一代Internet的架構。如圖一所示，該架構由四個基本功能所組成的部分：(1)可擴充性影像編碼和解碼模組；(2) 隨選視訊廣播和接收模組；(3)在基地站(or access point)的可調適 性錯誤處理模組；(4) 在基地台(or access point)和客戶的網路狀態監控模組。透過可擴充性 影像編碼和解碼模組，視訊串流可能被分成兩個substreams，base substream 和 enhancement substream。對每個無線區域來說，只有base substreams需要網路資源消耗性高的QoS服務來 提供網路頻寬的保證。所有enhancement substreams 利用該區域剩餘的網路頻寬，無需使用 網路資源消耗性高的QoS服務。Base substreams 的資料傳輸率可根據該區域可提供的QoS 服務是先決定。透過隨選視訊廣播和接收模組，系統能克服無線網路的有限的網路頻寬問 題，因此能提供大量用戶個人化的視訊串流服務，服務起始延遲時間從幾秒到幾分鐘的範 圍內。透過可調適性錯誤處理模組，系統能根據可用網路頻寬的變化，動態調整不同串流 使用的packet-level FEC和byte-level FEC 的量，已達成系統最佳的防錯能力。藉由網路監控 模組，基地台(或access point)和客戶能查覺網路狀況並且給其他需要網路狀態的模組。
圖一 系統架構圖 3.2 可調適性錯誤控制
FEC的錯誤控制可分成兩個部分：(1) byte-level FEC，主要在解決封包中資料傳送錯 誤或遺失，較適用於無線網路傳輸; (2) packet-level FEC，主要在解決資料傳送過程中封包 遺失的問題，較適用於有線網路傳輸[10][11][14][17][20]。
雖然byte-level FEC與packet-level FEC可以解決不同層級的傳輸錯誤，不過會耗費額 外的頻寬去傳送FEC資料。在每部影片的熱門程度不一樣的情況下，如何將有限的錯誤保 護資訊分配給不同的視訊串流是一個需要最佳化決策的問題。此外，不同影片片段的大小 相同，視覺重要程度相同，但因廣播頻率不同，耗費網路傳輸頻寬程度不同。如何將有限 的錯誤保護資訊分配給不同的視訊串流的不同片段也是一個需要最佳化決策的問題。最佳 化決策的問題模型可簡述如下（進一步的最佳化細節請參考[29]）：
令F代表available bandwidth used for FEC protection. 令 ,b
i j
BF 代表byte-level FEC used for the base substream of segment j of video i.
令 ,e i j
BF 代表byte-level FEC used for the enhanced substream of segment j of video i.
令 ,b i j
PF 代表packet-level FEC used for the base substream of segment j of video i.
令 ,e i j
令 u k
g 代表 the useful data received by user k
令 s, i j
g 代表 the useful data of segment j of video i received by users
令代表 the access probability of video ii
令 fi j, 代表 the broadcasting frequency of segment j of video i 目標函數為： uk i js, ( i, i j, ) k i j g g f
頻寬限制條件為： ,b ,e ,b ,e i j i j i j i j i j BF BF PF PF F
3.3 可調適性接收控制 除了熱門視訊廣播服務的錯誤控制外, 本計畫也探討在無線網路頻寬變動下，隨選視 訊之行動用戶端如何動態選擇要接收broadcast enhancement substreams 的哪些資料。在這個 部分的研究我們採用fast broadcasting(FB)的視訊廣播演算法[13]，原因是該方法可以簡易數 學公式描述，易於實做，且支援無縫隙的頻道轉換機制[26]。我們探討了傳統的可擴充性編 碼(SNR/spatial/temporal scalability)，也探討了FGS可擴充性編碼。這部分在計畫執行期間已 有部分研究成果發表[1][24][25]。 行動用戶端由於手持設備異質性的緣故，以及網路頻寬變動的緣故，可採用下列幾類 不同的接收策略。 即時接收法(On-Time Reception Scheme)：
在原本的FB廣播法中，採用的接收方式為即時接收法(ORS)，意即接收端在各個 時槽對每一個廣播頻道所送出的影片片段作判斷，當某一片段下一次廣播的時 間，並未超過該片段的播放時間，則在本次的時槽不接收該片段；反之，若該片 段下次出現的時槽已經超出了該片段的播放時間，則在此時槽立即作接收，這是 採即時接收的基本精神。將這樣的接收方法延伸至可擴展性編碼的加強層部分， 我們稱之為即時接收法。
貪婪式接收法(Greedy Reception Scheme)：
在無線網路裡面，由於可用頻寬不穩定，且無法預測，容易影響隨選視訊服務的 品質。有鑑於此，我們採用貪婪式演算法的精神，提出貪婪式接收法(GRS)。GRS 的作法是在可擴充性編碼的架構下，不論是基礎層或加強層只要可用頻寬足夠， 則依影片片段的編號順序將正在廣播的片段依序接收進來。因為基礎層是用戶端 能夠流暢收看影片的基礎，因此在GRS 裡面，會先針對基礎層實施貪婪式接收 法；若剩餘的頻寬足夠，再針對加強層實施貪婪式接收法。
自適性接收法(Adaptive Reception Scheme)：
雖然貪婪式演算法對許多困難且難以預測的問題可以獲得最佳解，在無線網路可 用頻寬不穩定的情況下，根據我們的分析採貪婪式演算法並不會得到最佳的結 果。原因是GRS 可能會把可用頻寬過早消耗在基礎層的資料接收上以致於無法即 時接收加強層的資料。有鑑於此，我們提出一個新的接收演算法，稱之為自適性 接收法(ARS)。ARS結合了ORS與GRS的方法，以動態調整的方式取得一個平衡 點。OGRS 在基礎層的部份，會先計算ORS 方法的平均接收頻寬為何，若在一時
槽中所佔用的頻寬小於或等於平均的頻寛則定義為under-loaded time slot，反之， 如果大於平均的接收頻寬則定義為overloaded timeslot。如果目前是在under-loaded time slot，除了使用ORS 的接收法，另外加上對各個廣播頻道進行預讀
(pre-reading)，也就是檢查剩餘未接收的片段下次廣播的時點是否在overloaded 的 時槽，如果是的話，頻寬且充足的情況下，把該片段接收起來；反之，如果目前 是在overloaded time slot，就不實施預讀動作。OGRS 在加強層部份的接收方法採 用rate monotonic scheduling，影片廣播片段廣播頻率較小者優先權高，可優先分配 足額的加強頻寬。如果將因為廣播片段是週期性的出現，根據rate monotonic scheduling 的原理，週期小的工作優先處理會得到較高的資源使用效率。
4.實驗結果
4.1 模擬實驗的環境
為驗證本論文提出的各種方法，我們根據所提出的演算法，使用真實的 MPEG-4 temporal scalability & MPEG-4 FGS 影片的 bit rate trace 進行實驗[27][28]。表一與表二是實 驗影片的基本資料。廣播頻道的部份基礎層與加強層各使用 5 個廣播頻道。影片切成等大 小的 31 個片段。
表一、MPEG-4 Temporal-scalability 測試影片基本資料 Title JurassicPark One
Encoder/decoder MPEG-4 software encoder/decoder
Video length (mins) 60
Frame rate (frames/sec) 30
Avg. frame size (bits) 26112
Avg. bit rate of base layer (kbps)
379.65
Avg. bit rate of
enhancement layer #1 (kbps)
200.7
Avg. bit rate of
enhancement layer #2 (kbps)
203.1
表二、MPEG-4 FGS-encoded 測試影片基本資料
Title Star Wars
Encoder/decoder MPEG-4 software encoder/decoder
Video length (mins) 60
Frame rate (frames/sec) 30
Avg. frame size (bits) 16363
Avg. bit rate of base layer (kbps)
490
Bit rate increment for enhancement layer (kbps)
200
圖二與圖三顯示了使用本計畫所提出之自適性接收法可獲得之視訊品質較其他接收法 好（ x-axis: video PSNR; y-axis: user begin time slot ）。圖二顯示的是使用 MPEG-4 temporal-scalability測試影片的平均接收品質，圖三顯示的是MPEG-4 FGS-encoded測試影片 的平均接收品質與最小接收品質（圖三的OGRS的方法就是類似上述的ARS方法）。由這三 個圖我們可以觀察到GRS的表現最是差的。原因是GRS 在許多接收時槽中，發生了把可用 頻寬過早消耗在基礎層的資料接收上的現象，以致於31個接收片段，至少有少數個片段收 到的加強層資料過少，導致這些片段的PSNR值過低。 圖二、接收影片各片段平均的 PNSR (可用頻寬設定為 760Kbps) 圖三、接收影片各片段平均的 PNSR (可用頻寬設定為 4000Kbps) 圖四、接收影片各片段中最小的 PNSR (可用頻寬設定為 4000Kbps)
5. 結論
有鑑於無線網路頻寬相當有限，且易變動，傳輸過程易產生錯誤，本計畫提出一個具 動態調適性之架構來提供個人化熱門影片串流的服務，該架構可適用於下一代Internet。本 計畫基於該架構進一步探討隨選視訊系統的傳輸錯誤控制及接收端可用頻寬的調適控制。 計畫實驗結果顯示我們所提出的控制方法可有效提升整個系統的視訊品質效果。6. 參考文獻
[1] Jen-Wen Ding, Chin-Tsai Lin, Kai-Hsiang Huang,“ARS:An Adaptive Reception Schemefor Handheld DevicesSupporting MobileVideo Streaming Services,”IEEE Int.Conf.on
Consumer Electronics, Las Vegas, USA, Jan. 2006.
[2] Daqing Gu and Jinyun Zhang, "QoS Enhancement in IEEE802.11 Wireless Local Area Networks," IEEE Communications Magazine, June 2003
[3] Dapeng Wu, Yiwei Thomas , Hou,, Wenwu Zhu, Ya-Qin Zhang,and Jon M. Peha,,” Streaming Video over the Internet: Approaches and Directions”,IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 11, NO. 3, MARCH 2001,pp.287-288
[4] D. Wu, Y. T. Hou, and Y.-Q.Zhang,“Transporting real-time video over the Internet: Challenges and approaches,”Proc. IEEE, vol. 88, pp.1855–1875, Dec. 2000.
[5] F. Wu, S. Li, and Y.-Q.Zhang,“A framework forefficientprogressivefinegranularity scalablevideo coding,”IEEE Trans. Circuits Syst. Video Technol., vol. 11, pp. 282–300, Mar. 2001.
[6] H. M. Radha,M.van derSchaar,and Y.Chen,“TheMPEG-4 fine-grained scalable video coding method formultimediastreaming overIP,”IEEE Trans. On Multimedia, Vol. 3, No. 1, Mar. 2001
[7] ISO/IEC, 14 496-2,“MPEG-4 Video FGS v.4.0,”Noordwijkerhout,TheNetherlands, Proposed Draft Amendment (PDAM), March 2000
[8] J.-F. Paris, S.W. Carter, and D. D. E. Long. A hybrid broadcasting protocol for video on demand. In Proc. 1999 Multimedia Computing and Networking Conference(MMCN’99), San Jose, CA, Jan 1999, pp 317-326.
[9] J.-F. Paris. A simple low-bandwidth broadcasting protocol for video-ondemand. In Proc. 8th Int’lConferenceon ComputerCommunicationsandNetworks(IC3N’99), Boston-Natick, MA, Oct 1999, pp 118-123.
[10]J.G.Kim and M.M.Krunz,“Bandwidth allocation in wireless networks with guaranteed packet-lossperformance,”IEEE/ACM Trans. Networking, vol. 8, pp. 337–349, June 2000. [11]K.Stuhlmuller,N.Farber,M.Link,and B.Girod,“Analysisofvideo transmission over
lossy channels,”IEEE J. Select. Areas Commun., vol.18, pp. 1012–1032, June 2000. [12] L. Juhn and L. Tseng. Harmonic broadcasting for video-on-demand service. IEEE
Transactions on Broadcasting, 43(3):268-271, Sept. 1997.
[13] L. Juhn and L. Tseng. Fast data broadcasting and receiving scheme for popular video service. In IEEE Transactions on Broadcasting, 44(1):100-105, Mar 1998.
delivery,”Proc. IEEE Int. Conf. Multimedia and Expo, vol. 3, pp. 1301–1304, July/Aug. 2000.
[15] Quality of Service (QoS) concept and architecture, 3GPP TS 23.107, Sept. 2003
[16] R.Puri,K.Ramchandran,K.W.Lee,and V.Bharghavan,“Application ofFEC based multiple description coding to Internet video streaming and multicast,”in Proc. Packet VideoWorkshop, Cagliari, Sardinia, Italy,May 1–2, 2000.
[17] S.Gringeri,S.Iren,and R.Egorov,“Transmission ofMPEG-4 video overtheInternet,”Proc. IEEE Int. Conf. Multimedia and Expo, vol. 3, pp. 1767–1770, July/Aug. 2000.
[18] S. Viswanathan and T. Imielinski. Pyramid Broadcasting for video on demand service. In IEEE Multimedia Computing and Networking Conference, Volume 2417, pp 66-77, San Jose, California, 1995.
[19] T.-W.Lee, S.-H. Gary Chan, Qian Zhang, Wen-Wu Zhu ,and Ya-Qin Zhang,”Allocation of Layer Bandwidths and FECs for Video Multicast Over Wired and Wireless Networks”,IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 12, NO. 12, DECEMBER 2002.
[20] V. Parthasarathy, J. W. Modestino, and K. S. Vastola,“Reliabletransmission ofhigh-quality video overATM networks,”IEEE Trans. Image Processing, vol. 8, pp. 361–374, Mar. 1999. [21] Yu-Chee Tseng, Ming-Hour Yang, and Chi-HeChang “A RecursiveFrequency-Splitting
Scheme forBroadcasting Hot Videos in VOD Service”IEEE TRANSACTIONS ON COMMUNICATIONS, VOL. 50, NO. 8, AUGUST 2002
[22] Y.Wang,M.T.Orchard,and A.R.Reibman,“Multipledescription imagecoding fornoisy channelsby pairing transform coefficients,”Proc. IEEE Workshop on Multimedia Signal Processing, pp. 419–424,June 1997.
[23] Y. Wang and Q.-F.Zhu,“Errorcontroland concealmentforvideo communication:A review,”Proc. IEEE, vol. 86, pp. 974–997, May 1998.
[24] 丁建文, 黃凱祥, 廖國羽,“Design ofAdaptiveReceiversforMPEG-4 FGS Video Streaming over HeterogeneousWirelessNetworks,”TANET2005, 中興大學, Oct. 2005.
[25] 丁建文, 鄭祐昇, 歐建甫,“網路學習平台影音傳輸錯誤之預測與控制”,2005 數位學習
研討會, 屏東師範學院, May 2005.
[26] Yu-Chee Tseng, Ming-Hour Yang, Chi-Ming Hsieh, Wen-Hwa Liao, and Jang-Ping Sheu, “DataBroadcasting and SeamlessChannelTransition forHighly Demanded Videos,”IEEE TRANSACTIONS ON COMMUNICATIONS, VOL. 49, NO. 5, MAY 2001.
[27] P. Seeling, M. Reisslein, and B. Kulapala, "Network performance
evaluation using frame size and quality traces of single-layer and twolayer video: a tutorial," IEEE Communications Surveys and Tutorials,
vol. 6, no. 3, pp. 58-78, 2004, http://trace.eas.asu.edu/
[28]P.deCuetosetal.,“Evaluating theStreaming ofFGS encoded video with
rate-distortion traces,”Arizona State Univ., Tech. Rep., 2004; traces available from
http://trace.eas.asu.edu/
[29] Jen-Wen Ding,“AdaptiveErrorControlforPersonalized ScalableVideo Streaming over WirelessInternet”,in preparation.
附錄－本計畫執行期間已發表之會議論文
1. Jen-Wen Ding, Chin-Tsai Lin, Kai-Hsiang Huang,“ARS:An AdaptiveReception SchemeforHandheld DevicesSupporting MobileVideo Streaming Services,”IEEE
Int. Conf. on Consumer Electronics, Las Vegas, USA, Jan. 2006.
2. 丁建文, 黃凱祥, 廖國羽,“Design ofAdaptiveReceiversforMPEG-4 FGS Video Streaming over HeterogeneousWirelessNetworks,”TANET2005, 中興大學, Oct.
2005.
3. 丁建文, 鄭祐昇, 歐建甫,“網路學習平台影音傳輸錯誤之預測與控制”,2005 數
位學習研討會, 屏東師範學院, May 2005.
可供推廣之研發成果資料表
可申請專利 可技術移轉 日期：94 年 10 月 30 日國科會補助計畫
計畫名稱：運用基因演算法於熱門視訊廣播技術之錯誤控制研究 計畫主持人：丁建文 計畫編號：NSC 93-2213-E-151-021 學門領域：資訊技術/創作名稱
熱門影片隨選視訊服務於無線寬頻網路環境下的錯誤控制發明人/創作人
丁建文 中文： 由於無線網路的傳輸過程較易出現錯誤，本技術探討如何使用有限 的 FEC 錯誤資訊，讓無線網路環境下的熱門影片隨選視訊服務的 控制可以做到最好技術說明
英文：Because wireless packet transmission is prone to error, our error control technology can maximize the overall perceptual quality of a near Video-on-System in broadband wireless network environments for a given available network bandwidth that can be used for FEC
protection.
