異質無線網路環境下 MPEG-4 FGS 視訊串流服務
之自適性接收端設計
Design of Adaptive Receivers for MPEG-4 FGS Video Streaming
over Heterogeneous Wireless Networks
丁建文
1黃凱祥
2廖國羽
3國立高雄應用科技大學 資訊管理系
E-mail: {jwding
1,a091137209
2, a091137108
3}@cc.kuas.edu.tw
Corresponding Author: jwding@cc.kuas.edu.tw
摘要
在異質無線網路環境下提供隨選視訊串流是 未來無線網路環境中極重要的服務之一。然而，該 技術面臨幾個設計上重大的困境，仍待進一步克 服。首先，相較於傳統寬頻有線網路，各類無線網 路所能提供的傳輸頻寬相當有限，很難以傳統的單 播技術提供串流服務。其次，無線網路所提供的可 用頻寬較易出現不穩定的現象，較難提供穩定視覺 品質的串流服務。最後，無線網路用戶所使用的設 備種類繁複，異質性甚高。本文提出一個以 MPEG-4 細粒度擴展性為基礎的視訊廣播架構，並發展出一 個自適性異質用戶端接收策略，可有效利用用戶端 有限與變動的頻寬，達到最好的接收品質*。 關鍵詞：視訊串流、異質無線網路, MPEG-4 視訊、 細粒度擴展性編碼、隨選視訊、異質用戶端Abstract
Providing video-on-demand streaming over heterogeneous wireless networks is expected to be a key service for the future wireless environments. However, this task faces several severe design problems. First, because wireless networks generally have very limited bandwidth, it infeasible to provide video streaming via traditional unicast technology. Second, the available bandwidth in wireless environment may vary with time, which makes it difficult to provide stable quality for video streaming. Finally, clients in wireless environments usually employ heterogeneous user devices with different capabilities. In this paper, we propose a video broadcasting architecture using MPEG-4 FGS video, and develop an adaptive reception algorithm for heterogeneous clients. The proposed scheme can efficiently utilize the available bandwidth for heterogeneous clients to achieve a good perceptual quality.
Keywords: Video Streaming, Heterogeneous Wireless
Networks, MPEG-4 Video, Fine Granularity Scalable Coding, Video-on-Demand, Heterogeneous Clients
1. 導論
近年來，由於多媒體技術以及網路技術的快 速發展，在寬頻有線網路的環境下，隨選視訊已 被廣泛的應用到各類不同服務，例如：家庭娛樂、 遠距教學、數位化圖書館、員工訓練…等等。隨 著目前各類無線網路大量的鋪設，在可預期的未 來，隨選視訊串流服務也會在無線網路中扮演相 當重要的角色[7]。 然而，在異質無線網路環境下提供隨選視訊串 流將面臨一些因無線網路所產生的特有挑戰。首 先，相較於有線寬頻網路，無線網路所能提供的 頻寬非常有限，因此不太可能使用傳統有線網路 的單播技術提供視訊串流給每一位用戶[4][5]。此 外 ， 無 線 網 路 使 用 多 種 接 取 技 術 （ 例 如 ： WLAN/WMAN、2G/2.5G/3G），每一種接取技術 的可用頻寬皆不同，且用戶可於多種接取技術間 進行切換[3]。這種頻寬上的差異可能會影響影片 播放的流暢度。再者，無線網路的可用頻寬並不 穩定，往往隨著用戶競爭頻寬的激烈程度而異 [3]。最後，由於無線網路接收設備的種類繁複， 且異質性高，也會間接影響隨選視訊串流的接收 品質。由上述的情況可得知，這些問題會導致無 線網路對於影片的接收品質大幅度降低。 為了克服上述問題，本文提出一個以 MPEG-4 FGS (Fine Granularity Scalability) 為基礎的視訊 廣播架構，並發展出一個自適性異質用戶端接收 策 略 ， 稱 之 為 OGRS (On-Time and Greedy Reception Scheme)，可有效利用用戶端有限與變動 的頻寬，達到最好的接收品質。 本論文的組織如下所示：第二章描述論文採 用的視訊廣播技術、MPEG-4 FGS 的簡介、以及 本論文的系統架構；第三章描述本論文所提出的 自適性異質用戶端接收策略；第四章介紹模擬實 驗的結果及分析；第五章為本論文之結論。2. 系統架構
有鑑於無線網路的接收頻寬是變動的，以及異 *本研究部分成果接受國科會專題研究計畫補助 計畫編號：NSC 93-2213-E-151-021質用戶端的接收頻寬也是相異的，本論文所提出 的 視 訊 廣 播 架 構 採 用 MPEG-4 細 粒 度 擴 展 性 (FGS)的壓縮標準[1][6]。2.1 節介紹 MPEG-4 細粒 度擴展性的概念。另有鑒於無線網路的頻寬有 限，本論文提出的系統架構採用視訊廣播技術。 2.2 節介紹隨選視訊中典型的廣播技術－快速廣 播演算法(Fast Broadcast)的概念[5]。2.3 節描述本 論文所提出的架構。
2.1 細粒度擴展性簡介
由於在有線、無線網路上的視訊串流的應用 越來越廣泛，其重要性也日以俱增，但因為網路 本身具備許多不穩定的變數；如：頻寬的變動、 封包的遺失及碰撞等。早期的 MEPG-1、MPEG-2 的編碼方式，並非特別設計用於網路的即時傳輸 應用，因此 ISO 組織進一步制訂低速率的 MPEG-4 編碼技術給網路的視訊串流使用。近來 MPEG-4 已 採 用 一 種 新 的 編 碼 技 術 － 細 粒 度 擴 展 性 (FGS)[1][6]。它能夠讓使用事先已經編碼好的視訊 資料，於各種不同的頻寬下進行傳輸，使得視訊 資料可以有更高更穩定的品質，因此 FGS 能非常 有效率的使用網路頻寬。FGS 對視訊資料處理的 方式，主要是將資料分成兩層：基礎層(base layer) 及加強層（enhancement layer）。基礎層是考量目 前網路傳輸速度與畫面播放流暢度下，來訂出一 個播放速率的基準值，以確認終端使用者能夠在 網路傳輸速度不一的情況下，仍然可以確保用戶 端看到伺服端所傳輸的畫面。加強層接收的前提 是在頻寬充足情況下，來決定是否給予加強用戶 端視訊品質的資料。所以其影片的品質會隨著用 戶端所接受到的資料量來決定畫面精緻的程度， 但前提必需基礎層要能夠完全接收。 傳統 layer-based encoding 對視訊資料處理的 方式是將影片分成多層：包含基礎層與數個加強 層，但是每個加強層需要的頻寬是固定的，較沒 有彈性。因此，容易出現因為頻寬不足，而產生 無 法 完 整 接 收 加 強 層 的 情 況 。 相 對 於 傳 統 layer-based encoding 的作法，FGS 顯然更具善用頻 寬的特性。此外，FGS 在收送端皆提供一個可作 微細調整位元率的技術，來負責資料傳輸率的控 制，因此對於網路上的伺服器或路由器的傳遞間 的過程，能夠更有效的對頻寬來作管理，以維持 隨選視訊影片傳輸的品質；傳統的編碼則無法自 我調節網路流量而提高品質。2.2 快速廣播演算法簡介
目前已有相當多種隨選視訊廣播技術被提出 [4][5]，其中快速廣播演算法(Fast Broadcasting) 是相當具代表性的一項技術，一方面因為它易於 實作，二方面它也有不錯的效能[5]。為方便討論 起 見 ， 本 文 的 視 訊 廣 播 架 構 ， 採 Fast Broadcasting。但要特別強調的是本文的架構亦可 採用其他視訊廣播技術。 快速廣播演算法的作法，舉例說明如下：假 設有一部影片 M，並使用 3 個頻道來播送（每個 頻道的頻寬等於影片的播放速率），根據其規 則，首先將影片切割成數個等大小的片段，切割 的數目為 N =2c-1 (N：切割的片段數目；C：使用 的廣播頻道數目)，因此可以得到七個片段{s1, s2, …., s7}，請參閱圖 1。我們將切割的 s1在放在 頻道 c1，不斷的重複播送，所以用戶端最多只需 要等待一個時槽的時間就可以立即接收與觀看 影片（一個時槽定義為一個片段的廣播時間）。 片段 s2與 s3則重複的在頻道 c2播放，s4至 s7則在 頻道 c3不斷的播送。根據圖 1 所示，當某一用戶 於 T’點啟動選隨視訊服務，則該用戶需等待 t0 的時間才能開始接收與播放影片。用戶在 t1時， 於 c1接收並且同時播放 s1，同時於 c2及 c3將 s3 及 s5接收暫存於記憶體（或硬碟）。到了 t2時， 由 c2接收並播放 s2，並且由 c3接收 s6暫存於記憶 體。到了 t3，由於已經將 s3事先接收，因此直接 從記憶體取出播放，並由 c3把 s7接收進來，如此 就可以很流暢的播放影片，而沒有中斷的現象。 圖一，被圈起來的片段代表每個時槽接收的片 段。 圖一、Fast Broadcasting 範例2.3 系統架構
圖2說明了本論文結合MPEG-4 FSG 視訊壓 縮標準與 Fast Broadcasting 做為無線網路環境下 隨選視訊服務的傳輸架構。這樣的架構亦可採用 其 他 性 質 相 似 的 廣 播技 術， 如 ： Pagoda、 New Pagoda、RFS等。圖2中顯示，Video Server會將隨 選視訊影片根據FGS編碼特性分成基礎層與加強 層。基礎層與加強層再各自依據 Fast Broadcasting 的方法分成數條廣播串流傳送至網路中。當某一 用戶想要透過無線設備收看某一部影片時，該用 戶可根據可用頻寬的變動，以及所使用設備的接 收能力，動態選擇要接收加強層的哪些廣播串流 （可不接收或接收數條串流），且因FGS的特性每 一條加強層串流無須完整接收。圖二、系統架構圖
3. 自適性接收演算法
根據本論文所提出之架構，用戶端可動態選 擇要接收MPEG-4 FGS加強層的哪些廣播串流以 因應無線網路可用頻寬的變動性以及用戶端設備 的 異 質 性 。 3.1 節 介 紹 如 何 將 原 本 的 Fast Broadcasting 的接收方法延伸到本論文的視訊廣 播架構(ORS)。3.2節提出一個以貪婪演算法為基礎 的動態接收演算法(GRS)。3-3節進一步提出結合 3.1與3.2節兩種演算法優點的自適性接收演算法 (OGRS)。3.1 即時接收法(On-Time Reception Scheme)
在 Fast Broadcasting 中，採用的接收方式為即 時接收法，意即接收端針對各個時槽底對每一個 廣播頻道所送出的影片片段作判斷，當某一片段 下一次廣播的時間，並未超過該片段的播放時 間，則在本次的時槽不接收該片段；反之，若該 片段下次出現的時槽已經超出了該片段的播放時 間，則在此時槽立即作接收，這是採即時接收的 基本精神。根據本論文的架構，我們將這樣的接 收方法延伸至 MPEG-4 的 FGS 加強層，亦即基礎 層及加強層皆採用這種接收方法，我們稱之為即 時接收法(ORS－On-Time Reception Scheme)。
圖三是一個利用 ORS 接收法的例子，基礎層 及加強層皆使用三個廣播頻道傳送。假設頻寛充 足的情況下，在 t1時槽裡，基礎層的 s1必需要馬 上播出，因此要立即作接收並且播放，之後便檢 查 s2及 s6，s2由於本次不接收，播放時間無法趕 上下次的廣播時間，因此需要在 t1時點作接收， 而 s6由於下次出現的時槽為 t5，尚未超過播放的 時間點，因此在本次時槽不作接收。到了 t2時槽， s2事先已經接收在硬碟中，因此直接播放。s3如果 本次未接收則下次就無法順利接收，因此把 s3作 接收，而 s7因為下次出現的時點為 t6，因此不在 本次作接收，其餘的 s4、s5以此類推。而加強層的 分配方式亦同於基礎層。 圖三、ORS 接收範例
3.2 貪婪式接收法(Greedy Reception
Scheme)
在無線網路裡面，由於可用頻寬不穩定，且 無法預測，容易影響隨選視訊服務的品質。有鑑 於此，我們採用貪婪式演算法的精神，提出貪婪 式接收法(GRS－Greedy Reception Scheme)。GRS 的作法是在 FGS 編碼底下，不論是基礎層或加強 層只要可用頻寬足夠，則依影片片段的編號順序 將正在廣播的片段依序接收進來。因為基礎層是 用戶端能夠流暢收看影片的基礎，因此在 GRS 裡 面，會先針對基礎層實施貪婪式接收法；若剩餘 的頻寬足夠，再針對加強層實施貪婪式接收法。 圖四是一個使用 GRS 的範例，假設可以同時接收 的最大頻寬為為四個串流（為討論方便起見，此 例 假 設 基 礎 層 的 頻 寬 與 加 強 層 的 最 大 頻 寬 相 同）。在 t1時槽下，基礎層的 s1 必需播放，因此立 即接收並播放，s3、s5由於頻寬充足，同樣也要接 收；加強層部分，因為基礎層的可用頻寬分配完 後，僅剩一單位的頻寬可用，因此只接收 s1的部 份。而在 t2時槽，基礎層的 s2必需播放，因此接 收 s2並同步播出，s6因為頻寬足夠，也把它接收 下來；剩下的頻寬，仍夠加強層使用，因此將 s2 及 s6接收下來。在 t3時槽，因為基礎層的 s3已經 事先存放在硬碟裡面，因此取出來播放，並且接 收 s7；而加強層的 s3因為之前頻寬不足，因此在 t3才接收並且同時播放，並且也接收 s7，其餘的以 此類推。GRS 的假設是網路頻寬不穩定的情況 下，採貪婪式策略可得到最佳結果（事實不然， 見 3.3 節與第 4 章）。但相對的來說，用戶端的暫 存空間要相對的大，才可以讓此方法的效能達到 最好；若用戶端的暫存空間不足，則可能會讓 GRS 的效能很差，影響服務的品質。 圖四、GRS 接收範例3.3 自適性接收法(On-Time and Greedy
Reception Scheme)
雖然貪婪式演算法對許多困難且難以預測的 問題可以獲得最佳解，在無線網路可用頻寬不穩 定的情況下，根據我們的分析採貪婪式演算法並 不會得到最佳的結果。原因是 GRS 可能會把可用 頻寬過早消耗在基礎層的資料接收上以致於無法 即時接收加強層的資料。有鑑於此，我們提出一 個新的接收演算法，稱之為自適性接收法(OGRS －On-Time and Greedy Reception Scheme)。OGRS 修改 ORS 的方法並結合 GRS 方法。OGRS 在基礎 層的部份，會先計算 ORS 方法的平均接收頻寬為 何，若在一時槽中所佔用的頻寬小於或等於平均 的頻寛則定義為 under-loaded time slot，反之，如 果大於平均的接收頻寬則定義為 overloaded time slot。如果目前是在 under-loaded time slot，除了使 用 ORS 的接收法，另外加上對各個廣播頻道進行 預讀(pre-reading)，也就是檢查剩餘未接收的片段 下次廣播的時點是否在 overloaded 的時槽，如果是 的話，頻寬且充足的情況下，把該片段接收起來； 反之，如果目前是在 overloaded time slot，就不實 施預讀動作。OGRS 在加強層部份的接收方法採用 rate monotonic scheduling，影片廣播片段廣播頻率 較小者優先權高，可優先分配足額的加強頻寬。 如果將因為廣播片段是週期性的出現，根據 rate monotonic scheduling 的原理，週期小的工作優先 處理會得到較高的資源使用效率。 圖五是 OGRS 時槽種類判斷的例子。在基礎 層部分，OGRS 先利用 ORS 接收法計算在每一個 時槽所需的接收頻寬，再將所有的接收頻寬加總 作平均，以圖五為例，如果平均值計算出來為 1 個接收頻寬單位，因此在 t2及 t3 時槽，會產生 overloaded 的 情 況 ， 而 其 他 的 時 槽 皆 為 underloaded。 圖五、OGRS 頻寬分配狀態及判斷 圖六說明了利用 OGRS 的廣播技術的範例（為 討論方便起見，此例假設基礎層的頻寬與加強層 的最大頻寬相同）。假設給定足額的頻寬，則在 t1 時槽，基礎層的 s1必需要播放，因此要接收並且 播放，由於 t1是位於 underloaded 的時槽(參考圖 5)，不僅作 ORS 接收法，而且要對其他的頻道作 pre-reading 的動作，所以 s3必需在 t1接收，因為 s3下次接收的時槽，是 overloaded time slot (參考圖 5)，所以要預讀。加強層部分是根據廣播頻率小的 片段先接收，由於頻寬充足所以 s1、s3、s7都可以 接收。到了 t2時槽，則因為 t2是 under-loaded time slot ， 因 此 僅 作 最 ORS 接 收 法 ， 並 不 作 任 何 pre-reading 的動作，加強層則依據 rate monotonic scheduling 的方式來分配。其餘的部份以此類推。 OGRS 適用在頻寬較不穩定的情況，因此可以提供 較佳的服務品質；相較於前兩個方法，我們的實 驗結果發現 OGRS 確實結合兩者的優點，即基礎 頻寬用 ORS 接收法接收收，加強層根據廣播頻率 小者優先接收，讓整體的接收視訊品質提高。圖 七顯示的是 OGRS 的演算法的 pseudocode。 圖六、OGRS 接收範例compute or predict available bandwidth for the current time slot;
for base layer
let set B = video segments to be broadcast for the current time slot;
let set O = video segments to be received by ORS;
receive every video segments in set O while allocated bandwidth is still less than available bandwidth;
B = B –O;
for (all remaining video segments in set B) { if (the video segment’s next broadcast
time slot = overloaded time slot) receive the video segment if
available bandwidth is still enough;
else
skip it; }
for enhancement layer
let set B = video segments to be broadcast for the current time slot;
sort every video segments in B according to their broadcasting frequency such that
higher broadcast frequency get higher priority;
while (available bandwidth is enough) { allocate maximum bandwidth required by
the enhancement layer to the video segment with highest priority;
}
圖七、OGRS 的 pseudocode
4. 實驗結果與分析
為驗證本論文提出的各種方法，我們根據所提出 的演算法，使用真實 MPEG-4 FGS 影片的 bit rate trace 進行實驗。表一是實驗影片的基本資料[2]。 隨選視訊的起始服務時間設定為 2 分鐘。廣播頻道 的部份基礎層與加強層各使用 5 個廣播頻道。影片 切成等大小的 31 個片段。
表一、測試影片的基本資料
Title Star Wars
Encoder/decoder MPEG–4 software encoder/decoder Video length (mins) 60
Frame rate (frames/sec) 30 Avg. frame size (bits) 16363 Avg. bit rate of base
layer (kbps)
490 Bit rate type of
enhancement layer (kbps) 200, 400, 600, …, 2000 圖八、九、十顯示了本文所提三種方法在不同 的可用頻寬下，不同點播時間的用戶的接收品質比 較。度量品質的指標使用 PSNR，根據研究報告指 出，該指標是最接近人類的視覺感受的客觀性計算 指標[2]。這些圖顯示的是用戶端所有接收片段的 PSNR 值的平均值。由這三個圖我們可以觀察出兩 個現象。第一，ORS 與 GRS 的接收品質表現相近， 有時候 ORS 較好，有時候 GRS 會比較好。這是因 為如同前一章的分析，雖然 GRS 可以貪婪的策略接 收更多的基礎層或加強層資料，然而有時候因為 GRS 可能會把可用頻寬過早消耗在基礎層的資料 接收上以致於無法即時接收加強層的資料。第二、 如同預期的，OGRS 結合了 ORS 與 GRS 的優點， 得到最高的平均視訊品質。 圖八、接收影片各片段平均的 PSNR （可用頻寬設定為 3000kbps） 圖九、接收影片各片段平均的 PSNR （可用頻寬設定為 4000kbps） 圖十、接收影片各片段平均的 PSNR （可用頻寬設定為 5000kbps） 圖十一、十二、十三顯示了本文所提三種方法 在不同的可用頻寬下，不同點播時間的用戶的接收 品質比較。這些圖顯示的是用戶端所有接收片段的 PSNR 值中的最小值。由這三個圖我們可以觀察到 GRS 在這方面的表現最是差的。原因是 GRS 在 16 個接收時槽中，總有一些把可用頻寬過早消耗在基 礎層的資料接收上的現象發生，以致於 31 個接收 片段，至少有少數個片段收到的加強層資料過少， 以致於這些片段的 PSNR 值過低。
圖十一、接收影片各片段中最小的 PSNR 值 （可用頻寬設定為 3000kbps） 圖十二、接收影片各片段中最小的 PSNR 值 （可用頻寬設定為 4000kbps） 圖十三、接收影片各片段中最小的 PSNR 值 （可用頻寬設定為 5000kbps）
5. 結論
有鑑於在異質無線網路環境下提供隨選視訊 串流是未來無線網路環境中極重要的服務之一。為 克服在無線網路環境中所遭遇的許多頻寬上的困 難，本論文提出一個以 MPEG-4 細粒度擴展性為基 礎的視訊廣播架構，並發展出一個自適性異質用戶 端接收策略－OGRS。根據我們以真實 MPEG-4 影 片資料進行的模擬實驗顯示，OGRS 可有效利用用 戶端有限與變動的頻寬，達到相當好的視訊接收品 質。參考文獻
[1] ISO/IEC, 14 496-2,“MPEG-4 Video FGS v. 4.0,” Noordwijkerhout, The Netherlands, Proposed Draft Amendment (PDAM), March 2000.
[2] P. de Cuetos et al., “Evaluating the Streaming of FGS encoded video with rate-distortion traces,” Arizona State Univ., Tech. Rep., 2004; traces available from http://trace.eas.asu.edu/
[3] A. Ganz, Z. Ganz, K. Wongthavarawat, Multimedia Wireless Networks: Technologies, Standards, and QoS, Prentice Hall PTR, 2003.
[4] K.A. Hua, M.A. Tantaoui, W. Tavanapong, “Video deliverytechnologies for large-scale deployment of multimedia applications,” Proceedings of the IEEE, vol. 92, no. 9, Sep. 2004, pp. 1439-1451.
[5] L.S Juhn and L.M. Tseng, “Fast data broadcasting and receiving scheme for popular video service,” IEEE Trans. Broadcasting, vol. 44, no. 1, Mar. 1998, pp 100-105.
[6] H. M. Radha, M. van der Schaar, and Y. Chen, “The MPEG-4 fine-grained scalable video coding method for multimedia streaming over IP,” IEEE Trans. on Multimedia, Vol. 3, No. 1, Mar. 2001. [7] M. Topic, Streaming Media Demystified,
