智慧型家庭的開發---子計畫五：智慧型家庭媒體中心(III)

(1)

行政院國家科學委員會專題研究計畫成果報告

智慧型家庭的開發--子計畫五：智慧型家庭媒體中心(III) 研究成果報告(精簡版)

計畫類別：整合型

計畫編號： NSC 98-2221-E-011-134-

執行期間： 98 年 08 月 01 日至 99 年 10 月 31 日執行單位：國立臺灣科技大學電機工程系

計畫主持人：陳建中共同主持人：蘇順豐

計畫參與人員：碩士班研究生-兼任助理人員：盧其均碩士班研究生-兼任助理人員：溫建宇博士班研究生-兼任助理人員：蘇俊榮博士班研究生-兼任助理人員：游函諺

報告附件：出席國際會議研究心得報告及發表論文

處理方式：本計畫涉及專利或其他智慧財產權，2 年後可公開查詢

中華民國 100 年 04 月 14 日

(2)

行政院國家科學委員會專題研究計畫成果報告

計畫編號： NSC 98-2221-E-011-134

執行期限： 98 年 8 月 1 日至 99 年 10 月 31 日

主持人：陳建中國立台灣科技大學電機系助理教授

計畫參與人員：蘇俊榮、游函諺、溫建宇國立台灣科技大學電機所 中文摘要

隨著多媒體編解碼技術的進步與網際網路普及，多媒體已成主要的資訊傳遞媒介，以網路封包傳送媒體碼流收視之 IPTV，已成為網路多媒體主要的發展趨勢。國際組織 OIPF(Open IPTV forum)也正致力於推動 IPTV 之標準化，可見此技術在未來極具潛力。本計畫考量多媒體網路發展趨勢與實際需求，整合多媒體編解碼、串流傳輸、數位加解密與認證等多項關鍵技術，實際建置具備內容安全保護之即時媒體中心系統，並提供整體 IPTV 內容與服務安全保護架構。在傳輸網路方面，為減輕伺服端之負擔，採用結合內容傳遞網路(Content Delivery Network, CDN)與點對點 (Peer to Peer, P2P)傳輸功能之協同架構；另外，網路多媒體廣播所需要的頻寬較大，

因此以應用層群播(Application Layer Multicast, ALM)實作點對點網路視訊廣播系統，稱為 Peer to Peer Internet Protocol Video Broadcasting System (P2P-IPVB)。本系統利用點對點網路傳輸特性建構一視訊群播樹，利用客戶端節點的網路資源來分散伺服器因連線數過多所造成的負荷，使得所有客戶端節點皆可接收一定品質的多媒體串流服務。另外，本計畫針對串流廣播的數位內容，設計安全保護機制，如數位權利管理(Digital Rights Management, DRM)，對使用者身份認證管理、通用加擾演算法(Common Scrambling Algorithm, CSA)對串流中的資訊予以加擾保護等。本計畫已建置具內容保護功能之完整 P2P-IPTV 系統，可提供多人同時線上即時收視。

關鍵詞：網路電視(IPTV)、應用層群播(ALM)、點對點網路(P2P Network) 英文摘要

With the advance of multimedia codec technologies and Internet prevalence, multimedia has become one of major information communication tools. Transmitting television signals through Internet packets, IPTV, becomes the mainstream of Internet multimedia. The Open IPTV Forum, OIPF, is aiming to propose the IPTV system standard, which proclaims the potential of IPTV-related applications. In this project, a complete and secured IPTV system, which comprises media codec systems, streaming control and encryption/decryption control units, has been developed to meet the application requirement of Internet multimedia. The Content Delivery Network (CDN) and Peer to Peer (P2P) network are integrated to provide the P2P-IPTV service. To stream live videos, an alternative to solve “network congestion” is the way of Application Layer Multicast (ALM) transmission. Based on the network multicast technology of ALM, we design and implement a P2P network video broadcasting system, called P2P-IPVB. The P2P networking transmission capability is utilized to construct a streaming multicast tree, which re-allocate the network resources of client nodes to share the heavy load of server connected by too many clients at the same time. As a result,

(3)

the multimedia streaming services can be maintained at a reasonable perceptual quality for all clients. For secured streaming, the security protection for digital content streaming, such as user authentication and streaming information scrambling protection, had also been implemented. The developed P2P-IPVB system can serve many online clients simultaneously with smooth video perception.

Key Words: IPTV, ALM, P2P Network

一、研究動機與目的

目前多媒體網路產業已逐漸邁向四合一(Quadruple play)整合型網路服務，整體服務架構除了包含資料、聲音及視訊三個象限之三合一整合架構(triple play)，更配合網路多媒體子系統(IP Multimedia Subsystem, IMS)之平台，期望適用於異質網路以開創多媒體網路產業。其中網路電視(IPTV)服務扮演重要角色，除了許多不同背景的業者紛紛投入此領域研究外，國際組織 OIPF(Open IPTV forum)也正致力於推動 IPTV 之規格化，可見此技術在未來極具潛力。

本計畫整合多媒體編解碼、串流傳輸、數位加解密與認證等多項關鍵技術，開發符合國際規範與需求之即時媒體中心平台，並結合內容傳遞網路(Content Deliver Network, CDN)與點對點(Peer to Peer, P2P)網路之協同式傳輸網路架構，開發一具備完整功能之即時 P2P-IPVB 系統。具體研究項目與成果概述如下：

(1) 開發一包含用戶管理、認證與密鑰管理功能之數位權利管理中心(DRM Server) 以中控管理方式，管理使用者帳戶與權限；並配合使用者之認證權限核發服務清單與加解擾密鑰(CSA Key)，在資料傳輸時運用 RSA 非對稱式加密演算法保護資料，以確保使用者帳密、權限與解擾密鑰之傳輸安全。

(2) 開發具即時編碼、加擾保護與串流之媒體串流伺服中心(Streaming Server)。編碼端使用視訊編碼器(例如：H264、MPEG4 等)，進行媒體編碼，將壓縮後之碼流封包化與多工傳輸，並參照 DVB 之共同加擾演算法(Common Scramble Algorithm, CSA)，將碼流封包進行加擾保護。考量媒體應用搭配不同之網路傳輸協定串流媒體碼流。

(3) 開發一包含註冊、登入、解碼與解密功能之權利管理終端用戶(IPMP Terminal)，

此模組整合上述兩項功能，讓使用者可以透過此平台之介面登入、登出伺服器、

網路連線認證、電子表單選擇、金鑰與串流接收、解密與解壓縮並調整收看影像視窗大小、與觀賞影像等功能服務。本計畫已建立一功能完整之 IPMP Terminal。

(4) 開發用戶端網路效能量測之功能模組，並建立 CDN-P2P 網路連線機制。此網路效能量測之功能模組以中央控管方式運作於每個終端用戶系統中，藉由中央伺服器監控所有連線收視之終端用戶網路狀況，包含：頻寬、傳送與播放延遲、

以及封包遺失率等網路參數，並將所監測之網路參數量化分類，以提升整體網路傳輸品質。

二、文獻探討

P2P 網路為對等網路，是一種具高拓展性的分散式網路架構。在主從架構

(4)

(client/server)系統中，會發生客戶端資源有餘、伺服器端資源不足或網路壅塞的現象。在 P2P 網路架構中，可以充分運用網路中所有參與節點之運算、網路頻寬與儲存空間，將整體系統負荷分散至每位使用者端，每節點既可以請求網路服務也可以提供網路服務。其最大的特點就是用戶節點間直接共享資源，其中的關鍵技術為分散式對象的定位機制，這也是提高網路可拓展性、解決網路頻寬不足問題所在。P2P 網路的發展可分四個階段，每階段都有其代表技術模型，分別為：(1)集中式 (centralized P2P)、(2) 純分散式(pure decentralized P2P[1])、(3) 混合式(hybrid P2P[1]) 與結構化式(structured P2P)，這四種點對點網路架構模型皆各有其優缺點。(1)集中式 P2P 網路架構中有一類似伺服器的節點，匯集並提供所有資源索引訊息。用戶端資源分享必先向資源索引伺服器進行資源註冊；用戶端請求資源服務亦至伺服器查詢資源存儲所在。當用戶端取得該資源存儲位置，資源下載會在兩節點間直接進行與索引伺服器無關，典型代表如 Napster[2]。為了改良集中式網路的潛在問題，有先進提出純分散式點對點網路架構，所有的網路服務及運算控制完全由各個節點獨立進行，或可說是 “ 完全去中心化” 的運作模式，典型代表如 Gnutella[3][4]和 Freenet[5][6]。(2) Hybrid P2P 架構整合集中式與純分散式 P2P 架構中的優點(集中式網路架構下的快速查找與純分散式點對點網路架構下的去中心化)，在 hybrid P2P 網路架構下，系統選擇性能(計算機能力、存儲空間、頻寬等方面性能)較高的節點當作超級節點(super-peer)。其中，超級節點與其鄰近的普通節點間構成一個群組 (cluster)，群組內採用集中式 P2P 網路架構模型，整個網路的各個不同群組之間再透過純分散式 P2P 網路模式將各超級節點連接起來，典型代表如 Kazza[7][8]。(3) 結構化式與非結構化 P2P 網路模型的主要區別為：每節點所維護的鄰居節點是否能夠按照某種全局方式建立起來以利快速搜尋，結構化網路是採用純分散式網路的資訊傳遞機制與根據關鍵字進行找尋服務提供者。目前大都採用分散式哈希表 (Distributed Hash Tabl，DHT)技術，由於 DHT 中各節點不需要維護整個網路內所有節點的資訊，只要在節點中儲存其鄰近後繼節點的資訊，因此以較少的路由資訊就可以有效地到達目標節點。此外因取消氾濫式搜尋演算法，可有效減少了搜尋節點資訊的發送量降低網路壅塞，進而增強了點對點網路的拓展性。目前 DHT 結構網路最大的問題是維護機制複雜，尤其是節點頻繁加入或退出所造成網路的波動大大地增加維護代價。典型代表如 Chord[8][9]、IRIS[4]、CAN[10]、Tapestry[11][12]、

以及 Pastry[13][14]。

數位權利管理(Digital Right Management, DRM)為保護數位內容使用權，如軟體、音樂及電影等，著重於數位權利的管理、發行及保護，避免被非法下載、複製及轉移。在 DRM 系統的設計中，分成數位媒體(assets)與權利(rights)兩個部份，數位媒體是透過網路系統可任意地被下載與分享，但在沒有憑證(license)的情況下，內容無法被正確使用或撥放[15][15]。而憑證是根據權利描述語言(Rights Expression Language, REL)[16]產生後並加密傳送至用戶端。本計畫使用多種加密演算法來保護數位媒體內容及保障用戶資訊傳遞。

美國 NIST 於 1991 年公佈 DSA 為國家數位簽章標準(Digital Signature Standard, DSS)，其為公開密碼演算法，不具加密及金鑰分配功能僅用於數位簽章，供接受者驗證資料的完整性和資料發送者的身分。三位 MIT 學者 Rivest、Shamir 及 Adleman 於 1997 年公開 RSA 為先進及方便的加密方法，於電子商務及數位消費性產品扮演

(5)

要角，例如視訊轉換器與智慧卡，都是用 RSA 加密來傳遞訊息。此法屬非對稱加密演算法(Asymmetric algorithm)，資料加解密使用不同鑰匙，以公開金鑰加密並以私鑰解密。將資訊透過一有規律性的重新排列、組合或加入多餘不必要的資訊，以避免被未經系統授權或是非法取得的使用者無法輕易地取得到正確的內容，而被授權者又可經由反程序將資料還原。此一保護資訊的程序稱為加擾法，相反程序則是解擾法。因為數位系統的資訊為 0 與 1 的組合表示，所以加擾法可用一數學函式(輸入包括明文以及密鑰 ) 來表示，此種加擾法亦可稱作加擾演算法。加擾演算法 (Scrambling algorithm) 可視為加密演算法 (Encryption algorithm) ；解擾碼演算法 (Descrambling algorithm)可視為解密演算法(Decryption algorithm)。

三、系統架構

本計畫之點對點網路影像廣播服務系統(Peer to Peer Internet Protocol Video Broadcasting System, P2P-IPVB)，是由多媒體串流播放模組與網路群播管理所組成。設計目標是期望該系統架設簡單、易操作與高傳輸穩定度，使每一個端點皆可於社群網路上提供視訊通信服務，不需要昂貴伺服器與耗費大量頻寬。系統依執行於不同階段，各節點連結可分成兩種關係：(1)群組網路架構與(2)串流資訊服務架構，以下針對這兩階段下節點之間的連結關係來說明 IPVB 系統架構。

(1)群組網路架構

群組網路架構主要說明系統於啟動時(用戶節點未取得資訊及串流廣播伺服器節點未開始提供串流服務)與各節點間連結建立關係。IPVB 系統設計以「社群網路」

為主要設計概念形成大群組網路也就是重疊網(overlay network)，僅加入該群組的成員才具有資格可獲取或提供串流服務，所以每節點(包括多媒體串流廣播伺服器)皆必先加入群組並成為一員。於系統中，節點是以 GroupID(GID)與 UserID(UID)所組成的 GUID 做為節點名稱識別。當節點加入系統網路拓墣中即呈現結構化點對點網路，此優點為節點可容易且快速地定位到群組節點之 IP 與 Port 位址，節點間便可直接進行點對點通訊。

(2)串流資訊服務網路架構

所有節點皆加入群組後，各節點依據角色不同而提供不同服務。目前系統中，

節點角色可分成三大類：第一是 Broadcaster 即多媒體串流廣播伺服器端，第二是 Security 即安全認證機制端，第三是 Client 也就是客戶端系統。其操作環境架構示意圖如圖 3-1 所示。

z 多媒體串流廣播伺服器(Broadcaster)：由內容供應伺服器、串流伺服器與節點 管理伺服器所組成，其建立系統群播樹並依據分享者系統設定給予串流服務，

週期性收集各節點狀態資訊並動態維護群播樹，以保持群組網路內各節點之負載平衡與群播內容品質，並對所輸出的串流加擾保護並供合法用戶節點解擾鑰匙。

z 安全認證機制(Security)：由數位權利伺服器(DRM Server)和資料庫所組成，當 用戶節點申請廣播服務時，隨機產生 CSA 鑰匙並供給串流伺服器或申請用戶予以加擾保護機制。負責用戶節點之身份認證，以數位簽章維護客戶端身份資料庫。

z 客戶端系統(Client)：由串流伺服器與多媒體播放器所組成，供接收串流服務並

(6)

將多媒體串流內容經 CSA 解擾後將該數位內容顯示於系統顯示視窗之上，播放同時多工轉送串流服務給其他的請求節點。當上一層父節點所提供之串流資訊消失時，自動重新連結新的父節點以保持串流廣播服務正常化。

圖 3-1 IPVB 串流資訊服務運作環境示意圖

在媒體串流服務網路中，用戶節點經數位權利伺服器確認身份後始能接收上一層父節點所提供之串流資訊。IPVB 系統中的串流群播樹是以單群播樹的 P2P 網路模型為基礎架構，多媒體串流廣播伺服器為該群播樹的根節點，由上而下對群播樹下所有子節點做應用層群播(ALM)。建立串流群播樹，初期以 Broadcaster 內固定的樹分支度參數為群播樹建立原則。Broadcaster 會週期性的收集各節點狀態資訊(如上下載網路頻寬，和客戶端節點對伺服器之間的響應時間)。經一段時間後，Broadcaster 系統會依照所收集之節點狀態資訊，動態調整群播樹結構，以維護每個節點的網路負載平衡與多媒體群播內容的品質。

四、系統實作結果

開發 IPVB 系統所使用的平台，以 C#程式語言為主。在開發過程中，考量整體架構與功能，分析並列出可能會遭遇的主要技術瓶頸，再分別建構與驗證相關的解決方案。我們開發一個共用的網路程式應用平台，

期望能夠提供 IPVB 系統設

計上所需要的基本功能模組。初步驗證應用平台設計後，再依據 IPVB 系統中所需之不同伺服器(如內容伺服器、串流伺服器)的功能需求規格，分別開發與驗證各伺

圖 4-1 程式基本啟動介面

(7)

服器，最後再整合成一個完整的點對點影像廣播系統(P2P-IPVB)。

在 IPVB 系統下，依節點的功能需求不同分成多種不同模式，各種模式下的系統程式在啟動後且尚未登入群組網路前，其使用者介面皆如圖 4-1 所示。使用者可以在 Group ID 與 User ID 欄位分別填入所欲登入群組網路名稱及使用者名稱，如 Group ID 為「IPVB」，User ID 為「001」，輸入完成後按下右下角登入按鈕即可登入群組網路，此時節點名稱(GUID)為 IPVB.001。若使用者以特殊 GUID 登入如 IPVB.DB、IPVB.DRM、IPVB.ROOT 則分別可以啟動資料伺服器、數位權利管理伺服器與多媒體串流廣播伺服器。

(一)多媒體串流伺服器

使用者以 IPVB.ROOT 登入後，則系統進入多媒體串流廣播伺服器模式，此時多媒體串流伺服器使用者介

面如圖 4-2 所示。在多媒體串流廣播伺服器登入後介面中，使用者可以得知目前多媒體串流廣播伺服器的網路位址。在該使用者圖形介面中間部分，顯示了目前群組網路內所有節點資訊列表。

(二) 數位權利伺服器 使用者以 IPVB.DRM 登入後，則系統進入數位權利伺服器模式。登入之後，數位權利伺服器處於尚未與資料伺服器連線狀態。在數位權利伺服器程式登入後使用者圖形介面中，使用者可以得知目前數位權利伺服器的網路位址。數位權利伺服器會自動搜尋資料伺服器網路位址並與之自動連線以取得人員資料名單。數位權利伺

服器取得人員資料名單且經確認資料無誤後，便完成數位權利伺服器啟動流程。此時數位權利伺服器使用者介面如圖 4-3 所示。

(三) 用戶端系統程式

圖 4-2 多媒體串流伺服器-登入後介面

圖 4-3 數位權利伺服器與資料伺服器完成連線時介面

(8)

使用者以 IPVB.XXX 登入(XXX 表示任意使用者帳號，如 001)後，則系統進入客戶端模式。在此一使用者圖形介面中，可以得知目前客戶端系統程式的網路位址。

在 Console 選項中，客戶端系統程式若偵測到群組網路內有串流廣播服務提供，則啟動服務按鈕呈現紫色，反之則呈現淡灰色，此時客戶端系統使用者介面如圖 4-4 所示。使用者填入密碼並按下啟動服務按鈕後，其身份必須經由數位權利管理伺服器的認證。經認證無誤後，客戶端系統程式便可開始接收多媒體串流廣播服務。

由上圖右半部控制介面中，使用者可進一步控制

串流廣播資訊的啟動、停止、暫停與畫面擷取等額外控制功能。

當客戶端系統程式將接收到廣播串流，會展示在另一顯示視窗中，如圖 4-5 所示。該視窗左邊文字為 IPVB 系統文字廣播功能的展示。客戶端系統程式將廣播文字直接重疊於廣播視訊內容之上，且以跑馬燈方式由下向上滑動顯示於顯示視窗。

圖 4-5 廣播內容之顯示視窗

五、結論

本系統建置的目標是運用 P2P 網路架構具備分散編解碼運算量以及網路傳輸負擔的特性，並結合可調適多媒體串流技術，提供在點對點架構上之即時視訊廣播服務。此系統以社群網路所強調的「互動、參與和共享」精神為主要設計概念，資源分享者可以很容易地分享靜態影片檔案或動態即時視訊給該社群成員。為達成系統圖 4-4 客戶端系統-接收多媒體串流廣播服務介面

(9)

設計目標，從系統實作過程中提出以下幾個問題改良點做一說明：

(一) 節點搜尋與通訊

在系統開發時的網路規劃設計中，因無中央節點管理伺服器的建置，為有效管理群組網路中所有節點成員，故系統採用結構化點對點網路架構設計，將所有節點連繫在同一個重疊網中。在重疊網中，每個節點都有唯一的標籤名稱(GUID)。節點間通訊時須先以 GUID 來搜尋目標節點，取得該目標節點的網路位址(IP 與 Port)後便可與該目標節點進行點對點通訊。

(二) 點對點群播樹

視訊群播系統建構一 P2P 群播樹，以發揮其傳輸優勢有效地分散 Broadcaster 負荷到各收視節點。運用所提出之節點更新演算法(專利申請中)，有效處理客戶端節點動態加入、離開與失效後重新連線等問題。系統適時動態更新群播樹端點連線，

以使群播樹狀結構能維持在一定合理深度、傳輸延遲小而系統穩定度更高。

(三) 多媒體串流傳輸

在多媒體編解碼與串流傳輸上，本系統以 H.264/AVC 作為即時串流媒體的視訊壓縮格式，除了高壓縮比，還具備碼流可調適的功能，我們以實作 H.264 的工業版本 X.264 軟體編解碼傳輸開發系統來建構本點對點即時視訊群播系統。

(四) 安全管理

系統以集中式點對點網路架構實作安全保護機制(數位權利管理伺服器)，以有效識別與管理節點身份。唯有經驗證合法的節點，才可接收系統所提供之媒體串流服務。另針對串流資訊的加解密保護機制，採用 CSA 加擾機制，以保護網路上串流資訊被非法擷取與即時多媒體傳輸品質的兼顧。

六、參考文獻

[1] B. Pourebrahimiet al. “A survey of Peer-to-Peer networks,” Annual Workshop on Circuits, 2005.

[2] Napster, http://www.napster.com

[3] Gnutella Forums, http://www.gnutellaforums.com/

[4] IRIS, http://project-iris.net/

[5] Microsoft, http://www.microsoft.com/

[6] Chord, http://pdos.csail.mit.edu/chord/

[7] Kazaa, http://www.kazaa.com

[8] N. S. Good and A. Krekelberg, “Usability and privacy: a study of kazaa P2P file-sharing,” in Proc.

ACM Press, 2003.

[9] I. Stoica, R. Morris, D. Karger, F. Kaashoek, and H. Balakrishnan, “Chord: a scalable peer-to-peer lookup service for internet applications,” in Proc. ACM SIGCOMM Conference, 2001.

[10] S. Ratnasamy, P. Francis, M. Handley, R. Karp, and S. Shenker, "A scalable content addressable network,” in Proc. ACM SIGCOMM Conference, 2000.

[11] Tapestry project, http://current.cs.ucsb.edu/projects/chimera/

[12] B. Y. Zhaoet al. “Tapestry: a resilient global-scale overlay for service deployment,” IEEE J.

Selected Areas in Communications, 2004.

[13] Pastry project, http://www.freepastry.org/

[14] A. Rowstron and P. Druschel, “Pastry: scalable, decentralized object location and routing for large-scale peer-to-peer systems,” Microsoft Research Ltd, St. George House, 1 Guildhall Street, Cambridge, CB2 3NH, UK.

(10)

[15] S. R Subramanya and B. K. Yi, “Digital rights managements,” IEEE Potentials, March-April 2006.

[16] B. Pourebrahimi, K. Bertels, and S. Vassiliadis, “A survey of Peer-to-Peer networks,” The 16th Annual Workshop on Circuits, 2005.

七、計畫成果自評

本計畫執行已達成原計畫提案書所列工作項目：(1)整合多種媒體信號源、定位尋物系統與家庭視訊探索空間之單一媒體人機介面；(2)研究並建構具數位權利管理(DRM)與通用媒體存取(UMA)之媒體中心系統；(3)研究與實作數位媒體中心與 IPMP 使用者端之互動與控制方法。主要的重點於完成整合各媒體信號源、定位尋物與空間視訊探索之人機媒體介面，並且完成具備數位權利管理與通用媒體存取之媒體中心系統，及完成具備 IPMP 功能之使用者多媒體終端機系統。

目前網路傳輸媒介已經進入光世代，未來將會有更大量的網路多媒體應用需求。雖然系統已建構了網路多媒體應用開發的相關基礎技術建設，但仍還有很多改良補強空間，如以下幾點：

z 目前系統功能驗證以區域網路為主(如學校單位)，若要擴大應用範圍至廣域網路，則必須對於突破 NAT 與防火牆的限制。

z 串流資訊的保護機制以 CSA 加擾保護為主，其安全防護等級可以再提升。未來可改採有安全保護機制的網路通訊協定(如 HTTPS)來增強保護等級。

z 客戶端點系統的網路資源運用仍可提升，在群播樹建構法中，可導入多群播樹演算法的優點，進一步提升網路效能與穩定度並保持更好的網路負載平衡。

(1) 綜合評估：本計畫產出相當多具有學術與應用價值的成果，並執行相關的產學 計畫，目前正準備投稿期刊論文中，並已有提出專利。另外，也培育高科技人才，

整體成效良好。本年度計畫相關的學術論文發表如下：

[1] S.-H. Liu, H.-Y. Yu, J.-Y. Wu, J.-J. Chen, J.-L. Liu and D.-H. Shiue, “A secured video streaming system,”

IEEE Int. Conf. Sys. Sci. & Eng., ICSSE 2010, July 1-3, 2010.

[2] S.-C. Lee, J.-J. Jhuang, C.-H. Chen, J.-J. Chen, J.-L. Liu, and D.-H. Shiue, “The improved central decoder of a multiple description and distributed codec for videos,” IEEE Int. Conf. Multimedia & Expo., ICME 2010, July 19-23, ICME 2010.

[3] H.-Y. Yu, C.-H. Lee, R.-C. Chang, and J.-J. Chen, “Developing a human-environment interaction system for smart wheelchairs,” in Proc. Comp. Vision, Graphics & Image Process, Aug. 15-17, 2010.

[4] C.-R. Su, C.-J. Hu, J.-J. Chen, “Peer-to-Peer network image retrieval,” in Proc. Computer Vision, Graphics and Image Processing, Aug. 15-17, 2010.

[5] H.-Y. Yu, C.-H. Lee, R.-C. Chang, and J.-J. Chen, “Toward developing a human-environment interaction system for smart wheel chairs,” 25th World Battery, Hybrid and Fuel Cell Electric Vehicle Symposium &

Exhibition, Nov. 5-9, EVS 2010.

(2) 產學計畫(計畫主持人：陳建中)

“Open IPTV Forum 之技術研究與開發”工業技術研究院資訊與通訊研究所 FY99 分包學術機構研究計畫,金額：500,000 執行期間：99/1/1-99/12/31.

(3) 專利提案

陳建中、溫建宇、林華毅、鍾國煌，“用於即時媒體碼流之點對點網路傳輸系統與方法”。

中華民國、中國專利申請中，工研院專利申請案號[P52990153]

(11)

行政院國家科學委員會補助國內專家學者出席國際學術會議報告

99 年 10 月 19 日報告人姓名

陳建中服務機構

及職稱國立台灣科技大學電機工程系助理教授

時間會議地點

自民國 99 年 7 月 19 日至民國 99 年 7 月 23 日新加坡 國際會議中心

本會核定

補助文號 NSC 98-2221-E-011 -134

會議名稱

(中文) 2010 國際電子電機之多媒體與展示研討會 (英文) 2010 IEEE International Conference on Multimedia & Expo

發表論文題目

(中文) 用於多描述編碼與分散式視訊編碼之改良式中央解碼器

(英文) The improved central decoder of a multiple description and distributed codec for videos

附件I

(12)

一. 參加會議經過

2010 國際電子電機之多媒體與展示研討會 ( IEEE International Conference on Multimedia & Expo) IEEE ICME 於二０一０年七月十九日至二十三日為期四天，

假新加坡國際會議與展示中心 (Suntec Singapore International Convention &

Exhibition Centre)舉行◦ 此次會議新加坡南洋科技大學與香港科技大學主辦，是從事多媒體研究者的重要研討會，廣受學術界及工業界的高度重視。研討會議提供之研究討論領域為: (1)高畫質任意視角之電視服務(High-resolution freeview 3DTV services) (2) 分散式視訊編碼：理論、實際與新趨勢 (Distributed Video Coding:

Theory, Practice and New promises) (3) 多核心多媒體信號處理平台 (Multimedia Signal Processing Multi-core Platform) (4)未來多媒體多模式互動與多科學交叉的創新模人機介面設計 (The Future of Multimedia, Multimodal interaction and multi- disciplinary innovation ); (5) 社交機器人 Social Robot (6) 雲端運算 (cloud computing)。

本人報名參加此會議所安排的三場專業演講(tutorial)，第一場為 high-resolution depth map generation for free-viewpoint 3DTV services,由韓國光洲科技研究所 Yo- Sung Ho 教授主講。自從電影「阿凡達」播出以來，立體電影的熱潮再一次受到重視，目前主要發展多視角立體視訊編碼，顯示界面則可以是裸眼或戴眼鏡觀看。其中一個關鍵技術就是要從多視角的視訊中，產生深度資訊(depth information)以提供顯示器顯示立體資訊。在硬體設計的考量上，需要設計快速的演算法，以提供工業開發用平台。目前一般運用 time-of-flight active sensor 技術來估測深度資訊，本演講提出結合 active 和 passive 的快速深度估測演算法，以提供 3DTV, Free-view TV 等立體視訊的資訊。第二場主題是 Distributed Video Coding, Theory, Practice and New promises，由美國 Missouri 大學 WenJun Zeng 教授主講。近來，在視訊編碼方面，有提出以多描述編碼，以及分散式編碼等架構。多描述編碼可以提升多媒體傳輸的穩定度，提供收視端良好的收訊品質。分散式編碼可以有效的將編碼複雜度從編碼端移至解碼端，以改善邊解碼複雜度不平衡的缺點。本主題為我們實驗室曾經研究過的項目，因次基礎的技術介紹大致都有掌握到，但在潛在的相關應用上，一直是一個不好掌握的方向，雖然分散式編碼的理論很漂亮，但是要用於實際的應用中，似乎還有一段漫長的路。雖然在這一個趨勢之下，有許多硬體設計廠商，也思欲找尋可能的產品開發商機，但是要將這個理論架構運用到實際的系統中，確實存在許多必須克服的困難。主講人煞費苦心，有說明潛在的應用，例如 freeview video coding 的 mobile encoder，或者 remote sensing camera 的系統等。但本人認為本技術的未來仍然切缺明朗。第三場為 video quality assessement of 2D and 3D TV，

(13)

由英國 Surrey University 的 Anil Fernado 教授主講，其所領導的實驗室過去在 video coding 的研究上的論文相當可觀，目前也提出如何評量視訊編碼的品質。尤其在 3D TV 信號的視覺品質評量，不易有量化的指標，例如 2D 視訊的訊雜比等。在主觀視覺品質量測上，一般有使用 mean of score （MOS）的評量法。但是 MOS 的進行需要繁瑣的安排工作，而且耗時甚久。因此視訊品質的量測，應該是要以自動化的方式來進行，換句話說，就是客觀的評量程序。這樣的程序可以幫助視訊邊解碼器設計者設計出好的編解碼系統。主講者提到很多統計的數字與方法，雖然過程也是繁瑣，但是最後可以自動化執行是最重要的特點。要以自動執行程序取代主觀的視覺品質，確實是相當具挑戰的研究，因此本演講有很多台下的專家，提出許多不同的看法。演講者的回答與台下的互動相當熱絡，這是相當難得的場合。

第一天的發表論文，主要有 media compression and delivery 以及 image annotation and indexing 以及 multimedia surveillance 。在 media compression and delivery 的場次中，有研究整合訊源和通道編碼的編碼控制，這個研究方向雖然已經有相當長的歷史，但是在編解碼方法以及無線通信技術的進步趨勢下，這個主題一直是許多研究者感興趣的題目。另外，有研究 JPEG2000 的封包處理，以及標頭檔資料對傳輸的影響與可能的控制方法。其他的研究題目有 Rate control 和 streaming 的技術探討與改進。第二個場次 image annotation and indexing，這個主題延續 MPEG-7 的熱潮，雖然目前仍欠缺可能的商業模式，但是研究網路上大量影像資料庫的檢索方法，以及前處理技術，仍然是許多研究者感興趣且持續改進的研究項目。主要是網路和個人電腦的普及，相對帶動大量影像資料搜尋的需求。有人加強 semantic retrieval 的方法，也有提出 unbalanced learning 來進行影像檢索。另外就是有效降低檢索特徵維度，或者有效辨識使用者的視覺觀念等。下午的場次有關多媒體人機介面的設計，以及 event and action detection of web video 等，在人機介面方面，主要集中在手勢辨識、眼睛注視方向、手寫音樂註腳辨識，以及觸控面版的設計等，可見人機介面所需要的技術相當多元。另外在聲音與音樂信號處理上，主要仍著重在如何從音訊信號中音節分割，也有研究語音檢索，以及封包漏失的處理等，主要仍著重於基礎技術的改進。在 poster 部分，有研究影像內容 retargetting 的方法，處理速度和視覺效果是主要的改進重點。另有用於填補漏失區域紋理的方法。採用 3D 視訊匡一致性來分割視訊片段，以提供進一步的檢索或播放的應用系統。

第二天的主題，首先仍然是影像與視訊的編碼，這個主題是其他多媒體應用技術的核心，所探討的主題為 motion estimation, robust compression technology, intro- mode dependent coding, interlayer motion estimation 等，這些都是基礎的編碼技術開發，雖然影像視訊編碼的國際標準已經廣為應用，這些研究仍然是學術界培育人才

(14)

的主要研究題目。除了基本的視訊編碼技術，如何於視訊中加入浮水印(watermark) 也是一個保護數位內容的主要關鍵技術。或者如何辨識偽造資料(forgery)的技術開發，另外，如何保護電影不在數位戲院被攝影機盜錄，是比較有趣的題目。還有另一個重要的技術，即如何提供碼率可調的編碼方法，雖然 h.264 和 HHI 都有提供相關架構，強健的碼率可調適編碼(scalable)，在數位多媒體的廣播應用上相當重要。

其他的研究主題有視訊物件切割、視訊分析與檢索、語音信號處理，其中有展示系統，中正大學賴文能教授實驗室所開發的單視角轉立體電影的系統，可以將普通電影轉成立體電影，是比較深刻的展示系統。日本某實驗室有展示即時車輛偵測與辨識系統，主要是在編碼速度上的改進。但是展示也相當令人印象深刻。

第三天的主題為人臉辨識與姿勢分析，人臉辨識有主動式和被動式、遠距離或近距離。有些應用是辨識身份，有些是辨識性別，也有辨識人臉，應用相當多元。

提出的方法也很多，主要是所擷取的特徵型態不一樣。另外就是立體視訊的編碼 (3DTV)或多視角視訊編碼(multi-view video coding),這部分的研究主要是想快速的找出 disparity 以便後續的 image depth 估測。因為這個步驟是關係整個 3DTV 速度的程序，也是影響視覺效果的主要關鍵技術。立體視覺最近幾年是一個相當熱門的題材，因為平面視訊的編碼技術，已經發展到相當成熟的階段，立體視訊是一個直接的延伸應用。其他的主題有視訊內容分析、語意內容擷取、視覺關鍵字擷取，以及主題擷取等，這是屬於比較高階的應用技術。此外，還有 IPTV、立體顯示技術、

內容保護機制等，都是近幾年來多媒體技術發展的熱門研究題材。

IEEE ICME 是一個以多媒體的發展為主要內容的專業國際論文發表會議，多媒體處理技術與相關架構向來進步迅速，因此需要多參加研討會以掌握國際相關技術的發展趨勢。參加此研討會的人數逐年增加，本人在會場碰到中研院、台大、清大、交大、中正、中山、工研院等多位技術先進，也藉此機會交流平日的研究成果和心得，雖然同是台灣的參與者，也因為可以不受平日事務的影響，而深入的瞭解彼此的研究內容和實驗室文化。同時也藉機檢視自己的研究方向和技術深度，獲益很多。以上是我直接與論文發表人討論的報告，因為時間有限，所能夠掌握的還是有限。不過，經由參加這次會議可以瞭解近年來多媒體的技術發展趨勢，雖然所發表的論文在非常多樣。但是，主要還是隨著多媒體網路化的趨勢發展，這是最主要的主軸。例如 IPTV,3DTV 等。

二. 與會心得

1. 多媒體編碼傳輸的技術需求以及發展近年來進步飛快，目前主要的研究重點為分散式編碼、多描述編碼、立體電視編解碼、多視角編碼等，這些高階層應用的運算量都非常大，因此如何降低計算複雜度，而仍然可以保持一定的

(15)

效果，是相當重要的。另外，雖然這些技術一直在進步，但是相關的實際應用系統發展似乎比較緩慢。

2. 影像與視訊的分析和檢索，仍然是一個發展主流，如何將視訊內容分割為比較高階語意的片段，或者如何擷取內容的語意關鍵特徵、關鍵字等。都仍相當受重視。檢索的應用，因為網路和運算能力的進步，大量資料庫的檢索應用，目前也是吸引相當多的學者。

3. 人機介面一直是接觸普羅大眾最重要的一層，因此如何整合多模式來提供模擬使用者意志的方式，是常用的方法。目前的表情辨識、姿勢分析，以及人機互動介面的相關研究仍然熱絡。

4. 其它如 video analysis, copy detection, IPTV, 3DTV, scalable video coding, multi- model human-machine interface, multi-core processor and GPU 等，都是相當熱門的研究項目。

三. 建議

本次由香港大學和新加坡大學合辦此一國際研討會，會場中除了研究成果的分享與討論，還可以讓世界各國瞭解新加坡的文化，有助提昇國際名聲。希望我國可以多補助校內教師參與國際研討會，以保持學術、研發與國際水準一致，掌握國際上科技發展的脈動，全面提升學術與業界的水準。另一方面，也希望政府可以多鼓勵學界、業界舉辦國際型研討會，除了提供學術研究和科技的交流平台，也讓世界各國瞭解本國人優秀的一面，有助提升本國的國際地位。

四. 攜回資料名稱及內容

會議的論文集之光碟片一片

五. 結語及其他

本人非常感謝國科會能夠補助參加此次的 IEEE ICME 2010 之國際研討會。除了發表計畫研究成果，並且可以來自世界各國的專家學者、以及業界先進一起討論，交換研究心得並探討未來多媒體的發展趨勢。這些交流訊息對於身為國內學術研究一員的個人，在與會後關於未來的研究方向和教學內容的選擇，有相當重要的啟發與靈感。除增廣見聞，也瞭解世界各國在多媒體研究和技術的發展趨勢與脈動。再次感謝學校補助本人出國學習，個人得以進一步將最新資訊帶進校園，為教育研究盡一己棉薄之力。

(16)

無衍生研發成果推廣資料

(17)

98 年度專題研究計畫研究成果彙整表

計畫主持人：陳建中計畫編號：98-2221-E-011-134- 計畫名稱：智慧型家庭的開發--子計畫五：智慧型家庭媒體中心(III)

量化

成果項目 ^{實際已達成}

數（被接受或已發表）

預期總達成數(含實際已

達成數)

本計畫實際貢獻百

分比

單位

備註（質化說明：如數個計畫共同成果、成果列為該期刊之封面故事 ...

等）

期刊論文 0 0 100%

研究報告/技術報告 0 0 100%

研討會論文 1 1 100%

篇相關技術以發表於 Computer Vision, Graphics and Image Processing 2010.

論文著作

專書 0 0 100%

申請中件數 2 2 100% 已申請中華民國專利和大陸專利專利

已獲得件數 0 0 100%

件

件數 0 0 100% 件

技術移轉

權利金 0 0 100% 千元

碩士生 2 2 100%

博士生 2 2 100%

博士後研究員 0 0 100%

國內

參與計畫人力

（本國籍）

專任助理 0 0 100%

人次

期刊論文 0 0 100%

研究報告/技術報告 0 0 100%

研討會論文 2 2 100%

篇

已發表兩篇會議論文於

(1) Int. Conf. on System Science and Engineering 2010.

(2) Int. Conf. on Multimedia and Expo. 2010

論文著作

專書 0 0 100% 章/本

申請中件數 0 0 100%

專利已獲得件數 0 0 100% 件

件數 0 0 100% 件

技術移轉國外

(18)

博士生 0 0 100%

博士後研究員 0 0 100%

（外國籍）

專任助理 0 0 100%

其他成果 (無法以量化表達之成果如辦理學術活動、獲得獎項、重要國際合作、研究成果國際影響力及其他協助產業技術發展之具體效益事項等，請以文字敘述填列。)

本計畫之執行，所開發的功能模組，乃網路多媒體技術所必須具備的模組。

基於本計畫之執行內容，與現在工業規格之網路電視 IPTV OPen Forum 規範類似，

因此本計畫延伸到此一工業規格來實作，目前與財團法人工業技術研究院資通所

有合作開發 IPTV Open Forum 規範之 Terminal Function，提供關鍵的功能模組。

相關產學計畫資訊如下：

＇Open IPTV Forum 之技術研究與開發＇

工業技術研究院資訊與通訊研究所 FY99 分包學術機構研究計畫, 金額：500,000 執行期間：99/1/1-99/12/31.

成果項目量化 名稱或內容性質簡述

測驗工具(含質性與量性) 0

課程/模組 0

電腦及網路系統或工具 0

教材 0

舉辦之活動/競賽 0

研討會/工作坊 0

電子報、網站 0

科教處計畫加填項

目計畫成果推廣之參與（閱聽）人數 0

(19)

(20)

國科會補助專題研究計畫成果報告自評表

請就研究內容與原計畫相符程度、達成預期目標情況、研究成果之學術或應用價值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）、是否適合在學術期刊發表或申請專利、主要發現或其他有關價值等，作一綜合評估。

1. 請就研究內容與原計畫相符程度、達成預期目標情況作一綜合評估

■達成目標

□未達成目標（請說明，以 100 字為限）

□實驗失敗

□因故實驗中斷

□其他原因說明：

2. 研究成果在學術期刊發表或申請專利等情形：

論文：□已發表 ■未發表之文稿 □撰寫中 □無專利：□已獲得 ■申請中 □無

技轉：□已技轉 □洽談中 ■無其他：（以 100 字為限）

3. 請依學術成就、技術創新、社會影響等方面，評估研究成果之學術或應用價值（簡要敘述成果所代表之意義、價值、影響或進一步發展之可能性）（以 500 字為限）

本計畫之執行，所開發的相關網路多媒體技術，需要建構多個功能單元，包括多媒體碼流伺服器(Media streaming Server)、認證管理伺服器(Digital Right Management Server)、

以及點對點連線管理機制(Peer-to-Peer Linking Strategy)等，才可以實現真正的安全網路多媒體系統。本計畫除實作各功能單元，也針對點對點網路連線機制提出新的演算法，可以有效降低傳輸延遲，維持穩定視訊品質。本技術目前已申請專利。

另外，因為網路多媒體系統與正發展中的 IPTV Open Forum 規範中的技術相關，本計畫也可進一步將系統中的各單元間 hand-shaking 機制以 IPTV Open Forum 的 Terminal Function 來實作，可以進一步應用到最新的工業規格之網路電視系統中。目前本計畫與工研院資通所已有合作開發技術與專利。相關的期刊論文發表目前正在準備中。

智慧型家庭的開發---子計畫五：智慧型家庭媒體中心(III)

行政院國家科學委員會專題研究計畫 成果報告