數位電視家用多媒體平台建置計畫

行政院國家科學委員會專題研究計畫 期中進度報告

數位電視家用多媒體平台建置計畫(1/3)

計畫類別： 個別型計畫 計畫編號： NSC93-2219-E-002-031- 執行期間： 93 年 10 月 01 日至 94 年 12 月 31 日 執行單位： 國立臺灣大學電信研究中心 計畫主持人： 陳銘憲 共同主持人： 簡韶逸，蔡淳仁，廖婉君，陳宏銘，郭天穎，杭學鳴，李仁貴， 王家祥 報告類型： 完整報告 處理方式： 本計畫可公開查詢

中 華 民 國 95 年 3 月 21 日

行政院國家科學委員會補助專題研究計畫

□

成 果 報 告

5期中進度報告

數位電視家用多媒體平台建置計畫

計畫類別：

5

個別型計畫

□

整合型計畫

計畫編號： NSC 93-2219-E-002-031

執行期間： 93 年 10 月 1 日至 94 年 9 月 30 日

計畫主持人：陳銘憲教授

國立台灣大學電機資訊學院電信研究中心

共同主持人：王家祥教授、陳宏銘教授、簡韶逸教授、郭天穎教授、

蔡淳仁教授、杭學鳴教授

成果報告類型(依經費核定清單規定繳交)：

□

精簡報告

5

完整報告

本成果報告包括以下應繳交之附件：

□

赴國外出差或研習心得報告一份

□

赴大陸地區出差或研習心得報告一份

□

出席國際學術會議心得報告及發表之論文各一份

□

國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

□

涉及專利或其他智慧財產權，

□

一年

□

二年後可公開查詢

執行單位：國立台灣大學電機資訊學院電信研究中心

臺灣大學電子工程學研究所

臺灣大學電信工程學研究所

清華大學資訊工程系

交通大學資訊工程系所

台北科技大學電機研究所

中 華 民 國 94 年 9 月 28 日

行政院國家科學委員會專題研究計畫成果報告

數位電視家用多媒體平台建置計畫

Establishment of Digital Television Multimedia Home Platform

計畫編號：NSC 93－2219－E－002－031 執行期限：93 年 10 月 1 日至 94 年 9 月 30 日 計畫主持人：陳銘憲教授 國立台灣大學電機資訊學院電信研究中心 共同主持人：王家祥教授、陳宏銘教授、簡韶逸教授、郭天穎教授、 蔡淳仁教授、杭學鳴教授 一、 中文摘要 數位電視的時代來臨，所帶來的不止 是畫面品質的提升，伴隨的是相同頻寬之 下能提供更多的節目，以及更多加值的服 務，比如結合多媒體產品的應用，與網路 資訊的整合等。 本『數位電視家用多媒體平台建置計 畫』以三年為期，兼顧軟體與硬體層面之 關鍵技術研發，結合數位電視傳輸資料流 處理、應用程式編輯工具製作、數位權利 管理、電子節目表單、軟硬體協同平台等 相關技術的研究，並且實際開發數位電視 上相關應用程式，以期整合數位電視所需 之關鍵技術及建置數位電視家用多媒體 平台為目標。本計劃包含六個關鍵元件， 並予以整合。本報告為此計畫的年度報 告，將簡介各主題在這一年之研究成果。 關鍵詞：互動數位電視、多媒體家用平 台、傳輸資料流、編輯工具、數位權利管 理、電子節目表單、軟硬體協同平台 Abstract

The age of digital TV is coming. What

comes along with is not only the raising quality of view, but also more value-added services, for example, the applications combining multimedia productions and the integration of network information.

The aim of this project is to integrate individual technologies of building digital MHP TV. Technologies include processing transport streams, authoring tool, digital rights management, electronic program guide and platform of hardware, and software co-design. This project contains six key-components and the concluding report of this project is described.

Keywords: iDTV, MHP, transport stream, authoring tool, DRM, EPG, hardware /software co-design.

二、 研究結果概要

MHP (Multimedia Home Platform)，是 歐洲DVB (Digital Video Broadcasting)組 織針對數位電視未來應用及發展所擬定 之家用多媒體平台標準，本計劃將研究範

圍規劃為三個層次來探討：硬體系統、中 介軟體以及應用程式三個層面。

硬 體 系 統 層 面 ， 研 究 相 關 TS (Transport Stream)處理的議題，包含所有 MPEG-2 System Layer 中的規範，並以軟 體的方式實作整個 TS 運算的流程，包含 TS packet 分 解 為 PES (Packetized Elementary Stream) 及 ES (Elementary Stream)、PSI (Program Specific Information) table 的分析、以及編碼為 PS (Program Stream)的部份。另進一步，提出一個以特 殊 應 用 指 令 微 處 理 器 的 方 式 來 實 現 硬 體。並成功地將JOP 移植於 ML-310 上， 利用JMF reference implementation 的檔案 安排及建立程序。 中介軟體層面，研究 DRM (Digital Rights Management)相關機制，選擇合適的 權利描述語言、完成數位權利管理系統之 規劃。並將Smartcard 實際運用在本 DRM 系統中，讓本系統實際與完善。本計畫的 EPG 系統，將 User 的 Profile 與節目的資 訊同時列入考量，以提供創新及有效率之 資料擷取。 應用程式層面，研發 MHP 互動應用 程式製作之工具，其提供視覺化設計的環 境，讓使用者快速開發與編寫DVB-J 應用 程式，可省下許多開發時間與成本。目前 已完成 MHP 互動應用程式的功能。此 外，設計一個以數位電視為基礎的遠距教 學系統(DTV-based E-Learning System)；此 系統成功結合數位電視以及網路資源，為 數位學習提供一個新的方式。 本計畫兼顧軟體與硬體層面之關鍵 技術研發，同時將整合為一獨立且具備擴 充性之DTV/MHP 系統，以期加速國內數 位電視廣播之發展並提高產業競爭力。 在第一年中，研究方法與成果茲分述 如下： 數位電視傳輸資料流處理器： 此研究目的在於，設計一個具有將數 位電視之傳輸資料流(Transport Stream, TS) 同時分解成數個解碼器可以解碼的元素 資料流(Elementary Stream, ES)以及錄製 成節目資料流(Program Stream, PS)的矽智 財(Intellectual Property, IP)。另還必須具有 基 本 的 clock reference recovery 、 PID filtering 、 session filtering… 等 一 般 TS Demultiplexer 具有的功能。 在第一年，我們了解傳輸資料流的表 示法、並以軟體的方式實作整個 TS 運算 的流程，包含 TS packet 分解為 PES 及 ES、PSI table 的分析、直到最後編碼為 PS 的部份。並提出以一個以特殊應用指令微 處理器的方式來實現硬體：此微處理器的 設計，可以針對需要的運算來設計指令 集，且保有可程式化的彈性。另一方面， 將一些共通性高的運算以硬體實現，當作 此處理器的周邊，以增加硬體執行的效 率。此外，為達到節省面積（節省 IC 的 成本），以及提高使用彈性的特點，我們 針對這些需求，為IP 設計所訂定的規格如 表一。 Supporting TS bit-rate 120 Mbit/s Operating Frequency 50 MHz Supporting PID filtering 32 組 表一、硬體傳輸資料器處理器矽智財規格 由以上訂定的規格可以算出平均每

一個packet 需要的 Clock cycle 數。 packet/s 80 / 8 / 188 / 120 k byte bits packet bytes s Mbits ≈ × packet cycles s packets k s cycles M / 625 / 80 / 50 = 因此，可以得知，以我們設計的指令 集來設計程式碼，平均要在625 cycles 內 就要完成一個packet 所有的運算。 圖一是此IP 的簡易架構圖。首先 TS 經過PID filter 過濾出所需要的 packet，同 時分析出packet 內的 PCR（Program Clock Reference）。過濾後的 TS packet 經過 Descramble 後，送至 Core Processor 做更 進一步處理。處理過的ES/PS 資料則經由 DMA 送 至 系 統 的 主 記 憶 體 。 Core Processor 操作需要的程式碼一開始存在 外部的記憶體中，而在系統啟動時載入IP 內部的記憶體。 我們從市面上現有的數位電視卡產 品將原始的 TS 錄下來做為我們的 test bench，同時也搭配軟體的 ES 解碼器，進 而驗證我們的軟體正確性。有了軟體的環 境之後，以它為測試環境分析各方面的數 據，如運算量，系統bus 所佔頻寬等等。 從這些數據，我們得到一些結論，因而以 此設計出最佳的軟硬體解決方案，我們也 因此得到以特殊應用微處理器的硬體架 構為最佳解決方案的結論 具高度可擴充性的 DVB/MHP 平台的軟 硬體協同設計研究： 此部分重點在於利用軟硬體協同設 計的方法來完成一個規格/效率比最高的 MHP 平 台 核 心 ， 進 而 建 置 一 個 支 援 DVB/MHP 應用的軟硬體可擴充型多媒體 SoC 平台。 在第一年，針對 MHP 平台每一個關 鍵元件，我們進行熱點、資料流、及指令 頻率分析。利用所得結果做為設計硬體加 速器的參考。在 Java VM 上，我們鎖定 特定的 MHP 應用，研究支援這些應用所 需的 API functions，並針對一個軟體的 VM（JamVM）在 RISC core 上執行這些 API 時的熱點設計出 Java Processor 加速的 架構。

此部分於第一年，在JOP 加速方面， 採用了dynamic code optimization（DCO） 和runtime bytecode/data compression 的技 巧。目前DCO 的架構已經整合進 JOP 中， 並在 Spartan III 平台上驗證得到很好的 效能改進。並已成功將JOP 移植於 ML-310 上，且將 Software VM 及 JMF 移植到 ML-310 上。 PID filter clock recovery Descrambler interface Descrambler Core Processor DMA To main memory Transport Stream To 27MHz Clock Data SRAM To CPU PCR TS PES Clock Control

Status & control

TS2PS Demultiplexer Core Code SRAM To Interrupt controller Interrupt 圖一、TS2PS Demultiplexer 硬體架構圖 在硬體架構上，為了使設計架構單純 化，故將JOP 的設計架構簡化到最小。所 有的 devices 均架於 OPB bus 上，JOP 為 Master，其餘為 slave，目前的主要架構如 圖二。目前我們透過 crosstool 這套 cross compile 工具，把 JamVM compile 成可以 在 linux/ppc 上執行的 binary，也可以將 一些 Java bytecode 丟到上面讓 JamVM 執 行；關於 Java 繪圖的部份，目前還在尋 求替代的方法。關於JMF 的 porting 工作， 目前已在desktop x86 上的 Linux，搭配 Sun JDK，建立 JMF，已掌握 JMF reference implementation 的檔案架構與建立程序； 目前主要工作為JDK 的轉換，目的是建立 一 個 JMF，使其能在近似於最終 Java

runtime 環境下執行。以及進一步瞭解如何 將JMF 從 desktop 環境轉移至 embedded 環境，並針對硬體特性優化。 圖二、本計畫設定的ML-310 架構 數位權利管理系統之研發： 此研究目的是在 MHP 機上盒之中實 現一個數位權利管理 (DRM)系統，以提 供數位資訊內容的產權保護，並且提供相 關的加值服務。。 在這第一年的計劃中，首先我們搜集 比對 DRM 相關資料、選擇合適的權利描 述語言、完成數位權利管理系統之規劃。 接 著 ， 我 們 利 用 MPEG-21 Rights Expression Language (REL)，完成權限與 使用規範的描述。 圖三是我們提出的系統架構圖。錄影 管理者 (Record Manager)和播放管理者 (Replay Manager)的程式會跟著多媒體資 料一起跟著 Transport Stream (TS)傳送出 去，而此TS 中節目的 REL 紀錄也會跟著 傳送。錄影管理者和播放管理者分別會監 視錄影及重播的進行。而重要資料如使用 者認證、加密解密的鑰匙、以及REL 的記 錄檔，都會儲存在智慧卡中 Arbiter On-Chip Peripheral OPB UART GPIO BRAM DDR JOP software RS23 圖三、DRM 系統架構圖 在實作上，我們在MHP 平台上面完 成了錄影管理者(Record Manager)以及播 放管理者(Replay Manager)兩組程式。錄影 管理者可依使用者對節目的權限，來限制 錄影的動作，並在錄影後對錄影存檔加密 或浮水印。播放管理者則按照使用者權限 決定是否能夠將錄影存檔解密或去除浮 水印。 EPG 電子節目表單： 電子節目表單（EPG）是數位電視上 最具代表性的服務，因為EPG 不單只是能 讓使用者更便利的選取想看的節目，更整 合了系統所提供的各種服務，扮演系統與 使用者之間的互動的橋樑。 本研究設計，一個以系統平台為基礎 的EPG 架構，如圖四所示；此架構將 User 的Profile 與節目的資訊加以整合，列入選 台機制，我們的 EPG 會以這些資訊為基 礎，並依據Data Mining 與 User 輸入的指 示，進行使用者記錄檔與節目相關資訊的 過濾、分類與整理。

Query Engine User subscription Filter Log Media Server Profile Database Program Database continuous query Matchmaker Program Database Profile Database

Subscription Log Query Data Mining + User Input

Scheduler

Record Streaming Suggestion Remind

Query Processor 圖四、EPG 系統架構 在EPG 核心的架構設計方面，我們研 究了 DVB 當中用來定義的服務資訊的 PSI/SI 規 格 。 DVB-SI 眾 表 格 中 都 有 Descriptor，用以輔助說明，讓使用者更瞭 解節目的資訊。我們可以透過 Descriptor 來攜帶許多重要資訊。因 Descriptor 此欄 位儲存空間256 bytes 非常有限，針對此限 制，我們設計動態 Descriptor 解析模組， 其可動態變更 Descriptor 格式，進而提高 欄位的使用效率，使Descriptor 更有彈性。 在EPG 使用者介面的規劃部分，為了 避開大廠的專利，我們採用 3D 瀏覽器的 概念來實作 3D 介面元件，如 3D 式捲軸 等。並規劃讓使用者可以自訂其所喜好的 EPG 介面，為達到此目標，我們訂立一個 GUI Script，EPG 將讀取這個 Script 來建 立介面。使用者只要修改這個 Script，就 可以自訂EPG 的介面，如圖五所示。 Interpreter EPG DVB - SI EPG Authoring Tool GUI Layout EPG Info EPG GUI Script SI Parser _Personal Profile 圖五、EPG 介面開發示意圖 未來，我們將設計出一個類似HTML 格式的 EPG 介面 Script，並開發出一套 Authoring Tool，介面設計者可利用我們所 提供的 Authoring Tool 來輔助撰寫 Script 以自動產生介面，從而減低開發EPG GUI 的複雜度。 DVB-MHP 互 動 應 用 程 式 製 作 工 具 （Authoring tool）之研發： 內容服務提供業者(如無線三台、有 線電視台業者)，或是廣告業者(電視廣告 商)，在製作互動式節目之內容時，也隨之 需要開發節目所需的互動應用程式，然而 他們擅長於節目內容之製作卻不擅長於 應用程式之開發。因此，本研究目的在於 提供一套直覺地操作設計的互動應用程 式製作工具(Authoring tools) ，實作出一 個整合開發環境(Integrated Development Environment, IDE)，提供內容服務提供業 者與程式設計領域業者能夠直接在個人 電腦上進行 DVB-J 應用程式的編輯、製 作、執行與測試等功能，以降低程式開發 上的複雜性。 在第一年的計劃中，我們研究了市面 上相關的整合開發環境，選擇 Sun 的 NetBeans 作 為 開 發 基 礎 ， 進 一 步 修 改 NetBeans 之中的模組，以產生 DVB-J 應 用程式。圖六為我們的 MHP 互動應用程 式製作工具的系統圖。圖形模組是最需要 修改的部份，而編譯器模組、Java 模組、 以及編輯模組都需載入 DVB-J 相關的外 部程式庫，使得這些模組可以支援DVB-J 應用程式之開發。圖七是修改過後的圖型 模組，被修改的部份有圖形使用者介面與 原始碼產生器。另外，我們新增了兩類的 樣本檔(Template File)以支援主場景與次 場景分離的機制。

圖六、MHP 互動應用程式製作工具的系統圖 圖七、修改過後的圖形模組架構圖 我們的MHP 互動應用程式製作之工 具除了擁有一般性的功能之外，已完成的 功能與特色有: (1)支援主場景與次場景的 分離機制，允許產生的應用程式可以在傳 送階段時有較佳的傳送策略。(2)使用者可 以閱讀與編寫自動產生的原始碼。 遠距 MHP 教學應用之研發： 本子計劃的目的，是在 MHP 平台 上，實作出數位電視的應用程式，做為應 用程式開發的參考。 本年度中，我們完成以數位電視為基 礎 的 遠 距 教 學 學 習 系 統(DTV-based E-Learning System)。此系統結合數位電視 以及網路資源，為數位學習提供了一個新 的方式。 圖八是我們的數位電視學習系統架 構圖，其包括以下三個主要元件: 1. 互 動 式 的 數 位 電 視 學 習 系 統 （Couselet）。 2. 教材管理系統。 3. 學習成就評量系統。 圖八、數位學習系統架構圖 在數位電視學習系統中，學生透過建 立在MHP 之上的 Xlet，從 internet 取得課 程教材和評量問卷。在結束課程學習後， 學生可以直接在數位電視上，進行學習評 量。學習評量讓學生能馬上在學習之後知 道自己的學習效果，並且，本系統將每一 個學生的學習評量結果回傳至學習成就 評量系統，以供教師評鑑。 在教材管理系統中，教師可以直接上 傳製作好的PowerPoint 投影片，系統會自 動將其轉換成適用於 MHP 平台可以顯示 的資料格式；此系統降低老師設計適用於 數位電視教材的困難度，並易於維護且更 新教材。並且，教師可以針對每一門課程 設計評量問題，供學生在學習後做學習效 果的評量。 在學習成就評量系統中，教師可以對 每一個學生的學習效果進行評鑑，並且， 本 系 統 提 供 了 許 多 學 習 成 效 的 統 計 分 析，能讓教師了解所有學生的學習狀況。

此遠距教學數位學習架構，展示數位 電視的互動能力，可提供其他服務業者作 為學習參考之樣本。透過 MHP 的互動能 力，整合網路上的各項資源，將提供數位 電視更多的應用功能。 三、結果自評 本計劃的目的在整合數位電視發展 方面所需的各項技術，期能對台灣的數位 電視建置工作做出貢獻。我們的研究層面 包括傳輸資料流的硬體晶片設計，軟體硬 協同平台，數位權利管理，電子節目表 單，編輯工具以及實際展示互動式的數位 電視應用程式。在第一年度，各研究都獲 得了相當的成果。數位電視的發展不僅僅 以家庭電視為核心，更將朝行動通訊發 展。未來的手機、PDA、筆記型電腦將可 以 利 用 DVB-H (Digital Video Broadcasting – Handheld)技術收看數位電 視內容。在行動通訊上的保護、交易機制 都與家用數位電視不同。我們將研究是否 可以把我們的系統拓展到 DVB-H 之系統 之中。將來我們也將探討與其他計畫整合 之可能性，例如在TS to PS 晶片設計中， 是 否 可 以 嵌 入 多 媒 體 資 料 保 護 之 演 算 法；在 MHP 平台架設之子計畫，我們也 會研究是否需要硬體平台方面的配合，提 高系統之安全性。我們相信，藉由數位電 視家用多媒體平台建置計畫之執行，可為 國家在建置數位電視提供同時深具前瞻 技術與實用價值之成果。 四、參考文獻

[1] The DVB Project, http://www.dvb.org [2] MHP organization, ttp://www.mhp.org. [3] ETSI TS 101 812 v.1.3.1, “Technical

Specifiction, “DVB: Multimedia Home Platform (MHP) Specification 1.0.3”, June, 2003.

[4] ETSI TS 102 812 v1.2.1, Technical Specifiction, “DVB: Multimedia Home Platform (MHP) Specification 1.1.1”, June 2003.

[5] IRT’ MHP RI, http://www.irt.de

[6] P.A. Sarginson and B.Sc. “MPEG-2: overview of the systems layer,” BBC RD, Feb. 1996.

[7] R. E. Anderson, E. M. Foster, D. E. Franklin, and R. S. Svec, “Integrating the MPEG-2 subsystem for digital television,” IBM J. Res. Develop, vol. 42, pp. 795—805, 1998.

[8] R. E. Anderson and E. M. Foster, “Design of an MPEG-2 transport demultiplexor core,” IBM J. Res. Develop, vol.43, no.4, 1999.

[9] M. Sakurai, H. Nagata, M. Yamada, and N. Sakamoto, "A transport stream processor for HDD recording and playback of HDTV signal," IEEE Trans. Consumer Electronics, vol. 48, no. 4, pp. 810--815, Nov. 2002.

[10] Chunrong Zhang, Shibao Zheng, Feng Wang, and Chi Yuan, "Design and implementation of transport stream demultiplexer in HDTV decoder SoC," IEEE Trans. Consumer Electronics, vol. 51, no. 2, pp. 642--647, May 2005. [11] T. Lindholm and F. Yellin, “The Java

Virtual Machine Specification”, Addison-Wesley

[12] NetBeans IDE, ttp://www.netbeans.org [13] PersonalJavaTM Application

Environment (PJAE) Version 1.2, http://java.sun.com/products/ specformhp/ [14] Java TV API： http://java.sun.com/products/javatv /index.jsp [15] Gemstar-TV Guide： http://www.gemstartvguide.com [16] TitanTV： http://www.titantv.com/index.aspx [17] Browse3D：http://www.browse3d.com [18] J.Michael O’Connor and Marc

Tremblay, “picoJava-I: The Java Virtual Machine in Hardware,” In IEEE Micro, 17(2):45–53, 1997

[19] Martin Schoberl, JOP: A Java Optimized Processor for Embedded Real-Time Systems, Ph.D. Dissertation, Technischen Universitate Wien,

Fakultaet fuer Informatik,Vienna, Jan 2005.

[20] Jon Meyer and Troy Downing, Java Virtual Machine, O’REILLY, 2000. [21] David Ungar and David Patternson,

“Berkeley Smalltalk: Who Knows

Where the Time Goes?,” In Smalltalk-80: Bits of History, Words of advice,

Addison-Wesley, Reading, MA, 1983. [22] Peter Deutsch and Alan M. Schiffman,

“Efficient implementation of the

Smalltalk-80 system,” In Conference Record of the Eleventh Annual ACM

Symposium on Principles of Programming Languages, pages 297-302, ACM Press, January 1984. [23] Urs Hölzle, Craig Chambers, and

David Ungar, “Optimizing

Dynamically-Typed Object-Oriented Languages With Polymorphic Inline Caches,“ In Proceeding America, editor, Proceedings ECOOP ’91, LNCS 512, pages 21–38, Geneva, Switzerland, July 15-19 1991. Springer-Verlag

[24] Luca Benini Davide Bruni,

“Hardware-Assisted Data Compression for Energy Minimization in Systems with Embedded Processors ”, Bologna, ITALY, IEEE 2002.

[25] Richard D. Manning, Maxine S. Cohen, and Robert L. DeMichiell, “Distance Learning: Step by Step,” in Journal of Information Technology Education, 2003.

[26] Mehdi Asgarkhani, “The Need for a Strategic Foundation for Digital

Learning and Knowledge Management Solutions,” in Electronic Journal on E-learning, March 2004.

[27] PJB associates, “A Study into TV-Based Interactive Learning to the Home,” http://www.pjb.co.uk, 2003. [28] Päivi Aarreniemi-Jokipelto, “T-learning

Model for Learning via Digital TV,” in 16th EAEEIE conference, Lappeenranta, 2005.