研究方法與結果：

前面提到，新的寬頻多媒體的標準及應用一直在演進中（如視訊標準 從早期的 MPEG-1/2 到現在的 MPEG-4, H.264, 及 WMV 9，傳輸協定也從 早 期 的 MPEG-2 transport 往 all-IP 的 方 向 走 ， 而 Java profiles 及 presentation scripting language 如 SMIL、Flash、AJAX 等標準也一直在增 訂中）。在過去採用硬體佈線的方式設計應用平台的年代（例如機上盒或 DVD 播放器），想要支援新標準往往只能透過購買全新的硬體設備來達 成。在未來服務導向的時代，這樣的設計只會增加使用者的負擔而阻礙新 服務的推出。這也是為什麼有彈性的高效能中介軟體平台在未來的寬頻網 路的推廣會具有十分重要的地位，因為消費者只要透過新應用程式的安裝 就可以享受新的服務。

總計畫整合了一個開放式多媒體應用程式平台（圖 43），並且支援 3-D 視訊的功能，它的特點如下：

1. 以主流的 MHP Java 多媒體中介軟體為基礎進行設計，以提供開 放的應用程式平台。

2. 系統核心使用 PowerPC 處理器，時脈頻率在 300 MHz 以下（這 是根據 DVB-MHP 的規範 [12]）。

3. 系統包含其它三個加速核心：Java 處理器、3-D video 計算加速 核心、以及 3-D Graphics/Video 成像引擎。這三個核心可以大幅 提昇標準 MHP 應用程式的執行能力，並提供本計畫所設計的 3-D 視訊擴充的功能。

4. 系統整合一個具有 VGA（640x480）解析度的 3-D 螢幕（利用紅 藍鏡產生立體效果）。

5. 系統整合是以 Java 執行環境為中心，我們所設計的系統軟體包 含 了 一 個 以 interrupt-driven service routines 為 核 心 的 native-code RISC kernel ， 系統要執行的工作分成四類：Java services、2-D graphics services、3-D graphics services、和 3-D video synthesis services。除了 Java services 是利用 interrupt-driven (由 Java core 發 interrupt requests 給 RISC core)之外，其它三類的 services 是用簡單的 round-robin 方式排程。

6. 所有互動式多媒體和 3-D 視訊的應用程式只要用 Java 編碼就可 以，如此可以增加程式的可移植性。

7. 系統可以把一些 3-D Video 的應用程式執行的畫面編碼存下來

整個系統的完整架構如圖 43 所示。其中的關鍵元件如下：

1. 3-D Video 計算加速核心及相關程式庫－由子項目一開發 2. 3-D Graphics/Video 成像引擎及相關程式庫－由子項目二開發 3. 3-D Video 編碼技術及相關程式庫－由子項目三開發

4. 高效率 Java 處理器及 Java 執行環境－由子項目四開發 5. 系統中介軟體及 native-code 排程核心－由總計畫開發

HW SW

3-D Video Java Applications

Java-based Middleware

Xilinx Virtex-4

I/O Devices _Processor^RISC _Processor^Java

Java CDC/PBP Classes Thin

Deeply-Embedded OS

3-DVideoLib.

MHP Middleware

3-D Video accelerator

3-DGraphicLibrary Application Manager

(User Interface)

MHP Extension for 3-D Video/Graphics

3-D Graphics accelerator Multi-viewVideoCoding Lib.

子計畫一

總計畫 子計畫二 子計畫三 子計畫四

圖43. 計畫預計完成的開放式多媒體平台

以下針對上述系統的每一個子項目的研究方法及成果、以及總計畫系 統整合的幾項要點進行進一步分析和說明：

總計畫：支援 3-D 立體視訊的數位電視多媒體平台設計

（Design of a DVB-MHP Platform with 3-D Video Support）

總計畫已整合各子項目所開發的元件成為一個完整的系統。在圖 43，我們已經描述了四個子項目分別的工作，而總計畫這三年中負責溝通 協調各子項目的進度及介面，另外也會負責開發系統整合用的作業系統和 中介軟體。總計畫選用的整合平台是 Xilinx ML-507。這個硬體平台如圖 44。這個平台可以驗證極為複雜的軟硬體整合設計。其中的核心晶片是 Xilinx Virtex-5 的 Platform FPGA。內含兩顆 PowerPC 處理器的 hard IP cores、56,880 個 FPGA 的 Logic cells（大約相當於 3M system gates）、4Mbits 的 on-chip block RAM。這個平台的一個優點是它在 Virtex-4 晶片內所採 用的 on-chip bus 是 IBM 的 CoreConnect，而不是 AMBA，所以我們在設 計 IP 時是透過一個 bus wrapper 來和其它的 IP 溝通，只要把這個 bus wrapper 移植到其它的 bus protocol 之上，我們就可以把設計的 IP 移植到 別的系統（如 AMBA）。這可以讓我們在設計 IP 時，不至於被單一 BUS protocol 綁死。

目前總計畫以整合所發展的各個關件模組，提出一個參考設計平台，

並在已在 ML507 上驗證完成。不過受限於發展版的限制(FPGA 大小和處 理器速度)我們將一些模組抽出關鍵部分整合。圖 45 是目前在 ML507 上 整合的平台架構，藍色為硬體部分，綠色是軟體部分，系統的運行時脈為 100MHz。發展版中的 PowerPC 會和 Java Processor 構成 Java 執行環境，

Java 程式可透過開發的關鍵模組支援 3-D 電視系統中各種應用(包含了 3-D 視訊和 3-D 圖學顯示…等)。

圖44. 總計畫預計採用的整合平台 Xilinx ML-507

在發展版上驗證的過程中，受限發展版資源有限(FPGA 大小、BUS 架構和處理器速度)，一些關鍵模組將部分功能化簡，例如：3-D Graphics 只能將 germetry subsystem 以電路方式整合燒入 FPGA，另一半 renfering subsystem 則以軟體方式呈現在 PowerPC 上執行；另外 3-D video accelerator 也折衷採用化簡後的演算法電路。但這些化簡並不會影像系統整合驗證，

並且可以輕易移植到其他設計方法上(例：ASIC)。另外，雖然在整合上有 部分化簡，但是相關的模組亦可另外獨立驗證並呈現。

FPGA VGA

Controller Frame Buffer

3-D Graphics accelerator (Geometry Subsystem)

3-D Video

accelerator Java

Processor PowerPC

System Bus (100MHz)

3-DVideoLibrary

3-DGraphicLibrary (RenderingSubsystem) 3-DVideoSynthesis Library JavaServiceRoutines

圖45. 總計劃整合平台架構

整合平台的執行範例程式是一隻 JAVA 3-D 人機介面程式，他透過計 畫發展的 3-D 函式庫可以畫出 3-D 顯示畫面，如圖 46。圖中下方發展版 是 ML507，我們在 Java 平台上(子項目四)執行一個 3-D UI 應用程式，可 輸出 3-D 應用畫面如螢幕所示。而畫面中 3-D 效果以紅藍眼鏡呈現。應 用中整合了 3-D 視訊應用(子項目一和子項目三)、3-D 圖學應用(子項目二) 以及一些 3-D 立體介面按鈕。

這個範例程式展示了一個標準 3-D 電視系統的雛型，所提出的平台提 供了一個很好的設計參考給未來產學界相關研究使用。接下來篇幅繼續分 述各個關鍵模組的研究方法和成果。

圖46. 總計劃整合 Demo Table.2. FPGA 使用資源列表

Selected Device : 5vfx70tff1136-1 Integrated System

Number of Slices: 21139 out of 44800 47%

Number of Slice 6 input LUTs: 31194 out of 44800 69%

Number used as logic: 30803 out of 44800 68%

Number of IOs: 232

Number of bonded IOBs: 140 out of 640 21%

Number of Block RAM/FIFO 25 out of 148 57%

Number using Block RAM only 57

Number of PPC440: 1 out of 1 100%

Minimum period: 8.224ns(Max Freq: 121.590MHz)

子項目一：3-D 視訊計算加速核心之設計（Design of 3D Video accelerator）

子計畫一已發展出適合硬體實現的半全域視差資料估測演算法。此演 算 法 基 於 適 應 性 權 重 計 算 (Adaptive Weight) 演 算 法 結 合 微 型 普 查 (Mini-Census)的比對方式，以及量子化指數曼哈頓色彩距離(Quantized Manhattan Color Distance)等技巧。演算法如圖 47 所示。

Mini-Census

首先，由 Mini-Census 計算兩像素的比對值(matching cost)可減少運算 量，從原始的一個方型視窗的運算量轉換為六個點的運算量。其運算如圖 48 所示。Mini-Census 優點在於較原始演算法更能承受影像受光線影響的 問題。

bistream 1: 01110100 bistream 2: 10101110

Hamming Distance = 5