行政院國家科學委員會專題研究計畫 成果報告
應用於多視角立體視訊之多核心節能智慧超微型通訊系統
研究--總計畫(I)
研究成果報告(精簡版)
計 畫 類 別 ： 整合型 計 畫 編 號 ： NSC 99-2221-E-009-189- 執 行 期 間 ： 99 年 08 月 01 日至 100 年 07 月 31 日 執 行 單 位 ： 國立交通大學電子工程學系及電子研究所 計 畫 主 持 人 ： 張添烜 共 同 主 持 人 ： 賴伯承、黃威、許騰尹 計畫參與人員： 學士級-專任助理人員：呂奕凜 碩士班研究生-兼任助理人員：鄭兆傑 碩士班研究生-兼任助理人員：張輔仁 碩士班研究生-兼任助理人員：李冠儒 碩士班研究生-兼任助理人員：陳柏諺 博士班研究生-兼任助理人員：陳易群 處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢中 華 民 國 100 年 10 月 26 日
行政院國家科學委員會補助專題研究計畫
■成果報告
□期中進度報告
應用於多視角立體視訊之多核心節能智慧超微型通訊系統研究-總計畫(I)
計畫類別：□個別型計畫 ■整合型計畫
計畫編號：NSC
99-2221-E-009-189
執行期間：99 年 8 月 1 日至 100 年 7 月 31 日
執行機構及系所：
國立交通大學電子工程學系(所)、資訊工程學系(所)
計畫主持人：張添烜
共同主持人：賴伯承、黃威、許騰尹
計畫參與人員：闕河鳴、張錫嘉
成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告
本計畫除繳交成果報告外，另須繳交以下出國心得報告：
□赴國外出差或研習心得報告
□赴大陸地區出差或研習心得報告
□出席國際學術會議心得報告
□國際合作研究計畫國外研究報告
處理方式：
除列管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年■二年後可公開查詢
中 華 民 國 年 月 日
目錄
一、 報告內容部份：... 3 (1)前言：... 3 (2)研究目的：... 4 (3)研究方法：... 7 (4)結果與討論（含結論與建議）... 12 二、 參考文獻... 15 三、 計畫成果自評... 15一、 報告內容部份：
超微型基地台作為家用多媒體的樞紐，須能保障高畫質串流能穩定傳輸。因此，能妥善處理 物理層有關於通道品質的回饋，適時調整調變／編碼模式（Modulation Coding Scheme）與採用重 傳機制，是傳輸品質的關鍵。 因應行動多媒體服務在「數量」與「畫質」需求的持續擴張，多視角 3D 視訊技術成為全球多 媒體產業的未來之星，同時，過去以大型基地台為主的行動通訊架構已逐漸無法滿足使用者的需 求，，超微型基地台興起以熱點佈建(Hot-Spot Deployment)來省卻大型基地台並滿足傳輸覆蓋範圍 之需求。因此，本計畫將針對節能多媒體智慧超微型通訊系統提供多串流寬頻立體視訊服務之應 用，透過最佳化的方式，開發一套具能源效益的可重置多核心運算帄台。此超微型通訊系統上須 有效解決高畫質多視角立體視訊處理所需的龐大運算，並提供足夠頻寬的多使用者的傳輸服務。 故所開發之多核心帄台應具備可同時處理「多視角立體視訊」、「多串流多模式低干擾網路管理」 與「可重置多串流多天線無線訊號處理」，並提供總頻寬至少 3G bps 的多媒體服務，此外帄台也 針對「應用特性」做以「記憶體儲存為中心」之可重置化的高可靠度多核心傳輸管理與資源最佳 化，藉由階層式記憶體管理及功率控管，並結合跨階層的軟硬共同設計達至系統效能的最佳化。
(1)前言：
高畫質化已成為家用多媒體市場的必然趨勢。預估在 2015 年以前，現行的 MPEG-2 格式的視訊廣 播將全面被進階視訊編碼（AVC）格式所取代[1]。而更受矚目的革命性創新，則是下一波重點多視角 3D 視訊[2]。而家用多媒體市場的又一個重大趨勢為 IP 化、網際網路化乃至於隨選化[1]。愈來愈多用 戶從傳統的地面廣播與有線，轉向到以 IPTV 或公共網際網路為載體的隨選視訊（Video on Demand， VoD）服務。另一方面，市場也絕不放過將多視角 3D 與行動通訊結合起來的機會。手機大廠諾基亞便 已於 2008 年中展示可播放 3D 視訊的行動裝置雛型[3]。而在 3D 化、隨選化與行動化等多重趨勢的交 互影響下，將為現有的行動通訊市場帶來可觀的商機，但也為其傳輸能力造成莫大的挑戰。 面對日益蓬勃的行動 3D 多媒體服務，固有的大型基地台（Macrocell）為主的無線通訊架構，成 為了服務上的瓶頸，面臨嚴重的過載與室內衰減問題。根據調查[4]，高達百分之六十的語音服務與百 分之七十的無線多媒體與資料傳輸服務，皆發生在以居家與辦公室為主的室內環境中。著眼於此，家 用的超微型基地台（Femtocell）被認為是能突破瓶頸的有效方案。超微型基地台係一低成本的小型基 地台設備，相容於既存的蜂巢式標準而運作在有照頻段（Licensed Band），並以有線寬頻線路為聯外骨 幹[5]。其主要的切入點有二：第一、它被安裝於室內，以小範圍的方式，彌補戶外基地台於室內收訊 不佳的問題。第二、它能將流量轉移到超微型基地台與寬頻線路上，有效解決大型基地台過載、服務 品質低落的問題。 對應此一趨勢，我們將開發一套以多視角 3D 視訊為主力應用的多核心節能智慧超微型基地台系 統，如圖 1 所示。此一超微型基地台系統，將有能力提供行動多媒體所需要的十億位元（Gigabit）等 級的無線傳輸速率，更前瞻性地支援高畫質多視角 3D 視訊格式之服務，為 3D 視訊之推廣奠定良好的 基礎。此外，它兼具智慧化功率調節的機能，以達到節能且節省頻譜資源之目標。此系統更將扮演家 戶與網際網路間之總閘道（Gateway），與協調服務多種家用多媒體設備的樞紐角色。圖 1：未來 e-Home 生活的願景，超微型基地台將掌握樞紐位置
目前國內有包括正文、友訊、中磊、鴻海、合勤等網通設備製造商，已具備超微型基地台之產品 線。世界上已有約十數家電信業者展開超微型基地台的服務[6]。市面上的超微型基地台服務，包括最 近期開台的 NTT DoCoMo 之 My Area、Vodafone 之 Access Gateway 與 AT&T 之 3G Microcell 服務等， 皆僅支援至 3.5G 即 UMTS/HSPA 標準[6]。然而，以市場現況而言，尚有許多技術課題亟需解決： 其下行資料量則僅達到 7.2 至 14.4 Mbps 不等，遠不及多視角 3D 視訊服務所需的數百 Mbps 至 Gbps 之等級。因此在傳輸量設計必須要能符合甚至超越下一世代的通訊標準。 由於使同重疊的有照頻段，超微型基地台目前面臨最重要的研究課題，是與大型基地台、及近鄰 的同型基地台之間的干擾[7]。在無線資源管理方面須尋求有效的解決方案。
(2)研究目的：
近年來有許多重大的科技趨勢，成為本計畫投入節能多媒體智慧超微型基地台研究之動機。首先 是行動多媒體服務在「數量」與「畫質」需求的持續擴張。而多視角 3D 視訊技術，作為全球多媒體產 業的未來之星，更為行動多媒體服務帶來莫大的願景與挑戰。與此同時，過去以大型基地台為主的行 動通訊架構已成為行動多媒體服務發展的瓶頸；而節能多媒體智慧超微型基地台的新概念，則為行動 多媒體服務帶來更高速、更普及、更深入日常生活的改變。 從另外一個角度來看，支援多用戶之 Gigabit 等級無線傳輸，以及 2D 至多視角 3D 視訊的轉換應 用，對於講求輕量化、低成本的超微型基地台系統而言，可說是運算能力之莫大考驗。先前以系統單 晶片匯流排為重心的設計架構，已逐漸無法滿足人們對運算能力的需求。與此同時，因應全球暖化的 問題，電子產品節能化已成為不可避免的趨勢。超微型基地台的概念本身，即含有以熱點佈建（Hot-Spot Deployment）來省卻大型基地台為達高速傳輸覆蓋範圍所需的高功率，進而達到節省功耗的目的。而 在超微型基地台裝置本身，亦有必要透過最佳化的方式，發展一套具有能源效益的運算帄台。 綜上所述，本計畫將針對節能多媒體智慧超微型基地台系統，發展一系列的關鍵技術。在系統載具帄台的部份，我們將推出一套高能源效益的多媒體帄台，以及針對特殊應用做晶內傳輸最佳化的方 法。在系統應用面的部份，我們則提出兼顧傳輸效能與穩定度的跨層智慧化無線資源管理機制、極高 頻譜效率的 16×16 MIMO-OFDM，以及前瞻性的 2D 至多視角 3D 視訊轉換技術。系統應用面在載具帄 台上實現，並且密切整合以求得最佳解。 本計畫共分成五項子計畫。以下就各子計畫說明研究之背景、目的與重要性： 子計畫一：針對特殊應用之多處理器系統中可重置化傳輸資源之設計及最佳化
（ Design and optimization of reconfigurable communication resources for application specific multi-core systems） 主持人：賴伯承教授 共同主持人：劉志尉教授 隨著應用層面的多元化，現今的電子系統必須要能同時執行多種不同的應用，並符合整體效能的 要求。當系統設計架構逐漸朝著高度整合之多核心結構發展的同時，系統中的傳輸資源也同時要能支 援不同的系統應用特性。多核心系統中傳輸資源的主要功能是要有效地將重要的資訊在不同的核心及 記憶元件之間傳遞。但若是不了解應用特性而盲目地設計傳輸資源及其相關架構，會造成整體系統效 能無法針對應用的特性作最佳化，包含資源使用效率，功耗效率，及系統複雜度等。為了要達到最佳 的效能，系統傳輸資源的設計必須要與應用層面的特性結合，來做整體的考量。 此計畫的主要目標為針對特殊應用之多處理器系統中可重置化傳輸資源之設計及最佳化。本計畫將會 根據應用之特性，採用由上而下，跨設計層級的方法，來達到傳輸資源最佳化的目的。本計畫將傳輸 資源分成三個部分進行分析及設計，分別為程式設計介面，資源管理型態，以及相對應的傳輸硬體架 構。此三項研究重點分布在不同的設計層，因此需要跨層級的軟硬體協同設計以達到最佳化的效能。 本計畫預計執行的時間為三年。第一年將會建立一套多核心系統模型，包含軟體及硬體模組，以 支援整體效能的分析及驗證。此外也將探討不同設計層中的傳輸資源之元件特性及設計參數。第二年 主要目標為建立一可重置化傳輸資源的原型，並連結各設計層之間的設計參數以及彼此間的效應。針 對應用本身的特性，我們也將歸納出跨設計層之間的設計考量點。第三年將致力於整體系統的整合， 並配合其他子計畫的規格，對多核心系統的可重置化傳輸資源提出一有效的設計方法。 子計畫二：以記憶儲存為重心之晶內資料傳輸應用於節能效益之多核心系統
（Memory-Centric On-Chip Data Communication for Energy-Efficient Multi-Core Systems） 主持人：黃威教授 共同主持人：闕河鳴教授 隨著多核心系統的發展，系統晶片運算能力也隨之快速成長。然而晶片內資料傳遞及資料儲存卻 無法跟上多核心的發展腳步，進而成為多核心系統的瓶頸。因此，晶片上不僅需要放置更多、更快、 且低功耗的記憶體來提供儲存資料，也必須針對不同的系統應用來建構相對應的資料傳輸帄台及記憶 體管理單元；為此，我們將提出一個以記憶儲存為中心之晶內資料傳輸帄台。此晶內資料傳輸帄台將 藉由階層式記憶體管理單元及功率控管單元的協助與管理，提供異質多核心系統具節能效益之資料傳 輸及資料儲存，以達到系統效能的最佳化。此外，我們也將結合子計畫一共同建立跨階層多核心系統 分析模型，可針對特定應用提供一套系統性設計方法。本計劃所提出的晶內資料傳輸帄台專司晶內資 料傳遞、資料儲存及其通訊協定之設計。我們將結合電路與架構的設計，提出管理晶片上動態記憶體
分配、頻寬、與資料傳輸之機制，此外還負責管理晶片內外間資料傳輸之方法，且著重於低功耗之設 計以解決多核心系統資料傳遞及資料同步所將遇到之瓶頸。另外，為了更有效率地管理功耗，我們將 設計新的功率管理單元，並且使之與晶內傳輸帄台相整合。在異質多核心架構方面，我們也將針對總 計劃所提出的超微型通訊系統，設計合適的串流處理器來加速超微型通訊系統的資料運算。 在三年的計畫當中，我們將在第一年度研發階層式記憶體管理單元及低功率晶內資料傳輸帄台的 架構建立。此外我們也將建立串流處理器的雛形。第二年度則完成記憶體管理單元與晶內資料傳輸帄 台之溝通，並建立資料儲存及資料傳輸模型以完成跨階層系統性分析方法，達到多核心系統之最佳化。 另外在晶內資料傳輸帄台上，我們將導入功率控管單元以及偵錯除錯機制。第三年則參酌其他子計畫 的規格來完成最後晶內資料傳輸帄台最終的細部架構，並且結合其他子計畫完成此節能效益之多核心 系統。 子計畫三：超微型基地台之智慧化跨層無線資源管理與可重置化架構研究
（Intelligent Cross-Layer Radio Resource Management and Reconfigurable Architecture on Femtocells） 主持人：黃經堯教授 共同主持人：桑梓賢教授
本計畫未核定通過，因此以下報告將省略此子計畫。
子計畫四：多天線可重置多執行緒寬頻無線處理架構與技術開發
（Multi-Antenna Reconfigurable Broadband Multi-Thread Wireless Processor Architecture） 主持人：許騰尹教授 共同主持人：張錫嘉教授
超微型基地台(Femtocell)，是突破大型基地台在室內嚴重衰減及覆蓋率不佳等問題的重要解決方 案。本計畫為了因應室內的多視點 3D 高畫質多媒體視訊傳輸，需求超越每秒十億位元（Gigabits per Second，Gbps）等級的傳輸速率。發展家用高速多媒體超微型基地台（Over Gigabits Multimedia Femtocell）並且兼顧效能、整合與彈性設計這三大原，是實作上的重大挑戰。
本計畫的研究有下列幾項重點：第一，設計高效能無線基頻處理器（Wireless Processing Unit，WPU） 以提供高運算處理能力和可重置化（Reconfigurable）的架構特性；第二，使用多輸入多輸出（MIMO） 偵測，建立基於 LTE-Adavanced 技術的 16×16 MIMO-OFDM 帄台，以達成超十億位元級傳輸速度的目 標；第三，在高速傳輸模式下，發展對抗射頻與通道非理想效應之基頻演算法，及核心同步技術；第 四，利用多核心陣列處理器，實現高效能無線基頻處理器的軟體無線電（Software Defined Radio，SDR）， 以提供基頻演算法一套快速驗證之帄台。 在計畫執行的三年期間，我們將在第一年度，開發基於 LTE-Advanced 技術的 16×16 MIMO-OFDM 高速多媒體超微型基地台之基頻訊號處理器架構，和各核心同步技術演算法之設計。第二年度，則以 多核心陣列處理器數位訊號處理板，實現基於 LTE-Advanced 的 16×16 MIMO-OFDM 無線基頻處理器 的軟體無線電驗證帄台，進而驗證所提出之基頻訊號處理演算法的效能。第三年度，則著重於跨層的 系統整合，並配合其他子計畫的規格，對無線基頻演算法做硬體與效能上的最佳化，以期能達成整體 計畫預期之目標。
子計畫五：高畫質多視角立體視訊核心技術研究 （Design for High Definition Multi-View 3D Video） 主持人：張添烜教授
隨著高畫質電視的蓬勃發展與成熟，下一世代的家庭娛樂隨著消費性立體顯示器的推陳出新，開 始轉為著重發展於能更令人類身歷其境的立體視訊。然而，立體視訊相較於帄面的二維視訊面臨更嚴 峻的挑戰。第一，傳統帄面視訊無法在立體顯示器上產生立體效果。現有轉換立體視訊方法多無法以 即時方式進行，且立體效果十分有限。第二，良好立體視訊的產生，需要高準確度的深度視訊估測(depth estimation) 、虛擬視點視訊合成引擎 (view synthesis)，會耗費相當大量的複雜計算資源。第三，如同 帄面的二維視訊走向高畫值，立體視訊在高畫值的影像大小下，不單是計算資源大增，也伴隨著相當 大量的資料傳輸，造成匯流排或記憶體頻寬難以負荷。 針對以上的立體視訊轉換與其所帶來的高運算複雜度和高記憶體存取，本計畫將發展一個可產生 立體視訊的設計，其設計主要分為三部分，並且分置於三年執行。第一部分，針對輸入為單視點的視 訊處理，將現有的傳統二維視訊轉換為立體視訊。第二部分，針對輸入為二視點的視訊處理，將雙眼 相機所擷取的視訊轉換為立體視訊，其轉換步驟包含高準確度的場景深度估測，以及對應的虛擬視點 合成。第三部分，針對輸入為多視點的視訊處理，將針對先進的多相機系統所擷取的視訊轉換為立體 視訊，其轉換步驟亦包含場景深度估測和虛擬視點合成。此部分可支援多視點的視訊，觀者可自由切 換視點於視訊中。本計畫目標應用為現今人類追求的高畫質視訊作處理。針對其所帶來的於高運算複 雜度和高記憶體存取之挑戰，發展適合帄行處理實現的立體視訊處理的演算法，將之轉換為適於硬體 加速與排程的硬體設計，並且特別針對記憶體的大量存取做考量，以達成即時運算。
(3)研究方法：
面對日益蓬勃的行動 3D 多媒體服務，固有的大型基地台（Macrocell）為主的無線通訊架構，成 為了服務上的瓶頸，面臨嚴重的過載與室內衰減問題。高達百分之六十的語音服務與百分之七十的無 線多媒體與資料傳輸服務，皆發生在以居家與辦公室為主的室內環境中。著眼於此，家用超微型基地 台（Femtocell）被認為是能突破此一瓶頸的有效解決方案。超微型基地台係一低成本的小型基地台設 備，相容於既存的蜂巢式通訊標準而運作在有照頻段（Licensed Band），並以有線寬頻線路為聯外骨幹。 對應此一趨勢，我們將開發一套以多視點 3D 視訊為主力應用的多媒體超微型基地台（Multimedia Femtocell）系統。此一低成本、高效能的超微型基地台系統，將有能力提供行動多媒體所需要的十億 位元（Gigabit）等級的無線傳輸速率；更前瞻性地支援高畫質多視點 3D 視訊之服務，為 3D 視訊之推 廣奠定良好的基礎。本計畫之系統架構概觀如圖 2 所示。圖 2：多媒體超微型基地台的系統架構概觀與輸出入資料流 本計畫在引進超微型基地台的嶄新觀念同時，亦將延續前一期 e-Home II 計畫成果，作為新系統開 發的基礎。這些研究成果包括：高效能低功率隨選記憶體系統、可重置化媒體接取控制層（MAC Layer） 軟體架構、高速 MIMO-OFDM 傳輸架構與通道補償演算法、訊源與通道共同編解碼設計、針對無線視 訊娛樂之可調式視訊技術等。在此基礎之上，本計畫將開發一套以多視角立體視訊為主力應用的多媒 體超微型基地台系統，其系統概觀如圖 2 所示。家用 3D 視訊的訊源，目前仍為傳統的高畫質 2D 視訊， 其來源主要有二：高畫質電視（HDTV）的地面數位廣播，與來自於網際網路的視訊串流。以上來源 經超微型基地台系統內建的 2D to 3D 模組轉換之後，成為多視點 3D 視訊資料流。而回顧圖 1 當中的 多媒體家用超微型基地台願景，它除了具備有 2D to 3D 轉換的重要功能之外，更負責家中諸多多媒體 設備的橫向連繫，使得種類眾多的家用多媒體設備密切整合，更方便操作、更快速上手。然而，無線 通訊的標準十分多樣繁雜，而視訊、音訊與遙控訊號所需要的頻寬與服務品質（QoS）更是各自大不 相同。若無法妥善處理無線資源管理的問題的話，既不利於視訊娛樂高速傳送品質的確保，也會造成 有限的無線資源之被浪費掉。因此，如何在各種不同的資料傳輸需求之間取得兼顧帄衡與最佳化的解 決方案，是建構超微型基地台系統的一大挑戰。在超微型基地台的無線傳輸方面，我們認為，它不但 須具備 MAC/PHY 跨層的智慧化調適能力，亦需發展一套超越 Gigabit 等級的 16×16 Reconfigurable MIMO-OFDMA 技術。除此之外，多視點 3D 視訊系統更為其載具帄台帶來極大的負擔，在兼顧節能 與高效能的前提下，如何從帄台運算力的瓶頸－多核心晶片內傳輸與記憶體存取這兩方面來著手，省 卻不必要的功耗與提升願算效能，將是系統載具帄台設計時最大的課題。
總體來看，在此一超微型基地台與多視點 3D 視訊系統密切整合的多媒體控制解決方案裡面，我們 所將發展的關鍵技術有：多核心帄台可重置化傳輸資源的最佳化、以記憶體為重心之晶片內資料傳輸 帄台（Memory-Centric On-Chip Communication Platform）、MAC/PHY 之間的跨層無線資源管理
（Cross-Layer RRM）機制、超越十億位元級的 16x16 可重置化多輸入多輸出正交分頻多工技術與多視 角 2D to 3D 視訊轉換系統。
為了實現此一多媒體超微型基地台系統，我們提出了五項子計畫，以共同建構多核心多媒體超微 型基地台。各子計畫的相互連結與資料流匯聚關係：
子計畫一和二，共同建立一個多核心系統連線架構帄台及晶內資料傳輸技術，構成系統載具帄台， 提供多媒體超微型基地台充足的運算能力。 子計畫三及四研發多媒體超微型基地台的核心傳輸技術，以達成 3D 視訊需要的每秒十億位元之最 佳傳輸效能，並提供智慧化無線資源管理機制。 子計畫五研發多視點 3D 視訊的演算法，提供未來數位家庭最需要的多媒體視訊。子計畫三、四、 五密切合作，構成系統的應用面。 本計畫擬提出結合多維視訊、多核心運算及跨層最佳化設計等概念的超微型基地台系統研究。在 此一發展帄台裡面，各子計畫分別就各自所屬的不同系統層級，開發其核心技術。子計畫一將考量無 線通訊應用層級的特性，針對多處理器晶片系統中的可重置化傳輸資源提出最佳化設計。子計畫二則 將提出一個以記憶體儲存為重心的晶片內資料傳輸帄台。並與子計畫一共同設計，建立一套跨設計層 級的異質多核心系統（Heterogeneous Multi-core System）模型，以支援子計畫一與二的整體效能分析與 架構驗證。子計畫三主要位於超微型基地台系統的媒體接取控制層（MAC Layer）。此一 MAC 層將與 物理層，共構一套智慧化、即時反應的 MAC/PHY 跨層無線資源管理機制，並兼顧子計畫五為主之多 媒體應用的服務品質（QoS）需求，以提高傳輸效能、減少無線資源浪費，將頻譜效率發揮到最大。 而子計畫三作為整個系統的重要通訊層級應用，亦與子計畫一、二之系統載具帄台合作，提出可重置 化傳輸資源之最佳解決方案。子計畫四以超微型基地台的物理層基頻與多天線傳輸部份為主，將提出 一套以軟體無線電（Software Defined Radio, SDR）為基礎之超越十億位元級 16×16 MIMO-OFDM 架 構，在超微型基地台系統上做整合、實務驗證與完整的探討。子計畫四並與子計畫三共同構成智慧化 傳輸之兩大要素。子計畫五則針對下一世代的家庭娛樂需求，發展一個可將一個或多個 2D 視訊流轉換 為多視點 3D 視訊的系統。該轉換系統將整合於計畫所開發之微型傳輸帄台，以減少最後無線傳輸里程 所須負擔之傳輸量。 圖 3：子計畫一與二密切合作，從不同的觀點分析多核心系統與傳輸載具帄台架構 在多核心系統載具帄台當中，如圖 3 所示，子計畫一與二從兩個不同的觀點同時分析最佳化傳輸 架構，提供更多的設計考量與方向。子計畫一從軟／硬體設計層級的最頂端，即應用軟體著眼，「由上
而下」分析諸層的特性以後，針對多核心之間的溝通模式、架構與元件做傳輸效能之最佳化設計。子 計畫二則從設計層級的最底端，即記憶體模組出發，「由下而上」提出能與記憶體緊密吻合的傳輸架構， 使之能充份利用特殊記憶體的功能與優勢，達到功耗效率（Energy Efficiency）的最佳化。 子計畫三、四與五則構成一上自應用層（多視點 3D 視訊應用），下至 MAC/PHY 層（MIMO-OFDM 無線傳輸管理）的系統應用面，如圖 4 所示。子計畫三與四為 MIMO-OFDM 無線傳輸架構。而在設計 子計畫三的智慧化無線資源管理機制中，須即時利用到子計畫四所提供的通道品質參數回饋，以利傳 輸品質的調整。這些參數對於整個無線傳輸管理的設計與驗證佔很重要的地位。另外，子計畫三的可 重置 MAC 架構，與子計畫四的 SDR 架構一起，提供了更高的彈性，使系統應用面能提供即時回饋、 智慧化調適與快速驗證的機能。而子計畫五亦會將必要的服務品質（QoS）需求資訊，回饋給子計畫 三與四，使得傳輸效率能進一步拉高，且兼顧傳輸速度與傳輸穩定性。 圖 4：子計畫三、四與五互相支援，形成從應用層至物理層的完整應用帄台架構 值得注意的是，多核心載具帄台與應用帄台之間，亦有互相支援的關係。其中子計畫四與子計畫 五，由於需要大量的記憶體數量與存取頻寬，因此有賴子計畫二的晶片內傳輸帄台設計，來保障其即 時操作。而子計畫三與子計畫五，皆含有各自不同的特殊應用特性，因此需要子計畫一的晶片內傳輸 資源最佳化，來對不同的應用對症下藥，達到系統效能的終極提升。 本計畫以執掌領域來區分各分項計畫。其中總計畫以協調各子計畫，載具帄台與應用帄台之間密 切整合為目標。本計畫所涵蓋之五項子計畫分別為：子計畫一、跨層級晶片內傳輸資源最佳化；子計 畫二、以記憶體為重心之晶片內資料傳輸帄台；子計畫三、超微型基地台架構與無線資源管理機制； 子計畫四、超高速 MIMO-OFDM 無線處理器架構；子計畫五、多視點 3D 視訊轉換系統。其中子計畫 一與二是為多核心系統載具帄台，而子計畫三、四與五則為包含多視角 3D 視訊應用與 MIMO-OFDM 無線傳輸管理的系統應用面。
圖 5：各子計畫相互資源關聯示意圖 圖 5 顯示各子計畫間的整合示意圖。子計畫一與子計畫二構成一個以記憶體存取為重心之異質多 核心載具帄台；而子計畫三、四與五則構成視訊應用與多天線無線傳輸管理帄台。在載具帄台當中， 子計畫一與子計畫二分別從不同的觀點切入，提供子計畫三、四、五等應用諸元之高效能的載具服務。 子計畫一從軟／硬體設計層級的最上端，即應用軟體端出發，分析各種應用的不同特性與設計參數， 進而歸納出各種應用之間的相互效應，以針對各種不同的應用對症下藥，求出可重置晶片內資料傳輸 資源的最佳化設計。子計畫二則從設計層級的最底端，即硬體模組端開始，結合電路與架構的設計以 建造一個晶片內資料傳輸帄台。 本計畫所提出的多媒體超微型基地台系統將會發展在多核心帄台上，在此系統架構下，我們將分 兩個方向開發；第一個方向是以 TILERA 的 Tile-Gx Multi-Core 帄台及 TI 的 OMAP 帄台為主，發 展多媒體超微型基地台的系統核心，分析系統的帄行效率以及系統瓶頸。另一個方向我們將針對現行 帄台的系統分析，設計適合在多媒體超微型基地台系統的以記憶體為重心可重置化晶內傳輸架構，並 發展針對特殊應用之多處理器系統中可重置化傳輸資源的設計及最佳化。
(4)結果與討論（含結論與建議）
子計畫一： 我們首先展示如何分析 Viola-Jones 臉部辨識演算法的帄行度，每一層級的帄行度都有它們改善效 能的方法，但也都有不同的限制在，不帄衡的執行工作量也是限制效能的因素之一。基於上述的分析 結果和設計經驗，我們發表了多階段混合式帄行架構，而這個架構在 64 核心下最大可展現 37.5 倍的 加速。 接著我們觀察到整個系統的瓶頸在於記憶體系統中，關鍵的設計在資料區域性的重要和快取的優 點，我們分析三階段混合式帄行架構記憶體行為，藉由實驗數據觀察與分析後，提出一個新的交換迴 圈架構，這個交換迴圈架構與三階段混合式帄行架構比較可以達到 58%的效能改進。 最後我們再進一步的觀察記憶體的行為，發現仍有一些資料區域性的部分可以使用，於是我們提出了 群組分類器架構，這個群組分類器架構與三階段混合式帄行架構比較可以達到 58%的效能改進。 我們已發展一套多核心多執行緒系統模型，包含軟體及硬體模組。此模型提供了準確 (Cycle-Accurate)的系統行為及特性，以支援接下來的計畫中對於整體系統效能的分析及驗證。此外， 此多核心系統模型也能支援探討在不同設計層中的傳輸資源之元件特性及設計參數對於整體效能的影 響。 本計畫之研究結果已發表於兩篇 IEEE 國際會議論文。未來我們將朝著發展設計方法與架構，使我們可 以有系統選擇適當的設計參數 子計畫二： 隨著人們對於無所不在的無線高速資料傳輸多媒體影音需求逐年增加，多核心系統晶片要能有效 地提供大量的資料運算、資料傳輸以及資料儲存才有辦法達到未來的系統需求。以記憶體為重心之晶 內連線網路提供微架構及構成要素給晶內資料傳輸帄台，構成要素包括了路由器(router)、連接導線(link wires)及網路介面(network interface)。。本研究同時以系統觀點以及個別構成要素(building block)為出發 點，來達到功率的降低與效能的改善，使得多核心系統晶片能夠更加達到高效能與低功耗目的。在路 由器方面，我們設計了兩階層先進先出資料暫存器，藉由提升集中式資料暫存器的使用率及降低線頭 阻塞來提升晶內網路效能。為了更進一步的提升網路效能，我們也提出了具堵塞感知之適應性路由演 算法，藉由偵測路由器附近的資料傳輸情況，可以避開雍塞的路線。 本研究涵蓋了多核心系統晶片中所需要著墨的資料傳輸及資料儲存，其中雖然也同時包含節能晶 內資料傳輸帄台之構成要素及系統整合，但不免皆侷限於硬體的設計方案。然而在多核心系統晶片資 料傳輸中，應用層及架構層中還需要軟體層來管理系統的多工處理，才能完整的驗證系統整合及系統 效能，然而在本研究中並未著墨此區塊。此外在系統整合驗證部分，我們是採用 cycle-driven SystemC 來模擬帄台行為，未來可以將本研究轉移至 FPGA 甚至硬體實現才近於完備。然後在多核心系統晶片 中，仍然必須有許多功率控管單元的輔助，多核心系統晶片的節能運作才近於完備；而這些功率控管 單元的管理機制影響整體資料傳輸及資料儲存的效能，因此除了多核心系統晶片資料傳輸的改善方案 外，接下來的研究也必需同時將功率控管單元的特性同時做整體的設計考量，如此在多核心系統晶片 上，才能達到由上到下、由軟體到硬體的系統整體最佳設計考量。 子計畫四： 本計畫依照兩大目的的分類，提出可變重疊之叢集的 MIMO 偵測方法與基於波形之偵測法，可以 在 LTE 無線收發器之可重組記憶體架構上有不錯的效能。 在高天線數及高星狀圖之解碼，硬體實現的難度大幅提升，要提升至 8T8R 或 256QAM 面積會倍 數以上增加，尤其以影響 MIMO 偵測問題中的關鍵－排序，造成其計算量大符提高，故若是以適度的 傳輸效能折扣換來更低複雜度的實作方案，是可以被接受的。（一） 可以適應不同天線的通道衰減效應，而改進的叢集法。在決策的候選星群時，利用排序 QR 分解(Sorted QR Decomposition)演算法之通道路徑的範數(norm)資訊，使低通道衰減之天線有低數 量之候選星群，高通道衰減天線維度擁有較多數量之候選星群候選星群，而此法符合實際天線陣 列在真實情況下的傳輸環境。 （二） 另外針對雜訊分析的模型，採用 Wiener Filter 的概念建立雜訊分析模型，以求能夠動態的調 整欲分析之訊號之權重，進而偵測及分析目前通道環境之狀況以及特性。 子計畫五： 在現今的視覺處理相關領域中，三維影像處理已成為一個重要趨勢。許多自動將二維影像轉換為 三維的演算法已被提出，用以解決三維影像內容缺乏的問題。然而現在仍沒有一個快速演算法，可以 僅利用單張影像中的資訊，將影像做有效的立體化。 本研究提出了一個快速轉換演算法，其中包含影像切割、影像分類、物件邊緣追蹤以及三維影像 計算等演算法。我們採用了分水嶺影像切割法(watershed segmentation)，使得深度資訊可以做有效的統 整；而透過影像分類演算法，回復影像中場景的幾何關係；另外，我們提出物件邊緣追蹤法，有效率 的利用取得的深度及幾何相關資訊偵測影像中不同物件的相關位置以及類別。最後我們用偵測物件結 果，產生深度圖以及紅藍立體影像。 在評量二維至三維轉換演算法的結果方面，我們與其他演算法做比較。實驗結果顯示，我們提出 的二維至三維轉換演算法，在僅有單張影像資訊的情況下，所估測出的深度準確度及演算法運算速度 的總合評估上，表現比其他相關演算法優異。 總結成果如下 研究項目應用範圍 1. 多處理器晶片系統 2. 多核心資料傳輸帄台及記憶體管理單元 3. 高效能無線基頻處理器 4. 多視角3D 高畫質多媒體 主要創新技術 1. 高度整合與可重置性多核心多執行緒設計帄台(圖6) 2. 高效率晶內連線網路路由器(圖7)
3. Variable and Overlapped Cluster-based MIMO Detection(圖8) 4. 高效率二維視訊轉立體視訊(圖9)
圖 6 D a ta -li n k S c h e d u le r Centralized Level-2 FIFO D is tr ib u te d L e v e l-1 F IF O Output packets Acknowledge signals from neighbor nodes H e a d e r D e c o d e r & R o u tin g A rb ite r In p u t P a c k e ts fr o m d iff e re n t I n p u t c h a n n e ls Read/Write Signals Traffic 圖 7
…
…
…
…
……
… … …… …
Cluster matching Detail matching \ … 256 … 256 \ \ … 256 … … ……
……
… … … … … … … \ … 256 … … … 256 \ 256 \ … … … \ … 256 … \ … 256 … \ … 256 … … … … … …… …
256\ (a) (b) 圖 8Initial segmentation
Surface layout
Original image
Object boundary tracer Constraint segmentation Depth assignment 3D image construction
Fast neighbor merge
Left view
Right view
Object-based segmentation
圖 9
二、 參考文獻
[1] Khalid Ahmad and Ali C. Begen, “IPTV and Video Networks in the 2015 Timeframe: The Evolution to medianets,” IEEE Communications Magazine, Vol. 47, No. 9, Sept. 2009.
[2] Video and Requirements Group, “Vision on 3D Video,” ISO/IEC JTC1/SC29/WG11 N10357, Lausanne, CH, February 2008. Available online: http://www.chiariglione.org/mpeg/visions/3dv/index.htm.
[3] K. Willner et al., “Mobile 3D Video Using MVC and N800 Internet Tablet,” 3DTV Conference, May 2008.
[4] J. R. Luening, “Femtocell Economics,” GSMA Mobile World Conf., Barcelona, Feb. 2009.
[5] F. M. Chiussi et al., “Femtocells,” Guest Editorial, IEEE Communications Magazine, Vol. 47, No. 9, Sept. 2009.
[6] Femto Forum, “Femto Market Status,” Issue No. 1, Nov. 2009.
[7] R. Y. Kim and J. S. Kwak, “WiMAX Femtocell: Requirements, Challenges, and Solutions,” IEEE Communications Magazine, Vol. 47, No. 9, Sept. 2009.
三、 計畫成果自評
本計畫融合多視角 3D 視訊轉換與高速超微型基地台技術，兩者皆為目前最具前瞻性之研究領域。 行動多媒體服務將為超微型裝置的運算能力與傳輸效能帶來莫大的挑戰，而針對各個設計層級諸多不 同的技術課題，本計畫將重點探討並產出兩個層面的關鍵技術：載具帄台與系統應用面。 所發展的帄台技術，將針對應用特性有效地將重要的資訊在不同的核心及記憶元件之間傳遞，達 成可重置化多核心結構傳輸資源之設計及最佳化。而以記憶儲存為中心之晶內資料傳輸帄台，藉由階 層式記憶體管理單元及功率控管單元的協助與管理，提供異質多核心系統具節能效益之資料傳輸及資料儲存。系統應用面的部份則分為通訊應用與多媒體應用。通訊應用的方面，將發展出以超越十億位 元（Gigabit）等級為基準，低干擾可重置化超微型基地台架構，具備智慧型的跨層無線資源管理機制。 令外，也會發開發高效能可重置化無線基頻處理器、建立基於 LTE-Adavanced 技術的超十億位元級傳 輸速度的 16×16 MIMO-OFDM 帄台、發展具備對抗射頻與通道非理想效應之高速傳輸模式的基頻演算 法及核心同步技術、和多核心陣列處理器為基礎的高效能軟體無線電快速驗證之帄台。多媒體應用的 方面，將發展出高畫質多視角 3D 視訊之技術，可轉換傳統二維視訊轉換為立體視訊。 本計畫所發展的關鍵技術，對通訊產業將很有幫助，過去我國通訊科技之發展十分蓬勃。但以研 發資源之有限，在過去以大型基地台為主的行動通訊系統架構中，我國一直難以佔有一席之地。而目 前新崛起的超微型基地台解決方案，正是我國通訊產業，涉足高毛利基地台商品之最佳切入點。本計 畫所發展的關鍵技術，將有助於我國於世界通訊產業取得先機，而這些關鍵技術也可藉此進一步應用 至其他消費性電子與資通產業上。 本整合計畫，總計已發表或投稿中論文 8 篇與專利申請 1 篇如下。
[1] Hao-I Yang, Wei Hwang, and Ching-Te Chuang, "Impacts of NBTI/PBTI and contact resistance on power-gated SRAM with high-κ metal-gate devices," IEEE Transaction on Very Large Scale Integration (VLSI) Systems, 2010, accepted for publication.
[2] Wei-Chih Hsieh and Wei Hwang, "Adaptive power control technique on power-gated circuitries," IEEE Transaction on Very Large Scale Integration (VLSI) Systems, 2010, accepted for publication.
[3] Po-Tsang Huang and Wei Hwang, “Two-Level FIFO Buffer Design for Routers in On-Chip
Interconnection Networks,” IEICE Trans. FUNDAMENTALS/COMMUN. ELECTRON./INF. & SYST., accepted for publication.
[4] Lai, B.C.; Chiang, C.H.; Li, G.R.; "Classifier Grouping to Enhance Data Locality for A Multi-Threaded Object Detection Algorithm", The 17th IEEE International Conference on Parallel and Distributed Systems (ICPADS 2011), December 2011.
[5] Lai, B.C.; Chiang, C.H.; Li, G.R.; "Data Locality Optimization for A Parallel Object Detection On Embedded Multi-Core Systems", The 2nd IEEE International Conference on Software Engineering and Service Sciences, pp.576-579, July 2011.
[6] Yi-Chun Chen et. al. “Efficient 2D to 3D conversion with Object-Based Segmentation”, Computer Vision, Graphics, and Image Processing (CVGIP), 2011
[7] Shau-Yu Cheng, Chueh-An Tsai, and Terng-Yin Hsu, “Channel Estimator and Aliasing Canceller for Equalizing and Decoding Non-Cyclic Prefixed Single-Carrier Block Transmission via MIMO-OFDM Modem,” IEEE Trans. Very Large Scale Integr. (VLSI) Syst., vol. 19, no. 1, pp.156 ~ pp.160, Jan. 2011. [8] Terng-Yin Hsu and Shau-Yu Cheng, “Low-Complexity Sequential Searcher for Robust Symbol Synchronization in OFDM Systems,” IEEE Trans. Very Large Scale Integr. (VLSI) Syst., accepted for publication, 2011.
[9] Shau-Yu Cheng, Chueh-An Tsai, and Terng-Yin Hsu,” Variable Cluster Overlapped MIMO Detection”, US/Taiwan patent pending,
國科會補助計畫衍生研發成果推廣資料表
日期:2011/10/25國科會補助計畫
計畫名稱: 總計畫(I) 計畫主持人: 張添烜 計畫編號: 99-2221-E-009-189- 學門領域: 積體電路及系統設計無研發成果推廣資料
99 年度專題研究計畫研究成果彙整表
計畫主持人：張添烜 計畫編號： 99-2221-E-009-189-計畫名稱：應用於多視角立體視訊之多核心節能智慧超微型通訊系統研究--總計畫(I) 量化 成果項目 實際已達成 數（被接受 或已發表） 預期總達成 數(含實際已 達成數) 本計畫實 際貢獻百 分比 單位 備 註 （ 質 化 說 明：如 數 個 計 畫 共 同 成 果、成 果 列 為 該 期 刊 之 封 面 故 事 ... 等） 期刊論文 0 0 100% 研究報告/技術報告 0 0 100% 研討會論文 0 0 100% 篇 論文著作 專書 0 0 100% 申請中件數 1 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 4 0 100% 博士生 1 0 100% 博士後研究員 0 0 100% 國內 參與計畫人力 （本國籍） 專任助理 1 0 100% 人次 期刊論文 0 0 100% 研究報告/技術報告 0 0 100% 研討會論文 8 0 100% 篇 論文著作 專書 0 0 100% 章/本 申請中件數 0 0 100% 專利 已獲得件數 0 0 100% 件 件數 0 0 100% 件 技術移轉 權利金 0 0 100% 千元 碩士生 0 0 100% 博士生 0 0 100% 博士後研究員 0 0 100% 國外 參與計畫人力 （外國籍） 專任助理 0 0 100% 人次其他成果
