1.1 研究背景 (Background)
近年來，隨著軟硬體不斷的進步，立體影像技術不斷推陳出新，例如立體電視系統 (3DTV)[1][1]。而 MPEG 國際標準會議 (ISO/IEC Moving Picture Expert Group) 也在近 幾 年 制 定 了 3DAV (3D audio-visual)[3] 文 件 ， 其 中 有 一 項 是 互 動 式 多 視 角 視 頻 (Interactive Multiple View Video)，也稱做自由視點視頻 (Free Viewpoint Video，簡稱 FVV)，目的是希望利用新的視點合成技術，達到即時的互動視訊效果。
要達到自由視點視頻的效果，現階段而言具有非常大的挑戰性。目前的架構是希望 可利用若干台攝影機拍攝場景，若給定吾人想要看見相機之外的視角畫面(包括位置和 方向)，則設法利用已知視訊做合成。因此在前置處理上，除了要確保視訊訊號間在時 序上有無同步(Synchronization)，尚須考慮攝影機與影像校正(Calibration) 等問題。
目前在自由視點成像系統 (Free Viewpoint Television，簡稱 FTV [4][5][6]) 上也有 了初步的架構，包括影像校正 (Camera Correction)[7][8][9]、影像深度估計 (Depth Estimation)[10][11]、多視點壓縮 (Multiview Video Coding，簡稱 MVC)[12][13] 、多 視點影像合成 (Multiple View Synthesis)[14]、以及多視點 2D/3D 顯像技術 (2D/3D Multiview Display)。本篇論文會以影像合成為目的加以探討。
現階段而言，影像合成主要可分為兩大區塊，分別是模型式合成 (Model-Based Rendering，簡稱 MBR) 和 影像式合成 (Image-Based Rendering，簡稱 IBR)[1]。前者 主要將空間中的場景或物體做重建 (Reconstruction)，再投影到虛擬影像上。而重建方式 除了可利用雷射掃描外 (稱做主動式方法，或 Active methods)；也可利用現有的影像資 訊，找尋物體的特徵資訊，如邊緣與稜角，再設法重建立體資訊 (稱做被動式方法，或 Passive methods)。一些比較熱門的應用像是擴增實境 (Augmented Reality)[15]。
而在影像式合成[16]中，它會直接利用影像間的相對關係，將虛擬影像中的色彩空 間 做 內 插 (View Interpolation) 的 動 作 。 常 見 的 方 法 如 光 場 式 合 成 (Light Field
Rendering)[17]、或景深圖式合成 (Depth Image-Based Rendering，簡稱 DIBR)[1][18]。
光場式合成係利用全視函數 (Plenoptic Function) 的建構與分析，直接做虛擬視點的內 插，代價是資料量過於龐大，尚有很多待改進的地方。至於景深圖式合成，它是利用景
1.2 研究動機及貢獻 (Motivations and Contributions)
目前為止，絕大多數的文獻論文所探討的景深圖式影像合成中，都是基於密集排列
在景深圖升取樣方法中，我們觀察到景深在做升取樣時，需有別於一般的色彩影像 做升取樣的方法，否則會影響到後續的合成品質。而逆向景深圖映射演算法則是改進現 有的正向景深圖映射演算法，以降低大量的瑕疵現象。至於現有的影像修補技術，因無 法抵抗雜訊所產生的瑕疵現象，本篇論文也提供一套金字塔型影像修補技術來做改善。
最後則是提出瑕疵抑制演算法，讓最後的合成品質可以更佳。詳細流程會在後面的章節 闡述。
1.3 論文大綱 (Organization of the Thesis)
在本篇論文中，第二章會先從投影空間的理論基礎講起，然後加以介紹整個相機系 統的基本成像原理。並且根據現有的視點合成系統，簡介每個系統所需用到的各種工 具。第三章則會根據景深圖映射所產生的各種瑕疵現象，加以分析並且提出一套景深映 射後修補方法，以降低瑕疵區域。第四章是結合傳統的自由視點合成系統、加上本篇論 文提出的各種改善方法，而提出稀疏多視點的整個系統。改善方法包括景深圖升取樣方 法、金字塔型影像修補技術、瑕疵抑制演算法。並且發展一套逆向景深映射演算法，以 改善傳統的正向景深映射演算法。第五章會是利用自己拍攝的真實影像，合成出任意的 虛擬視角影像，並且加以討論與分析。最後第六章的部分則是對本篇論文的總結與未來 研究方向的期許。