中 華 大 學

中 華 大 學 碩 士 論 文

題目：利用光流與強化之 CID 方法建立 3D 立體影片

Creating 3D Stereo Video by Optical Flow and Enhanced CID Method

系 所 別 ： 資 訊 工 程 學 系 碩 士 班 學號姓名 ： M 0 9 4 0 2 0 5 6 莊 凱 煒 指導教授 ： 鄭 芳 炫 教 授

中華民國 九十六 年 八 月

摘要

電視的普及之後，身邊的平面靜態影像漸漸的被連續的動態影像所取代了，而慢慢的平 面影像也不能滿足我們的需求，我們需要的是更加立體，更加貼近真實影像的 3D 立體影像，

而立體影像最困難的地方就在於深度資訊的獲取，而我們希望將隱藏在連續影像中的深度資 訊擷取出來，讓傳統的平面影像搖身一變成為生動的立體影像。

這篇文章的利用了光流法與強化後的 CID 方法來估測連續影像中的深度資訊，單純的利 用影像中的資訊來切割出前景與背景部份，在 CID 方法中利用影像中的清晰度與銳利度來估 算靜態深度資訊，再利用光流將物件切割成不同區塊，統計並更新靜態深度圖，在動態深度 估測方面我們利用了前後兩張影像之間的亮度變化搜尋出物件移動區域，並且計算區域內的 移動向量，將移動向量與靜態深度圖結合後再經由視差屏障立體顯示器觀看立體效果。

索引項目：3D 立體、視差、深度圖、CID 法、光流法

致謝

在本論文完成的過程中，首先必須特別感謝鄭芳炫教授與黃雅軒教授悉心的指導及寶貴 的建議，讓我在影像處理的領域上學到了很多的知識，也逐步的協助我解決了很多在論文實 作上的難關，才能夠完成這一份論文。也讓我自己學到了不少理論與實作的寶貴知識，增進 了自己在職場上的競爭力，提高了工作的效益。謹此致上最誠摯的謝意。

同時也要感謝實驗室的學長楊士賢、張正暉、楊志強、楊長慎、陳弘裕、蘇忠茂、張揚 凱、毛新惟與王怡祥，給了我很多寶貴的建議，提供我不少的意見及參考的方向。以及感謝 同學呂長鴻、梁韻卉、莊明傑、徐文良、王文長、謝正達、陳昭偉、王建程、石家銘、林靈 逸與莊清乾，一同研究時互相鼓勵。還有學妹黃雅麟和學弟張正園、張祐維、林宣德、黃庭 彥、王宇晨、蘇宥霖在許多方面的協助。感謝實驗室的大家給我了一個很溫馨、很完善的研 究環境，讓我可以專心致力在論文的研究上，完成這份論文與程式。

最後，一定要感謝我的爸爸莊火春和媽媽謝瑞蓮，是他們的支持與鼓勵，才能讓我在研 究所的求學過程中無後顧之憂地專心在我的研究。是他們不斷的關心、精神上的支持及多年 來的養育之恩，才造就了今天的我，除了真心的感謝之外還要祝福他們身體健康、平安快樂，

並將此份榮耀獻給我最寶貴的家人。

目錄

摘要... I 致謝...II

第 1 章 序論... 1

1.1 頭掛式顯示方式... 2

1.1.1 雙螢幕或雙空間法... 2

1.1.2 波長區分法 (Wavelength Division) ... 2

1.1.3 極化區分法 (Polarization Division)... 3

1.2 裸眼顯示方式... 4

第 2 章 相關研究... 5

2.1 雙攝影機系統... 6

2.2 單攝影機系統... 6

2.2.1 資料庫比對方式... 7

2.2.2 影像結構分析... 8

第 3 章 二維動態影像之 3D 立體顯示技術... 12

3.1 靜態深度測量... 13

3.1.1 清晰度... 13

3.1.2 對比度... 14

3.1.3 顏色區塊切割... 15

3.1.4 靜態深度圖更新... 17

3.2 動態深度搜尋... 19

3.2.1 光流法... 19

3.2.2 Motion History Image (MHI) ... 21

3.2.3 有效光流搜尋圖... 21

3.3 合併深度資訊... 23

3.4 光流深度還原法... 24

3.5 系統缺點... 27

第 4 章 強化之深度測量演算法... 29

4.1 光流物件切割... 30

4.1.1 光流區塊化... 30

4.1.2 投影... 31

4.1.3 區塊更新... 33

4.1.4 光流細部切割... 34

4.2 最遠背景計算... 37

4.2.1 背景色偵測與合併... 37

4.2.2 細部顏色區塊更新... 39

4.2.3 最遠背景位移... 40

第 5 章 實驗與結果... 42 5.1 系統詳細流程... 42 第 6 章 結論與未來展望... 49

圖目錄

圖 1-1 立體頭盔顯示器 圖 1-2 Lenticular Sheet... 2

圖 1-3 紅綠立體圖 ... 3

圖 1-4 極化區分法 ... 3

圖 1-5 視差遮障法 ... 4

圖 2-1 雙攝影機系統 ... 6

圖 2-2 臉部比對及重建 3D 模型 ... 7

圖 2-3 手部比對及重建 3D 模型 ... 7

圖 2-4 大小示意圖 ... 8

圖 2-5 藍天綠地風景圖 ... 9

圖 2-6 物體遮蔽示意圖 ... 9

圖 2-7 消失線與消失點示意圖 ... 10

圖 2-8 模糊與景深的關係圖 ... 10

圖 2-9 光流示意圖 ... 11

圖 3-1 流程圖 ... 12

圖 3-2 CbCr 色域分佈及切割圖... 16

圖 3-3 CID 切割區塊圖 ... 17

圖 3-4 初步深度整合圖 ... 18

圖 3-5 靜態深度圖 ... 18

圖 3-6 矩陣示意圖 ... 19

圖 3-7 一階偏導方向 ... 20

圖 3-8 光流結果圖 ... 20

圖 3-9 MHI ... 21

圖 3-10 光流有效搜尋圖 ... 22

圖 3-11 二值化 ... 22

圖 3-12 移動向量示意圖 ... 24

圖 3-13 光流深度還原法示意圖 ... 25

圖 3-14 強化光流深度還原法示意圖 ... 26

圖 3-15 最終光流深度還原法 ... 27

圖 3-16 靜態深度圖 圖 3-17 破碎立體感示意圖... 28

圖 4-1 系統流程圖 ... 29

圖 4-2 光流區塊化圖組 ... 31

圖 4-3 二值化光流圖 ... 31

圖 4-4 細部靜態深度圖 ... 32

圖 4-5 四方向投影示意圖 ... 32

圖 4-6 投影更新後結果 ... 33

圖 4-7 物件合併圖 ... 33

圖 4-8 更新後靜態深度圖 ... 34

圖 4-9 直方統計圖 ... 34

圖 4-10 光流切割圖 ... 35

圖 4-11 光流區塊圖 ... 35

圖 4-12 以光流強化前後的 CID 區塊圖 ... 36

圖 4-13 背景示意圖 ... 37

圖 4-14 降階圖 ... 38

圖 4-15 合併示意圖 ... 38

圖 4-16 背景切割結果圖 ... 39

圖 4-17 細部調整結果圖 ... 40

圖 4-18 位移示意圖 ... 41

圖 5-1 前後影像 ... 42

圖 5-2 YCbCr... 43

圖 5-3 CID 群組圖 ... 44

圖 5-4 光流結果圖 ... 44

圖 5-5 區塊整合圖 ... 45

圖 5-6 最終靜態深度結果圖 ... 46

圖 5-7 CID 細部比較圖 ... 46

圖 5-8 背景判斷結果圖 ... 47

圖 5-9 前景位移示意圖 ... 48

圖 5-10 結果圖 ... 48

第1章 序論

當我們在觀看一個物體的時候，該物體在左右眼中會有些許的位移，而這個位移就稱為 視差，也因為雙眼產生的視差，讓我們產生了立體深度的感覺。一對具有雙眼視差的影片，

經過大腦的整合後，就會產生立體的感覺，我們可以利用這個特性製作出具有視差的影像，

再經由特殊螢幕觀看，就會得到具有立體效果的影像。

我們可以利用模擬真實世界觀看立體深度的方式來觀看視差圖，原理就是讓左眼只看到 具有左眼視差的影像，而右眼只觀看到具有右眼視差的影像。而近年來發展出許多觀看立體 深度的方式，大致上分成頭掛式的立體顯示法跟裸眼式的立體顯示法，頭掛式顯示方式在觀 看立體影像時，具有比較少的限制，由於頭掛式顯示方式可以利用雙螢幕對雙眼做個別的輸 出，或是利用波長區分法將左右眼影像做色偏的處理，再藉由色偏眼鏡觀看，還有一種觀看 方式就是利用級化區分法，這種方式是在輸出前經過具有水平及垂直的偏光板投影在偏光布 幕上，使雙眼具有不同方向的偏光，經由偏光眼鏡來觀看的時候就能得到不錯的立體影像了。

而裸眼式的顯示方式在觀看上立體效果上就有許多的限制了，通常是利用垂直相間的光 柵將左右眼影像折射到左右眼，但是因為硬體的關係，在觀看上就有可視角的問題，在多人 觀看時這個問題就會更加嚴重，但是裸眼式的顯示方式不用再配戴認何器具，所以在長時間 觀看上會較為舒服。

1.1 頭掛式顯示方式

顧名思義，這種顯示方式就是將在頭上掛戴特殊眼鏡，因應各種不同的眼鏡，將左右眼 影像做一些改變，讓左右眼只能接收到各自的影像，這樣一來就達成了模擬現實生活的情 況，進而觀看到立體影像。

1.1.1 雙螢幕或雙空間法

此方法大致上是使用左右各自獨立的顯示器，左右眼顯示器顯示左右眼的畫面，應用在 動態時的立體頭盔顯示器(圖 1.1)或是靜態時的區隔左右眼的雙空間法(圖 1.2)在觀看立體效 果時，效果都不錯，因為左右眼直接隔離分開，所以比較沒有互相干擾的問題。

圖 1-1 立體頭盔顯示器 圖 1-2 Lenticular Sheet

1.1.2 波長區分法 (Wavelength Division)

將左右兩眼的影像先作偏紅和偏綠的畫面處理，然後合成單一圖檔，而觀賞者戴上左眼 紅色、右眼綠色的有色眼鏡，讓左右眼濾過另一隻眼睛的影像，利用左右不同顏色的建構出 立體影像。

圖 1-3 紅綠立體圖

1.1.3 極化區分法 (Polarization Division)

在螢幕進行影像輸入之前，先由兩台通過左右不同偏光方向的偏光板投影機投射至偏光 布幕，使得所產生的影像有二種不同偏光方向的畫面，搭配偏光鏡觀看時，就跟波長區分法 一樣，讓左右眼濾過另一隻眼睛的影像。

(a)偏光投影機 (b)偏光布幕 (c)偏光眼鏡 圖 1-4 極化區分法

1.2 裸眼顯示方式

最常見的就是視差遮障法(Parallax Barrier Division)，其原理是利用左右影像插排融 合技術，利用透光狹縫（Slit）與不透光遮障(Barrier）垂直相間的光柵條紋，放置於融合 圖形之上，來限制左右眼分別看到左右影像；因為由二合為一的立體影像檔，左右眼各只佔 一半畫素，因此畫面亮度及品質降為原來的一半量以內。

(a) 影像插排融合 (b) 插排融合立體圖 圖 1-5 視差遮障法

第2章 相關研究

電視的普及之後，身邊的平面靜態影像漸漸的被連續的動態影像所取代了，而慢慢的平 面影像也不能滿足我們的需求，我們需要的是更加立體，更加貼近真實影像的 3D 立體影像，

例如在軍事及醫學方面，需要更加立體的影像來模擬教學，以達到更好的教學效果。在仿間 已經能看到越來越多的 3D 立體電影的上市，傳統的聲光效果已經慢慢的被立體效果所取 代，因此從市面上的立體相關產品也越來越多的情況下可以觀察出 3D 立體相關技術慢慢的 被重視，所以如何獲得正確的深度資訊變成一個要被重視的問題。目前獲得深度資訊的方式 有很多種，我們希望能夠找到一種可以直接應用在影像中的方式，而不是使用特殊儀器拍攝 而取得深度資訊的方式，因為這樣可以應用的範圍就更廣了，更可以將 3D 立體感覺擴展到 每個家庭裡，只需擁有一般攝影機所取得的二維影像，經過整個系統的運算之後就能將平淡 無奇的 2D 影像轉變成擁有立體效果的 3D 立體影像，讓立體影像更為普及。

一般而言，我們用相機或攝影機取得的照片或影片是屬於二維的影像資訊，而其實現實 環境中各物體是以前後不同的深度擺放著，但是在相片中這些資訊是被忽略的，所以這些影 像所呈現出來是平面影像。電影、電視、平面海報都是屬於平面影像，其實只要加上深度資 訊，這些平面影像就會顯得更生動、更接近現實生活場景。其實這些平面影像中也具有一些 資訊可以估測深度結構，若能有效的估算出平面的靜態深度，就能使單調的平面影像搖身一 變成為生動的立體影像。

而獲得深度資訊的方式大致上分成雙攝影機系統以及單攝影機系統，這兩種系統在獲得 深度資訊的方式上截然不同，應用上面也大不相同。

2.1 雙攝影機系統

而目前最常被利用的方法是直接使用兩個攝影機，利用水平擺設兩攝影機來獲得近似雙 眼的影像。此種方法所獲得的立體影像較為直接，也較於正確，不用經過複雜的計算，只需 精準的控制兩攝影機內參數，使兩攝影機與目標物體間產生一個等腰三角形，所產生的影片 就直接具有 3D 立體資訊在內。目前電影工業已採用此方法製作 3D 電影。雖然以這種方式 獲得的深度資訊是最正確的，但是由於一般的影片都是由單一攝影機所拍攝的，所以對於已 拍攝的影片就無法使用這種方式來測量深度資訊。

圖 2-1 雙攝影機系統

2.2 單攝影機系統

單攝影機拍攝出的影片要獲得深度資訊就變得比較困難了，必須從影像中所隱藏的資訊 著手，例如物體的大小、物體的遮蔽性、顏色、相對位置、銳利與對比等等，而目前可直接 運用在單攝影機拍攝影片之深度測量大致上有資料庫比對的方式和影像結構分析的方式兩 大類。

2.2.1 資料庫比對方式

以文獻“Example Based 3D Reconstruction from Single 2D Images＂[1]為例，以這種方式 獲得的較為直接，可以事先在資料庫中建立數個不同物件的深度資訊，之後判別影像中切割 出的區塊屬於哪個總類的物件，再將資料庫物件與目標物件互相比對來獲得深度資訊，這種 方式所獲得深度資訊的正確度與比對資料時的正確度有關，若比對資料時無法正確的比對出 該物件總類，那麼可能會使用別的深度模型來套用在該目標物件上，而產生深度圖錯誤現 象。而且目標物件可能與資料庫物件的 XYZ 軸方向會不同，如何正確的轉動各軸也是個需 要解決的課題，不過當這些問題能被有效的解決，所獲得的深度資訊將會是非常正確的。

圖 2-2 臉部比對及重建 3D 模型

圖 2-3 手部比對及重建 3D 模型

2.2.2 影像結構分析

這種方式主要是先分析影像中的結構，找出隱藏在 2D 靜態影像中的深度資訊，大小、

顏色、遮蔽性、清晰度、相對位置都是常被利用的資訊，而影像中景物的幾何排列也常被用 來估測 2D 影像中的深度資訊。在動態影像中，更可以利用移動向量等資訊來估測深度。

2.2.2.1 大小

一個相同的物體，會因為距離的遠近而在視網膜上呈現不同大小的影像，例如相同一台 車在距離近的時候，所呈現出的影像大小就會比距離遠的時候還大，所以當我們可以正確的 分辨該物體類別的時候，這個資訊就會變的很好用。如圖 2.4 所示。

圖 2-4 大小示意圖

2.2.2.2 顏色

顏色也是一個判別深度的重要資訊，在風景類別的照片中更能扮演重要的資訊，在風景 照中，通常背景都是藍色或白色所組成，前景為綠色的機會也是會大的，所以顏色的分布在 判斷風景照的深度資訊中是個很重要的依據。

2.2.2.3 相對位置

在一般的照片中，因為拍攝角度的關係，影像中下方通常是屬於比較靠近拍攝者的位置，

相對的越上方通常是屬於較遠，這個現象在風景照中比較明顯，在一般室內照就不適用，因 為風景照中上方的影像通常屬於天空，下方屬於地板部分，所以相對位置在風景照中也是個 重要的資訊。

圖 2-5 藍天綠地風景圖

2.2.2.4 遮蔽性

在影像中物體若比較靠近觀測者，就會因為空間中的相對關係而遮蔽到距離較遠的物 體，當兩個不透明的物體在同一條觀測線水平附近時，距離較近的物體就會遮擋到距離較遠 的物體，而當我們將各物件完整的切割並確認物體的完整性後，就可以利用這個資訊來估測 物體的遠近。

圖 2-6 物體遮蔽示意圖

2.2.2.5 幾何排列

以文獻“Depth-Map Generation by Image Classification＂[2]為例，影像中邊緣的幾何位置 隱藏著些許的深度資訊，影像中的邊緣會朝畫面中的一個點或某個方向集中，這個點稱之為 消失點，整張影像的深度走勢也跟消失點有關，場景的深度可以依照距離消失點的遠近而給 予相對且漸層的深度變化，而這些朝消失點集中收斂的線條就稱為消失線。

圖 2-7 消失線與消失點示意圖

2.2.2.6 清晰度與銳利度

清晰度與銳利度越高的區域則是相機對焦的地方，也就是主體部分，距離該物體越遠，

清晰度與銳利度就會越低，而這兩個資訊都是利用影像中的模糊程度來計算距離遠近，通常 來說越清晰的區域就是主體的部份，而距離越遠的地方所呈現出的清晰度就越低。

圖 2-8 模糊與景深的關係圖

2.2.2.7 動態影像分析

連續影像相較於單一靜態影像，在連續播放的時候擁有更多的深度資訊隱藏在裡面，當 物體移動時，會因為距離的遠近，在眼前呈現出來的位移也會有所不同，當物體與觀測點距 離較近的情況下，物體呈現出的移動量會比較大，而當物體與觀測點距離較遠的時候，即使 物體擁有相同的移動距離，但是在觀測點所獲得的移動量卻是比較小的。而這種估測深度的 方式，我們稱之為光流法(Optical-Flow Method)。

圖 2-9 光流示意圖

以上測量深度的方法都可以獨立計算，各自都有獨自的計算方式，不過每個方式也各自 都有盲點，可以利用結合多種深度測量方法的方式來修正各自不足的地方。

第3章 二維動態影像之 3D 立體顯示技術

上面介紹了很多種不同的深度計算方式，各自都有優點，也各自都有計算上盲點，而二 維動態影像之 3D 立體顯示技術[3]就是結合了兩種測量深度的方式，進而得到更真實的立體 效果。在深度的計算上面是使用了結合靜態影像中清晰度與銳利度的( Computed Image

Depth ) CID 法與動態深度估算的光流法來計算，結合了這兩種深度資訊不僅讓深度資訊更為 真實，也修正了各自存在的盲點，但是在計算的同時，忽略了當其中一種方法計算錯誤時的 情況，因為沒有互相的更新計算深度資訊，所以當單一資訊錯誤偏差太大時，效果就大打則 扣了。

簡化後的流程圖如下：

圖 3-1 流程圖

主要的運算可以分為靜態深度測量、動態深度搜尋、合併深度資訊與左右眼深度還原法 等四大步驟，接下來會簡介一下這四個步驟的計算過程。

3.1 靜態深度測量

在靜態深度測量方面，主要是採用了 CID 法[4]來計算，這個方法主要是利用單張影像的 各種隱藏資訊來計算各物體間的深度關係，例如：物體的大小、物體的遮蔽性、顏色、相對 位置、銳利與對比，藉由分析影像區塊中的部分內容來估測影像中各區塊的深度與整張影像 的深度結構。而這邊主要是以清晰度與銳利度的計算為主，利用了影像中模糊的程度來判斷 深度的遠近，接著再利用顏色區塊來更新靜態深度圖。

3.1.1 清晰度

在清晰度的計算上，採用了 Laplacian 的運算，以一個3×3的矩陣 L 對整張影像做運算，

取得各點的強度值之後再將求得的強度值正規化到[0,255]以利於顯示，之後再依照清晰度的 強度分成三類，依強度大到小分別是近、中、遠。

Laplacian 3×3矩陣：

⎥⎥

⎥

⎦

⎤

⎢⎢

⎢

⎣

⎡

=

1 4 1

4 20 - 4

1 4 1 6 L 1

運算完清晰度之後，我們將整張的清晰度值正規化到[0,255]之間。

( ) ∑∑ ( )

= =

× +

+

=

³

1 p

3

1 q

a

i, j I i p - 2, j q - 2 L(p - 1, q - 1)

S

( ) i, j [ S ( ) i, j ] , S [0,255]

S

_b

= η

_{a b}

∈

(3.1)

而區塊清晰度的計算範圍設為m× ，將清晰度正規化到[0,255]之後，利用影像中的最大n 值S_max將整體的清晰度切割成 3 類，並計算m× 區塊中的清晰度總值，依據比例把該區塊n 分類成遠、中、近。S_block就是該區塊計算出來的深度值。

( ) i , j ) (

x

1 i

y

1 j

b

max

∑ ∑

= =

= Max S

S

⎪⎪

⎩

⎪⎪

⎨

⎧

≤

<

≤

≤

<

≤

=

max max

max max

max

23 ), (

3

23 13

), (

2

13 0

, ) ( 1

S S S

Near

S S

S Middle

S S

Far fs

( )

_⎟⎟

⎠

⎜⎜ ⎞

⎝

⎛ + +

= ×

∑∑

= =

m

1 p

n

1 q

b i p,j q n

m ) 1

,

(i j fs S

S_{block (3.2)}

3.1.2 對比度

對比度也跟清晰度擁有相同的特性，就是越靠近的區塊所呈現出的對比值就越高，在對 比度的計算上，在m× 的區塊中取點n

( )

^{i, j 附近的}3׳的區塊來做 RMSE(Root Mean Squared Error)，算出區塊內 9 點的平均之後，將這 9 點跟平均相減平方後取平均，最後在將這平均

值開根號，以取得對比度的強度值。也將對比強度值依照整張強度分布正規化到[0,255]方便 顯示。

⎟⎟⎠

⎞

⎜⎜⎝

⎛ + − + −

=

∑ ∑

= =

3

1 p

3

1 q

) 2 q j , 2 p i 9 (

) 1 j , i

( I

mean

( )

_⎟⎟

⎠

⎞

⎜⎜⎝

⎛ + − + − −

=

∑ ∑

= =

3

1 p

3

1 q

2

a (i p 2,j q 2) (i, j)

9 ) 1 j , i

( I mean

C

] 255 , 0 [ ,

)]

j , i ( [ ) j , i

( _{a b}

b = C C ∈

C η (3.3)

正規化到[0,255]之後，一樣利用最大值C_max將強度範圍分為 3 個區段，分別代表遠、中、

近。

( )

i, j ) (

x

1 i

y

1 j

b

max

∑ ∑

= =

= Max C

C

⎪⎪

⎩

⎪⎪

⎨

⎧

≤

<

≤

≤

<

≤

=

max max

max max

max

23 ), (

3

23 13

), (

2

13 0

, ) ( 1

C C C

Near

C C

C Middle

C C

Far fc

( )

_⎟⎟

⎠

⎜⎜ ⎞

⎝

⎛ + +

= ×

∑ ∑

= =

m

1 p

n

1 q

q j , p n i

m ) 1

,

( _n

block i j fc C

C (3.3)

3.1.3 顏色區塊切割

在合併清晰度與銳利度時，加入了顏色的資訊以強化合併時的效果，希望能更接近原始 深度分佈。顏色方面先把色彩空間轉換到 YCbCr，讓量度與彩度分離，以彩度 CbCr 當作顏 色合併的依據。

色彩空間轉換公式如下：

( R G B )

Y = 0 . 3 + 0 . 6 + 0 . 1

( 1 )

5 .

0 +

=

−

= B Y Cb U

U

5 . 0 6 . 1

/ +

=

−

= R Y Cr V

V

(3.4)

而在 Cb、Cr 的色域分佈中，定義 Cb、Cr 值域在 121 與 135 的地方為臨界值，將 Cb、

Cr 分成 9 個區塊，再依照這 9 個區塊定義顏色區塊圖。

圖 3-2 CbCr 色域分佈及切割圖

( ) x , y f ( Cb ( x , y ), Cr ( x , y ) )

Hue =

_CbCr

Hue ( ) ( x , y ∈ 1 ~ 9 )

x，y 表區塊內每一點座標值

155

~ 130 ,

125

~

100

^high

low=

Tcr

=

Tcr

155

~ 130 ,

125

~

100

^high

low =

Tcb

=

Tcb

( ) ( )

( ) ( )

( ) ( )

( ) ( )

( ) ( )

( ) ( )

( ) ( )

( ) ( )

( ) ( )

⎪ ⎪

⎪ ⎪

⎪ ⎪

⎩

⎪⎪

⎪ ⎪

⎪ ⎪

⎨

⎧

<

<

≤

≤

<

<

<

<

≤

≤

≤

≤

≤

≤

<

≤

≤

<

<

≤

≤

<

<

<

=

y x Cr Tcr

y x Cb Tcb

Tcr y

x Cr Tcr

y x Cb Tcb

Tcr y

x Cr y

x Cb Tcb

y x Cr Tcr

Tcb y

x Cb Tcb

Tcr y

x Cr Tcr

Tcb y

x Cb Tcb

Tcr y

x Cr Tcb

y x Cb Tcb

y x Cr Tcr

Tcb y

x Cb

Tcr y

x Cr Tcr

Tcb y

x Cb

Tcr y

x Cr Tcb

y x Cb

f

_CbCr

,

&

, ,

9

,

&

, ,

8

,

&

, ,

7

,

&

, ,

6

,

&

, ,

5

,

&

, ,

4

,

&

, , 3

,

&

, , 2

,

&

, , 1

high high

high low

high

low high

high high

low

high low

high low

low high

low

high low

high low

low

low low

由m× 區域內每一圖素做色域分類，在統計共n m× 點色域類別代號取用最多色域n

類當做此區域的色域類別。

( )

⎟

⎠

⎜ ⎞

⎝

⎛ + +

=

∑∑

= = m

1 n

1

l j , k i )

, (

k l

block i j Max Hue

Hue (3.5)

3.1.4 靜態深度圖更新

在文件 “2D/3D real-time conversion”[5]中所使用的運算方式，先把影像切成許多16×16 大小的區塊，各自計算出清晰度與銳利度之後，將清晰度的強度分類值與銳利度的強度分類 值相加，相加後依照強度區分成三類：遠、中、近。

(a) 原圖 (b) 以16×16大小切割區塊 圖 3-3 CID 切割區塊圖

清晰度與銳利度合併計算：

距離

6 近

4~5 中

2~3 遠

Table 3.1

圖 3-4 初步深度整合圖

初步的合併之後，將顏色資訊加入一起判斷，讓整體的深度區塊更接近實際感受。

圖 3-5 靜態深度圖

以上圖形為示意圖，並非程式執行結果 銳利度

清晰度

區域深度

3.2 動態深度搜尋

在動態深度搜尋方面，採用的是光流法[6][7]，這個方法主要是利用擁有相同移動向量的 物體會因為距離的遠近而在螢幕前產生不同的移動量，距離較近的物體會產生較大的移動 量，距離較遠的就會產生較小的移動量。整體動態深度搜尋是先經由光流的計算之後，產生 出光流差值圖，在對時間累積之後產生有效光流搜尋圖，在這區塊內的像素各自計算移動向 量後，就完成了動態深度搜尋。

3.2.1 光流法

這邊的是採用 Horn[8]所提出的光流演算法，在這個演算法中計算光流值只需要用到亮度 的資訊，所以我們將色彩空間轉至 YCbCr 亮彩分離之後，取亮度資訊 (Y) 進行計算。定義

Y 、p Y_n為一個3×3矩陣，分別代表前一張與下一張中所擷取出的同一像素附近的3×3亮度 值矩陣。將矩陣中取出的亮度值標明編號如下。

(a) 前一張 (b) 後一張 圖 3-6 矩陣示意圖

而我們再定義 I 為矩陣中各頂點的像素值，共八個頂點；

N1 N₂ N₃

N4 N₅ N₆

N7 N₈ N₉

P1 P₂ P3

P4 P₅ P₆

P7 P₈ P₉

Y

p

Y

_n

　

、

、

、 I P I P I P

P

I

₁

=

_{1 2}

=

_{3 3}

=

_{5 4}

=

₇

　

、

、

、 I N I N I N

N

I

₅

=

_{1 6}

=

_{3 7}

=

_{5 8}

=

_{7 (3.6)}

由八個點導出一階偏導：

圖 3-7 一階偏導方向 光流運算方式如下：

( ) ( ) ( ) ( )

{

2 1 4 3 6 5 8 7

}

1 4 I I I I I I I I

E

_x

= − + − + − + −

( ) ( ) ( ) ( )

{

3 1 4 2 7 5 8 6

}

1 4 I I I I I I I I

E

_y

= − + − + − + −

( ) ( ) ( ) ( )

{

5 1 6 2 7 3 8 4

}

1 4 I I I I I I I I

E

_t

= − + − + − + −

(3.7)

由上式所計算出的E_x、E 為 X 與 Y 方向的一階偏導，相加就是光流梯度值_y ∇(Gradient)，

可以用來計算邊緣，而兩個的差值E 則為兩張影像的光流差值。 _t

255 0

E

E

_x

+

_y

≤ ∇ ≤

=

∇ ，

( ) ^{x, y diff(s, t) (s, t) S}

D E

diff =

_t

， = ∈

_(3.8)

(a) 光流梯度圖 (b) 光流差值圖 圖 3-8 光流結果圖

3.2.2 Motion History Image (MHI)

由於光流值僅是單一時間移動的位置，有可能因為利用前後兩圖判別物體移動時並不是 整個物體都在移動，只是局部範圍移動量較大而已，所以將光流差值圖對時間做個累計，以 加強整體物件移動的完整性。而在 MHI 計算時，先將產生出的光流差異值D_t(x,y)加上前一 張 MHI 的二分之ㄧ，加強整個移動物件的完整性，計算式如下：

y) (x, 2 M

y) 1 (x, D y) (x,

M

_t

=

_t

+

_{t-1 (3.9)}

圖 3-9 MHI

經過 MHI 計算之後的影像比原始的光流差值圖更具有時間的資訊，比較能代表前後時間 內累積的移動量，可是在邊緣也會產生殘影的現象，這是因為物體移動時所遺留下來的軌 跡，再判斷有效光流搜尋圖之前，先解決殘影現象。

3.2.3 有效光流搜尋圖

由於 MHI 影像的邊緣會有殘影現象，所以在統計有效光流搜尋圖的時候會產生誤差，讓 判斷區塊時效果下降，進而影響整體的計算效果，所以在統計有效區塊的時候我們將具有時

間累積資訊的 MHI 與具有邊緣資訊的光流梯度圖做結合，讓整體光流有效區塊能更完美，

計算式如下：

y) M(x, y)

(x, y)

S(x, = ∇ I

_(3.10)

計算後再將影像經過 Morphology 的 Closing 處裡。計算式如下：

⎥ ⎥

⎥

⎦

⎤

⎢ ⎢

⎢

⎣

⎡

=

0 1 0

1 1 1

0 1 0 A

( ^{x y} ) ^A ( ^C ( ^{x y} ) ^A ) ^A

C y

x

O ( , ) = , • = , ⊕ Θ

(3.11)

結果如下：

圖 3-10 光流有效搜尋圖

計算出較完整的光流有效搜尋圖後，將這區塊二值化後作為後面搜尋的依據。

⎩ ⎨

⎧ >

= otherwise

threshold y

x y O

x

B 0 ,

) , ( , ) 1 ,

(

(3.12)

圖 3-11 二值化

3.3 合併深度資訊

在整合靜態與動態的深度資訊時，先利用”光流技術在移動物體影像追尋上之應用”[9]論 文中的四步蒐尋法計算經過二值化的光流有效搜尋圖內所有的像素，取得它們的移動向量，

利用移動向量當作產生左右眼的依據。

移動向量關係著物體在左右眼中將被移動的像素，所以利用 CID 計算出的遠、中、近三 個等級的深度，來調整物體移動的像素。由於人類雙眼是水平排列，所以對於垂直的移動就 不宜給予太大的位移，避免大腦在產生立體感覺時因為過大的垂直位移而無法融合，整體位 移計算如下：

X 軸與 Y 軸的移動量：

∆M

=

∆x_shift

4 / ) 2 1

( y y

y

_shift

= −

∆

(3.13)

∆ 就是所謂的視差位移量，結合了靜態與動態深度圖所產生的視差，較原本單純使用M

一種深度資訊所獲得的視差更接近真實環境。

物件距離 ∆ 量 M

遠 ^(x1−x2)/8 中 ^(x1−^x2)/4 近 (x1−x2)/2

Table 3.2 M∆ 設定表

3.4 光流深度還原法

由文獻 ”3D Stereoscopic Image Pairs by Depth-Map Generation.”[10]中提到，當注視一個 在畫面中移動的點時，左眼觀測到該點處於 A 點，但右眼因為角度的關係，會在 B 點觀測 到該點，但這兩點在空間中是同一點的。經過一個單位時間後，左眼觀測出點從 A 處移動到 C 處，而右眼觀測出點也從 B 處移動到 D 處。

圖 3-12 移動向量示意圖

因為左右眼所觀測的物體在空間中是屬於同一物體，所以向量 AC 會與向量BD具有相同 的移動量，而 A、B、C、D 也會以直線的方式呈現，也就是說這 4 點會在同一條直線上。

文獻中也利用了這個觀念來製作左右眼，先計算出前後兩張影像的移動向量，再利用這觀念 來產生左右立體深度圖，而這個方法稱之為光流深度還原法.

在光流深度還原法中，先將前一頁影像當作立體深度的左眼圖，利用前後影像取得移動 向量後，以前一頁為依據，依照與 CID 值比對後所得到的視差位移量將物體作適當的位移，

製造立體深度的右眼圖。

(a) (b)

(c)

圖 3-13 光流深度還原法示意圖

單純以前一張影像還原左右立體圖的時候，會因為物體移動量過小而造成整體立體感覺 不高，所以在計算完移動量之後，改變產生左眼圖的方式，從原本直接引用前一張影像改變 成由前一張經過移動後去產生，如此一來可以將整體的立體視差拉開成原本的兩倍，使立體 效果更為明顯，但是左右眼都是利用前一張影像製作而成的，在物體位移時產生的空洞效應 會更嚴重，也就是原本的像素資訊在物體移動後，該位置的資訊就會消失，所以用此方法製 作出的左右眼立體圖會比之前的方式產生更多的雜訊。

示意圖如圖 3.14。

(a) (b)

(c)

圖 3-14 強化光流深度還原法示意圖

強化後的光流深度還原法擁有效果較好的深度感覺，但是因為左右眼立體圖都是由前一 張影像做移動所產生的，除了空洞效應較明顯外，物體的變形也較為嚴重，為了改善這個問 題，所以更動了右眼影像產生的方式，由前一張影像改變成下一張影像，移動的位置一樣是

∆M，示意圖如下：

(a) (b)

(c)

圖 3-15 最終光流深度還原法

3.5 系統缺點

由於整個系統架構中，並沒有對深度圖做反向更新的機制，導致如果靜態深度圖判斷錯 誤時，會造成深度的不正常跳躍以及深度的破碎感覺。例如，當圖. 3.16 中所有有效光流搜 尋圖內的像素的移動向量都為 16 的時候，經由 Table. 3.2 可以得知，在靜態深度圖判斷為 F

的位置，他所擁有的視差位移量為 2，而 M 的位置所擁有的是 4，N 的位置甚至高達 8，視 差大小相差 6 個像素，在最終光流深度還原法中所呈現出來的視差高達 12 個像素差，這會 造成原本深度應該相近的物件，因為紋理的關係讓靜態深度圖產生誤判，造成最後立體效果 下降，甚至如圖. 3.17 中所示，深度跳越感過於明顯，導致整體物件無法判斷，雖然它所擁 有的深度差異感覺是不錯的，但是破碎感讓觀察者無法判斷該物件的圖型，所以在合併兩種 深度資訊的時候，必須特別注意此類型的問題發生。

圖 3-16 靜態深度圖 圖 3-17 破碎立體感示意圖

第4章 強化之深度測量演算法

由於在靜態深度的計算上是採用16×16的區塊為主，每個區塊各自獨立的計算，所以會 某些區塊會因為紋理的關係，造成深度資訊的誤判，為了解決這個問題，我們將以物件為單 位更新靜態深度圖，讓因為紋理而判斷錯誤的小區塊更新成原本應該屬於它的真正深度值，

而產生物件的方式我們採用的是光流物件切割法，以光流為切割物件的依據。最後再利用簡 單的 RGB 背景偵測，將最遠背景切割出來，加深了整體的場景深度，使得深度效果更加明 顯。整體流程圖如下：

圖 4-1 系統流程圖

4.1 光流物件切割

因為經由 CID 所產生的靜態深度資訊的運算單位是以16×16的區塊為主，但是同一物件 的深度值並不會差異太大，所以必須以物件為單位來強化靜態深度資訊。而我們先單純的以 有效光流搜尋圖為依據，更新整體的靜態深度資訊，再來因為某些紋理會導致光流判斷錯 誤，所以在更新前該物件會再經過投影的計算，投影之後的區塊再利用光流切割出的區塊作 細部的區分，最後得到整體更新後的靜態深度資訊。

4.1.1 光流區塊化

首先我們先將有效光流搜尋圖做個簡單的二值化(4.1)以及區塊化(4.2)之後取得有效光流 搜尋區塊圖，而之所以採用有效光流搜尋圖為整體靜態深度資訊更新的基底是因為有效光流 搜尋圖內已經包含著前後影像中所移動的範圍，其他沒有移動的部份也就不會擁有光流的變 化，之後利用光流切割區塊做細部區分的時候，就不用再判斷區塊範圍，只需把切割出的區 塊重疊在有效光流搜尋區塊圖上就可以了。

(a) 有效光流搜尋圖

(b) 二值化結果 (c) 區塊化結果 圖 4-2 光流區塊化圖組

(4.1)

(4.2)

4.1.2 投影

由於我們判斷物件的依據是採用光流或是亮度的變化，但是若當物體材質表面是光滑的 時候，利用 Horn 所提出的光流演算法無法計算出亮度的差異值，所以會照成如圖. 4.3(b)的 情況產生，杯子中央因為紋理而判斷不出光流值，這樣會使得光流切割與更新之後的結果圖 在杯子中央會產生空洞的現象，如圖. 4.4。

(a) 靜態深度圖 (b)二值化光流圖 圖 4-3 二值化光流圖

⎩ ⎨

⎧ >

= 0, otherwise

threshold y)

OF(x, y) 1,

Object(x,

( ) ( )

⎪⎩

⎪⎨

⎧ + + ≥

=

∑∑

= =

otherwise ,

0

128 j

y i, x Data if

, y 1

x, Block

16

0 i

16

0 j

(a)更新後的圖靜態深度圖 (b)細部畫面 圖 4-4 細部靜態深度圖

所以我們必須將二值化的光流圖作投影，以解決光滑紋理所產生的問題，投影方面我們 採用簡單的四方向投影，簡單的說就是先將原圖做上下左右四個方向的投影，之後再將這四 張投影圖取交集，這麼一來原圖中間的缺口就會被補齊，如圖. 4.5 所示。

圖 4-5 四方向投影示意圖

圖 4-6 投影更新後結果

經過投影的更新後，很明顯的可以看到原本杯子中間空洞的部分已經被改正了，整個手 與杯子在靜態深度圖的判斷中屬於 M 的深度類別，是符合真實情況的。

4.1.3 區塊更新

我們利用有效區塊取得有效光流搜尋區塊圖後，接著利用這個區塊圖為基準更新整個靜 態深度圖，讓靜態深度圖不再是以16×16為單位的計算，而是以移動物件為主的計算。在區 塊更新方面，我們先將區塊圖與原始靜態深度圖做結合，找出需要更新的區塊，如圖 4.7 所 示。接著再以統計這個區塊內容來更新靜態深度圖。

圖 4-7 物件合併圖

(4.3)

統計區塊內的靜態深度圖的分布，以圖. 4.7 為例，區塊內的深度 M 所佔的比例較大，所 以經過區塊更新後把整個物件更新至深度 M，讓整個物件更完整，如圖. 4.8 所示。

圖 4-8 更新後靜態深度圖

4.1.4 光流細部切割

由於相同區塊通常擁有的光流值會是相差不遠的，我們利用這個特性來對光流值做個物 件切割，以強化靜態深度圖的判斷。首先我們先把光流值做個統計，做出一個光流直方圖。

(a) 有效區塊圖 (b) 光流直方圖 圖 4-9 直方統計圖

( ) ( )

( ^{Num F , Num (M) , Num N} )

Max

S =

將直方圖統計出來之後，我們設定一個臨界值，將直方圖中超過這個臨界值的波峰擷取 出來，將這幾個波峰當成光流切割的一個依據，結果圖如下：

圖 4-10 光流切割圖

由光流切割圖中我們可以觀察出，圖中人物手部的擺動較大，所以擁有較大的光流值，

進而被分類在同一區塊，下半身因為褲子材質的關係，測量出的光流值並不大，所以並未被 歸類在這個區塊內。最後我們將二值化的圖圖 4.8 也做區塊化，區塊大小為16×16，並且與 光流切割圖做合併，得到強化靜態影像需要用到的光流區塊圖。

圖. 4.11 圖 4-11 光流區塊圖

我們得到光流區塊圖之後，可以藉由統計區塊圖中的 CID 值來更新原本 CID 值，將相同

區塊內的 CID 做統計，計算出出現頻率最高的 CID 值來代替該區塊的 CID 值，將區塊跟 CID 做連結，以強化 CID 的結果，避免因為 CID 區塊的判斷錯誤來影響整體深度估測與立體還 原時的效果。

(a) CID 更新前 (b) CID 更新後 圖 4-12 以光流強化前後的 CID 區塊圖

(4.4)

以結果來看，在更新前的 CID 表現上，頭與手因為紋理的關係，會被判斷成強度最強、

距離最近的 Near 部分，在後面結合的時候會產生深度上面的跳躍感，但是他們卻是屬於同 一物件。下半身褲子的部份也是因為紋理較差，所以即使處於焦點上，它所呈現出的清晰度 與銳利度卻還是不理想，導致在 CID 分類上，會被分類在強度最弱的 Far 部分。

在更新之後，會因為光流區塊的關係，讓原本會產生深度跳躍感的頭與手部分被更新至 與原物件相同的 CID 深度分類上，原本紋理較差的褲子也被更新至相同深度分類上，減少了 因為只考慮單一區塊的清晰度與銳利度而產生出的問題，以物件為單位來深度判斷後，減少 了立體影像還原的時候所產生的不正常跳躍感，讓整體效果上升。

( ) ( )

( ^{Num F , Num (M) , Num N} )

Max

S

_k

=

_{k k k}

_{k = 1 , 2 , ... , n}

4.2 最遠背景計算

背景在影像中是屬於最遠的部份，若能有效且成功的偵測出背景區塊，就能在 CID 的計 算上給予額外的判斷資訊，進而得到更完整與更立體的深度資訊。而這邊用來偵測背景的方 式是使用簡單的 RGB 色彩切割，偵測出背景顏色之後將與背景色相同的顏色合併起來，接 著再做一次的細部區塊更新，減少誤判的情況，最後利用切割出的背景將整個場景向前位 移，讓前景擁有更立體的深度效果。如圖. 4.13 所示，背景是山坡後方的灰白色的天空，而 我們希望能夠切割出背景之後，前景的深度變化就使用光流區塊更新後的靜態深度圖，這麼 一來整體的深度圖就被切分成 4 個大區塊，前景有些部份會因為有移動向量的存在，在深度 變化上又更多樣化，更接近真實的立體影像。

圖 4-13 背景示意圖

4.2.1 背景色偵測與合併

首先我們先將 RGB 色彩資訊內的每個顏色空間從 256 色階降階成為 3 階，讓整個色彩 空間降階至 27 階。由於最遠背景通常出現在最上方，也就是天空的部份，所以我們先統計 最上方固定範圍的顏色組成資訊，取出出現頻率最高的顏色成份設為背景色。

顏色降階公式如下：

(4.5)

(a) 原圖 (b) 降階後的顏色圖 圖 4-14 降階圖

而在顏色合併的方法上，由於我們擷取出的背景色是從最上方統計出來的，所以在合併 上，我們從上方開始垂直向下合併，將與背景色擁有相同顏色成份的像素合併起來，合併結 束後再判斷這些像素的鄰近像素是否也擁有相同的顏色成份，來回的計算，直到沒有新的區 塊被合併，合併完成後，我們就取得大略的背景區塊了。

(a) 向下合併 (b)左右合併 圖 4-15 合併示意圖

⎪ ⎩

⎪ ⎨

⎧

≤

<

≤

<

≤

<

=

255 R 150 , 255

150 R 75 , 150

75 R 0 , 75

R

G B channel 也一樣方式降階

圖 4-16 背景切割結果圖

在背景的部份會因為切割的方式而產生誤判的情況，所以必經再細部的更新背景區塊，

不然在背景偵測上效果就會大打則扣。

4.2.2 細部顏色區塊更新

若顏色剛好出現在分界線的兩端，有可能會因為顏色切割而被分成兩個不同的顏色，但 是實際上他們的顏色是很相近的，不應該被切割開，所以當整體合併運算完之後，要再進行 細部的顏色比對。我們針對之前合併得到的區塊邊緣，檢查邊緣的鄰近像素的差異值，若 R、

G、B 的差異值都小於 5 並且 R、G、B 的差值總和不超過 10，在這種情況下的像素我們都 歸類成相似像素，並且把它與之前區塊合併起來，強化最遠背景的偵測。

合併公式如下：

(4.6) (4.6)中，R 與 R′ 代表左右點像素的顏色值， Rˆ 代表 R channel 的差值。

Bˆ B - B , Gˆ G - G , Rˆ R -

R ′= ′= ′=

⎪⎪

⎩

⎪⎪⎨

⎧

≤ + +

≤

≤

≤

otherwise False,

10 ) Bˆ Gˆ Rˆ ( and

5) Bˆ ( and 5) Gˆ ( and 5) Rˆ ( True, Merge

(a) 降階後影像

(b) 細部調整前 (c) 細部調整後 圖 4-17 細部調整結果圖

可以由這個例子得知，在降階後的影像中牆壁上會出現不一樣的區塊，這是因為亮度的 關係，使得這個區塊在人眼觀看中會是屬於同一區塊，但是剛好顏色處於臨界值的兩端，造 成原本平滑的牆壁會被切成多個不同的區塊，如圖. 4.17 (c)圖所示。再經過細部調整後，整 體切割的效果就更加完整，也更加符合原始背景區塊。

4.2.3 最遠背景位移

當我們切割出完整的背景區域後，我們利用了簡單的位移，將背景與前景區分開，將背 景位移到最遠的位置，也就是螢幕上，前景皆給予些微的雙眼視差，讓前景浮現於背景之上，

而前景部分也會因為靜態與動態深度圖而有自己的深度變化，整體的場景深度比以前更立

體，更接近真實影片。

圖 4-18 位移示意圖

第5章 實驗與結果

本實驗所採用的測試資料為動畫類的影像，影像檔案大小為 640 x 480 ，整個系統分為 靜態以及動態的方式來估測深度資訊。靜態估測深度資訊使用 CID 方式來計算，之後再經由 光流切割圖更新靜態深度資訊，動態深度資訊則是由光流法來獲得，將兩種方式估測後的深 度圖結合起來，再經由光流深度還原法來產生左右眼立體圖，最後經由 3D 立體螢幕顯示結 果，因為將背景切割後有將前景做額外的移動，播放時有些許的破碎感，但已擁有不錯的立 體感受。

5.1 系統詳細流程

我們將解壓縮後的前後兩張連續影像取出，並將影像的色彩空間轉換到 YCbCr，在原圖 中可以發現物體的移動是從左到右的移動，前方的人物頭與身體都是向右擺動。

(a) (b) 圖 5-1 前後影像

(a)

(b) (c) 圖 5-2 YCbCr

將轉換後的亮度圖切割成數個16×16的區塊，利用之前所介紹的 CID 運算方式來計算出 各區塊的清晰度與銳利度，再經由簡易顏色來整合成粗略的靜態深度圖。

(a) 清晰度 (b) 銳利度

(c) 靜態深度圖 圖 5-3 CID 群組圖

此時產生出的 CID 靜態深度圖是只有靠清晰度和銳利度判斷出的，在胸前所呈現的深度 資訊是非常雜亂的，而且在光流深度還原法中所產生的左右眼視差也是依照 CID 深度資訊而 給予倍數的變化，所以 CID 深度資訊對整體立體效果的影響很大。所以先介紹動態深度計算 與光流的計算，我們利用了光流法計算出前後影像間的亮度變化，計算出 MHI 以及光流值 有效範圍的分布。

(a) 光流梯度圖 (b) 光流差值圖

(c) MHI (d) 光流有效搜尋範圍 圖 5-4 光流結果圖

得到光流的資訊後，我們統計獲得的光流值的分布，因為單一物體在移動的時候，所產 生的光流值會是接近的，所以我們統計光流值的大小分佈，將整體物件依照光流值的大小切 成許多不同的區塊，最後再將光流區塊圖與光流有效範圍的分類圖做合併比較，得到最後整 合的區塊圖。

(a) 光流直方圖 (b) 光流區塊統計圖

(c) 有效範圍 (d) 整合區塊圖 圖 5-5 區塊整合圖

獲得整合之後的區塊之後，我們依照這個區塊來更新原始 CID 值的分布，我們先統計出 區塊 k 內的 CID 總類，將出現頻率最高的 CID 值來代替該區塊內所有的 CID 值S_k。

(a) 原始 CID 區塊 (b)光流區塊切割圖

(c) 更新後 CID 結果圖 圖 5-6 最終靜態深度結果圖

由結果可以看的出來，原本在頭盔的部份，因為清晰與銳利的強度不夠高，所以被判斷 在較遠的深度，更新後解決了原本材質的問題，讓結果更接近原始深度資訊，胸口也是因為 材質較細膩，所以在原本 CID 表現上會產生一個深度的斷層，更新後解決了這個問題。

(a) 原始 CID 結果 (b) 更新後結果 圖 5-7 CID 細部比較圖

取得更新後的 CID 深度資訊後，我們計算有效搜尋範圍內的移動向量，然後將移動向量 導入光流還原法中製作左右眼圖。而在製作左右眼圖同時，我們利用簡單的 RGB 顏色切割，

找出最遠區塊的資訊，並且將光流還原法得到的左右眼圖再進行一次深度的視差位移，將最 遠區塊固定不動，前景部份整體位移，讓整個深度場景更明顯，也更為立體。

(a) 移動向量

(b) 顏色切割 (c) 最遠場景判斷 圖 5-8 背景判斷結果圖

圖 5-9 前景位移示意圖

(a) 左眼 (b) 右眼 圖 5-10 結果圖

測試之後，前景位移量為左右各 4 個像素為最合適的，若位移量過大，在邊緣處會產生 的空洞效應會更大，導致畫面殘破不堪，在前景位移的同時，原本已經有立體感的物件，會 因為再次的位移而產生出更大的立體感，效果更為明顯。

第6章 結論與未來展望

本篇論文利用了 CID 與光流法製作出雙眼立體影像，輸入一段影像後，取出兩張連續影 像後利用影像中的清晰度與銳利度來估測靜態深度資訊，藉由顏色來將清晰度與銳利度的強 度值結合後產生靜態深度圖，另一方面利用了連續影像計算出的光流資訊產生有效搜尋範 圍，並且依照光流的強度將物體切割成數個不同的部份，利用光流切割區塊來強化由 CID 所 產生的靜態深度圖，修改了原本 CID 會因為區塊內紋理的關係而造成不正常的深度跳躍，最 後利用光流深度還原法產生雙眼影像後再利用最遠背景判斷的結果對整個場景位移，拉開整 個場景的深度距離，讓深度感覺更明顯。

研究成果影片在立體顯示器中播放時，可以感覺到物體很明顯的浮出螢幕外，而且整個 場景也具有接近真實場景的深度變化，雖然在物體邊緣會有破碎的現象，但是整體效果是不 錯的。因為最遠背景偵測法只是單純的利用顏色來區分，所以當背景較為複雜的時候，效果 會更破碎，若能找到ㄧ個有效的背景偵測演算法，最終結果會更為出色。整體研究成果是不 錯的，若想要獲得更精確的深度資訊，可以朝下面幾個方面著手：

[1] 由於影片的類型總類太多，所以在這些影片中想要找出共通的深度結構有很大的困難 度，所以若想要更近一步的取得更真實的深度資訊就必須先從場景判斷開始下手，將各 種不同的場景分析出之後，利用各種場景所擁有的深度特色來分別計算深度資訊，對每 個場景都設計一套最佳化的深度計算方式，最後所取得的立體效果也會更完美 。

[2] 移動後補點方面需要有更好的演算法支援，在物體移動後，原本同一位置的像素移動後 讓該位置沒有任何顏色資訊，而產生空洞，這就稱為空洞現象，這個問題在景深越深的 影像中越明顯，若要景深越深，物體位移就必須越大，空洞現象就越明顯，所以需要依

個快速的演算法來解決這個問題，在本論文中使用的補點方式為最基本的方式，在移動 物體邊緣部份會產生殘影，讓立體效果大打折扣，所以若能找到ㄧ個更好的演算法來解 決空洞現象，在移動物體邊緣上就會更加銳利，產生雙眼影像經由大腦融合時，也會因 為邊緣銳利而產生更明顯的效果。

[3] 立體顯示器也有規格上的不同，因為在物體位移的時候單位都是像素，在立體顯示的時 候，影像會被放大成全螢幕，解析度勢必會被更動，所以當初移動的像素是否剛好被整 數的放大也是個重要問題。再播放時也必須經過廠商的特定軟體播放，所以當初產生的 立體影片若能對播放軟體做最佳化，或是自己設計一個播放軟體，如此一來整體的效果 必能大大的提升。

REFERENCES

[1] Tal Hassner, Ronen Basri, “Example Based 3D Reconstruction from Single 2D Images”, Proceedings of the 2006 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW’06), 0-7695-2646-2/06, 2006 IEEE

[2] S.Battiato, S. Curti, M. La Cascia, M. Tortora, E. Scordato, “Depth-Map Generation by Image Classification”, In Proc. SPIE Vol. 5302, Three-Dimensional Image Capture and

Applications VI, pp. 95-104, 2004.

[3] 陳建志，私立中華大學資訊工程研究所 ”二維動態連續影像之 3D 立體顯示技術” 碩士 論文 2006

[4] Seiji Okada, “A Real-Time 2D to 3D Conversion Technique Using Computer Image Depth”, SID Digest of Technique Papers, 32.2,pp.919-922, 1998.

[5] “2D/3D real-time conversion“, SANYO Electric Co., Ltd.

[6] Bainbridge-Smith, A., and Lane, R. G., “Determining Optical Flow Using a Differential Method,” Image and Vision Computing, Vol. 15, pp. 11-22, 1997.

[7] Lai, S. H., and Vemuri, B. C., “Robust and Efficient Algorithm for Optical Flow Computation,” Proceeding of IEEE International Conference on Computer Vision, pp.

455-460, 1995.

[8] Berthold K.P. Horn and Brian G. Schunck. “Determining Optical Flow.” Artificial Intelligence, 17, pp. 185-203, 1981.

[9] 景雅新，國立中山大學 機械與機電工程學所 “光流技術在移動物體影像追尋上之應用”

碩士論文 2003

[10] S. Battiato, A. Capra, S. Curti, M. La Cascia “3D Stereoscopic Image Pairs by Depth-Map Generation” In IEEE Proc. of - 3DPVT’02 International Symposium on 3D Data Processing

Visualization and Transmission,2004

[11] Chunxiao Zhou and Hai Tao “Dynamic Depth Recovery from Unsynchronized Video Streams” ,2003

[12] Hajime Noto, Akihiko Hashimoto, Kazuo Kimura and Kenji Nakazawa ”Relief-like Depth Map Generation Algorithm” ,2004

[13] T. Iinuma, H. Murata, S. Yamashita, K. Oyamada Hypermedia Research Center “Natural Stereo Depth Creation Methodology for a Real-time 2D-to-3D Image Conversion” ,

SANYO Electric Co., Ltd., Moriguchi, Osaka, Japan

[14] 劉榮政，國立中央大學 光電科學研究所 “平面螢幕之立體影像設計” 碩士論文 1999 [15] 林峻永，國立交通大學電機與控制工程學系“應用於立體顯示器之二維轉立體靜態影像

技術” 碩士論文 2005

[16] “Philips showcases multi-view 3-D display technology”, http://www.physorg.com/news103.html

[17] “DDD Group Plc.”, www.ddd.com

[18] “Sharp Systems of America”, http://www.sharp3d.com/

[19] “Muttyan's home page”, http://stereo.jpn.org/eng/

[20] “3D Consortium”, http://www.3dc.gr.jp/english/index.html