以連通區域標記為基礎的自動景深估測方法之研究

全文

(1)國立屏東商業技術學院資訊工程研究所碩士論文. 以連通區域標記為基礎的自動景深估測方法之研究 An Automatic Depth Map Estimation System using Connected-Component Labeling method. 指導教授：黃鎮淇博士研究生：林家瑜中華民國一百零三年七月.

(2) 2.

(3) 誌謝在求學最後階段的研究所這兩年，跟以往的讀書方式有所不同，適應上花費了好大一番功夫，也多虧了很多人的支持及幫忙，我才能如期順利完成碩士學業。大學時期我未曾接觸影像處理領域課程，感謝恩師黃鎮淇教授的指導與鼓勵，從研究方向的選擇、觀念架構之建立、文獻的探討，以及本文之撰寫，老師不斷地予以耐心的帶領，適時的提點我，以及對初稿逐字修正與建議，使得本論文得以順利完成。感謝在學期間所有老師的課程指導，助於本論文之完成。也感謝碩士班的同學以及實驗室的伙伴們之間的勉勵與互相切磋，在我遇到瓶頸與挫折時能即時提供協助。此外，承蒙口試老師陳毓璋教授、許西州教授許多寶貴的建議與指正，謹致以最深的謝意。以及認識多年的好友們昕志、佩蓉、純茵、胤哲、奕廷、宛玲，感謝好友們在這兩年間，時常主動關心我、鼓勵我，與我一起分喜怒哀樂，有你們真好。最後還要感謝我的父母與家人，妹妹家伊、家安，還有弟弟家弘，不斷的給予我關懷與支持，讓我沒有後顧之憂的過完碩士班兩年的生活。要感謝的人太多了，一路走來有大家的支持與鼓勵，我的碩士生涯是如此的充實，使我的求學階段能圓滿結束。畢業後我將會繼續謙卑學習，並將所學回饋社會。. I.

(4) 以連通區域標記為基礎的自動景深估測方法之研究. 校名：國立屏東商業技術學院研究生：林家瑜. 系所：資訊工程系(所). 指導教授：黃鎮淇. 摘要隨著科技的飛速發展，3D 立體電視(3D Stereoscopic TV)已經是家電商品的主流。然而 3D 立體顯示的觀賞品質高低，在於景物與物件的相對位置的呈現，也就是物件的深度立體感，所以景深估測是目前產業界的技術發展重點。我們提出一個自動化的景深估測方法，將雙眼攝影機所拍攝的左圖像和右圖像轉換成為景深圖。首先，先將右圖像使用圖像色彩衰減(Color Reduce)的方法，來讓相近的顏色能分割到同一區塊。並且使用聯通區域標記(CCL , Connected-Component Labeling)方法，將相同亮度的區塊分割出來。再將分割的物件區塊分別儲存在 256 個階層的灰度圖像中，再利用每一階層的灰度圖像當作遮罩來分割出物件。最後將右圖分割出的物件區域與左圖像相同形狀的區域做相減比對，並記錄相減值趨近於零的像素(pixel)數量。重複上述方法，將左圖向左邊水平移動一個像素並與右圖相減，直到移動到邊界為止，同時將所有值紀錄下來，並找尋在紀錄中的像素數量最多的水平移動量，則可以. II.

(5) 計算出此物件區域在左右圖像間的水平視差值，再將視差值轉換成景深值。經實驗證明，我們所提的方法，在單一物件、多物件、單純背景與複雜背景都能使用自動的方法來估測景深圖。. 關鍵詞：深度立體感、景深估測、色彩衰減、聯通區域標記、物件分割. III.

(6) Abstract With the rapidly development of technology, 3D TV has been the mainstream of electronic appliances. However, the quality of 3D image depends on the relative positions of the scene and objects. In other words, it is the depth perception of the objects. Estimating the depth of field is the focal point of the technological development in the present technology industry. In this thesis, we propose the method about automatic estimating the depth, and we convert the left image and the right image, which were taken by the binocular camera, into a depth map. First, let the similar colors in the right image be partitioned into the same block by using image color reduce method(Color Reduce), and we cut out the blocks of the same brightness by using Unicom and labeling method(CCL, Connected-Component Labeling). Secondly, we store the Objects blocks in the segmentation of 256 levels of grayscale image. The third step is to take advantage of the gray images in every stage as masks to cut out the objects Finally, we subtract the segmentation of object area on the right image from left image, and the zone in the same and recorded record down all the subtract value from right to left. We find the smallest differences in value, you can compute this object area on the left and right offsets between the left and right images, and then to convert the offset to the deep value. The experience proves that the method we proposed can estimate the depth of field automatically in simple or complex backgrounds. And the proposed method is also useful in the single or multi objects.. Keywords:. Depth. Perception,. Depth. Estimation,. Connected-Component Labeling, Object Segmentation. IV. Color. Reduce,.

(7) 目錄誌謝 ................................................................................................................ I 摘要 ...............................................................................................................II Abstract ........................................................................................................ IV 目錄 .............................................................................................................. V 圖目錄 ......................................................................................................... IX 表目錄 ......................................................................................................... XI 第1章. 緒論 .............................................................................................. 1. 1.1. 前言 .................................................................................................. 1. 1.2. 研究目的 .......................................................................................... 2. 第2章 2.1. 研究背景....................................................................................... 3 立體影像景深估測 .......................................................................... 3. 2.1.1. 雙眼視差 ................................................................................... 3. 2.1.2. 被動式立體視覺........................................................................ 5. 2.1.3. 立體圖像技術............................................................................ 7. 2.2. 色彩衰減(Color Reduce) .................................................................. 8. V.

(8) 2.3. 聯通區域標記 .................................................................................. 9. 2.3.1. 連通區域分析............................................................................ 9. 2.3.2. 連通區域分析算法 .................................................................... 9. 2.4. 門檻值 (Thresholding)................................................................... 10. 2.5. 景深估測 ........................................................................................ 11. 2.6. 立體視訊編碼技術 ........................................................................ 13. 2.6.1. 立體影像對編碼技術 .............................................................. 14. 2.6.2. 2D+depth 資料表示法 ............................................................. 15. 2.7. 基於左右平行影像視差比對方法 ................................................. 19. 2.7.1. 線段比對方法[2] ..................................................................... 19. 2.7.2. 邊緣適應性區塊比對演算法[3].............................................. 19. 第3章. 研究方法..................................................................................... 20. 3.1. OpenCV (Open Computer Vision Library) ..................................... 22. 3.2. 圖像色彩衰減 ................................................................................ 23. 3.3. 聯通區域標記 ................................................................................ 24. 3.4. 遮罩 ................................................................................................ 24. 3.5. 圖像相減匹配 ................................................................................ 25. VI.

(9) 3.6. 顯示物件景深 ................................................................................ 26. 第4章 4.1. 研究結果..................................................................................... 28 以聯通區域標記 ............................................................................ 28. 4.1.1. 幾何圖形 ................................................................................. 28. 4.1.2. 標準雙眼立體影像對 .............................................................. 33. 4.2. 與不同匹配方法結果比較 ............................................................. 43. 4.2.1. 與線段比對[2]方法比較 ......................................................... 43. 4.2.2. 與邊緣適應性區塊比對[3]比較.............................................. 44. 第5章. 結論與未來工作 ......................................................................... 45. 5.1. 結論 ................................................................................................ 45. 5.2. 未來工作 ........................................................................................ 45. 參考文獻 ..................................................................................................... 46 附件 ............................................................................................................. 48 附件 1 幾何圖形...................................................................................... 48 附件 1.1 幾何圖形-分割....................................................................... 48 附件 1.2 幾何圖形-景深....................................................................... 59. VII.

(10) 附件 1.3 幾何圖形-匹配水平偏移量表 ............................................... 70 附件 2 Tsukuba......................................................................................... 72 附件 2.1 Tsukuba-分割 .......................................................................... 72 附件 2.2 Tsukuba-景深 .......................................................................... 83 附件 2.3 Tsukub-匹配水平偏移量表 .................................................... 94 附件 3 Teddy ............................................................................................ 96 附件 3.1 Teddy-分割 ............................................................................. 96 附件 3.2 Teddy-景深 ........................................................................... 107 附件 3.3 Teddy-匹配水平偏移量表 .................................................... 118 附件 4 Plastic.......................................................................................... 120 附件 4.1 Plastic-分割 ........................................................................... 120 附件 4.2 Plastic-景深 ........................................................................... 131 附件 4.3 Plastic-匹配水平偏移量表 ................................................... 142. VIII.

(11) 圖目錄圖 2.1 雙眼視差示意圖 ................................................................................ 4 圖 2.2 視差示意圖........................................................................................ 4 圖 2.3 景深畫面示意圖 ................................................................................ 5 圖 2.4 Two-Pass 示意圖.............................................................................. 10 圖 2.5 深度估測流程 .................................................................................. 12 圖 2.6 立體影像對編碼方式 ...................................................................... 13 圖 2.7 2D+depth 編碼方式 ......................................................................... 14 圖 2.8 深度影像繪圖法示意圖 .................................................................. 16 圖 2.9 整體 3D 內容合成流程 ................................................................. 17 圖 2.10 立體影像合成示意圖 .................................................................... 17 圖 2.11 邊緣適應性區塊比對演算法流程圖 ............................................. 19 圖 3.1 程式流程圖...................................................................................... 20 圖 3.2 比較衰減色彩變化度 ...................................................................... 24 圖 3.3 圖像相減匹配分解示意圖 .............................................................. 25 圖 3.4 視差轉換深度示意圖 ...................................................................... 26 圖 4.1 幾何圖形.......................................................................................... 28 圖 4.2 幾何圖形圖像色彩衰減 .................................................................. 29. IX.

(12) 圖 4.3 聯通區域標記分割圖像 .................................................................. 30 圖 4.4 相對景深圖像 .................................................................................. 32 圖 4.5 實驗結果-幾何圖形景深圖 ............................................................. 32 圖 4.6 Tsukuba-經過色彩衰減(N 設為 32) ................................................ 34 圖 4.7 Tsukuba-經過聯通區域標記處理 .................................................... 34 圖 4.8 Tsukuba-聯通區域標記分割圖像 .................................................... 35 圖 4.9 Tsukuba 雙眼立體影像對景深圖 .................................................... 36 圖 4.10 Teddy-經過色彩衰減(N 設為 32) .................................................. 37 圖 4.11 Teddy-經過聯通區域標記處理...................................................... 37 圖 4.12 Teddy-聯通區域標記分割圖像 ..................................................... 38 圖 4.13 Teddy 雙眼立體影像對景深圖 ...................................................... 39 圖 4.14 Plastic -經過色彩衰減(N 設為 32) ................................................ 40 圖 4.15 Plastic-經過聯通區域標記處理..................................................... 40 圖 4.16 Plastic-聯通區域標記分割圖像..................................................... 41 圖 4.17 Plastic 雙眼立體影像對景深圖 ..................................................... 42. X.

(13) 表目錄表 2.1 衰減前後對照表 ................................................................................ 8 表 4.1 幾何圖形資訊 .................................................................................. 29 表 4.2 視差運算實驗前後對照 .................................................................. 33 表 4.3 Teddy -匹配水平偏移量表 .............................................................. 36 表 4.4 Tsukuba-匹配水平偏移量表 ............................................................ 39 表 4.5 Plastic-匹配水平偏移量表 .............................................................. 42 表 4.6 與線段比對方法比較表 .................................................................. 43 表 4.7 不同匹配方法結果比較表 .............................................................. 44. XI.

(14) 第1章緒論 1.1. 前言隨著科技的飛速發展，3D 立體電視已經是家電商品的主流，但是 3D. 數位內容來源卻嚴重不足。雖然目前市面上已有 3D 影像拍攝系統，卻因軟體技術發展尚未成熟使得價格昂貴、普及率不高，導致無法迅速發展，無庸置疑的是 3D 內容提供是目前市場重要的發展方向。然而 3D 要達到多視角(Multiview)的目的，就必須計算或偵測出景深資訊。因此，景深資訊的取得，是目前產業界的技術發展重點。人類之所以會有 3D 立體視覺，主要是因為兩眼的視覺像差，雙眼在同一平面的距離約為六到七公分的差距。單獨使用左/右眼時，對於同一個真實物體，因為左右平移的差距-視差（Parallax），兩隻眼睛看到的畫面是不一樣的。雙眼所看到的像差與物體的遠近有關，距離越近像差越大。雙眼分別獲取影像，再經由大腦處理重疊影像再加以合成出我們所見的立體視覺。[1] 3D 立體技術的基本問題核心在於:｢要如何讓大腦以為所看見的影像是立體的呢?｣，就是分別給左右眼不同的、具有像差的畫面，讓大腦把雙眼看到的影像合成立體影像。機器所獲得的立體圖像技術，以接觸式最為精準，但考量損毀測量物疑慮與成本高昂。因此我們採取非接觸式掃描法中的被動式立體視覺法，採用左右視差法來獲得圖片深度資訊，但此種方法需依靠有效的圖片像素匹配分析（correspondence analysis），一般使用區塊比對（block matching）或對極幾何（epipolar geometry）演算法來達到目的。. 1.

(15) 1.2. 研究目的全域搜尋法（Full Search, FS）是最傳統的搜尋演算法，使用地毯式. 的搜尋，理論上能找到最精確的移動向量（Motion Vector,. MV）並獲得. 最好的影像品質，缺點是運算量過大及較高的硬體成本，且對於變化度不大的區域，視差值會趨近於零或零，造成誤判。所以我們希望提出一個降低複雜度，我們的方法基於左右眼視訊僅考慮水平移動來減少運算。在全域搜尋法（Full Search, FS）的方法中，並不是以物件為單位，我們希望採取以物件為單位來做搜尋匹配，這樣可以提高準確度降低誤判。色彩衰減(Color Reduce)能使圖像的變化度減少，相同顏色代表在相同物件上，也是相同的距離也會有相同的景深，降低錯誤率。圖片像素匹配分析。本論文採用聯通區域標記，將相同顏色亮度的區塊分割出來。再將分割的物件區塊分別儲存在 256 個階層的灰度圖像中，再利用每一階層的灰度圖像當作遮罩來分割出物件，以物件為單位估測景深可提高精確度。本論文所提的方法可以做出全自動化深度估測，比起人工深度指派方式更加減少成本，這樣就不必做分類，不用做不同處理，本論文方法在單一物件、多物件、單純背景與複雜背景都能使用。. 2.

(16) 第2章研究背景 2.1. 立體影像景深估測. 2.1.1 雙眼視差. 人類所看到的影像是由左眼和右眼接收到的圖像訊息，經由大腦的視覺系統推斷出第三個維度[15]，而左眼右眼接收到的圖像訊息是同一個影像但是從不同角度的視角擷取到的圖像訊息。如圖 2.1 所示，假設有雙眼在觀看兩個不同的物件，而左右兩眼所接收到的圖像訊息會有些微的不同，這是因為兩隻眼睛的視差所構成的，利用雙眼視差的原理使得觀眾產生視覺上的錯覺這就是所謂的立體視覺 [1]。如圖 2.2 所示，三角形的物件在遠處所以水平視差較小，圓形物件在近處水平視差較大，視差大小與物體遠近成反比。. 3.

(17) 圖 2.1 雙眼視差示意圖. 圖 2.2 視差示意圖. 4.

(18) 2.1.2 被動式立體視覺. 被動式立體視覺系統即是使用兩個平行放在一起的攝影機同時向前截取畫面，希望能夠模擬人眼的功能，推算出影像的深度資訊[5]，可想而知人腦處理的深度資訊與感知系統較之兩個平行攝影機是精確且複雜多了，但若我們已知兩個攝影機之間的位置參數、距離與焦距，在同一時間獲取的畫面能夠推出彼此之間的關係，如此一來就可以迅速的得出畫面的深度資訊[16]，示意圖如圖 2.3。. 圖 2.3 景深畫面示意圖. 5.

(19) 假設待測目標真實座標為 ( X , Y , Z ) ，對應到左右攝影機的座標分別是 ( xl , yl ) 、 ( xr , yr ) 如此可獲得以下關係式：. xl X x X b  and r  f Z f Z. (1). yl Y y Y  and r  f Z f Z. (2). 其中 f 是影像平面與鏡頭中心的距離，其次定義 x 為 xl  xr ，即是前一章所述之視差，基線 b（baseline）是兩鏡頭之間的間距，如此一來圖像深度資訊為：. X b. xl x. (3). Y b. y. (4). Z b. x f. (5). x. 此時真實座標 ( X , Y , Z ) 方可求得，其中 Z 值即是物件的畫面深度資訊。此方程式可得，物體深度與焦距、基線成正比，與視差成反比。由式 1 到式 5 中可知，只要雙眼系統掌握一定的資訊量就可推算出物件距離資訊。. 6.

(20) 2.1.3 立體圖像技術目前採用機器獲取的立體圖像技術可概分為兩類，接觸式（contact）與非接觸式（non-contact）兩種。機器所獲得的立體圖像技術，以接觸式最為精準，接觸式是以實際碰觸待測物件所得之物件立體影像，接觸的方式是利用各種不同特性的雷射光 [8]，然而在測量過程中必須接觸物體，在考量損毀測量物疑慮與成本高昂之下，使接觸式量測技術無法普遍為一般人接受。然而非接觸式測量方式使用待測物本身所反射周遭之光線的特徵來完成測量，不必接觸待測物體，如紅外線與各類幅射。一般最常見最容易取得的光線就是可見光幅射，在測量可見光的環境下不會傷害到待測物件，更不需要過高的硬體規格省下大量成本，較容易為大眾接受。. 7.

(21) 2.2. 色彩衰減(Color Reduce) 色彩衰減(Color Reduce)[17]，即對圖像中衰減等同於減少顏色變化. 度，衰減效果前後對照參考表 2.1。例如常見的 RGB24 圖像 256×256×256 中顏色，透過 Reduce Color 將每個通道的像素減少 8 倍至 256/8=32 種，則圖像只有 32×32×32 種顏色。假設量化減少的倍數是 N，簡單來說就是 ((int)(value/N)) *N，通常我們會再加上 N/2 以得到連續的 N 的倍數的中間值，最後圖像被量化為(256/N)×(256/N)×(256/N)種顏色。. 表 2.1 衰減前後對照表[17] 衰減前-原始全彩圖像. 衰減後- N 為 64 衰減圖像. 8.

(22) 聯通區域標記. 2.3. 2.3.1 連通區域分析連通區域(Connected Component)通常是指圖像中具有相同像素值且位置相鄰的前景像素點組成的圖像區域，連通區域分析 (Connected Component Labeling)是指將圖像中的各個連通區域找出來並且給予標記 [12]。. 2.3.2 連通區域分析算法從連通區域分析的原理可以知道，一個連通區域是由具有相同像素值得相鄰像素組成像素集合，因此可以通過上述兩個條件在圖像中尋找連通區域分析的基本算法 Two-Pass。Two-Pass 所指的就是透過兩次掃描影像，就可以將影像中存在的所有連通區域找出來並且賦予標記，完整流程見圖 2.4，第一次掃描時賦予每一個像素位置一個 label，掃描過程中同一個連通區域內的像素集合可能被賦予一個或多個不同的 label，因此需要將這些屬於同一個連通區域但具有不同值的 label 合併，記錄他們之間的相等關係[12]，如圖 2.4(b)；第二次掃描就是將具有相等關係的 equal lables 所標記的像素歸為一個連通區域並賦與一個相同的 label，如圖 2.4(c)。. 9.

(23) {1,3,5}&{2,4,6} 原始圖像(a). 第一次掃描(b). 第二次掃描(c). 圖 2.4 Two-Pass 示意圖. 門檻值 (Thresholding). 2.4. 圖像分割是由圖像處理到圖像分析的關鍵步驟，是一種基本的計算機視覺技術。圖像分割指的是把圖像分成各具特徵的區域並提取出感興趣目標的技術和過程。例如，像素的灰階或色彩值、小區塊像素的紋理或幾何結構、區塊的移動或變形…等。[7] 門檻值是一種最簡單的圖像分割方法，目的通常都是要擷取 (extract) 出影像中的物件或瑕疵區域，只要這些物件或瑕疵區域的灰階或顏色與背景有差異，就可以用門檻值方法將這些物件或瑕疵上的點從背景分離出來。假設圖像只有目標和背景兩大類，那麼只需選取一個門檻值稱為單門檻分割，這種方法是將圖像中每個像素的灰度值與門檻值相比較，灰度值大於門檻值的像素為一類，灰度值小於門檻值的像素為另一類。. 10.

(24) 其中 f 是原始灰階，g 是二值化後的數值，T 是門檻值:. 1, if f ( x, y)  T  g ( x, y )    0 , if f ( x , y )  T  . (6). 門檻值方法分類依照門檻値 (threshold value) 的選擇方法而定，分為以下三種: 1.當 T 僅與 f(x,y)有關，該門檻值被稱為全域性(global) 2.當 T 與 f(x,y)及 p(x,y) (目前像素的區域特徵 (local property))有關，該門檻值被稱為區域性(local) 3.當 T 與空間座標 x 及 y 有關，該門檻值被稱為動態性 (dynamic) 或適應性 (adaptive). 2.5. 景深估測一般的 2D 至 3D 轉換流程如圖 2.5 所示，主要是藉由單一 2D 彩. 色影像或視訊，利用各種不同的深度估測方式求得深度圖，再經由上述的立體影像合成法產生立體影像或視訊。景深估測方法[4]主要分為三類：(1)人工指派、(2)半自動深度估測法，以及(3)全自動深度估測法。其中人工深度指派方式是由使用者依據多個主觀的 3D 線索以及拍攝技巧的結構繪製規則，針對欲進行處理之影像序列逐張進行畫面的深度分析與評估，再配合繪圖工具 (如 Photo Impact) 進行深度序列之繪製，這種方式能夠提供最佳的深度品質，但也. 11.

(25) 是三種類型中最耗成本的方式。目前所見的自動深度估測探討文獻中，大多是計算影像/視訊中所能得到的深度線索以求得深度圖。本文探討的便是以連通區域標記為基礎的自動景深估測方法。. 一般 2D 影像/視訊. 人工指派半自動估測全自動估測深度圖後處理平滑濾波器等. 立體影像合成深度繪圖法等. 立體影像/視訊圖 2.5 深度估測流程. 12.

(26) 2.6. 立體視訊編碼技術目前常見的 3D 顯示器輸入格式有 2 種，第一種為 2D+深度圖(depth). 格式，包含了一組彩色影像以及其對應的深度影像序列[18]，但這種顯示方式最主要的問題在於，且其影像品質與深度資訊的準確度有很大的關係，因此如何得到正確的深度資訊是此種 2D+depth 立體撥放格式上一個重要的課題。另一類的 3D 顯示器的輸入方式為兩個通道的彩色視訊(左眼與右眼視訊)又稱立體影像對[10]，此種視訊可以由兩架平行擺設的攝影機擷取，相較於 2D + depth 的格式，此種方式只適用於立體視訊之撥放，無法應用於多視域的影像合成。圖 2.6、圖 2.7 表示。相同內容的立體視訊在不同的立體視訊資料表示法之差異。. 左攝影機影像. 右攝影機影像. 圖 2.6 立體影像對編碼方式. 13.

(27) 圖 2.7 2D+depth 編碼方式. 2.6.1 立體影像對編碼技術多視角視訊[16]：在同一個場景，以不同的視角下拍攝的多組視訊序列。可分為平行、弧型、聚集、背離四類，如圖 2.8 所示。. 圖 2.8 (a)平行 (b)弧型 (c)聚集 (d)背離多視角攝影機的設定、數量會影響到虛擬視角的影像品質，增加攝影機的數量與調整攝影機的位置、參數，更能提高 3D 效果的準確度，但是可想而知這將需要大量的處理資料，造成成本高昂。. 14.

(28) 2.6.2 2D+depth 資料表示法 3D 場景中的虛擬視角，可在接收端產生，對應的合成方法稱為深度影像繪圖法(depth-image-based rendering, DIBR) [5][6]在影像合成中具有高效率傳送和儲存的優點。和彩色視訊相比，使用 2D+depth 編碼方式比起立體影像對更有效率。 DIBR 只需要 2D 影像+深度圖，而深度圖只是實際上是用來產生深度值(depth value)的一個 2D 函數，因此較原始 2D 資料並不會增加太多的儲存容量。 DIBR 搭配不同的立體顯示器顯示格式，如圖 2.8 元隔行掃描或線交錯、行交錯的交錯(Interlace)方式，產生不同視角的影像，在顯示器上產生立體效果，如圖 2.8 所示。. 15.

(29) 2D Color Image. Depth Map DIBR. Stereo Image. 圖 2.8 深度影像繪圖法示意圖在給予原始 2D 影像和相對應的深度值之後，我們就可以在虛擬影像平面上根據深度資訊將影像像素重新投影(re-projecting)以產生出相鄰視角的影像[10]。根據所重新投影的視角影像數目的不同，DIBR 可以用在戴眼鏡式的顯示器或是多視角裸眼顯示器上。DIBR 流程如圖 2.9 所示。. 16.

(30) FPGA Implemention 2D image Depth Map. 2D image read. Hole Filling. 3D image Interlacing. Multi-Views Image. 圖 2.9 整體 3D 內容合成流程圖 2.10 為一台平行擺設的攝影機與立體影像合成之關係示意圖，圖中 Cl 、 Cr 各別為左眼與右眼攝影機的光學中心 (optical center)， Cc 則為攝影機的拍攝光學中心。Z 為目標深度值，其數值與深度灰階值相反 (即 Z 愈小，深度灰階值愈大)。. 圖 2.10 立體影像合成示意圖. 17.

(31) 輸入影像上座標位置將右移產生左影像，左移產生右影像。將攝影機的影像作為左、右眼的中間影像，並計算往左與往右的水平位移後，便能合成出左、右攝影機所拍攝的影像，推導出公式如下式(7)(8)所示：. (7) (8). 由公式(7)(8)可知，深度愈近，視差愈大，我們可以藉由原始影像，搭配相對的深度圖，來合成左右眼立體影像對。這種合成立體影像對的方法可以依照觀賞者的觀感來調整基線長度，而觀賞到不同的立體深度感。在本篇論文中我們使用連通區域標記已及遮罩的概念來分割右圖圖像，右圖分割出的物件區域與左圖像相同形狀的區域做相減比對，取得由右到左的所有相減值與最小的差異值，則計算出此物件區域在左右圖像間的左右視差值，再將視差值轉換成景深值。我們使用 OpenCV 來進行測試，方法與結果在下面章節呈現。. 18.

(32) 基於左右平行影像視差比對方法. 2.7. 2.7.1 線段比對方法[2] 文獻[2]提出線段比對方法，採邊緣偵測，利用 RGB 色彩判斷，求得線段。接著計算成本矩陣，計算左影像中每個像素點與右影像中每個像素點的 RGB 色彩差異值存入矩陣中。最後找出對應線段，在成本矩陣中找出像素點色彩差異值最小的，便認為它們是對應線段，便可找到視差。. 2.7.2 邊緣適應性區塊比對演算法[3] 文獻[3]提出邊緣適應性區塊比對演算法，以計算左圖深度為例，首先以動態區塊大小調整方法，對左圖進行邊緣檢測後，利用邊緣圖資訊產生每一個位置之區塊大小，再依據決定好的區塊尺寸於固定的搜尋範圍(Disparity Range)內進行左右圖區塊比對計算比對成本，最後使用深度值決定策略 WTA (Winner-Takes-All)求出初始深度圖，圖 2.11 為完整流程圖。 L image. R image. Sobel Edge Detection. Block Size Detection. Disparity Range. Block Matching. WTA. Initial depth L. 圖 2.11 邊緣適應性區塊比對演算法流程圖[3]. 19.

(33) 第3章研究方法左圖圖像. 右圖圖像. 灰度轉換. 圖像色彩衰減. 水平向左移動一個像素 move_i=move_i-1. 聯通區域標記. 產生256層物件遮罩 and運算第i層物件的mask 否. 圖像相減比對. 右圖圖像. 紀錄相減值為零的數量. 灰度轉換 and運算. 是否到達邊界. 是比較相減值為零的數量最大者，其移動量move_i為視差值. i<=255. 否視差值轉換景深灰度值. 顯示物件景深資訊. 圖 3.1 程式流程圖. 20. 是.

(34) 本論文的程式流程圖如圖 3.1 所示，首先將右圖的圖像做以下二點處理: (1)使用圖像色彩衰減(Color Reduce)的方法，來讓相近的顏色能分割到同一區塊。(2)使用聯通區域標記方法，將相同顏色亮度的區塊分割出來。再將分割的物件區塊分別儲存在 256 個階層的灰度圖像中。第二步，取出每一階層經過處理完成的灰度圖像當作分割後單一物件的遮罩。第三步，將原始的左右圖像做不同處理，右圖採取與遮罩做 and 運算來取出物件輪廓區域的右圖像，之後右圖處理後的圖像固定位置不變。左圖的部分則是水平向左移動一個像素，左圖未定義的區塊則填入 0 值，再與遮罩做 and 運算來取出物件輪廓區域的左圖像。第四步，經過上述處理後左右圖的圖像做相減比對，紀錄相減值趨近零的數量。重複第二、第三、第四步驟的做法，直到向左移動到邊界為止。並比較相減值趨近零的像素數量最大者，其移動量 Move_i 為該層物件的視差值。最後將每一層所對應的將視差值轉換並填入景深值來表達物件距離深淺。. 21.

(35) 3.1. OpenCV (Open Computer Vision Library) 本論文以 OpenCV[9]為主要的影像處理函式庫。OpenCV 是由 Intel. 公司所發起並參與開發的開放原始碼電腦影像視覺函式庫( Open Source Computer Vision Library )，它是由一系列的 C 函數和少量 C++ 所構成，因此實現了影像處理和電腦視覺方面以及模式識別很多通用演算法。並且 OpenCV 擁有包括了 300 多個 C 函數的跨平臺的中、高階 API。它不必依靠於其它的外部函式庫，也可以使用某些外部函式庫。 OpenCV 以 BSD 授權條款授權發行，可以在商業和研究領域中免費使用，大大的減低了因我們設計所帶來的成本。 OpenCV 支援 Windows、Android、Maemo、FreeBSD、OpenBSD、 iOS，Linux 和 Mac OS 等平台上執行。 OpenCV 支援的使用環境如下： •Linux •C++ Builder IDE •Visual C++ .net •Eclipse IDE •DevCpp IDE •Visual C++ and Microsoft's DirectShow. 22.

(36) 3.2. 圖像色彩衰減常見的圖像為全彩，共有 16,777,216 (256 × 256 × 256)個不同的像. 素。但是，絕大多數的圖像中所含的像素數量遠少於此數，如果使用影像中所有顏色進行比對，除了會耗損過多的成本之外，同時會使切割出的圖像區域過度分割，然而會造成影像比對效果不佳。因此我們先減少影像的色彩像素，使色彩變化度變小，簡單來說就是以少數代表像素來取代相近的像素，來降低圖像中的像素數量，解決過度分割。如圖 3.2，我們以 Lena 圖來做實驗，可看出圖像色彩衰減可以減少影像的色彩像素，使色彩變化度變小，但是在 N 值的設定上不能太大，如圖 3.2(d)，否則會造成無法分割。. (a) N=50. (b) N=100. 23.

(37) (c) N=150. (d)N=200. 圖 3.2 比較衰減色彩變化度. 3.3. 聯通區域標記經過上述影像色彩衰減步驟之後，影像中的差異過小的色彩區域已. 被有效地集中，因此可以利用像素顏色的相似度來切割出不同的影像區域，並分割出圖像中具有相同亮度的圖像區塊，再將分割的物件區塊分別儲存在 256 個階層的灰度圖像中。. 3.4. 遮罩利用 256 個階層的灰度圖像中，每一階層的灰度圖像當作遮罩來分. 割出物件。經過遮罩處理程序後，我們可以在不同的階層中找到各個物件的特徵。遮罩挖空位置，即是我們圖像的物件位置。. 24.

(38) 左圖轉換灰度圖後，與經過處理完成的遮罩做 and 運算來分割出左圖物件的區塊。同左圖做法，右圖轉換灰度圖後，與經過處理完成的遮罩做 and 運算來分割出右圖物件的區塊。. 3.5. 圖像相減匹配. 圖 3.3 圖像相減匹配分解示意圖. 25.

(39) 如圖 3.3 所示，將右圖分割出的物件輪廓的區域圖像與左圖像的相同物件輪廓區域形狀的圖像做相減比對並記錄。重複上述方法，將左圖向左邊水平移動一個像素，沒有定義值得像素填入 0 值，並與右圖相減。直到移動到邊界為止如圖 3.3(e)，比較紀錄中的相減趨近於 0 的像素點，最多的為視差值。在如圖 3.3(d)時，相減趨近於 0 的像素點是所有紀錄中最多，其左移的偏移量即為該物件的視差值。. 3.6. 顯示物件景深. 圖 3.4 視差轉換深度示意圖 (9) (10). 26.

(40) 最後，利用上述每一層物件的左右圖像間的水平視差值來計算景深，依照比例線段公式(公式 7 與公式 8)轉換將水平視差值轉換成景深值，移動差值與視差值做灰度轉換，來表達物件距離的深淺關係。如圖 3.4 所示，min 與 max 分別代表左圖與右圖處理過後的 256 層物件相減過後算出的最小值與最大值。0～255 代表的是灰階值範圍，景深圖(Depth Map)，景物位置離攝影機的距離越近，其對應的灰階值越大，色彩也越明亮，反之則越遠。. 27.

(41) 第4章研究結果以聯通區域標記. 4.1. 4.1.1 幾何圖形如圖 4.1(a)與圖 4.1(b)所示，我們使用繪圖軟體繪出四個幾何圖形，重複在兩張圖像中，為了模擬左右圖有視差效果，我們將幾何圖形做左右水平位置變化(垂直位置、形狀，大小維持不變)，右圖與左圖比較，右圖的三角形的水平位置設為不變，右圖的圓形往左移動 10 個像素，右圖的菱形往左移動 20 個像素，右圖的心形往右移動 20 個像素，完整幾何圖形資訊參考表 4.1。步驟 1:. (a)幾何圖形-左圖. (b)幾何圖形-右圖圖 4.1 幾何圖形. 28.

(42) 表 4.1 幾何圖形資訊左眼. 樣式. 座標位置. 圖形大小. 右眼. 樣式. 座標位置. 圖形大小. 1. 三角形. (80,50). 130X120. 1. 三角形. (80,50). 130X120. 2. 圓形. (350,60). 120X120. 2. 圓形. (360,60). 120X120. 3. 菱形. (90,240). 120X120. 3. 菱形. (110,240). 120X120. 4. 心形. (330,200). 150X150. 4. 心形. (310,200). 150X150. 步驟 2: 針對右圖開始，做色彩衰減(Color Reduce)處理。如圖 4.2 所示，由於我們測試幾何圖形的顏色只有四種，以肉眼來看步驟 2 對照步驟 1 的圖像顏色差異並不明顯。. 圖 4.2 幾何圖形圖像色彩衰減. 29.

(43) 步驟 3：使用聯通區域標記方法，將相同顏色亮度的區塊分割出來。再將分割的物件區塊分別儲存在 256 個階層的灰度圖像中，如圖 4.3 所示。圖 4.3(a)切割後的第二層為白色背景、圖 4.3 (b)切割後的第五層為三角形、圖 4.3 (c)切割後的第十五層為圓形、圖 4.3 (d) 切割後的第二十三層為心形，圖 4.3 (e)切割後的第二十六層為菱形。由於剩餘的階層，已無物件因此像素值皆為 255，完整分解步驟圖參考附件 1.1。. (a). (b). (c). (d). 圖 4.3 聯通區域標記分割圖像. 30. (e).

(44) 步驟 4：將原始的左右圖像做不同處理，右圖採取與遮罩做 and 運算，之後圖像固定位置不變。左圖的部分則是採取與遮罩做 and 運算，之後圖像水平向左移動一個像素，左圖未定義的區塊則填入 0 值。. 步驟 5: 將左右圖的圖像相減比對，紀錄相減值接近為零，在本實驗中，我們定義相減後介於 50 到-50 之間為門檻值(Thresholding)。. 步驟 6: 重複步驟四與步驟五，直到向左移動到邊界為止。比較相減值趨近零的像素數量最大者，其移動量 Move_i 為該層物件的視差值。. 步驟 7: 由於相同物件的區域範圍內具有相同的景深，所以可利用被動式立體視覺的原理求出物件的相對距離，依據此距離的景深值來填入物件中所有區域的景深值。圖 4.4(a)深度圖填入背景、圖 4.4 (b) 深度圖填入三角形、圖 4.4 (c)深度圖填入心形、圖 4.4 (d) 填入菱形、圖 4.4 (e)填入心形，完整分解圖參考附件 1-2。. 31.

(45) (a). (b). (c). (d). (e). 圖 4.4 相對景深圖像. 幾何圖形實驗結果. 圖 4.5 實驗結果-幾何圖形景深圖. 如圖 4.5 所示，雖然在分割時有找出三角形物件，但三角形卻在的實驗最後結果融為了背景，驗證了我們的實驗-當物體水平位置不變，等同. 32.

(46) 於沒有移動量時為背景，顯示出遠處的景物沒有立體感。背景的黑色部分其位移量就可以設定為很小甚至零，代表遠處的景物沒有立體感，完整各階層景深填值實驗結果參考附件 1.2。. 表 4.2 視差運算實驗前後對照實驗圖形. 實際視差值. 實驗視差值. 三角形. 0. 0. 圓形. 10. 10. 菱形. 20. 20. 心形. -20. -20. 如表 4.2 所示，實際視差值正數代表往左移，負數代表往右移，我們的實際視差值與實驗視差值相同，所以我們實驗在簡單的彩色圖像中，視差估測準確率為百分之百。. 4.1.2 標準雙眼立體影像對由於 3D 的發展，使得景深估測演算法程為非常熱門的研究重點題材，引入統一的評斷標準來對研究進行評定，才能評斷各種演算法的優劣。因此，本文採取 Middlebury 資料庫[13]，該資料庫中的圖片包含不. 33.

(47) 同場景，其極線已經過校正，並且提供標準視差圖用來與演算法生成的視差圖進行比對，因此我們可以正確的檢驗立體特徵點比對演算法的精度及適用範圍，本文採用 Tsukuba、Teddy 與 Plastic 標準測試圖來驗證演算法優劣。 (1)Tsukuba 標準測試圖. 圖 4.6 Tsukuba-經過色彩衰減(N 設為 32). 圖 4.7 Tsukuba-經過聯通區域標記處理圖 4.8 為使用聯通區域標記方法分割結果，完整分割結果參考附件 2.1。. 34.

(48) (a)第 1 層-背景. (b)第 23 層-雕像底部. (c)第 37 層-雕像. (d)第 38 層-雕像. (e)第 70 層-檯燈. (f)第 71 層-檯燈. 圖 4.8 Tsukuba-聯通區域標記分割圖像. 35.

(49) 表 4.3 Tsukuba -匹配水平偏移量表. 位置. 相對匹配偏移量. (a)第 1 層-背景. 6. (b)第 23 層-雕像底部. 12. (c)第 37 層-雕像. 11. (d)第 38 層-雕像. 11. (e)第 70 層-檯燈. 15. (f)第 71 層-檯燈. 15. 圖 4.9 Tsukuba 雙眼立體影像對景深圖. 如圖 4.9 所示，Tsukuba 實驗結果背景、檯燈與雕像的景深值分離清楚，由於雕像臉部有深淺變化，雖然在同一個物件，但會有不同的景深值，驗證本文方法可以找出較高的精確度，也證明了本文方法可以使用在複雜的背景環境中，完整各階層景深填值實驗結果參考附件 2.2。. 36.

(50) (2)Teddy 標準測試圖. 圖 4.10 Teddy-經過色彩衰減(N 設為 32). 圖 4.11 Teddy-經過聯通區域標記處理圖 4.12(a)~圖 4.12(f)為使用聯通區域標記方法分割結果，完整分割結果參考附件 3.1。. 37.

(51) (a)第 3 層-泰迪熊玩偶. (b)第 25 層-背景. (c)第 29 層-綠色玩偶. (d)第 30 層-綠色玩偶. (e)第 94 層-綠色玩偶. (f)第 97 層-房子. 圖 4.12 Teddy-聯通區域標記分割圖像. 38.

(52) 表 4.4 Teddy -匹配水平偏移量表位置. 相對匹配偏移量. (a)第 3 層-泰迪熊玩偶. 25. (b)第 25 層-背景. 23. (c)第 29 層-綠色玩偶. 41. (d)第 30 層-綠色玩偶. 35. (e)第 94 層-綠色玩偶. 34. (f)第 97 層-房子. 32. 圖 4.13 Teddy 雙眼立體影像對景深圖如圖 4.13 所示，Teddy 的實驗結果顯示在物體距離非常接近時，我們的方法一樣可以判斷出不同物體的景深，完整各階層景深填值實驗結果參考附件 3.2。. 39.

(53) (3) Plastic 標準測試圖. 圖 4.14 Plastic -經過色彩衰減(N 設為 32). 圖 4.15 Plastic-經過聯通區域標記處理圖 4.16(a)~(f)為使用聯通區域標記方法分割結果，完整分割結果參考附件 4.1。. 40.

(54) (a)第 5 層-背景. (b)第 9 層-背景. (c)第 17 層-左方資料夾. (c)第 27 層-左方資料夾. (d)第 28 層-左方資料夾. (f)第 43 層-右方資料夾. 圖 4.16 Plastic-聯通區域標記分割圖像. 41.

(55) 表 4.5 Plastic-匹配水平偏移量表位置. 相對匹配偏移量. (a)第 5 層-背景. 12. (b)第 9 層-背景. 29. (c)第 17 層-左方資料夾. 42. (d)第 27 層-左方資料夾. 42. (d)第 28 層-左方資料夾. 42. (e)第 43 層-右方資料夾. 42. 圖 4.17 Plastic 雙眼立體影像對景深圖. Plastic 與 Tsukuba、Teddy 測試圖不同的是，Plastic 圖像簡單背景與物件色彩單調，且如圖 4.17 所示，雖然物件色彩相近，但是使用本方法依然可找出正確的景深，完整各階層景深填值實驗結果參考附件 4.2。. 42.

(56) 4.2. 與不同匹配方法結果比較. 4.2.1 與線段比對[2]方法比較. 如表 4.6，以線段比對方式做比對，線段比對的方式可以抑止條紋狀 (streaking)效果，但是條紋狀(streaking)的問題還是存在。本論文所提的方法，沒有條紋狀(streaking)的問題。. 表 4.6 與線段比對方法比較表本文匹配結果. 線對比對結果. Tsukuba. Teddy. 43.

(57) 4.2.2 與邊緣適應性區塊比對[3]比較. 如表 4.7，邊緣適應性區塊比對雖然已改善固定搜尋區塊的缺點，但是依舊可看出物件形狀的完整度問題。本論文所提的方法，沒有出現形狀完整度的問題。表 4.7 不同匹配方法結果比較表本文匹配結果. 邊緣適應性區塊比對結果. Tsukuba. Teddy. 44.

(58) 第5章結論與未來工作 5.1. 結論本論文基於左右眼視訊僅考慮水平移動來減少運算，假設圖像大小. 為. ，以 Full search 匹配方法中的 4x4 區塊大小估計需要. 對運算次數。本方法約. 次的比. 次比對運算次數，因此本論文所提的計算. 複雜度較低。由於本論文所提的物件分割方法，比起 Full search 的區塊匹配方法所得的物件邊緣能有較高的精準度。經實驗證明，我們所提的方法在單一物件及多物件的景深估測中，都可以估測出景深。雖然在複雜背景的下物件切割零碎，只要每一塊都有找到正確景深，則同一個物件的景深就會相同，這樣就不會影響整體結果。因此在單物件、多物件與複雜背景都能使用本文方法自動估測景深圖。. 5.2. 未來工作本論文所提方法的精確度取決於物件分割是否精準，將來可更改為. 其他物件方法來提高估測的精確度。. 45.

(59) 參考文獻 [1]黃怡菁，黃乙白，謝漢萍，“3D 立體顯示技術”，科學發展，451 期，中華民國九十九年七月 [2]郭子豪，“基於線段比對之快速深度估測法”(碩士論文)，取自臺灣博碩士論文系統，中華民國一百零一年八月 [3]陳正豪，“具邊緣適應性區塊比對與不可靠區域深度修復之視差估計演算法” (碩士論文)，取自臺灣博碩士論文系統，中華民國一百年七月 [4]賴文能、陳韋志，“淺談 2D 至 3D 視訊轉換技術”，影像與識別，vol.16 no.2，pp.61-75，中華民國九十九年 [5]C. Fehn, “A 3D-TV Approach Using Depth-Image-Based Rendering (DIBR),” Proceedings of Visualization, Imaging and Image Processing(VIIP), pp.482-487, 2003 [6]C. Fehn, “Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV”, Stereoscopic Displays and Virtual Reality Systems XI, pp.93-104, 2004. [7] D. Bradley and G. Roth, “Adaptive thresholding using the integral image,” Journal of Graphics Tools, vol. 12, no.2, pp.13-21, 2007 [8]F. Blais, M. Picard, and G. Godin, “Accurate 3d acquisition of freely moving objects,” in Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization and Transmission(3DPVT), pp.422-429, 2004. [9] G. Bradski, A. Kaehler, Learning OpenCV, Computer Vision with the. 46.

(60) OpenCV Library, O’Reilly, 2008. [10] H. Yamanoue, M. Okui, and F. Okano., “Geometrical Analysis of Puppet-Theater and Cardboard Effects in Stereoscopic HDTV Images,” IEEE trans. on Circuits Syst. Video Technol., vol. 16, No. 6, pp. 744-752. 2006. [11]L. Zhang and W. J. Tam, “Stereoscopic Image Generation Based on Depth Images for 3D TV,” IEEE Trans. on Broadcasting, vol. 51, no. 2, pp.191-199, 2005. [12]L. He, Y. Chao, and K. Suzuki, “A run-based two-scan labeling algorithm," IEEE Transactions on Image Processing, vol. 17, no.5, pp. 749-756, 2008. [13]Middlebury Stereo Datasets, [online]. http://vision.middlebury.edu/stereo/data/ [14]N. R. Pal and S. K. Pal, “A review on image segmentation techniques,” Pattern Recognition, Vol. 26, No. 9, pp.1277-1294, 1993. [15]Qian, N, “Binocular Disparity and the Perception of Depth,” Neuron, Vol. 18, pp. 359-368, 1997. [16]Q.Wei, “Converting 2D to 3D: A Survey,”Research Assignment, Information and Communication Theory Group (ICT), DelftUniversity of Technology, December 2005. [17]R. Lagani`ere. , OpenCV 2 Computer Vision Application Programming Cookbook, Packt Publishing, Scanning an image with pointers, pp.41-48, 2011. [18]Sung-Yeol Kim, Eun-Kyung Lee, Yo-Sung Ho, “Generation of ROI Enhanced Depth Maps Using Stereoscopic Cameras and a Depth Camera,” IEEE Trans. on Broadcasting (TBC), Vol. 54, No.4, pp.732-740, Dec. 2008.. 47.

(61) 附件附件 1 幾何圖形附件 1.1 幾何圖形-分割. 第0層. 第1層. 第2層. 第3層. 第4層. 第5層. 第6層. 第7層. 第8層. 第9層. 第 10 層. 第 11 層. 第 12 層. 第 13 層. 第 14 層. 第 15 層. 第 16 層. 第 17 層. 第 18 層. 第 19 層. 48.

(62) 第 20 層. 第 21 層. 第 22 層. 第 23 層. 第 24 層. 第 25 層. 第 26 層. 第 27 層. 第 28 層. 第 29 層. 第 30 層. 第 31 層. 第 32 層. 第 33 層. 第 34 層. 第 35 層. 第 36 層. 第 37 層. 第 38 層. 第 39 層. 第 40 層. 第 41 層. 第 42 層. 第 43 層. 49.









(71) 第 236 層. 第 237 層. 第 238 層. 第 239 層. 第 240 層. 第 241 層. 第 242 層. 第 243 層. 第 244 層. 第 245 層. 第 246 層. 第 247 層. 第 248 層. 第 249 層. 第 250 層. 第 251 層. 第 252 層. 第 253 層. 第 254 層. 第 255 層. 58.

(72) 附件 1.2 幾何圖形-景深. 第1層. 第2層. 第3層. 第4層. 第5層. 第6層. 第7層. 第8層. 第9層. 第 10 層. 第 11 層. 第 12 層. 第 13 層. 第 14 層. 第 15 層. 第 16 層. 第 17 層. 第 18 層. 第 19 層. 第 20 層. 59.










(82) 第 237 層. 第 238 層. 第 239 層. 第 240 層. 第 241 層. 第 242 層. 第 243 層. 第 244 層. 第 245 層. 第 246 層. 第 247 層. 第 248 層. 第 249 層. 第 250 層. 第 251 層. 第 252 層. 第 253 層. 第 254 層. 第 255 層. 69.

(83) 附件 1.3 幾何圖形-匹配水平偏移量表第 1 層:1. 第 2 層:1. 第 3 層:1. 第 4 層:1. 第 5 層:1. 第 6 層:1. 第 7 層:1. 第 8 層:1. 第 9 層:2. 第 10 層:1. 第 11 層:1. 第 12 層:9. 第 13 層:2. 第 14 層:11. 第 15 層:3. 第 16 層:-23. 第 17 層:-19. 第 18 層:-20. 第 19 層:-23. 第 20 層:-19. 第 21 層:-19. 第 22 層:-19. 第 23 層:20. 第 24 層:16. 第 25 層:21. 第 26 層:21. 第 27 層:21. 第 28 層:20. 第 29 層:-63. 第 30 層:-63. 第 31 層:-63. 第 32 層:-63. 第 33 層:-63. 第 34 層:-63. 第 35 層:-63. 第 36 層:-63. 第 37 層:-63. 第 38 層:-63. 第 39 層:-63. 第 40 層:-63. 第 41 層:-63. 第 42 層:-63. 第 43 層:-63. 第 44 層:-63. 第 45 層:-63. 第 46 層:-63. 第 47 層:-63. 第 48 層:-63. 第 49 層:-63. 第 50 層:-63. 第 51 層:-63. 第 52 層:-63. 第 53 層:-63. 第 54 層:-63. 第 55 層:-63. 第 56 層:-63. 第 57 層:-63. 第 58 層:-63. 第 59 層:-63. 第 60 層:-63. 第 61 層:-63. 第 62 層:-63. 第 63 層:-63. 第 64 層:-63. 第 65 層:-63. 第 66 層:-63. 第 67 層:-63. 第 68 層:-63. 第 69 層:-63. 第 70 層:-63. 第 71 層:-63. 第 72 層:-63. 第 73 層:-63. 第 74 層:-63. 第 75 層:-63. 第 76 層:-63. 第 77 層:-63. 第 78 層:-63. 第 79 層:-63. 第 80 層:-63. 第 81 層:-63. 第 82 層:-63. 第 83 層:-63. 第 84 層:-63. 第 85 層:-63. 第 86 層:-63. 第 87 層:-63. 第 88 層:-63. 第 89 層:-63. 第 90 層:-63. 第 91 層:-63. 第 92 層:-63. 第 93 層:-63. 第 94 層:-63. 第 95 層:-63. 第 96 層:-63. 第 97 層:-63. 第 98 層:-63. 第 99 層:-63. 第 100 層:-63. 第 101 層:-63. 第 102 層:-63. 第 103 層:-63. 第 104 層:-63. 第 105 層:-63. 第 106 層:-63. 第 107 層:-63. 第 108 層:-63. 第 109 層:-63. 第 110 層:-63. 第 111 層:-63. 第 112 層:-63. 第 113 層:-63. 第 114 層:-63. 第 115 層:-63. 第 116 層:-63. 第 117 層:-63. 第 118 層:-63. 第 119 層:-63. 第 120 層:-63. 第 121 層:-63. 第 122 層:-63. 第 123 層:-63. 第 124 層:-63. 第 125 層:-63. 第 126 層:-63. 第 127 層:-63. 第 128 層:-63. 第 129 層:-63. 第 130 層:-63. 第 131 層:-63. 第 132 層:-63. 第 133 層:-63. 第 134 層:-63. 第 135 層:-63. 第 136 層:-63. 70.

(84) 第 137 層:-63. 第 138 層:-63. 第 139 層:-63. 第 140 層:-63. 第 141 層:-63. 第 142 層:-63. 第 143 層:-63. 第 144 層:-63. 第 145 層:-63. 第 146 層:-63. 第 147 層:-63. 第 148 層:-63. 第 149 層:-63. 第 150 層:-63. 第 151 層:-63. 第 152 層:-63. 第 153 層:-63. 第 154 層:-63. 第 155 層:-63. 第 156 層:-63. 第 157 層:-63. 第 158 層:-63. 第 159 層:-63. 第 160 層:-63. 第 161 層:-63. 第 162 層:-63. 第 163 層:-63. 第 164 層:-63. 第 165 層:-63. 第 166 層:-63. 第 167 層:-63. 第 168 層:-63. 第 169 層:-63. 第 170 層:-63. 第 171 層:-63. 第 172 層:-63. 第 173 層:-63. 第 174 層:-63. 第 175 層:-63. 第 176 層:-63. 第 177 層:-63. 第 178 層:-63. 第 179 層:-63. 第 180 層:-63. 第 181 層:-63. 第 182 層:-63. 第 183 層:-63. 第 184 層:-63. 第 185 層:-63. 第 186 層:-63. 第 187 層:-63. 第 188 層:-63. 第 189 層:-63. 第 190 層:-63. 第 191 層:-63. 第 192 層:-63. 第 193 層:-63. 第 194 層:-63. 第 195 層:-63. 第 196 層:-63. 第 197 層:-63. 第 198 層:-63. 第 199 層:-63. 第 200 層:-63. 第 201 層:-63. 第 202 層:-63. 第 203 層:-63. 第 204 層:-63. 第 205 層:-63. 第 206 層:-63. 第 207 層:-63. 第 208 層:-63. 第 209 層:-63. 第 210 層:-63. 第 211 層:-63. 第 212 層:-63. 第 213 層:-63. 第 214 層:-63. 第 215 層:-63. 第 216 層:-63. 第 217 層:-63. 第 218 層:-63. 第 219 層:-63. 第 220 層:-63. 第 221 層:-63. 第 222 層:-63. 第 223 層:-63. 第 224 層:-63. 第 225 層:-63. 第 226 層:-63. 第 227 層:-63. 第 228 層:-63. 第 229 層:-63. 第 230 層:-63. 第 231 層:-63. 第 232 層:-63. 第 233 層:-63. 第 234 層:-63. 第 235 層:-63. 第 236 層:-63. 第 237 層:-63. 第 238 層:-63. 第 239 層:-63. 第 240 層:-63. 第 241 層:-63. 第 242 層:-63. 第 243 層:-63. 第 244 層:-63. 第 245 層:-63. 第 246 層:-63. 第 247 層:-63. 第 248 層:-63. 第 249 層:-63. 第 250 層:-63. 第 251 層:-63. 第 252 層:-63. 第 253 層:-63. 第 254 層:-63. 第 255 層:-63. 71.

(85) 附件 2 Tsukuba 附件 2.1 Tsukuba-分割. 第0層. 第1層. 第2層. 第3層. 第4層. 第5層. 第6層. 第7層. 第8層. 第9層. 第 10 層. 第 11 層. 第 12 層. 第 13 層. 第 14 層. 第 15 層. 第 16 層. 第 17 層. 第 18 層. 第 19 層. 72.










(95) 第 236 層. 第 237 層. 第 238 層. 第 239 層. 第 240 層. 第 241 層. 第 242 層. 第 243 層. 第 244 層. 第 245 層. 第 246 層. 第 247 層. 第 248 層. 第 249 層. 第 250 層. 第 251 層. 第 252 層. 第 253 層. 第 254 層. 第 255 層. 82.

(96) 附件 2.2 Tsukuba-景深. 第1層. 第2層. 第3層. 第4層. 第5層. 第6層. 第7層. 第8層. 第9層. 第 10 層. 第 11 層. 第 12 層. 第 13 層. 第 14 層. 第 15 層. 第 16 層. 第 17 層. 第 18 層. 第 19 層. 第 20 層. 83.










(106) 第 237 層. 第 238 層. 第 239 層. 第 240 層. 第 241 層. 第 242 層. 第 243 層. 第 244 層. 第 245 層. 第 246 層. 第 247 層. 第 248 層. 第 249 層. 第 250 層. 第 251 層. 第 252 層. 第 253 層. 第 254 層. 第 255 層. 93.

(107) 附件 2.3 Tsukub-匹配水平偏移量表第 1 層:6. 第 2 層:6. 第 3 層:9. 第 4 層:6. 第 5 層:6. 第 6 層:6. 第 7 層:1. 第 8 層:6. 第 9 層:6. 第 10 層:6. 第 11 層:6. 第 12 層:6. 第 13 層:6. 第 14 層:-2. 第 15 層:6. 第 16 層:9. 第 17 層:7. 第 18 層:9. 第 19 層:10. 第 20 層:1. 第 21 層:4. 第 22 層:7. 第 23 層:12. 第 24 層:1. 第 25 層:12. 第 26 層:12. 第 27 層:11. 第 28 層:6. 第 29 層:12. 第 30 層:3. 第 31 層:-4. 第 32 層:15. 第 33 層:6. 第 34 層:12. 第 35 層:12. 第 36 層:11. 第 37 層:11. 第 38 層:11. 第 39 層:-29. 第 40 層:12. 第 41 層:11. 第 42 層:10. 第 43 層:0. 第 44 層:-38. 第 45 層:1. 第 46 層:9. 第 47 層:1. 第 48 層:-13. 第 49 層:7. 第 50 層:6. 第 51 層:-2. 第 52 層:8. 第 53 層:-11. 第 54 層:-37. 第 55 層:15. 第 56 層:11. 第 57 層:5. 第 58 層:-22. 第 59 層:-38. 第 60 層:-24. 第 61 層:9. 第 62 層:7. 第 63 層:7. 第 64 層:5. 第 65 層:10. 第 66 層:5. 第 67 層:9. 第 68 層:6. 第 69 層:-38. 第 70 層:15. 第 71 層:15. 第 72 層:9. 第 73 層:-33. 第 74 層:-38. 第 75 層:-37. 第 76 層:-38. 第 77 層:-38. 第 78 層:-36. 第 79 層:9. 第 80 層:3. 第 81 層:-38. 第 82 層:-21. 第 83 層:4. 第 84 層:-38. 第 85 層:-38. 第 86 層:-38. 第 87 層:-38. 第 88 層:-38. 第 89 層:-9. 第 90 層:-25. 第 91 層:-38. 第 92 層:-38. 第 93 層:-38. 第 94 層:-38. 第 95 層:-38. 第 96 層:-38. 第 97 層:-38. 第 98 層:-38. 第 99 層:-38. 第 100 層:-38. 第 101 層:-38. 第 102 層:-38. 第 103 層:-38. 第 104 層:-38. 第 105 層:-38. 第 106 層:-38. 第 107 層:-38. 第 108 層:-38. 第 109 層:-38. 第 110 層:-38. 第 111 層:-38. 第 112 層:-38. 第 113 層:-38. 第 114 層:-38. 第 115 層:-38. 第 116 層:-38. 第 117 層:-38. 第 118 層:-38. 第 119 層:-38. 第 120 層:-38. 第 121 層:-38. 第 122 層:-38. 第 123 層:-38. 第 124 層:-38. 第 125 層:-38. 第 126 層:-38. 第 127 層:-38. 第 128 層:-38. 第 129 層:-38. 第 130 層:-38. 第 131 層:-38. 第 132 層:-38. 第 133 層:-38. 第 134 層:-38. 第 135 層:-38. 第 136 層:-38. 94.

(108) 第 137 層:-38. 第 138 層:-38. 第 139 層:-38. 第 140 層:-38. 第 141 層:-38. 第 142 層:-38. 第 143 層:-38. 第 144 層:-38. 第 145 層:-38. 第 146 層:-38. 第 147 層:-38. 第 148 層:-38. 第 149 層:-38. 第 150 層:-38. 第 151 層:-38. 第 152 層:-38. 第 153 層:-38. 第 154 層:-38. 第 155 層:-38. 第 156 層:-38. 第 157 層:-38. 第 158 層:-38. 第 159 層:-38. 第 160 層:-38. 第 161 層:-38. 第 162 層:-38. 第 163 層:-38. 第 164 層:-38. 第 165 層:-38. 第 166 層:-38. 第 167 層:-38. 第 168 層:-38. 第 169 層:-38. 第 170 層:-38. 第 171 層:-38. 第 172 層:-38. 第 173 層:-38. 第 174 層:-38. 第 175 層:-38. 第 176 層:-38. 第 177 層:-38. 第 178 層:-38. 第 179 層:-38. 第 180 層:-38. 第 181 層:-38. 第 182 層:-38. 第 183 層:-38. 第 184 層:-38. 第 185 層:-38. 第 186 層:-38. 第 187 層:-38. 第 188 層:-38. 第 189 層:-38. 第 190 層:-38. 第 191 層:-38. 第 192 層:-38. 第 193 層:-38. 第 194 層:-38. 第 195 層:-38. 第 196 層:-38. 第 197 層:-38. 第 198 層:-38. 第 199 層:-38. 第 200 層:-38. 第 201 層:-38. 第 202 層:-38. 第 203 層:-38. 第 204 層:-38. 第 205 層:-38. 第 206 層:-38. 第 207 層:-38. 第 208 層:-38. 第 209 層:-38. 第 210 層:-38. 第 211 層:-38. 第 212 層:-38. 第 213 層:-38. 第 214 層:-38. 第 215 層:-38. 第 216 層:-38. 第 217 層:-38. 第 218 層:-38. 第 219 層:-38. 第 220 層:-38. 第 221 層:-38. 第 222 層:-38. 第 223 層:-38. 第 224 層:-38. 第 225 層:-38. 第 226 層:-38. 第 227 層:-38. 第 228 層:-38. 第 229 層:-38. 第 230 層:-38. 第 231 層:-38. 第 232 層:-38. 第 233 層:-38. 第 234 層:-38. 第 235 層:-38. 第 236 層:-38. 第 237 層:-38. 第 238 層:-38. 第 239 層:-38. 第 240 層:-38. 第 241 層:-38. 第 242 層:-38. 第 243 層:-38. 第 244 層:-38. 第 245 層:-38. 第 246 層:-38. 第 247 層:-38. 第 248 層:-38. 第 249 層:-38. 第 250 層:-38. 第 251 層:-38. 第 252 層:-38. 第 253 層:-38. 第 254 層:-38. 第 255 層:-38. 95.

(109) 附件 3 Teddy 附件 3.1 Teddy-分割. 第0層. 第1層. 第2層. 第3層. 第4層. 第5層. 第6層. 第7層. 第8層. 第9層. 第 10 層. 第 11 層. 第 12 層. 第 13 層. 第 14 層. 第 15 層. 第 16 層. 第 17 層. 第 18 層. 第 19 層. 96.




