以二維影像輪廓資料重建三維物體模型

全文

(1)國立臺灣師範大學機電科技學系碩士論文指導教授：陳美勇博士共同指導：張勤煜博士以二維影像輪廓資料重建三維物體模型 Reconstruction of a 3D Object Model Using 2D Image Contours Data. 研究生：郭江禹撰中華民國九十八年六月.

(2) 摘要. 摘要本論文研究之目的是建立一套自動化物體模型重建系統，並發展利用二維影像輪廓來重建三維物體模型之技術，藉由二維影像輪廓的建立，使物體能夠呈現出三維立體的模型，可應用於醫學物理療法中，例如:核磁共振造影系統、核子醫學系統…等等，並可結合機械手臂系統，達到辨識與挾持物體之自動化功能。在產生三維立體模型方法中，目前最常見到的有下列幾種:第一，最為直接的方式，是使用三維模型繪圖軟體(如:3D Maxs)來製作出三維的模型；第二，使用三維量測掃描系統，對物體直接進行掃描，透過三維空間資料，以電腦建立出三維立體模型；第三，使用攝影機拍攝，藉由所得到的二維數位影像組合，或經數位影像處理後，搭配一些演算法，並建立出三維立體模型。本研究即採用第三種方式，來建立三維立體模型。首先，藉由投影原理的概念，以兩台 CCD 攝影機，模擬出工程圖學四個象限中之第一象限的直立式投影面與水平式投影面，並且將此兩面的投影，透過本論文的演算法，把二維影像序列的座標值提取出來。並搭配 OpenGL 的函式，將三維的座標點連結後，即可得粗略的三維立體模型，接著佈局網格，並且進行著色與打光的技術，三維的立體模型即可完整地產生出來。由實驗結果可得知，本研究成功地建立一套三維立體模型重建系統，利用攝. 影機拍攝物體外型並經過多重數位影像處理技術，將物體之三維立體模型重新建立於電腦中，用以提供機械手臂作後端處理之用。. 關鍵詞：二維影像輪廓、圖學投影原理、數位影像處理、三維重建 -I國立臺灣師範大學機電科技學系.

(3) 摘要. Abstract This paper proposes reconstruction of a 3D object model using 2D image contours data, with building the two-dimensional image contours, so that objects can show three-dimensional model, and applied to medical physical therapy, for example: magnetic resonance imaging systems, nuclear medicine system, and so on .... And then combine with a robot which can achieves an automatic system. Generated three-dimensional model approach, is currently the most commonly seen are the following: first, the most direct way is to use three-dimensional model of graphics software (such as: 3D Maxs) to produce three-dimensional model; Secondly, the use of three-dimensional measurement scanning system to scan objects directly through the three-dimensional information in order to establish a three-dimensional computer model; Third, the use of camera, obtained by two-dimensional digital imaging portfolio, or digital image processing, with Some algorithms, and the establishment of a three-dimensional model. In this study, which adopts the third approach, to create three-dimensional model. First of all, by the principle of the concept of projection to the two CCD cameras, the engineering graphics simulation of the four quadrants in the first quadrant of the vertical and horizontal projection surface type, and this two-sided projection, through the papers algorithm, the two-dimensional coordinates of the image sequence extracted value. Through the OpenGL function, will link three-dimensional coordinates of points, you can get a rough three-dimensional model, then the layout of the grid, and for shading and lighting technology, three-dimensional model can be generated. From the experimental results, this research establishes an automatic 3D object model reconstructed system. The system builds a 3D object model in computer by CCD camera and multiple image processes technology. The model will provide to robot using for the next stage. Keywords: 2D Image Contours, Principle of Graphics Projection, image processing, Three-Dimensional Reconstruction. -II國立臺灣師範大學機電科技學系.

(4) 謝誌. 謝誌此篇論文得以順利完成，首先要感謝我的指導教授陳美勇老師與共同指導張勤煜博士對我的提攜與啟蒙，不論是學術研究方面的啟發，讓我了解正確的研究方法與嚴謹的做事態度，或是平時教導我待人處世的道理，諸如種種，從他們身上我學習到很多。此外研究室介於成立之初在軟硬體皆不足的環境下，老師仍盡力幫忙從四處張羅實驗設備，及安排台大學生幫忙使研究得以順利進行，學生永記在心，在此致上衷心的感激與謝忱。感謝口試委員張勤煜博士、陳億成博士，以及曾煥雯博士，於百忙之中仍不吝撥冗對本論文提供諸多指教與建議，使本論文得以更嚴謹與周延。同時感謝實驗室的好夥伴：智瑋、政峰、承漢、哲祺在研究期間的互相勉勵，今天如果沒有他們在實驗時鼎力相助與相互討論，我的研究將無法順利進行與完成，也祝福他們在人生的道路會有順利的發展。而在研究室之間的合諧氣氛中，讓我求學期間的研究生活充滿了豐富及美好的回憶，再一次的感謝你們的陪伴。最後要感謝家人們二十多年來對我無怨無悔的栽培與照顧，是我最溫暖的避風港，且在求學過程中家人們的全力地支持與勉勵，因此能夠順利完成學業，僅以此論文獻給我敬愛的父親、母親，在我身邊無悔的支持與鼓勵，以及所有關心我的師長、同學、學弟妹與諸多朋友們，願將這份喜悅與各位分享。郭江禹己丑年‧仲夏夜精密運動控制實驗室. - III 國立臺灣師範大學機電科技學系.

(5) 目錄. 目錄摘要..........................................................Ⅰ ABSTRCAT......................................................Ⅱ 謝誌..........................................................Ⅲ 目錄......................................................... Ⅳ 圖目錄........................................................Ⅶ 表目錄........................................................Ⅷ. 第一章緒論..........................................................................................................1 1.1 前言.............................................................................................................1 1.2 文獻回顧.....................................................................................................8 1.3 研究動機與目的.......................................................................................11 1.4 本論文之貢獻...........................................................................................13 1.5 論文架構...................................................................................................14 第二章理論基礎…...............................................................................……….15 2.1 數位影像基本定義..................................................................................15 2.1.1 影像的感應與擷取.........................................................................15 2.1.2 單一感應器取像.............................................................................16 2.1.3 使用長條型感應器取像.................................................................18 2.1.4 數位影像顯像基本要素.................................................................19 2.1.5 影像的取樣和量化的基本概念.....................................................21 -IV國立臺灣師範大學機電科技學系.

(6) 目錄. 2.1.6 數位影像的描繪.............................................................................22 2.2 空間域中的數位影像增強處理..............................................................23 2.2.1 影像增強背景................................................................................24 2.2.2 基本灰階轉換.................................................................................25 2.3 影像負片..................................................................................................26 2.4 空間濾波的基礎......................................................................................27 2.4.1 平滑空間濾波器功能.....................................................................29 2.4.2 平滑空間濾波器.............................................................................30 2.5 影像邊緣檢測..........................................................................................31 2.5.1 拉普拉斯邊緣偵測(Laplacian edge detection) ..............................31 2.5.2 索貝爾邊緣偵測(Sobel edge detection) ........................................33 2.5.3 坎尼邊緣偵測(Canny edge detection) ...........................................34 2.6 三維投影原理..........................................................................................38 第三章系統設計概念與配置…........................................................................46 3.1 三維重建系統設計實現目標..................................................................46 3.2 三維重建系統架構..................................................................................46 3.3 三維重建系統架設概念..........................................................................47 3.4 三維重建系統配置...............................................................................48 3.5 重建系統概念上的特色..........................................................................54 -V國立臺灣師範大學機電科技學系.

(7) 目錄. 3.6 三維重建系統流程描述..........................................................................54 第四章三維模型重建系統設計原理..................................................................56 4.1 三維重建系統前言..................................................................................56 4.2 影像前處理及目的..................................................................................56 4.3 三維建模架構..........................................................................................58 4.4 三維建模相關演算法..............................................................................69 第五章實驗結果與討論….........................................................………...........72 5.1 系統設備描述..........................................................................................72 5.2 三維重建系統架設操作流程..................................................................74 5.3 規劃操作介面..........................................................................................75 5.4 系統建模執行結果..................................................................................76 5.5 三維重建結果分析..................................................................................84 5.6 三維重建系統幾何上的限制..................................................................84 5.7 三維重建效能討論..................................................................................84 第六章結論及未來展望.…………………………….......................................87 6.1 結論..........................................................................................................87 6.2 未來展望..................................................................................................88 參考文獻.…………………………….................................................................90. -VI國立臺灣師範大學機電科技學系.

(8) 圖目錄. 圖目錄圖 1-1 (a)其中(1)為翠玉白菜原貌；(2)翠玉白菜 3D 重建後的模型；(b)其中(1)為古文物原貌；(2)古文物 3D 重建後的模型................................1 圖 1-2 (a)其中(1)為人體腎臟器官的 3D 重建立體圖；(2)人腦二維影像之插補結果；(3)人腦 3D 重建結果；(b)人體腸道 3D 重建示意圖.............1 圖 1-3 (a)智慧型保全機器人概觀.....................................................................2 圖 1-3 (b) 其中(1)機器人環境探查；(2)建立 2D 平面概略圖；(3)重建環境 3D 立體圖................................................................................................2. 圖 1-4 智慧型機器手臂未知物體夾持規劃與物體 3D 重建...........................2 圖 1-5 3D 模型繪圖軟體(Solid Works 2007).....................................................3 圖 1-6 (a)電子觸發式探頭與三次元量床；(b)電子觸發式探頭量測模式(節錄自 Renishaw 公司 2006 型錄).............................................................4 圖 1-7 (a)Laser Design 的雷射測頭；(b) Laser Design 雷射掃瞄設備(節錄自 Laser Design 公司 2008 型錄)................................................................5 圖 1-8 ATOS CCD 影像式量測系統(節錄自 GOM mbH 公司 2008 型錄)....5 圖 1-9 3D 人頭重建系統流程...........................................................................6 圖 1-10 3D 重建技術樹枝分類圖.......................................................................6 1. 圖 1-11 人頭重建系統 (a)系統外貌；(b)系統內部概觀..................................9 1. 圖 1-12 以 SAM 法執行二維到三維形狀近似轉換.........................................10 1. -VII國立臺灣師範大學機電科技學系.

(9) 圖目錄. 圖 1-13 (a)直角投影的方式；(b)I.三維投影各視角；II.上視圖；III.前視圖 IV. 右側視圖................................................................................................11 圖 1-14 透視投影...............................................................................................14 1. 圖 2-1 (a)單一成像的感應器(b)陣列式感應器(c)線形感應器......................17 圖 2-2 結合單一感應器與運動來產生一個二維的影像...............................17 圖 2-3 (a)用一個線性感應器條擷取影像(b)用一個環形感應器擷取影像...19 圖 2-4 數位影像擷取處理的說明....................................................................20 圖 2-5 (a)連續的影像(b)在連續影像上掃描從 A 到 B 的線用來說明取樣和量化的概念(c)取樣和量化(d)數位掃描線...........................................21 圖 2-6 數位影像一般座標定義的方式............................................................23 圖 2-7 一幅影像中一個點( x, y )附近的一個 3×3 鄰域..................................24 圖 2-8 使用在影像增強的一些基本灰階轉換函數........................................26 圖 2-9 (a)最初的數位乳房 X 光片(b) 使用負片轉換後所獲得結果............27 圖 2-10 空間濾波的方式....................................................................................28 圖 2-11 一般 3×3 空間濾波遮罩的另一種表示方法........................................29 圖 2-12 兩個 3×3 平滑(平均)濾波遮罩.............................................................31 圖 2-13 拉普拉斯遮罩........................................................................................32 圖 2-14 邊界的一階導數及二階導數的表示圖形............................................32 圖 2-15 拉氏-高斯濾波器響應圖......................................................................33 -VIII國立臺灣師範大學機電科技學系.

(10) 圖目錄. 圖 2-16 Non-maxima suppression 的示意圖.....................................................36 1. 圖 2-17 Hysteresis thresholding 的示意圖.........................................................37 1. 圖 2-18 正投影....................................................................................................38 圖 2-19 斜投影....................................................................................................38 圖 2-20 透視投影................................................................................................39 圖 2-21 四個象限................................................................................................40 圖 2-22 投影面的展平........................................................................................40 圖 2-23 物體的二個視圖....................................................................................40 圖 2-24 基線與投影線........................................................................................40 圖 2-25 (a)角柱(b)角柱在第一象限之視圖(c)角柱在第三象限之視圖..........41 圖 2-26 正六角柱在第一象限之視圖................................................................42 圖 2-27 正六角柱在第三象限之視圖................................................................42 圖 2-28 (a)、(b)分別為三角柱第一象限與第三象限視圖(c)三角錐之視圖..43 圖 2-29 (a)圓柱之視圖(b)斜圓錐之視圖(c)斜圓柱之視圖..............................43 圖 2-30 (a)物體置於第一象限 (b)第一角法各視圖之排列位置及名稱........44 圖 2-31 (a)物體置於第三象限 (b)第三角法各視圖之排列位置及名稱........45 圖 3-11 三維重建系統配置圖...........................................................................47 圖 3-21 (a)直向型前光源(b)擴散型前光源..........................................................48 圖 3-21 (c)環形前光源；(d)低角度前光源；(e)同軸前光源................................49 -IX國立臺灣師範大學機電科技學系.

(11) 圖目錄. 圖 3-3. (a)直向型背光源；(b)擴散式背光源......................................................49. 圖 3-4. (a)採低角度前光源方式所擷取到的影像；(b) 採直向型背光源方式所擷取到的影像；(c) 採擴散式背光源方式所擷取到的影像......................50. 圖 3-5. CCD Camera 與待測物平台之間的相對位置.........................................51. 圖 3-6. CCD Camera 與待測物之間的校正示意圖............................................52. 圖 3-7. CCD Camera 透鏡光軸與物體各角平面垂直正交示意圖......................52. 圖 3-8. CCD Camera 與待測平台間的距離及高度示意圖.................................53. 圖 3-9. 待測物平台與背景處理方式.................................................................53. 圖 3-10 待測物影像(a)前視圖；(b)側視圖........................................................54 圖 3-11 三維重建模型流程圖............................................................................55 圖 4-1. 影像處理流程圖...................................................................................56. 圖 4-2. (a)二維影像座標系統 x、y、z 方向定義；(b)前視圖與側視圖原點位置.....................................................................................................59. 圖 4-3. 掃瞄前視圖二維影像點座標方式.....................................................59. 圖 4-4. 待測平台比例間距.............................................................................60. 圖 4-5. 指標間距 pixel 數…...........................................................................60. 圖 4-6. 拱橋影像(a)前視圖；(b)側視圖........................................................61. 圖 4-7. (a)待測物側視角平面之 pixel 深度值；(b)待測物側視角平面之實際. 尺寸深度.............................................................................................61 -X國立臺灣師範大學機電科技學系.

(12) 圖目錄. 圖 4-8. 前視圖三維座標系統.........................................................................62. 圖 4-9. 三維座標系統相對投影點座標.........................................................63. 圖 4-10 OpenGL 多邊形連結點之各類型態..................................................65 圖 4-11 環境光源.............................................................................................66 圖 4-12 散射光源與鏡射光源的分別.............................................................66 圖 4-13 光束的相關參數意義.........................................................................68 圖 4-14 連點演算法圖解.................................................................................70 圖 4-15 連點演算法程式執行流程圖.............................................................71 圖 5-1. 三維重建系統配置圖.........................................................................72. 圖 5-2. SOL 6M CL 影像擷取卡....................................................................73. 圖 5-3. 三維重建系統實體圖.........................................................................74. 圖 5-4. 以 Borland C++ Builder6.0 設計的操作介面概觀............................75. 圖 5-5. 三維建模系統操作介面.....................................................................76. 圖 5-6. 圖 5-6 (a) 鋁製金屬 (b) 玩具積木...................................................77. 圖 5-7. (a)圓柱(b)拱橋(c)三角柱(d)半圓柱(e)寶塔(f)立方體(g)複合積木 1(h) 複合積木 2(i)複合積木 3(j)複合積木 4(k)複合積木 5(l)複合積木 5...........................................................................................................77. 圖 5-8. 圓柱影像處理與重建結果.................................................................78. 圖 5-9. 拱橋影像處理與重建結果.................................................................78. -XI國立臺灣師範大學機電科技學系.

(13) 圖目錄. 圖 5-10 三角柱影像處理與重建結果.............................................................79 圖 5-11 半圓形影像處理與重建果.................................................................79 圖 5-12 寶塔影像處理與重建結果.................................................................80 圖 5-13 立方體影像處理與重建結果.............................................................80 圖 5-14 複合積木 1 影像處理與重建結果.....................................................81 圖 5-15 複合積木 2 影像處理與重建結果.....................................................81 圖 5-16 複合積木 3 影像處理與重建結果.....................................................82 圖 5-17 複合積木 4 影像處理與重建結果.....................................................82 圖 5-18 複合積木 5 影像處理與重建結果.....................................................83 圖 5-19 複合積木 6 影像處理與重建結果.....................................................83 圖 5-20 三維重建上的缺失.............................................................................85. -XII國立臺灣師範大學機電科技學系.

(14) 表目錄. 表目錄表 1-1 三維重建之主動式與被動式比較表.......................................................12 表 5-1 三維重建成功率評估表..........................................................................85 表 5-2 三維重建技術比較表..............................................................................86. - XIII 國立臺灣師範大學機電科技學系.

(15) 第一章緒論. 第一章緒論 1.1 前言在近幾年，由於考慮到自然生態與文化遺產隨著時空的推移，且因外在環境的侵蝕或破壞致使這些珍貴的資產不易保存，因此大部分歷史博物館或是文物收藏者想藉一些高科技的技術，將這一系列歷史文物依原比例以數位化形式保存起來(如圖 1-1)，用以提供學術研究、觀光導覽或是文物典藏，使得 3D 建模系統之設計與研發，在近年來越益顯得重要[1]。而 3D 的應用也很廣泛，其應用包括:醫學影像應用，如圖 1-2[2-3]；智慧型控制應用，如圖 1-3(a)、1-3(b)[4]；機器手臂挾持應用，如圖 1-4，其中(1)機器手臂整體系統概略圖，(2)挾持規劃物體，(3)利用 3D 重建技術將物體三維模型重建出來，(4)藉重建模型資料，進行未知物夾持規劃[5]等等…。以上種種相關應用，均顯示 3D 重建需求逐漸增加。. (1). (1). (2). (a). (2). (b). 圖 1-1 (a) 其中(1)為翠玉白菜原貌；(2)翠玉白菜 3D 重建後的模型[6]； 5(b):(1)為古文物原貌；(2)古文物 3D 重建後的模型[1]. (1). (2). (3). (a). (b) 圖 1-2 (a)其中(1)為人體腎臟器官的 3D 重建立體圖；(2)人腦二維影像之插補結果；(3)人腦 3D 重建結果[2]；(b)人體腸道 3D 重建示意圖[3] -1國立臺灣師範大學機電科技學系.

(16) 第一章緒論. Omni-camera Pan-tilt camera Sonars. Thermal camera Laser scanner. 圖 1-3(a) 智慧型保全機器人概觀[4]. (1). (2). (3). 圖 1-3(b) 其中(1)機器人環境探查；(2)建立 2D 平面概略圖；(3)重建環境 3D 立體圖[4]. (2). (3). (1). (4). 圖 1-4 智慧型機器手臂未知物體夾持規劃與物體 3D 重建[5]. -2國立臺灣師範大學機電科技學系.

(17) 第一章緒論. 圖 1-5 3D 模型繪圖軟體(Solid Works 2007) 隨電腦科技日新月異，在電腦虛擬的世界，對於重現立體世界中的物體之需求日趨殷切，故目前在實現 3D 物體的技術上，不管在學術界、工業界、商業界，無不在 3D 重建技術之精確度上提出更精良的方法。目前在 3D 模型的製作上，其最直接的方式就是使用套裝的 3D 模型繪圖軟體來繪製 3D 之立體影像[7]，如圖 1-5 所示。透過軟體的控制項，可畫出需求者所想要的形狀、尺寸、色澤跟質感，但如果想要達到擬真的程度，就算是很有繪圖經驗的操作者，也需要耗費許多時間與精力，才能把模型做得生動逼真。此外，假如所要建立的模型尺寸與所在的位置，並非建模者所能掌控，故重建模型的工程，將會變得更加困難重重。為了克服上述種種問題，在 3D 建模系統上，必須發展更適切及更有效率的重建方式。依據目前 3D 建模系統來說，可概分以下幾種方式: A.以接觸式三維掃描儀建立三維模型系統透過電子觸發式探頭碰觸物體表面的方式，如圖 1-6 所示，透過逐點掃描的過程來記錄物體的 3D 座標點資料，將所量測到的點資料轉成 CAD 繪圖格式檔案(如 ASC、IGES、DXF、STL…)，最後配合 CAD 軟體. 重建該物體的 CAD 模型，即可進行下一階段之設計工作。由於直接貼緊. -3國立臺灣師範大學機電科技學系.

(18) 第一章緒論. 物體進行量測，故此方法所產生之 3D 模型相當精確，常被用於工程製造產業[8]，由於其在掃瞄過程中，探針與物體表面上有實際的接觸，物體會有遭到探針破壞或損毀之可能，因此較不適用於高價值物件如古文物、遺跡等的重建作業。. (a). (b). 圖 1-6 (a)電子觸發式探頭與三次元量床；(b)電子觸發式探頭量測模式(節錄自 Renishaw 公司 2006 型錄) B. 以非接觸式三維掃描系統建立三維模型非接觸式掃描量測一般分為兩種，一種為雷射掃瞄式，如圖 1-7 所示；而另一種為 CCD (Charge Coupled Device)取像式加上雷射，如圖 1-8 所示；該兩種方法都是藉由雷射光的反射量來紀錄三維空間資訊，最後配合 3D 繪圖編修軟體將多餘或是遺漏的部份作修整；這是目前工業界在數位化逆向工程系統中最常採用的方式[8]。然由於反射光束會受到物體表面材質光滑與否及顏色不同，而產生不同結果，加上雷射立體掃瞄系統價格昂貴，故無法普及在一般市場上使用。. -4國立臺灣師範大學機電科技學系.

(19) 第一章緒論. (a). (b). 圖 1-7 (a)Laser Design 的雷射測頭；(b) Laser Design 雷射掃瞄設備(節錄自 Laser Design 公司 2008 型錄). 圖 1-8 ATOS CCD 影像式量測系統(節錄自 GOM mbH 公司 2008 型錄) C.以二維影像建立三維模型本技術是透過 16 台攝影機或是相機所拍攝得到之二維數位影像作組合，由每台攝影機所取得影像，尋找彼此之間的相互關係，推導出影像中相對應的特徵點，再經由數學建模演算法，推導出物體深度資訊，並建立三維模型，其實際建模過程如圖 1-9 所示[9]。. -5國立臺灣師範大學機電科技學系.

(20) 第一章緒論. Normal lighting. Extended Shape-from-Silhouette Silhouette Info.. Rough Shape Final Shape. Patterned lighting. Textured Model. Multi-camera Active Stereo. 圖 1-9 3D 人頭重建系統流程然而在攝影重建立體影像之過程中，每台攝影機每張影像都必須經過校準步驟，攝影機台數越多則物體重建之困難越高[7]。. 圖 1-10 3D 重建技術樹枝分類圖在此，Bagus Arthaya, Irwan, and Hendra Gunawan 等人提出更完整的 3D 重建技術樹枝分類圖，如圖 1-10 所示 [10]。以目前三維重建的技術來說，非接觸掃描量測是目前的主流，接觸式掃描量測的精度雖高，但因掃描過程中必須接觸物體，物體恐有遭受探針損壞之可能，因此較不適用於高價 -6國立臺灣師範大學機電科技學系.

(21) 第一章緒論. 值物件之重建作業。而且，相較於其他方法，接觸式掃描量測的重建時間較長，故在效率上遠遠落後於非接觸式掃描量測。現在三維重建除了使用三維模型繪圖軟體、接觸式掃描量測技術外，最多人採用的就是非接觸式掃描量測技術，而非接觸式掃描量測技術，包括透射與反射兩種形式。透射有兩種，一種為工業電腦斷層掃描儀 (industrial computed tomography)，早期多應用在醫學影像重建上，後期引入工業後，也逐漸成為逆向工程的量測技術之一 [11-12]；另一種為穿透式電子顯微鏡(transmission electron microscope)，多應用於物體尺寸較小 (奈米尺寸)的三維重建上[13]。反射亦有兩種，一種為光學式，而依物體受光方式，又可分為主動式與被動式。主動式目前以雷射掃瞄或是雷射測距儀為主，其重建出來的三維模型的品質為最佳[10,14-15]，相對的，其價格也不便宜，故無法全面普及化。另一種為被動式，是目前三維重建技術最多人採用的，其不需規格太特殊的硬體支援，亦可重建出品質不錯的三維模型，加上重建所需花費成本比主動式來的低廉，因此，被動式掃描量測技術在近幾年有如雨後春筍般地被開發出來，成為目前三維重建技術的主流[1,9,16-17]；另一種為非光學式，該項技術主要是應用在海底地形的三維重建，透過聲納(sonar)或微波雷達(microwave radar)技術，即可將海底的實際形貌還原，但其量測過程中會受到地面假回波影響(false echo)和各種電磁波干擾，使精度降低，故此技術目前較少人使用[18-19]。綜合上述，以目前三維重建技術而言，被動式掃描量測不管在品質、經濟、與時間效率上，都是較佔上風。而被動式掃描量測技術，其三維重建方式主要是建立在影像處理的架構下，所衍生出來的技術。而以影像處理為基礎的三維重建，目前所提出的方法有數十種，其中以立體視覺法 (Stereo)、多視角剪影法(shape from silhouette)為主要的技術核心，以此兩種技術可發展出不同的三維重建技術[9,20-22]。若以立體視覺法或是多視角剪影法執行，需搭配多台相機或攝影機才能實現，由於攝影機取得影像 -7國立臺灣師範大學機電科技學系.

(22) 第一章緒論. 有失真情形的可能，故須經過校準步驟，因此，台數越多，校正的困難度也相對提高。有鑑於此，為了因應 3D 重建系統之速效性與擬真之需求，發展一套操作簡單與快速重建模型之整合系統，將成為本論文研究之主要目標。. 1.2 文獻回顧近年來，發展電腦三維重建技術的相關研究領域中，在硬體技術上，目前以立體視覺法(Stereovision)最為普遍，主要是此法是利用兩台攝影機來擷取物體之影像，在概念上類似人類的雙眼，藉由雙眼感知的影像相疊，並且推算出深度。若已知兩攝影機彼此間距與焦距長度，擷取的左右兩張圖片又能成功地結合，則深度資訊即可推得。此法須仰賴有效的圖片像素匹配分析 (Correspondence Analysis) ，一般使用區塊比對 (Block Matching)或同軸幾何(Epipolar Geometry)演算法[23-24]達成。再來，也有一些研究，是利用單一台攝影機，將三維物體放在可旋轉的轉盤上，當轉盤驅動時，攝影機便可擷取物體不同角度的影像，最後將擷取到的影像透過外型剪影(shape from silhouette, SFS)演算法[25]重建三維物體。以下將介紹目前在電腦三維重建技術上比較普遍與比較特別的一些技術。 Fujimura [9]等學者，在系統建模演算法上提出一套應用於三維人頭建模的新式兩階段立體視覺(Stereovision)演算法。首先，採用以特徵為基礎的作法(Feature-Based Approach)獲得深度數據。接著，利用深度數據插補(Interpolation)的方式，來預測位於影像邊緣之未估測像素的深度數據。最後，採用以面積為基礎之立體視覺匹配(Area-Based Stereo Matching)的作法及次像素估測(Subpixel Estimation)來修正深度數據。而該演算法結合了外型剪影演算法技術與主動式立體視覺技術來實現三維人頭建模系統。此種重建方式雖然精確度非常高，但相對的，在整體系統建構的複雜度上也. -8國立臺灣師範大學機電科技學系.

(23) 第一章緒論. 是非常地高，如相機校正、影像校正等等…，三維重建系統如圖 1-11 所示。. (a). (b). 圖 1-11 人頭重建系統 (a)系統外貌；(b)系統內部概觀 Shreedhara [26]等學者，提出以一系列的二維橫截面輪廓或曲線，自動地重建出三維物體。其二維橫截面輪廓可以貝茲曲線技術(Bezier Curve Technique)來獲得，或是以邊緣檢測技術 (Edge Detection Technique)從二維影像中提取感興趣的區域當作二維橫截面輪廓。接著，利用堆棧(Stack of Slices)的方式，將二維橫截面輪廓堆疊起來，並且以網格 (Mesh)來連接每一橫截面輪廓。當堆棧的資料不夠密集時，可利用動態彈性插捕技術 (Dynamic Elastic Interpolation Technique)，重建遺漏的二維截面資料。另外，為了讓模型更有立體感，可利用Phong著色法技術 (Phong Shading Technique)來渲染模型的光澤，最後，利用他們自行開發的介面，將三維模型顯示出來。此種重建方式比Fujimura的作法來的簡單，也容易執行，但此種方式僅適合外型結構簡單且對稱的模型，若要重建複雜模型，技術上有待作進一步之加強。 Nishino [27]等學者，建立一個三維建模環境，來輔助新的形狀概念化 (new shape conceptualization)。使用者可透過徒手描繪介面，先粗略地設計出二維幾何模型，此時繪圖介面透過觀測與紀錄描繪者的繪圖行為，以 FSCI法 (Fuzzy Spline Curve Identifier)鑑別出二維幾何模型的圖樣，接著，再以SAM (Shape Approximation Method)方式精確地擬合出二維或是三維的基本模型，如圖 1-12 。該系統可藉由 IEC (Interactive Evolutionary Computation)為基礎的3DSE (3D Shape Explorer)來做為外型的偵測方法， -9國立臺灣師範大學機電科技學系.

(24) 第一章緒論. 且系統會依照原三維模型自動地演化出近20種的三維模型供使用者挑選，最後，將該建模程序整合到一個參數化的三維建模系統，讓使用者透過參數變更的方式，來重建出使用者自己想要的模型樣式。. 圖1-12 以SAM法執行二維到三維形狀近似轉換此重建系統有別於一般以攝影機為基礎的三維重建技術，在硬體設備上比立體視覺法來的簡單容易，很適合用來發展視覺化三維建模系統，但該系統並非直接針對物體的實際外型來重建出三維模型，故並非是一套擬真的重建系統。 El hafed [28]等學者，提出一個具有強健性(Robust)的 3D 物體重建作法。這個方法是使用直角平行投影方式，來重建 3D 物體，如圖 1-13(a)。根據物體投影法的概念，提取感興趣的投影點，而非投影的每一像素 (體素圖方法)。由正交視角系統獲得等角投影視圖:前視圖、上視圖與右側視圖，作為影像投影資料來源的依據，如圖 1-13(b)。另一方面，本篇研究採用角偵測法 (Corner detection)來檢測影像中的轉角點。而該演算法提供了影像轉角點的整體像素位置，這可偵測並定出影像次像素的位置。一般而言，偵測系統的特點是它的定位 (localization) 跟它的可重複性 (repeatability)。而定位代表可偵測到圖片中的二維點，並. - 10 國立臺灣師範大學機電科技學系.

(25) 第一章緒論. 精確地對應到場景中的三維點。可重複性則代表可以從一系列連續的影像中，偵測到相同的點。但由一些著作研究指出，在定位與可重複性之間是存在矛盾的。因此，如同 Canny (John F. Canny 於 1986 年開發出來一個多級邊緣檢測演算法，提出邊緣檢測理論的工程師[29]。)所提的，平滑提高了可重複性，但使定位更加困難。故本研究針對上述的問題，提出 Harris detector algorithm (Chris Harris 所提出[30]。)的作法，並利用 Harris detector algorithm 來提取在每一視圖中感興趣的投影點，最後，使用 3D 空間中感興趣的交點重建出 3D 模型曲面。另外，為了模型平滑度的效果，作者引入以分割為基礎的平滑表現法(Smooth representation)，來修正線性平面網格。. (a). (b). 圖1-13 (a)直角投影的方式；(b)I.三維投影各視角；II.上視圖；III.前視圖IV. 右側視圖. 1.3 研究動機與目的在近年來，隨著電腦科技日益進步，三維電腦圖學漸漸地被引入 3D 重建的領域中，使現在重建的立體模型變得更加地生動活潑。加上當前成熟的三維建模技術，要使立體模型更加逼真已不再是棘手的問題。概觀現有之三維建模系統技術，目前以雷射立體掃瞄系統所重建出來的三維立體 - 11 國立臺灣師範大學機電科技學系.

(26) 第一章緒論. 模型品質最優，其重建出來的模型精緻度與擬真感是所有三維重建中最佳的。相對的，雷射立體掃瞄系統價格比一般以影像為基礎的三維立體重建系統還要貴，因此，除非必要，否則使用雷射立體掃瞄系統並不會是最符合經濟效益的工具。在 1.1 節中提過，三維重建技術中，在各方面考量上，被動式比主動式來的更具有優勢，下面表 1-1 列舉了主動式與被動式的比較。表 1-1 三維重建之主動式與被動式比較表三維重三維重建基礎特色建技術主動式以點資料為基礎，並三維重建模型品質佳。重建出三維模型。被動式以影像資料為基 1.成本低。礎，並重建出三維模 2.重建速度快。型。 3.重建物體尺寸不受限制。. 缺點 1.量測速度慢。 2.成本高。 3.重建物體尺寸有限。影像、相機須透過複雜校正程序。. 基於上述理由，本研究之目的在設計以二維影像序列為基礎，並實現三維物體的立體重建系統為目標。以往三維重建系統需架設多台攝影機，在系統資源管理上，是一項艱鉅的工作。因此，為了節省硬體設備與方便資料的管理，系統將採用前視圖與側視圖的影像作為重建三維模型之數據來源。在系統的硬體上，是採用 CCD 作擷取影像的裝置來源，搭配工程圖學點線面投影原理[31]，透過本研究自行發展的影像處理技術，提取影像的輪廓，最後，透過我們推導所得之三維重建的演算法，將立體模型重建出來並且完整地在電腦螢幕上顯示出來。而我們所要達成之目標，列舉如下:. - 12 國立臺灣師範大學機電科技學系.

(27) 第一章緒論.  快速重建：根據工程圖學正投影原理，以前視圖跟側視圖的影像資料，發展一組以影像為基礎的三維重建系統。  架構簡單：本系統無需透過複雜的校正程序，僅需兩張影像即可重建出三維模型。  深度重建：透過分項比例式的方式，即可反推算出重建後實際深度值。  成本低廉：本系統不需透過其它較昂貴之輔助系統即可達到以二維影像輪廓重建三維模型。. 1.4 本論文之貢獻本研究的最主要貢獻，大致可分兩方面來說明。在硬體部份，系統以最簡單的架構，將擷取影像系統建立起來，不需透過繁複的系統校正問題，即可快速重建出三維的模型；而在軟體三維重建技術上，則以數位影像處理中的反白、濾波及邊緣檢測原理，將二維影像的輪廓提取出來。在本研究的三維重建技術上，即引用圖學投影的概念，來重建三維物體模型。我們將 CCD Camera #1 模擬成第一象限中的前視圖，CCD Camera #2 模擬成第一象限中的俯視圖。在系統結構上，CCD Camera 所擷取到的影像，是一張二維序列的影像，透過數位影像前處理把二維序列影像轉成如同圖 1-14 的投影輪廓，最後，以本研究的重建系統把投影輪廓做合併，即可得到物體模型的三維形狀。. - 13 國立臺灣師範大學機電科技學系.

(28) 第一章緒論. 俯視圖投影面投射線. 物體右側視圖. 圖 1-14 透視投影. 1.5 論文架構本論文一共分為六章，各章內容依序如下：【第一章】-緒論:對研究背景、研究動機與目的做說明。【第二章】-理論基礎: 介紹數位影像反白、濾波、邊緣檢測技術與三維重建系統架構等基礎理論原理。【第三章】-系統組成設計與配置: 引用第二章理論基礎，發展三維重建系統架構。【第四章】-重建三維模型系統設計原理: 針對重建三維模型之影像前處理與建模架構做一詳細說明。【第五章】-實驗結果與討論: 本章節將對硬體架構描述、介面設計、系統建模執行結果、效能測試及成功率做一詳細的說明與分析。【第六章】-結論及未來展望: 本章節將對本論文做個總結。. - 14 國立臺灣師範大學機電科技學系.

(29) 第二章理論基礎第二章理論基礎本章節將講述本研究系統架構中所須之基本原理，包含有數位影像基本定義、數位影像反白原理、數位影像濾波原理、數位影像邊緣檢測原理，與工程圖學之點線面的正投影原理，以便作為後續章節中物體影像重建系統之基礎原理。. 2.1 數位影像基本定義一個影像可被定義為一個二維的函數 f ( x, y )，其中 x 和 y 是定義在空間(spatial)中之一平面座標，在任意一對座標軸( x, y )上， f 的大小稱為這幅影像在該點的強度(intensity)或是灰階(gray level)。當 x、y 與 f 的大小值都是有限的離散量時，則稱這幅影像是數位影像(digital image)。數位影像處理(digital image processing)的領域是指藉由數位電腦處理數位影像，而數位影像是由有限個元素所組成，而每個元素有特定的位置與數值，這些元素稱為照片元素(picture element)、影像元素(image element)、點(pel)或是像素(pixel)，其中像素是最常用來表示數位影像之元素的術語[32]。. 2.1.1 影像的感應與擷取我們所感興趣的影像種類，其產生是由「照度」源和取像「景物」各元素對該來源的反射或吸收之能量所組成，照度(illumination)和景物(scene) 比可見光照亮生活中三維景物的情況還要更一般化。例如 :照度可能源自於電磁能量，諸如雷達、紅外光、X 光能量或超音波，甚至是電腦產生的照度圖案等。同理，這些場景元素可能是熟悉的物體，它們可能會是分子，埋在地下的岩石結構，或是人類的大腦，甚至我們可以對一個光源取像，例如獲取太陽的影像。依光源的特性，照度能量被反射或穿透物體，第一. - 15 -. 國立臺灣師範大學機電科技學系.

(30) 第二章理論基礎類的例子是光從一個平坦的表面反射，第二類是當 X 光通過一個病人的身體，以產生一個診斷所需的 X 光片。在某些應用中，這種反射和傳送能量在光轉換器(例如螢光幕)上對焦，其中光轉換器是把能量轉換成可見光，而一般所使用的電子顯微鏡和一些 gamma 成像應用亦使用此方式來顯示影像。. 2.1.2 單一感應器取像圖 2-1 有三個主要的感應器排列方式，用來將照度能量轉換成數位影像。其概念是藉著輸入電力和對能感受特定能量的感應材料的結合，將進來的能量轉換成電壓。輸出電壓波形是感應器的響應，然後將這樣響應數位化後，從每一個感應器獲得數位的量。圖 2-1(a) 顯示一個單一的感應器組成分子，或許我們最熟悉的這種單一感應器是光二極體，它是由矽材料所構成且其輸出電壓波形和光成正比，此外，在感應器前端用濾波器可改善其選擇性。例如，在一個光感應器前端的綠色通過濾波器，有利於彩色光譜中綠色頻帶的光通過，其結果可讓感應器的輸出，在可見光譜裡的濾光會比其他成份來的強。為了使用單一感應器產生一個 2-D 的影像，在感應器和所要成像的區域之間，在 x 和 y 方向上都需要相對的移動。圖 2-2 顯示了一種高精度掃描的安排方式，其中底片安裝在滾筒上，其機械的旋轉提供了一維的位移，單一感應器則安裝在導螺桿上，提供垂直方向上的移動。因為機械的動作可控制的非常精確，所以這種方式是獲得高解析度影像的方式，但是其顯像速度慢。其他類似的機械安排方式是使用平台，讓感應器在兩線性方向上移動，這些機械數位化器有時稱為微密度計(microdensitometer)。. - 16 -. 國立臺灣師範大學機電科技學系.

(31) 第二章理論基礎. 圖 2-1 (a)單一成像的感應器(b)陣列式感應器(c)線形感應器. 圖 2-2 結合單一感應器與運動來產生一個二維的影像另一個用單一感應器成像的例子，是將一個雷射光源和感應器放在一起，並控制掃描圖案中的輸出光源以及引導雷射光反射於感應器上，均可用移動鏡子來控制。這樣的安排也可在以條狀感應器或陣列感應器取像上用。. - 17 -. 國立臺灣師範大學機電科技學系.

(32) 第二章理論基礎 2.1.3 使用長條型感應器取像如圖 2-1(c) 所示，比單一感應器更常被使用的幾何形狀，是以感應條形式呈現的線形感應器，感應條提供一個方向上的像素，感應條垂直移動則提供另一方向上的成像，此應用如圖 2-3(a)所示。這是大多數平台掃描器所使用的方式，所以一般用到高達 4000 甚至更多個線形感應器裝置是可能的。線形感應器經常應用在空中成像，這些成像系統被安裝在飛機上，以一定的高度和速度飛越要被取像的地理區域。而一維影像感應器，則被安置於與飛行垂直的方向上。成像條一次給一行影像，而二維影像的另一維度，則由成像條的移動來完成。另外，透鏡或其他的聚焦系統，是用來投射至將被掃瞄區域的感應器上。圖 2-3(b) 所示，其安裝在環狀結構上的感應器，是用於醫學與工業的成像上，以獲取 3D 物體橫截面的「切片」影像。一個轉動的 X 光源提供了照度，而位在光源對面的感應器，則收集穿透物體的 X 光能量。以上系統，是應用於醫學與工業上的電腦斷層掃描(CAT)基礎。而感應器的輸出必須以重建演算法處理，其目的是將感應資料轉成有意義的橫截面影像，因為影像不是單純直接由感應器移動所產生，而是需要大量的處理。當一個物體沿著環形感應器垂直的方向移動時，即可產生一個由影像堆棧而成的 3D 數位立體模型。其他建立在 CAT 原理上的成像系統，包含核磁共振影像(MRI)和正子放射斷層掃描(PET)，這些照度源感應器以及影像種類都不同，但在概念上，它們與圖 2-3(b)中所示之基本成像的方式非常類似。. - 18 -. 國立臺灣師範大學機電科技學系.

(33) 第二章理論基礎. 圖 2-3 (a)用一個線性感應器條擷取影像(b)用一個環形感應器擷取影像. 2.1.4 數位影像顯像基本要素數位影像顯像基本要素一張完美的數位影像主要是由一系列的像素所組成，那數位影像是怎麼形成的呢？其形成的要素主要可分為兩個，第一是針對我們希望獲得影像的物體，能感測該物體所放射的能量的敏感物理感應裝置；第二是數位化器(digitizer)，它是一個將上述物理感應裝置上的類比訊號轉成數位訊號之裝置。舉例來說，在數位攝影機裡，感測器能產生與光強度成正比的電之輸出，數位化器將這些輸出轉成數位資料。而敏感的物理裝置一般都使用感應陣列的方式來取像，如圖 2-1(b)中所示，是一個以二維陣列形式排列的個別感應器。許多電磁和超音波感應裝置常排列成這樣的形式，這也是數位相機上常用的主流排列方式。而數位相機上所採用的，為典型的感應器 CCD 陣列；這些 CCD 可被製成具廣泛感應性質之強大的陣列感應器，且被包裝成的形式有 4000 × 4000 或更多的像素。CCD 感應器被廣泛地應用於數位相機和其他光感應的儀器上，每一感應器響應正比於投射至感應器表面上之光能量的積分，這也是用在天文學或其它需要低雜訊影像 - 19 -. 國立臺灣師範大學機電科技學系.

(34) 第二章理論基礎應用上的一個特性。雜訊的降低，可藉由對光輸入訊號之積分的感應器超過數分鐘或甚至數小時來達成。在圖 2-4 中的成像系統，其感應陣列是二維的，所以它的主要優點，是讓能量圖案聚焦在陣列的平面上，如此便可獲得一個完整的影像。圖 2-4 顯示了陣列感應的主要方式。此圖說明一個情景元素反射照度源的能量，而能量也可透過情景元素來傳送。圖 2-4 中所顯示的成像系統，執行的第一個功能是收集進來的能量，並將其聚焦於影像平面上。若照度是光，成像系統前端為一個透鏡，那麼就可將所看到的景象投射至透鏡的聚焦平面上，如圖 2-4 中的影像平面所示。置於聚焦平面上的感應陣列產生與在每一個感應器輸出所接收到之光線積分成正比，數位與類比電路掃描這些輸出，並且將其轉成視訊信號，接著藉由成像系統另一部分來數位化，最後輸出一個數位的影像，其流程如圖 2-4 所示。. 圖 2-4 數位影像擷取處理的說明. - 20 -. 國立臺灣師範大學機電科技學系.

(35) 第二章理論基礎 2.1.5 影像的取樣和量化的基本概念影像的取樣和量化的基本概念大部份感應器的輸出是連續電壓波形，其振幅與空間上的特性與要感應的實際現象有關。為了產生數位影像，則需要把連續感應的資料轉換化成數位形式。這過程包括兩個程序:取樣(Sampling)與量化(quantization)。取樣與量化之基本概念如圖 2-5 所描繪，圖 2-5(a) 顯示要變成數位形式的一幅連續影像 f ( x , y )。一個影像對於 x 和 y 座標以及振幅都可能是連續的，為了將其轉成數位化的形式，則須對其兩個座標以及振幅函數取樣，故將座標值數位化稱為取樣，而將振幅值數位化稱為量化。. (a). (b). (c). (d). 圖 2-5 (a)連續的影像(b)在連續影像上掃描從 A 到 B 的線用來說明取樣和量化的概念(c)取樣和量化(d)數位掃描線圖 2-5(b)中所顯示的一維函數是圖 2-5(a)中之連續影像沿 AB 線段的振幅 (灰階)值圖形。隨機變動的原因是影像雜訊所致，為了對此函數進行取樣，我們沿著 AB 線段間隔來進行取樣工作，如圖 2-5(c)所示，其中每一個取 - 21 -. 國立臺灣師範大學機電科技學系.

(36) 第二章理論基礎樣的位置是以在圖下方的垂直刻畫表示，這些取樣點是以疊加在函數上方的小白色方塊顯示，並經由這些離散位置的集合產生取樣的函數。然而，此取樣值仍然垂直地跨越過一個灰階值的連續範圍，為了形成一個數位函數，灰階值也必須轉換(量化)成離散量。如圖 2-5(c)的右邊所示，灰階的大小被分為八個離散層，範圍從黑到白，這個垂直的刻度記號表示指定到八個灰階層中每一層的特定值，藉著指定八個離散灰階裡的其中一個，並給定一個樣本，就可將連續灰階作量化。這個指派方式是依樣本離垂直刻度的垂直遠近而言。圖 2-5(d)顯示取樣和量化所得的數位取樣，從影像的頂部開始，逐行執行此程序，以產生二維數位影像。. 2.1.6 數位影像的描繪影像經過取樣和量化的結果成為一個實數矩陣，在這裡我們將會使用陣列形式來表示數位影像。假設一幅影像 f ( x, y )被取樣後，得到 M 列和 N 行的數位影像，此時座標( x, y )的值會變成離散值；為了符號表示上的清楚和便利，在這裡將使用整數值來表示這些離散座標。因此，設定影像原點的座標值為( x, y ) = ( 0 , 0 )，影像第一列的下一個座標值可表示成( x, y ) = ( 0 , 1 )，而( 0 , 1 )的符號標示是用來表示沿著第一列的第二個取樣。當影像取樣時，它並不代表實際座標上的真正值，而是代表 f 在任意座標 ( x, y )處的強度。圖 2-6 顯示了一般均採用的座標表示慣例。. - 22 -. 國立臺灣師範大學機電科技學系.

(37) 第二章理論基礎. 圖 2-6 數位影像一般座標定義的方式在這裡我們使用標記法將整個 M×N 數位影像寫成如下列所表示的陣列形式:.  f (0,0)  f (1,0) f ( x, y ) =   M   f ( M − 1,0). f (0,1) f (1,1). L L. M f ( M − 1,0). L f (0,0). f (0, N − 1)  f (1, N − 1)   M  f ( M − 1, N − 1). (2-1). 該方程式右邊被定義為一數位影像，而此陣列的每一個元素稱為影像元素 (Image Element)、圖片元素(Picture Element)或是像素(Pixel 或 Pel)。. 2.2 空間域中的數位影像增強處理影像增強處理的主要目的是處理一張影像，使其結果對特定的應用而言會比原始影像更合用。一般將影像增強的處理方式可分為兩種:一種為空間域(Spatial Domain)增強方式，另一種為頻域(Frequency Domain)增強方式。空間域這個術語是指影像平面本身，其方法是直接處理影像中的像素，而頻域域這個術語是指傅立葉轉換值及其頻率變數所定義的空間，其. - 23 -. 國立臺灣師範大學機電科技學系.

(38) 第二章理論基礎處理技術是以修改影像的傅立葉轉換為基礎，而本研究僅針對空間域的增強處理做討論。. 2.2.1 影像增強背景影像增強背景如前所述，空間域這個術語是指組成一幅影像的像素集合，而空間域的方法是直接在這些像素上進行運算的程序。空間域處理可表示為. g( x, y ) = T [ f ( x, y )]. (2-2). 式中 f ( x, y )是輸入影像的強度，g ( x, y )是處理後的影像強度，T 是定義在( x, y )的某一個鄰域上作用於 f 上的一個運算子。另外，T 也可以定義為作用於一組輸入影像上。定義一點( x, y )附近一個鄰域的主要方法是使用以( x, y )為中心的正方形或是矩形子影像區域，如圖 2-7 所示。比方說子影像的中心是在左上角開始一個像素接一個像素移動。運算子 T 作用在每個位置( x, y )，而在該位置產生輸出 g。此程序僅利用鄰域所延展影像區域中的像素，雖然有時會使用如近似於圓的其他鄰域形狀，但是最佔優勢的還是方形或矩形陣列，因為它們較容易出現。. 圖 2-7 一幅影像中一個點( x, y )附近的一個 3×3 鄰域. - 24 -. 國立臺灣師範大學機電科技學系.

(39) 第二章理論基礎 T 最簡單的形式是當鄰域為 1×1(亦即單一像素)時，在這種情況下，g 只取決於 f 在點( x, y )上的值，此時 T 變成一個灰階度(gray-level) (也稱強度(intensity)或是映射轉換函數(mapping transformation function) ，其形式為. s = T (r ). (2-3). 其中為了簡化符號，表示 r 和 s 分別代表在點( x, y )上 f ( x, y )和 g ( x, y ) 之灰階度的兩個變數。. 2.2.2 基本灰階轉換我們藉由討論灰階轉換函數開始影像增強技術研究，這些是所有影像增強技術中最簡單的，在處理前和處理後的像素值將分別以 r 和 s 表示。誠如前面所述，這些值之間的關係以的 s =T (r)的形式表達，其中 T 是將像素值 r 映射至像素值 s 的轉換。因為討論的數是”數位量”，轉換函數的值通常儲存在一維陣列中，而從 r 到 s 的映射結果是以查表法來實現，對於一個八位元的環境，其含 T 值的表會有 256 筆資料。圖 2-8 為灰階轉換的介紹，其中顯示影像增強常用的三個基本函數: 線性(負片和恆等轉換)、對數(log 和反 log 轉換)以及乘冪定律(n 次乘冪和 n 次方根轉換)。這裡僅對負片做討論，其餘函數被包含在圖形中只是為了完整性，此處不再多作贅述。. - 25 -. 國立臺灣師範大學機電科技學系.

(40) 第二章理論基礎. 圖 2-8 使用在影像增強的一些基本灰階轉換函數. 2.3 影像負片灰階在範圍[0, L-1]中之影像的負片，可使用圖 2-8 中所顯示的負片轉換獲得，一般也稱負片為反白，其轉換式為:. s = L −1− r. (2-4). 以此方式將影像強度反轉，產生等同於一照相負片的效果。這種形式的處理，最適合增強隱藏於一張黑暗區域裡之白色或灰色細節的影像，特別是當黑色區域佔大部份時，其效果最明顯。圖 2-9 顯示一個這樣的例子，其中原始影像是呈現一個小病害的數位乳房 X 光。儘管實際上兩張影像中的視覺內容相同，但在此一特定的情況下，分析這張胸部組織之負片影像比原來影像要來的容易許多。. - 26 -. 國立臺灣師範大學機電科技學系.

(41) 第二章理論基礎. (a). 圖 2-9. (b). (a) 最初的數位乳房 X 光片 (b) 使用負片轉換後所獲得結果[32]. 2.4 空間濾波的基礎空間濾波的方式展示於圖 2-10 中，這個處理只要將濾波遮罩從影像的一點移動到另一點，而每一點( x, y )處濾波器在該點的響應(response)，可用預先定義的關係來計算，對於線性(linear)空間濾波響應是由濾波係數與濾波遮罩所涵蓋區域內對應的影像像素乘積的和所獲得。在圖 2-10 中被放大的圖畫是顯示一個 3×3 的遮罩與直接在其下方的影像部份，影像部份是從遮罩下顯示出來以方便閱讀，其中 w(x,y)是表示遮罩係數。對於圖 2-10 中顯示的 3×3 遮罩與影像中點( x, y )處之濾波器遮罩的線性濾波結果(或響應)R 可表示為. R = w(− 1,−1) f ( x − 1, y − 1) + w(− 1,0) f (x − 1, y ) + L + w(0,0) f ( x, y ) + L + w(1,0) f (x + 1, y ) + w(1,1) f (x + 1, y + 1). - 27 -. 國立臺灣師範大學機電科技學系.

(42) 第二章理論基礎. 圖 2-10 空間濾波的方式而我們所看到的是遮罩係數和遮罩所對應像素乘積的和。特別注意到遮罩係數 w(0,0)與影像強度 f ( x, y )一致，代表當進行計算成績的和時，遮罩中心的位置是在( x, y )處。對一個 m×n 大小的遮罩，我們假設 m=2a+1 以及 n=2b+1，其中 a 和 b 是非負整數。所有這些表示在以下討論中的奇數大小遮罩，其中有意義的最小尺寸為 3×3(從我們的討論中，我們排除 1×1 遮罩這種瑣碎的情況)。對一般而言，大小為 M×N 的影像 f 與大小 m×n 之慮波器遮罩的線性濾波以下式表示:. g ( x, y ) =. a. b. ∑ ∑ w(s, t ) f (x + s, y + t ). (2-5). s = − a t =− b. 其中從上一段得知 a =(m-1)/2 和 b =(n-1)/2。為了產生一個完整的濾波影像，方程式必須在當 x = 0, 1, 2,…, M-1 以及 y = 0, 1, 2,…, N-1 時運用，因. - 28 -. 國立臺灣師範大學機電科技學系.

(43) 第二章理論基礎為影像不考慮 x = -1, -2,…, -(M-1)以及 y =-1, -2,…,-(N-1)的情況，依此方式，我們可以確保遮罩處理了影像中所有的像素。當我們比較感興趣的是一個在任意點( x, y )之 m×n 遮罩的響應 R，而不是在實現遮罩迴旋積上的技巧時，通常作法是用以下表示式簡化符號的表示: mn. R = w1 z1 + w2 z2 + L + wmn zmn = ∑ wmn zmn. (2-6). i =1. 其中各 w 是遮罩係數，z 是影像對應到那些係數的灰階值，而 mn 是遮罩中係數的總數。對於圖 2-11 中顯示的 3×3 遮罩，影像在任意點(x, y)的響應為: 9. R = w1 z1 + w2 z2 + L + w9 z9 = ∑ wi zi. (2-7). i =1. 圖 2-11 一般 3×3 空間濾波遮罩的另一種表示方法. 2.4.1 平滑空間濾波器功能平滑空間濾波器功能平滑濾波器(Smoothing Filter)用於模糊化和減少雜訊。模糊化用於預. - 29 -. 國立臺灣師範大學機電科技學系.

(44) 第二章理論基礎處理階段，例如:在抽取(大的)物體之前，從影像中消去較小的細節，或把直線或曲線上的小間隙連接起來等。而減少雜訊則可用一個線性濾波器使影像模糊來完成，也可以用非線性濾波來完成。. 2.4.2 平滑空間濾波器平滑線性空間濾波器的輸出(響應)是濾波器遮罩的鄰域所含像素的平均值，這類型的濾波器有時候被稱為平均濾波器(averaging filters)，而在頻域上它們被稱為低通濾波器(lowpass filters)。平滑濾波器的想法是很直接的，以濾波器遮罩所定義之鄰域中灰階之平均值，取代影像中的每一個像素，如此程序產生一個在灰階上「銳利」變化降低的影像。因為隨機雜訊通常在灰階上含有銳利的變化，所以平滑最明顯的應用是在減少雜訊。然而，邊緣也在灰階上有銳利變化的特性，所以平滑濾波器有模糊邊緣這個不好的副作用。此種處理的另一個應用包括假輪廓的平滑，而此假輪廓是由於灰階數不足所造成。平滑濾波器的一個主要應用是把影像中不相干的細節減少，而所謂「不相干」，是指小於濾波器遮罩大小的像素區域。圖 2-9 顯示兩個 3×3 的平滑濾波器，第一個濾波器的使用產生在遮罩下之像素的標準平均，這一點以遮罩的係數代入(2-7)式中最容易看出:. R=. 1 9 ∑ zi 9 i =1. (2-8). 這是由遮罩所定義之 3×3 鄰域中像素灰階的平均，其中濾波器的係數都為 1，而不是 1/9，這裡的想法是設定為 1 的係數值，在計算上會更有效率，在慮波處理結尾時，整個影像再以 9 來除，故一個 m×n 的遮罩會有一個等於 1/mn 的正規化常數。一個所有係數都相等的空間平均濾波器有時候稱為方盒濾波器(box filter)。 - 30 -. 國立臺灣師範大學機電科技學系.

(45) 第二章理論基礎顯示在圖 2-12(b) 的這個遮罩，產生了所謂的權重平均 (weighted average)，這樣的術語用來指像素以不同的係數相乘，因此，權重平均將給某些像素更多的重要性而犧牲其它的像素。. (a). (b). 圖 2-12 兩個 3×3 平滑(平均)濾波遮罩. 2.5 影像邊緣檢測邊緣檢測是圖像處理和電腦視覺中的基本問題，邊緣檢測的目的是標識數字圖像中亮度變化明顯的點，圖像屬性中的顯著變化通常反映了屬性中的重要事件和變化，這些包括:(i)深度上的不連續、(ii)表面方向不連續、 (iii)物質屬性變化和(iv)場景照明變化。圖像邊緣檢測大幅度地減少了數據量，並且剔除了認為不相關的信息，保留了圖像重要的結構屬性。這裡將針對邊緣檢測處理，介紹並說明幾個比較常用的方法，包括 Laplacian edge detection、Sobel edge detection 與 Canny edge detection。. 2.5.1 拉普拉斯邊緣偵測拉普拉斯邊緣偵測法(Laplacian edge detection) 拉普拉斯邊緣偵測法(Laplacian edge detection)用的是二階導數的方法，其定義為:. ∂2 ∂2 ∇ f (x, y ) = 2 f (x, y ) + 2 f ( x, y ) ∂x ∂y 2. - 31 -. 國立臺灣師範大學機電科技學系. (2-9).

(46) 第二章理論基礎在數位影像上是使用如圖 2-13 所示之拉普拉斯遮罩的其中一個去做二階導數計算。圖 2-14 中可以看到邊界之一階導數及二階導數的表示圖形。一階導數是以最大值作邊界設定，而二階導數是以其陡峭下滑且越零點的位置來找尋邊界。. (a). (b). 圖 2-13 拉普拉斯遮罩. 圖 2-14 邊界的一階導數及二階導數的表示圖形[33] 由於拉普拉斯運算子是二階導數，因此它對於雜訊有極高的敏感性，而且對於雙邊緣帶的情況時，有不易檢測出邊緣的方向的缺點。基於這個原因，Laplacian 就比一階導數少用。若要降低雜訊的影響，可先作平滑的. - 32 -. 國立臺灣師範大學機電科技學系.

(47) 第二章理論基礎動作，而具有 Gaussian 脈衝響應的低通濾波器，便是一個很好的選擇[33]。設 Gaussian 形式的脈衝響應為.  x2 + y2   h( x, y ) = exp − 2σ 2  . (2-10). 其中σ為標準差，因此取 Gaussian 響應的 Laplacian 就成了拉氏-高斯濾波器之響應:.  r2 −σ 2   r   exp − 2  ∇ 2 h =  4 σ    2σ . (2-11). 其中 r2 = x2 + y2，圖 2-15 是拉氏-高斯濾波器的響應圖。. 圖 2-15 拉氏-高斯濾波器響應圖[33]. 2.5.2 索貝爾邊緣偵測索貝爾邊緣偵測法(Sobel edge detection) 索貝爾邊緣偵測法(Sobel edge detection)亦為圖像處理中的運算子之一，其功能主要也是作邊緣檢測。在技術上，它是一離散性差分運算子，用來運算圖像亮度函數的梯度之近似值。在圖像的任何一點使用此運算子，將會產生對應的梯度向量或是其法向量。該運算子包含兩組 3×3 的矩陣，分別為橫向及縱向，將之與圖像作平面摺積，即可分別得出橫向及縱 - 33 -. 國立臺灣師範大學機電科技學系.

(48) 第二章理論基礎向的亮度差分近似值。如果以 A 代表原始圖像，Gx 及 Gy 分別代表經橫向及縱向邊緣檢測的圖像，其公式如下:.  − 1 0 1 G x = − 2 0 2 ⊗ A  − 1 0 1. (2-12). 2 1 1 G y =  0 0 0  ⊗ A − 1 − 2 − 1. (2-13). 圖像的每一個像素的橫向及縱向梯度近似值可用以下的公式結合，用來計算梯度的大小， 2. G = Gx + G y. 2. (2-14). 接著，可用以下公式計算梯度方向，.  Gy  Θ = tan −1    Gx . (2-15). 在以上例子中，如果以上的角度 Θ 等於零，即代表圖像該處擁有縱向邊緣，左方較右方暗。. 2.5.3 坎尼邊緣偵測法坎尼邊緣偵測法(Canny edge detection) A. Canny 提出 Edge Detection 濾波器的評估準則：濾波器的評估準則： 1. 在平坦的影像區域沒有響應，則濾波器係數和為零:. ∑. 2. 等向性(Isotropy): 濾波器響應必須與 edge 方向無關。 3. 正確的 edge 偵測能力，避免以下情形: - 34 -. 國立臺灣師範大學機電科技學系. r ,c. w (r , c ) = 0.

(49) 第二章理論基礎 -將雜訊誤判為 edge，此為 false positive。 -未能找出真正 edge，此為 false negative。 4. 好的定位(localization): 偵測的 edge 位置應儘可能接近真正 edge 位置。 5. 單一響應(single response): 儘可能減少 edge 附近 local maxima 的數量。 B. Canny 的邊緣偵測器原理的邊緣偵測器原理：原理： 1. 應用高斯濾波器在灰階影像 f(x,y)，得到平滑影像 g(x, y) = f(x, y) * wG(x, y,σ)。 2. 應用微分濾波器 ▽g(x, y) 計算邊緣強度 (magnitude) 和方向 (orientation)。高斯濾波器參數 σ 決定邊緣偵測器的大小。決定適當 σ 應依下列需求： -想要得到 edge 的細節程度(fine edges vs global edges); -雜訊的多寡; -偵測性定位/準確度 trade off； Canny 提出兩個方法來滿足邊緣偵測器單一響應和定位正確性的要求： -Non-maxima suppression 1. 對每一點 C(x,y), 選定垂直於 orientation 方向兩個側邊的鄰近點，記作 A 和 B，如圖 2-16 所示； 2. 若 M(A) > M(C) or M(B) > M(C), 則 C 不為 edge(設定 M(C(x,y))=0)；. - 35 -. 國立臺灣師範大學機電科技學系.

(50) 第二章理論基礎 3. 輸出(edge)強度影像 MNMS(x , y)；. 圖 2-16 Non-maxima suppression 的示意圖 non-maxima suppression 輸出仍會帶有一些非 edge 的 local maxima，同時 connectivity 性質不明顯的 edge 區域。Canny 的 Hysteresis thresholding 方法提供了解決方案。 -Hysteresis thresholding 1. 定義兩個 thresholds, Thigh and Tlow，像素(x, y) 如果 MNMS (x, y) > Thigh，該像素就稱為 strong，像素(x, y) 如果 MNMS (x, y)≦Tlow，該像素就稱為 weak，所有其他的像素稱為 candidate； 2. 如果像素(x, y)是 weak，則略去；如果是 strong，則輸出為 edge 像素； 3. 如果像素(x, y)是 candidate，而且 MNMS > Tlow，則判斷是否沿著 local maxima 相連的 edge 方向有穿過(x, y)，若是，則輸出為 edge； 4. 如果 candidate 像素(x, y)與一 strong 像素相鄰，則輸出該 candidate 為 edge。以上說明可以圖 2-17 來表示。. - 36 -. 國立臺灣師範大學機電科技學系.

(51) 第二章理論基礎. 圖 2-17 Hysteresis thresholding 的示意圖 C. Canny 邊緣偵測濾波演算法：邊緣偵測濾波演算法： 1. 變化 σ 重複步驟(2)到(6)； 2. 以 scale σ 的高斯濾波器對影像 g 執行迴旋積； 3. 估測每一像素的區域邊緣的正交方向 n ， n =. ∇G ⊗ f ； ∇G ⊗ f. 4. 應用 non-maximal suppression 方法找出 edges 位置； 5. 計算 edges 強度 MNMS (x, y) 6. 應用 hysteresis thresholding 消除 edge 毛邊，並接續 edge 斷點； 7. 累積多重 scale σ 的 edge 資訊，合成最後的 edge 影像；. - 37 -. 國立臺灣師範大學機電科技學系.

(52) 第二章理論基礎 2.6 三維投影原理三維投影原理 A. 投影定義經由物體表面上的各點反射出來的光線，投射到一個平面上，所構成的像，稱為此物體的投影，就如同人被拍照時，在底片上的像，就是人的投影。此時的光線稱為投射線，物體投影到的平面稱為投影面，如圖 2-18。如果將投影面視為紙面，則投影我們稱之為視圖。物體在投影面上的投影則稱為投影視圖[31]。. 圖 2-18 正投影. 圖 2-19 斜投影根據投射線與投影面間的關係，投影可分成正投影、斜投影和透視投. - 38 -. 國立臺灣師範大學機電科技學系.

(53) 第二章理論基礎影三種。投射線彼此平行，且垂直於投影面的投影，稱為正投影如圖 2-18，由正投影所得的視圖，稱為正投影視圖；投射線彼此平行，但不垂直於投影面的投影，稱為斜投影由斜投影如圖 2-19，所得的視圖，稱為斜視圖；投射線彼此不平行，但集中於一點的投影，稱為透視投影如圖 2-20，由透視投影所得的視圖，稱為透視圖。在工程圖中以使用正投影為極大多數，若非特別註明為斜投影或是透視投影者，均為正投影。. 圖 2-20 透視投影在正投影中，面對我們而垂直於地面的投影面，稱為直立投影面，以「V」表示，簡稱 V 面。平行於地平面的投影面，稱為水平投影面，以「H」表示，簡稱 H 面。直立投影面與水平投影面相交成直角，把空間分成四部份，由前上、後上、後下、前下順序依次稱為第一象限(IQ)、第二象限(IIQ)、第三象限(IIIQ)、第四象限(IVQ)。投影面與投影面的交線稱為基線，水平投影面與直立投影面的基線以 HV 表示如圖 2-21。. - 39 -. 國立臺灣師範大學機電科技學系.

(54) 第二章理論基礎. 圖 2-21 四個象限. 圖 2-22 投影面的展平. 因為紙是平面的，所以物體在水平投影面和直立投影面上分別產生投影後，再將水平投影面以 HV 為軸，向前下方旋轉，使與直立投影面重合如圖 2-22，然後把各投影面上的投影照樣畫在紙上，便得物體的二個視圖如圖 2-23，凡物體在直立投影面上的投影稱為直立投影；在水平投影面上的投影稱為水平投影。由直立投影得此物體的前視圖；由水平投影得此物體的俯視圖。. 圖 2-23 物體的二個視圖. 圖 2-24 基線與投影線. 在初步研習投影原理時，為便於了解，繪製視圖時，常將基線和投影線用細實線畫出。因正投影的投影線與投影面垂直，所以基線與投影線必互相垂直，同時在繪出之視圖中，基線 H、V、P 等之註記位置，就視圖所在投影面而定，如圖 2-24。. - 40 -. 國立臺灣師範大學機電科技學系.

(55) 第二章理論基礎 B. 體的投影由點構成線，由線構成面，由面構成體。凡由平面構成之體，稱為平面，如角柱、角錐等。凡由平面和曲面或全由曲面構成之體，則稱為曲面體，如圓柱圓錐球等。因體是由面構成的，因此體上的兩面投影在同一投影在同一投影面上時，會產生重疊或被遮住的現象，因此可見的輪廓以隱藏線表示，隱藏線是以虛線繪製。 1. 設有一角柱如圖 2-25(a)，其軸線垂直於直立投影面、平行於水平投影面，立於第一象限，其視圖如圖 2-25(b)所示。同一角柱於第三象限，其視圖如圖 2-25(c)所示。. (a). (b). (c). 圖 2-25 (a)角柱 (b)角柱在第一象限之視圖 (c)角柱在第三象限之視圖 2. 設有一正六角柱，其軸線平行於直立投影面、不垂直於平行投影面，立於第一象限，其視圖如圖 2-26 所示。同一角柱立於第三象限，其視圖如圖 2-27 所示。. - 41 -. 國立臺灣師範大學機電科技學系.