Kinect深度感測器於立體掃描應用

大華科技大學

電機與電子工程系碩士班

碩士論文

Kinect 深度感測器於立體掃描應用

3D Scanning Application Using the

Depth Sensors of a Kinect

研 究 生：黃 譯 鋒

指導教授：許 益 健

Kinect 深度感測器於立體掃描應用

3D Scanning Application Using the Depth Sensors of a Kinect

研 究 生：黃譯鋒

Student：I-Feng Huana

指導教授：許益健

Advisor：I-Chien Hsu

大華科技大學

電機與電子工程系碩士班

碩士論文

A Thesis

Submitted to Department of Electrical and Electronic Engineering College of Engineering and Design

Ta Hwa University of Science and Technology in Partial Fulfillment of the Requirements

for the Degree of Master of Science

in

Electrical and Electronic Engineering July 2018

Hsinchu, Taiwan, Republic of China.

摘要

本論文利用微軟Kinect for Xbox One感應器V2，即時掃描人像物件，建 立3D立體圖檔，再結合3D列印技術（3D Printing），快速製作靜態的人像及 物件的產品成型，應用於教育學術上啟發更多創意和未來發展的思維。文 中主要使用的軟體是3D Builder和Kinect Fusion做模型的建模成形，兩款都 是屬於Microsoft開發的軟體，但在使用上各有優缺點，故此針對不同的差 異點做一個探討，透過Kinect V2深度感測器的景深和測試物件距離的分析， 來比較人像模型在各個距離下的點雲（point cloud）分布數，再結合三角網 格建構出模型，藉此來分析模型的平滑度和可掃描物件的理想範圍，和透 過三種不同的光源做比較，折射光、散射光、環境光，來評估最佳的光源環 境選擇，調校出適合待測物放置的理想位置，實驗最後的結論證實，就算 不使用昂貴的3D Scan，但只要經過參數的調校和環境的設計，依舊可以建 構出完整的人像模型，並綜合最後建模軟體的優缺點比較，挑選適合的３ Ｄ建模軟體為最主要的目的。 關鍵字：Kinect、三維掃描、3D 建模、3D 列印技術。

Abstract

This paper uses Microsoft Kinect for Xbox One sensor V2 to instantly scan portrait objects, create 3D stereo files, and combine 3D printing technology to quickly create static portraits and objects. More creativity and thinking about future development. The main software used in this article is the modeling of 3D Builder and Kinect Fusion. The depth of field of the depth sensor and the distance of the test object are used to compare the point cloud distribution of the portrait model at various distances, and then the triangle mesh is used to construct the model, thereby analyzing the smoothness and the model. The ideal range of scanned objects, compared with three different light sources, refracted light, scattered light, ambient light, to evaluate the best choice of light source environment, adjust the ideal position suitable for the object to be tested, the final conclusion of the experiment confirmed. We can construct a complete portrait model and adjust the advantages and disadvantages of the final modeling software, and select the appropriate 3D modeling software.

目錄

摘要 ... I Abstract ... II 圖目錄 ... V 表目錄 ... X 第一章 緒論 ... 1 1.1 前言 ... 1 1.2 研究動機與背景 ... 1 1.3 研究目的與研究範圍 ... 2 1.4 Xbox Kinect 介紹 ... 2 1.4.1 3D 掃描器的原理及種類 ... 6 1.4.2 3D 列印技術的原理 ... 12 1.4.3 3D 列印的成型種類 ... 15 1.4.5 3D 列印的發展現況 ... 20 1.5 章節說明 ... 23 第二章 研究方法 ... 24 2.1 研究架構 ... 24 2.1.1 硬體設備 ... 25 2.1.2 軟體設備 ... 32 2.2 研究設計 ... 34

第三章結果分析 ... 63 3.1 實驗數據與參數設定 ... 63 3.2 實驗結果 ... 70 第四章結論與未來發展 ... 77 4.1 研究結論 ... 77 4.2 未來發展 ... 79 參考文獻 ... 80

圖目錄 圖 1.1 Kinect 體感裝置 ... 3 圖 1.2 Kinect V2 TOF 技術影像成型 ... 4 圖 1.3 雙眼立體視覺-攝像機擺放的相對位置 ... 6 圖 1.4角剖分原理計算時間差信息………... 7 圖 1.5 立體匹配算法 ... 7 圖 1.6 始投影光斑進行比較和對比 ... 8 圖 1.7 三角測量原理計算 ... 9 圖 1.8 Light coding 的投射 ... 10 圖 1.9 Light coding 平均位置上做分配 ... 10 圖 1.10 深度影像取得方法的比較 ... 11 圖 1.11 切層軟體的 G-code 列印程序 ... 13 圖 1.12 3D 列印機的機構原理 ... 14 圖 1.13 3D 列印機模型成型的示意圖 ... 14 圖 1.14 PLA（聚乳酸）材料 ... 15 圖 1.15 ABS 塑材... 16 圖 1.16 選擇性雷射熔融原理 ... 16 圖 1.17 選擇性雷射燒結原理 ... 17

圖 1.18 光固化立體造型原理 ... 18 圖 1.19 3DP 原理 ... 19 圖 1.20 熔融沉積造型原理 ... 19 圖 1.21 3D 列印在工業上的用途 ... 20 圖 1.22 生物列印機 ... 21 圖 1.23 IPhone X 臉部掃瞄功能 ... 22 圖 2.1 本論文主要的流程架構 ... 24 圖 2.2 個人電腦備配備 ... 26

圖 2.3 XBOX One Kinect V2 及轉接器 ... 28

圖 2.4 白色電動轉盤 ... 29

圖 2.5 D-Force 300 V2 3D 印表機之外觀 ... 31

圖 2.6 3D Scan ... 32

圖 2.7 3D Builder ... 32

圖 2.8 Kinect for windows SDK 2.0 ... 33

圖 2.9 Meshmixer Repetierhost ... 35

圖 2.10 Kinect Fusion Explorer-WPF 介面 ... 35

圖 2.11 3D Builder ... 36

圖 2.12 3D Builder 人像模型-水平擺放 ... 37

圖 2.14 3D Builder 修復模型破洞的地方 ... 38 圖 2.15 3D Builder 模型的修補及內部實體化... 39 圖 2.16 3D Builder 修復破損的部分 ... 39 圖 2.17 3D Builder 模型網格 ... 40 圖 2.18 3D Builder 檢視模型網格 ... 40 圖 2.19 Meshmixer Transform 選項 ... 41 圖 2.20 Meshmixer 移動模型 ... 42 圖 2.21 Meshmixer 三維角度調整 ... 42 圖 2.22 Meshmixer 執行檢查破面的程序 ... 43 圖 2.23 顯示模型破面處的個數範圍 ... 44 圖 2.24 修補破面的範圍 ... 44 圖 2.25 模型的裁切 ... 45 圖 2.26 裁切的範圍 ... 46 圖 2.27 貼齊網底 ... 46 圖 2.28 細部修補的選項 ... 48 圖 2.29 面部修補完成 ... 48 圖 2.30 做實心填充 ... 49 圖 2.31 實心填充進行中及計算填補體積 ... 50 圖 2.32 選擇轉檔的選項 ... 51

圖 2.33 選擇存取 STL 類型檔案 ... 51

圖 2.34 STL 檔匯入 Repetierhost ... 52

圖 2.35 Slic3 在 Repetierhost 裡調整模型輸出後的大小 ... 53

圖 2.36 Slic3 切片軟體做參數設定 ... 53

圖 2.37 Slic3 切片軟體設定模型填充比例 ... 54

圖 2.38 Slic3 切片軟體設定 Skirt and Brim ... 54

圖 2.39 生成可供 Slic3r 切片軟體輸出的代碼 ... 55

圖 2.40 代碼輸入進 Repetierhost 做列印 ... 56

圖 2.41 模型底層 Skirt and Brim 的過程 ... 59

圖 2.42 模型底層的雛形架構... 59 圖 2.43 填充內部網格結構 ... 60 圖 2.44 模型半身的製程 ... 60 圖 2.45 人像模型頭部修補 ... 61 圖 2.46 Repetierhost 人像模型頭部修補 ... 61 圖 2.47 PLA 人像模型成品 ... 62 圖 2.48 Repetierhost 同步建模狀態 ... 62 圖 3.1 景深和測試物件距離的差異比較 ... .64

圖 3.2 Kinect Fusion 建構的模型輸入到 Meshmixe 破面分析（全身） ... 65

圖 3.4 Kinect 測試待測物的光源採用 Meshmixer 網格比較 ... 70 圖 3.5 170cm 頭頂破損度改善 ... 72 圖 3.6 178cm 頭頂破損度改善 ... 73

表目錄

表 1.1 Kinect V2 深度感應器規格介紹 ... 5 表 2.1 Kinect 執行之規格…..………25 表 2.2 個人電腦配置 ... 26 表 2.3 Kinect 配件 ... 27 表 2.4 電動轉盤之規格 ... 29 表 2.5 D-Force 300 V2 3D 印表機之規格 ... 30 表 2.6 本論文設計架構所需要用軟體 ... 34 表 3.1 3D Builder 做景深和測試物件距離的分析……….63 表 3.2 Kinect Fusion(全身) ... 65 表 3.3 Kinect Fusion(半身) ... 68 表 3.4 Kinect 測試待測物的光源比較 ... 70 表 3.5 身高 170cm 受測者選取 Kinect 架設高度 ... 71 表 3.6 身高 175cm 受測者選取 Kinect 架設高度 ... 72

表 3.7 3D Builder 和 Kinect Fusion 深度影像建構模型系統比較 ... 75

第一章 緒論

1.1 前言 隨著3D列印（3D printing）的普及，平價的3D掃描器自然也逐漸熱門 起來，市面上已經有不少的平價3D掃描器，平均價格從上千到上萬元都有， 這比以往高階3D掃描器動輒幾十萬的價格，已經非常親民了不少。而Kinect 則是微軟的Xbox 360遊戲機的體感裝置，很早之前就有被拿來做3D掃描的 運用，但卻不是很普及，所以並未熱門使用[1]，加上早期3D列印機體積龐 大，機體及列印原料價格貴，直到近幾年相關設備廠商陸續發表小型機型、 價格親民的中低階商品以及媒體報導的推波助瀾，才使得3D 列印技術逐漸 普及。 1.2 研究動機與背景 隨著科技的發展及學術上的突破，3D 應用的技術已經越來越普遍，特 別是近幾年來，由於硬體設備的普及加上電腦軟體的計算能力大幅的提升， 且價格不再像以前的昂貴，有關 3D 列印相繼的產品不斷迅速擴大，如簡易 的人像模型、玩具，到複雜的電子、汽車、醫療、航空航天、建築、科研等 領域。3D 列印技術都佔有很重要的一環，不僅縮短製程上所需的時間，及 某些精密複雜的加工件，更大幅降低研發所需要的成本問題等，因此，有 關 3D 技術的應用，在未來是不能小覷的，也是值得深入的研究。

1.3 研究目的與研究範圍 本論文是利用微軟 Xbox Kinect 體感裝置，透過結合 2D 全彩影像與 3D 紅外線（Infrared）深度影像掃描技術，來捕捉物件的身形與動作[2]，以利 於製作 3D 電腦圖形（3D computer graphics）所需的圖檔，再利用各建模軟 體加以修補及改良，在轉換如 3MF、STL、OBJ、PLY 及 VRML 圖檔，輸 出到 3D 印表機後產出成品，並探討其中模型產出的數據和改良的地方，反 推出更有效率的參數設定，達到更好的成效顯現在成品及學術研究上。故 此研究的設備和範圍，主要還是著重在以 Xbox Kinect 體感裝置及掃瞄物為 人像模型上作探討為主要樣本。 1.4 Xbox Kinect 介紹

Kinect[3]是由微軟開發，應用於 Xbox 360 和 Xbox One 主機的周邊設 備。它讓玩家不需要手持或踩踏控制器，而是使用語音指令或手勢來操作 Xbox 360 和 Xbox One 的系統介面。它也能捕捉玩家全身上下的動作，用 身體來進行遊戲，帶給玩家「免控制器的遊戲與娛樂體驗」。Kinect 具有的 特性，有三個擷取鏡頭外加麥克一組麥克風陣列，分別為 RGB 彩色攝影機 [4]、（TOF）深度感應器，以及紅外線發射器和 CMOS 攝影機[5]，外加一 組麥克風陣列，圖 1.1 為 Kinect V2 深度感應器的實際構造圖。

圖 1.1 Kinect 體感裝置[6] 而其中的骨架追蹤系統，由 Microsoft Kinect SDK 程式開發並使用 Kinect 硬體裝置所讀取到的深度值以及骨架來取得物體三維空間資料，如 圖 1.2。其運作特色如（1）微軟會將偵測到的 3D 深度圖像，轉換到骨架追 蹤系統[7]。（2）該系統最多可同時偵測到 6 個人:包含同時辨識 2 個人的動 作[8] （3）每個人共可記錄 25 組細節:包含軀幹、四肢以及手指等都是追 蹤的範圍，達成全身體感操作。

圖 1.2 Kinect V2 TOF 技術影像成型[9] 整個三維視覺系統的工作原理為，首先利用紅外雷射發射器（IR LD） 發射出近紅外光（IR Light），經過人手或人臉的反射之後，被紅外圖像傳感 器（IR CIS）所接收，這個圖像信息用來計算人手所處的位置（Z 軸），同 時，可見光圖像傳感器採集二維平面（X 與 Y 軸）的人手信息（Vis Light）； 兩顆圖像傳感器的信息匯總至專用的圖像處理晶片[10]，從而得到人手或人 臉的三維數據，實現空間定位。表 1.1 為 Kinect 深度感應器的產品規格， 包含了感應器類型，資料串流類型，視野角度，骨架追蹤系統，以及聲音系 統的詳細資料。

表 1. 1 Kinect V2 深度感應器規格介紹[11] 感 應 器 彩色攝影機 深度感應鏡頭 陣列式麥克風 資 料 串 流 深度感應器： 512 x 484、30 Hz、FOV: 70 x 60、05–4.5 meters 資 料 串 流 彩色攝影機： 1920 x 1080、30hz（低光源模式 15hz） 資 料 串 流 紅外線： 512 x 484、30 Hz 視 野 角 度 水平視野：57 度 垂直視野：43 度 實體傾斜範圍：± 27 度 深度感應器範圍：1.2m – 3.5m 骨 架 追 蹤 系 統 同時 6 人的動作追蹤 每人能追蹤 25 個點 聲 音 系 統 支援遊戲語音交談 支持多國語言 分析聲音的輸入、拿來做語音的控制。

1.4.1 3D 掃描器的原理及種類 雙眼立體視覺[12]，被動距離感應最常用的方法是雙目立體視覺。該方 法通過兩台相隔一定距離的攝像機採集同一場景的兩幅圖像，如圖 1.3，通 過立體匹配算法找出兩幅圖像的對應關係。然後根據三角剖分原理計算時 間差信息，如圖 3.14，並通過視差信息表示場景中物體的深度信息。基於 立體匹配算法，圖 3.15，還可以通過在同一場景中以不同角度拍攝一組圖 像來獲得場景的深度圖像。此外，場景深度信息也可以通過分析諸如光度 特徵和陰影特徵等特徵來間接估計。 圖 1.3 雙眼立體視覺-攝像機擺放的相對位置[13]

圖 1. 4 角剖分原理計算時間差信息[13]

Structured light[14]，結構光是一種主動深度感應技術。基本組件包括紅 外線發射器，紅外線攝像頭模塊和 RGB 攝像頭模塊。其原理是首先在物體 上發射一個特定的圖案，然後通過攝像機在物體表面接收光圖案編碼（Light Coding），然後對原始投影光斑進行比較和對比，如圖 1.6，並使用三角測 量原理計算對象三維坐標，圖 1.7，結構光的優點在於其深度和精度，但其 缺點是易受自然光影響，適用於短距離測量。它已應用於人臉識別，體感 遊戲機和工業機器視覺檢測（AOI）等領域。 圖 1.6始投影光斑進行比較和對比[15]

圖 1.7三角測量原理計算[16]

Light coding（雷射散斑），使用紅外線發射人眼不可見的一級激光。在

鏡頭前，漫射器（光柵）將激光均勻投射到測量空間中，圖 1.8，然後傳輸

紅外光線。再透過紅外線攝影機器在空間中記錄每個斑點，圖 1.9，提取原

圖 1.8 Light coding 的投射[17]

Time of flight （TOF） [19]，飛行時間技術是目前感知 3D 空間的最簡 單方法。這種技術的原理是傳感器發射一組近紅外線（NIR，IR-A DIN）， 由一個物體反射然後反射。通過計算光發射和反射之間的時間差或相位差， 轉換正在拍攝的場景的距離。由於光速 c 是已知條件，因此光信號來回傳 播的時間可以轉換為信號行進的距離。這個距離是物體的表面距離的兩倍， 所以如果讓 t 是光信號來回的時間，則光信號傳播距離等於（c*t）/2。 TOF 相機獲取深度圖像的原理，通過向目標場景發射連續的近紅外脈 衝，然後使用傳感器接收由物體反射的光脈衝，發射的光脈衝和可以估計 物體反射的光脈衝。獲得光脈衝之間的傳輸延遲以獲得物體相對於發射機 的距離，並且最終獲得深度圖像。圖 1.10 為各建構模型法的比較。 圖 1.10 深度影像取得方法的比較[20]

1.4.2 3D 列印技術的原理 3D 列印技術也被稱為“增材製造”或“層壓製造”技術。其目的是以高度 精確的堆疊方式將原始模型的細節和特徵呈現給您持有的 3D 圖像文件。 3D 打印技術有很多，如粉體全彩 3D 打印技術，激光加工金屬 3D 打印技 術等。 3D 列印的原理相當簡單，也就是目前我們使用的印表機 3D 化的版 本，將印出來的紙張層層堆疊，就會有立體三維的建構模型跑出來。如果 將目前的印表機墨水替換成噴出後即可硬化固定的材質，再把噴頭從原本 的二維移動（噴墨頭左右移動視為 X 軸、紙張視為 Y 軸），改為三維移動 （噴墨頭高度的 Z 軸），就是目前 3D 印表機的基礎原理。過往我們在列 印報告時，會先在文書編輯軟體或是相片編輯軟體內將內容填好，按下列 印後印表機即會以一條一條的方式在紙張上噴出墨水，最終列印出成品。 3D 列印也是如此，先在電腦中描繪想要列印的 3D 物件模型，再送入切 層軟體中輸出 G-code（工業製造中所使用的語言，內含控制機器移動的參 數或相關指令），此 G-code 即可控制 3D 印表機印出所繪製的物體。3D 印表機接收到 G-code 之後，便會把噴頭吐出的東西繪製成一個平面，接 著再一個個地將平面堆疊上去，如圖 1.11，即可形成 3D 立體的成品。

圖 1.11 切層軟體的 G-code 列印程序[21] 透過電腦輔助設計，或電腦動畫建模軟體建模，再將建成的三維模型 圖「圖分割」成逐層的截面，從而指導印表機逐層列印，接著印表機讀取 檔案中的橫截面訊息，再利用液體狀、粉狀或片狀的材料將這些截面逐層 地列印出來，圖 1.12 和 1.13，最後將各層截面以各種方式粘合起來從而 製造出一個實體。

圖 1.12 3D 列印機的機構原理[22]

1.4.3 3D 列印的成型種類 PLA 該材料來自玉米，圖 1.14，理論上它是塑料行業中最環保的材料。 被稱為綠色塑料。當然，PLA 材料被用作印刷耗材，具有變形小，氣味低 和多種顏色。這些產品的優點，如產品表面的強光澤，仍然受到 3D 打印機 用戶的青睞。PLA 塑料用途，零件、藝術品、玩具、模型等。 圖 1.14 PLA（聚乳酸）材料[24] ABS 塑材，ABS 材料是一種工程塑料，圖 1.15，在現實生活中是塑料 材料使用最廣泛的材料之一，材料強度高，變形小，因此它被應用於許多 場合。ABS 印刷產品的支撐部分更容易剝落，溫度比 PLA 高，光澤度也相 對較好。然而，缺點是加熱時產生的氣味具有氣味和毒性，ABS 塑料應用 廣泛，最大應用領域是汽車、電子電器和建材行業等。

圖 1.15 ABS 塑材[25]

選擇性雷射熔融（Selective Laser Melting,SLM），圖 1.16，在這種方 法中，將成型材料（通常是顆粒或粉末）放置在平台上，並且使用高能量 激光來照射成型部件以熔融聚合材料。在這個步驟在不同高度重複之後， 成品可以被打印出來。該過程必須在充滿惰性氣體的精確控制的氣氛中完 成。常用材料包括不銹鋼，鈷鉻合金，鈦金屬和鋁。

選擇性雷射燒結（Selectiove Laser Sintering,SLS），圖 1.17，該方法使 用計算機來控制激光照射的位置。粉末經過激光照射後，會燒結，粘附和 積聚形成塊狀物。之後，施加另一層粉末以繼續該層的下一層直到最終產 品形成。 圖 1.17 選擇性雷射燒結原理[27] 光固化立體造型（StereoLithogrAphy,SLA），圖 1.18，該製造方法必須 使用液體光活化樹脂，並且光固化過程是通過激光或紫外光束逐層進行的。 主要優點是製造速度高，可以製造更大的工件。缺點是光敏樹脂的成本太 高。

圖 1.18 光固化立體造型原理[28] 3DP（3D 打印機），圖 1.19，也可以稱為基於石膏的 3D 打印或粉末 床和噴墨頭 3D 打印，變成英文是膠固化打印或其他類似的名稱。首先將薄 粉末放在平台上，用打印機噴嘴噴膠，然後將所需的部件粘在一起;然後在 上面倒上一層粉末並再次噴上膠以粘住粉末。生活部分將是一個三維物體。 而且，由於成型方法類似於噴墨打印機的成型方法，CMYK 彩色膠可在成 型過程中噴射到白色粉末上，使得模製品可著色，並且表面僅覆蓋一層保 護層漆來密封表層並增加顏色對比度。

圖 1. 19 3DP 原理[29]

熔融沉積造型（Fused Deposition Modeling,FDM），圖 1.20，這是目前 市場上最流行的方法，而且大多數經濟實惠的 3D 打印機都使用這種方法。 製造方法類似於蛋糕廚師在蛋糕上擠壓黃油以擠出各種圖案。原材料熔化 並層疊在一起，直到完成。

1.4.5 3D 列印的發展現況 目前在各產業中都有相當多的人力物力投入 3D 列印的設計製造[1]， 根據未來的產值預測，可能的應用方向依次是消費性產品、汽車工業、醫 療產業、3D 列印生產製造，以及航太工業，如圖 1.21。其實國內外已有相 當多的應用實例，例如：利用 3D 列印製作流行服飾與配件；客製化完全 符合個人腳形的運動鞋；製作流行時尚且具有個人風格的眼鏡鏡框；根據 客人的想像創意，不受材料及加工方法的限制，訂作獨一無二且具紀念價 值的結婚 首飾；NASA 為了解決太空旅行所需要的食物問題，也投資大量 經費在研發食物列印機，希望能列印出義大利麵條、巧克力等食品。這些 都是可以發揮創意的方向。 圖 1.21 3D 列印在工業上的用途[31]

在醫學工程領域中，3D 列印更有很大的想像空間。國外已有組織工程 方面的應用，如圖 1.22 ，3D 生物印表機，其與一般 3D 印表機構造相似， 只是列印的材料不一樣，它使用的是病人自己的幹細胞或是再培養的細胞。 概念上，在列印前先用電腦斷層掃描真的器官，之後轉換為 3D 電腦模型， 把這些細胞噴在一張張可被生物降解的材料上，接著利用水膠或黏著劑使 細胞附著在特定位置堆疊起來，所留下的細胞就能形成具有立體結構的器 官。 圖 1.22 生物列印機[32] 除此之外，2012 年美國密西根大學也有小兒科醫師利用生物可吸收材 料 3D 列印氣管支架，幫助一位先天氣管塌陷，只有三個月大的嬰兒正常 呼吸，且接受治療後，嬰兒目前已經超過二十個月大。台灣也有工業技術

研究院以及各大專院校的研發團隊正在進行金屬 3D 列印應用研發，目前 主要以顱顏顎面的大型缺損修補和金屬假牙製作為應用的方向。

而目前手機界的龍頭 IPhone 研發出最新一代 Iphone X 讓使用者以自 己臉孔解鎖的 Face ID。Face ID 技術其中一個重要元素是 Iphone X 前置的 True Depth 鏡頭，True Depth 鏡頭可以快速掃描解鎖者臉孔，圖 1.23，再把 掃描到的臉孔資料跟用家設定 Face ID 時的臉孔資料分析及核對，再決定 是否解鎖。為了保持準備性，True Depth 鏡頭掃描的是 3D 而不是 2D 資料， 所以它其實是一個非常之強大的 3D 臉孔掃描器，帶動廠商投入 ToF 與結 構光系統開發，如 Sony、英飛凌與意法半導體相繼推出 ToF 方案，而高通 也與奇景合作，全力發展結構光系統的研發，再經由如 Bellus3D、OLO 、 3D Builder 等建模軟體，轉檔為 STL 檔再遠短傳輸做一個線上列印的輕鬆 簡單程序，印製出屬於自己的模型。 圖 1.23 Iphone X 臉部掃瞄功能[33]

1.5 章節說明 本論文共分為四個章節，分別為： 第一章 為緒論 本論文的研究背景、研究動機、研究範圍、以及本論文各章節內容的 摘要說明 第二章 為研究方法

利用 Xbox Kinect V2 體感裝置，結合 3D Builder，透過 3D 印表機的 結合，呈現最完整的成品。 第三章 為結果分析 探討如何更有效的調整參數和改進，致力於呈現最完整的成效，反應 在此研究上。 第四章 為結論與未來發展 說明本論文研究結論及未來的研究方向 參考文獻

第二章 研究方法

2.1 研究架構 本論文主要的運作架構主要是經由 Kinect V2 深度感測器，結合內部的 深度影像裝置及骨架追蹤系統，對待測體人像上做一個影像的深度辨識， 再經由獲取的資料函式庫回傳到電腦計算，得到點雲的數據[34]，在連接點 雲數據建立出三角網格模型，然後在調整模型的三維方位和修補破面的動 作，再進行轉檔輸入到 3D 印表機裡，做參數上調校，最後再產生出最佳化 的人像模型成品，如圖 2.1 所示。 圖 2.1 本論文主要的流程架構

2.1.1 硬體設備 因所使用 Kinect V2 所需求的規格如下表 2.1，然而因實驗需要，個人 電腦硬體設備配置了，如表 2.2 和圖 2.2，以符合 Kinect V2 所需要的最低 要求，且記憶體的部分，因受到模型的精細度是以顯示卡 GPU 做處理及大 小而決定最後所佔據的容量，所以本設備也直接將記憶體的部分升級到 32GB，以便順利在實驗過程中，避免發生記憶體不足的窘境。 表 2.1 Kinect 執行之規格[11] 作業系統 64 位元版 Windows 8 / 8.1、 Windows Embedded Standard 8 / 8.1 處理器 Core i7 3.1Ghz 以上、64 位元處理器 開發環境 Visual Studio 2012、Visual Studio 2013

記憶體 4GB 以上

USB

可支援的 USB 3.0 控制器（Intel 或 Renesas 晶片）

表 2.2 個人電腦配置

系統 Windows 10 64 位元作業系統

處理器 Intel（R） Core（TM） i7-6700 CPU @ 3.40Hz

顯示卡 NVIDIA GeForce GTX 960

記憶體 32.0GB

硬碟 TOSHIBA 1TB

由於 Kinect V2 主要是用於 Xbox 遊戲主機上的動態感測進行遊戲的連 結，所以輸入端口的部分是採用按照遊戲機台的形式做特殊設計，要連接 到 PC 個人電腦的話，則需要在接上如表 2.3 規格所示，經由轉接套件把原 本連接 Xbox 遊戲主機的特殊端口轉成 USB3.0，才可以與 PC 上做有效的 連接，其中此轉接器連接方式，是由集線器（HUB）在經過變壓器（AC Asapter），這兩個部分的程序做一個連接，圖 2.3，最後才傳輸給電腦符合 有關 USB3.0 的端口做連結，再經由只有 Intel 晶片組內建的 USB 3.0 控 制器、還有 Renesas（NEC）的 USB 3.0 控制晶片傳輸給 Microsoft Windows 系統配製的電腦做使用。

表 2.3 Kinect 配件

規格 Kinect Xbox one V2

圖 2.3 XBOX One Kinect V2 及轉接器[35] 因本論文多數實驗待測物都是以人像做測試，而旋轉盤主要的作用在 於固定待測人像的三維空間位置做一個 Volume 空間的抓取，再配合定點的 Kinect 深度掃描器做一個 360 度的參數設定，而本論文主要是針對人像部 分為著重點部分探討，故選用的的旋轉平台也相對的較大，如圖 2.4，盤面 約直徑 52cm，可負重部分也大約一個正常成年人的重量可承載，AC 交流 馬達的旋轉速率也在 36~40 秒的誤差範圍內做測試，詳細規格參照表 2.4。

表 2.4 電動轉盤之規格 材質 白色壓克力 高度 10cm 直徑 52cm 負重 80kg 電源 AC 110V 速度 轉 1 圈 36-40 秒. 圖 2.4 白色電動轉盤

本論文是採用 D-Force 300 V2 型號的 3D 印表機，如圖 2.5，搭配 Repetierhost 系統，如表 2.5，再經由 Slic3r 切片軟體把模型的 STL 檔轉換 成 3D 印表機使用的 G-code 檔案對模型進行切片，就是將模型分割成若干 個很薄的層，同時計算出噴頭 （或是擠出頭）的運動路徑。這個工作由切 片程式完成，切片程式會將模型轉換為 G-code 檔，就是一種 3D 印表機 能夠理解的工作語言檢查一下，生成的 G-code 檔是否有錯誤，是否可以 列印，確認之後就可把模型給呈現出來。 表 2. 5 D-Force 300 V2 3D 印表機之規格[36] 機器尺寸 45cm x 45cm x 85cm 機器重量 18kg 噴嘴材料 0.2~0.6mm 精度 機械精度 0.0125mm 列印精度 0.025mm 溫度 噴嘴溫度 170~260℃ 熱床溫度 105℃ 列印範圍 ￠300mm x H 300mm 耗材使用

￠1.75mm PLA ABS EVA HIPS PETG TPU NYLON 等

2.1.2 軟體設備 本論文使用 Microsoft 開發了一款名為 3D Builder 的 3D 列印設計軟 體，搭配內建的 3D Scan 做一個深度影像的掃描與應用，如圖 2.5 及 2.6， 而兩款軟體皆屬於 APP 的檔案形式，故使用上就不一定侷限在 PC 的使用 限制，只要在 APP 檔案允許的環境許可下，皆可安裝下載這套由 Microsoft 所提供免費授權的軟體做使用。 圖 2.6 3D Scan[37] 圖 2.7 3D Builder[37]

此 SDK 是 Microsoft 研究團隊針對 Kinect 傳導器做一個專門的驅動介 面裝置，並為開發人員引入了廣泛的功能，經過開源的函示庫數據調整校 正下，能設計屬於自己專屬的應用介面來做更多的用途，使用上也更加自 由，而本論文主要還是使用內部的Kinect Fusion 建模軟體介面做一個實驗 的調校和參數設置。

表 2.6 本論文設計架構所需要用軟體

建模（修補）軟體 3D Scan 3D Builder Kinect Fusion Explorer-WPF 執行軟體 Kinect for windows SDK 2.0

進階修補軟體 Meshmixer

列印軟體 Repetierhost

2.2 研究設計

本論文使用兩種軟體來建構三維模型，分別是 3D builder,以及 Microsoft Kinect for windows SDK 2.0[38]，內建的 Kinect Fusion[39]如圖 2.9，首先， 先開啟 Kinect Fusion Explorer-WPF 的介面，如圖 2.10 所示，在顯示區域右 上方的灰階影像，是目前的 Kinect 捕捉到的深度影像；而左側較大的區域， 則是目前 3D 模型重建完成的結果[40]。至於右下方的畫面，則是目前深度 影像在進行追蹤、位置計算後的狀況，有顏色的部分是代表沒辦法正確對 上的區域[41]如圖 2.10 下方中的 Tracking outliers 訊息。

圖 2. 9 Meshmixer[42] Repetierhost [43]

3D Builder 是由 Microsoft 開發出的 3D 打印設計軟體，他能夠把以建 構好的模型物件做大小和三維方位上的調整，以及模型的網格建置，模型 破面處的簡單修補功能，然後使用裡頭的 3D Scan 系統，配合 Kinect V2 深 度影像裝置建構模型，如圖 2.11，設定的部分有待測物的深度設定，要掃 描的物件所需要的寬度和高度設定，還有將待測物放在旋轉盤上，做 360 度 的整體掃描，就能夠建構出完整的模型。 圖 2.11 3D Builder

使用 3D Scan 掃出後的模型，如下圖 2.12 呈現不規則擺放，這時候就 要利用 3D Builder 內的模型物件旋轉選項，調整為垂直的方向的擺放，如 2.13，再把人像模型置於中間的底板網格內，點選修復模型破洞的位置，做 一個自動化的修補作業程序，如圖 2.14，修補後的人像模型，如圖 2.15 和 2.16，會把有破洞的地方，做一個簡單的修補方式及內部實心化的過程，修 補完成後的人像模型，可開啟網格檢視的選單，觀察出三角網格修補的程 度，如圖 2.17 和 2.18。 圖 2.12 3D Builder 人像模型-水平擺放

圖 2.13 3D Builder 人像模型-垂直擺放

圖 2.15 3D Builder 模型的修補及內部實體化

圖 2.17 3D Builder 模型網格

經由 3D Builer 或者 Kinect Fusion 生成的模型，如有破面及深度掃描不 完整的部分，如圖 2.16 所示，會先把該模型轉換成 STL 檔放入 Meshmixer 裡做修補及檢查破面的程序，這時候已匯入的模型檔會呈現不規則的擺放 空間狀態，如圖 2.19 和 2.20 所示，這時就要選取 Edit，來做模型的移動以 及調整，如圖 2.21，調適到適合的位置，以利後續的作業。 圖 2. 19 Meshmixer Transform 選項

圖 2.20 Meshmixer 移動模型

調整好的模型，再來就要檢查有無破面的問題，因為 3D 模型列印一定 要是一個封閉的網格連線以及實心化的狀態下，才能順利的產出成型，所 以我們要選用 Meshmixer 的 Analysis 編輯列表，如圖 2.22，再點選 Inspector 的檢查破面功能，這時就會如圖 2.23、圖 2.24，標記出破面的地方，之後 直接點選全部執行指令，就可快速修復整體模型破面的地方。

圖 2.23 顯示模型破面處的個數範圍

然而有些模型因比例大小的關係，需要擷取某部分或是某一塊部件的 話，就需要做裁切的動作，這時候我們就可以選擇 Edit 編輯列表，點選裡 面的 Plane Cut 功能，如圖 2.25，這時就可以調整三維座標（x，y，z）來調 整網格切除不需要的部分，圖 2.26，切除完畢後，底板網格跟模型沒有貼 合，如圖 2.27，就需要再使用 Edit 編輯列表裡的 Align 作貼齊網底的動作。

圖 2.26 裁切的範圍

這時的模型已經初步完成了，但因 Kinect 深度鏡頭掃雲點的限制，及 人像衣物材質和光線問題，所以會影響模型的完整度及些許的小缺失地方， 這時候一樣也可以用 Meshmixer 裡的修補功能做細部的修補，如圖 2.28， 這時候就可以點選 Sculpt 編輯列表，點選 Brushes 選擇修補的方式，本論 文模型我們選擇的是 Flatten 的選項，來做一個面部的平整修補，如圖 2.29 所示。

圖 2.28 細部修補的選項

因最後要把模型輸出到 3D 印表機裡，且運用 Kinect 深度鏡頭，掃出 的點雲所建立的三角網格，但只有模型的表面而已，所以則需要實心及三 角網格完整的情況下，才可以順利輸出模型成品，故需要把模型給內部填 滿，這時就要使用 Edit 編輯列表內的 Make Solid 做內部填滿的動作，如圖 2.30，選取之後就按下確認就完成了，最後成品如圖 2.31 所示。

圖 2.31 實心填充進行中及計算填補體積 最後的一項步驟就是把建構好的模型輸入到 3D 印表機裡，產出人像 成品，而本論文所使用的 3D 列印機是使用 D-Force 300 V2 機型，搭配 Repetierhost 列印系統，故需要把已完成的模型檔，存取成 STL 的形式，如 圖 2.32，所以我們要先選取上方列表的 File 選單，進行模型的轉檔，如圖 2.33。

圖 2.32 選擇轉檔的選項

把已轉成 STL 模型檔的檔案輸入到 Repetierhost 的 3D 列印軟體，如圖 2.34，調整模型的三維（x，y，z），決定輸出後的大小，以及檢查有無超過 3D 印表機允許可列印的範圍，圖 2.35，然後進入 Slic3r 這套切片軟體系統 做基本的參數設定，首先打開 Layers and perimeters 清單列表，調整層高 Layer height，設定厚度 Perimeters（minimum），圖 2.36，然後再進入 Solid layers 調整頂部和底部的厚度，進入 infill 軟體設定模型填充比例，如圖 2.37， 最後再進入 Skirt and Brim 設定清單，圖 2.38，Skirt 主要的作用就是初步檢 測列印範圍，排除殘料，而 Brim 則是幫助模型物件的附著，因怕建構模型 底層時，會有脫落情況發生，以免導致後續的程序無法進行，故會設定一 定參數，幫助物件附著在列印機的玻璃底板上。

圖 3.35 在 Repetierhost 裡調整模型輸出後的大小

圖 2.37 Slic3 切片軟體設定模型填充比例

參數設定完成之後，就要把模型檔轉換成可供 Slic3r 切片軟體輸出的 代碼，且在確認最終輸出的比例大小和有無偏離底座中心位置，如圖 2.39， 確認無誤後，就可點選上方列表的運行任務指令做最後的執行步驟，這時 候 3D 列印機已經正在動作，執行所設定的指令，而在 Repetierhost 上，則 可以看到正在建造的模型所需要的時間，完成的層數，及設定的溫度等， 都會隨著 3D 列印機的程序，同時跟 Repetierhost 做同步執行的畫面，如圖 2.40，連 Skirt and Brim 的部分，也都會完整呈現在畫面上，以方便做進一 步的調整和設定。

在輸出到 D-Force 300 V2 前，最重要的步驟就是基本的定位校正，及 噴頭的 Z 軸調整到適當的距離，設定上為 0.1~0.4mm 的範圍內，而本論文 所調校的範圍均在 0.1~0.2mm 左右，原因是因為這個範圍內的參數，噴頭 離 3D 列印機玻璃底板，距離最為接近，約一張 A4 紙張的厚度，且印出來 的成品在呈現上也較為精緻滑順，而要注意的是不可小於 0.1mm 這個值， 才能避免噴頭刮傷玻璃板及造成噴嘴損壞的情形發生，調校完畢後，要在 玻璃加熱版塗上一層厚度不超過 0.1mm 的口紅膠或是紙膠帶，以固定模型 的基底，讓底層的 PLA（聚乳酸）材質堆疊順利，防止破損導致失敗的發 生，完成基本調校的步驟和上完底層的口紅膠或是紙膠帶後，就可以開始 執行建模的程序了，首先，D-Force 300 V2 的出料噴頭會在預設的模型範圍 內畫一圈，代表此模型的初步檢測列印範圍和排除殘料，然後在這個範圍 內開始畫模型底層的最外圍，如圖 2.41，在畫最外圍之前會先依照 Slic3r 設 定的參數，可參考如圖 2.38 的參數設定，先畫出 Brim 範圍的預設值，再把 模型基底跟玻璃板做一個較緊密貼合的程序，再依造內部填充比例設定， 堆疊出最底層的雛型，如圖 2.42，這時候，外圍底層設定噴頭移動的速率 不可以太快，依參照標準數據做基準，才可以讓列印平台跟模型基底做一 個緊密的貼合，圖 2.43，一般速率約設為 20~30mm/s，太快的話，失敗的 風險也隨之增高，而隨著基底的逐漸建構完成，模型裡頭的的填充比例也 依照設定，有了一定程度的雛形後，圖 2.44，就可以考慮調整噴頭的移動

速率，加快成型的速度，但速率快的話，同時也要考慮噴頭溫度的問題，因 為所使用的模型是 PLA（聚乳酸）材質所製成，最低溫度需要達到 170 度 才會融化開來，所以普遍設定都是約在 170~200 度之間，而剛開始噴頭溫 度會先達到約 210 度左右，正式列印的時候會降至接近 200 度，所以如果 要提高每層列印的速率的話，則需要在溫度上做適度的調整，速率越快溫 度相對上也要提升，但伴隨而來的風險就是模型的列印品質也會相對的較 低些，尤其是在面部和頭部的部分，就不建議使用太快的速率，以免影響 最後收尾的完成度，如圖 2.45 和 2.46，而本論文調校的範圍，速率皆在 20mm/s，噴頭溫度約在 205 度，而列印的尺寸大小約在 6x6 公分，在列印 時間上的話，約需要 2~3 小時的工作時間，但相對的，列印品質上，完整 度也是最高的，而最後呈現的成品如圖 2.47 和 2.48，Repetierhost 建模狀 態會同步呈現在電腦上和 3D 印機平台上，完成後的人像模型，只需要用刮 刀輕輕地鏟下就可使模型底層與玻璃平臺做分離，再把 Brim 做剝除的程序 就完成了。

圖 2.41 模型底層 Skirt and Brim 的過程

圖 2.43 填充內部網格結構

圖 2.45 人像模型頭部修補

圖 2.47 PLA 人像模型成品

第三章結果分析

3.1 實驗數據與參數設定 根 據 Kinect 深 度感 測器可 量測的距 離 為 0.4~2.5m， 故此本 實驗取 用 0.9~1.2m 中間值影像深度距離做探討，以表 3.1 所示，設定三組參數來比 較，評估景深（DOF）和測試物件距離上，三角網格模型的呈現程度，先以 （a）（b）來看，在同樣深度感測距離 1.2m 的距離上，圖（a）的待測距離 一樣為 1.2m 的情況下，整體來看三角網格都有呈現出來，除了面部和身體 有些不太完整地方需要修正，大致上還是蠻清楚，而圖（b）的部分，測試 物件放置在約 0.9m 處，在三角模型的呈現上，就有很多不完整的地方，模 型的平滑性也想對的粗糙許多，圖（c）景深及測試物件距離都在 0.9m，可 以發現三角網格的成形上比對前（a）（b）來說較為完整，完整度也是最高 的，但因距離較近的情況下，模型相對的也只能容下半身的深度影像範圍。 表 3.1 3D Builder 做景深和測試物件距離的分析 1 2 3 景深（DOF） 1.2m 1.2m 0.9m 測試物件距離 1.2m 0.9m 0.9m 高度（height） 100% 100% 100% 寬度（width） 60% 60% 60% 呈現的圖形 a b c

圖 3.1 景深和測試物件距離的差異比較

本測試是利用 Kinect Fusion 的參數設定，如表 3.2，來評估圖 3.2（a） ~（d）模型破面需有修補的程度，這裡我們深度影像跟測試物件一樣設定 在 1.2m 的距離，Volume Voxels Per Meter 設定在 384，Volume Voxels Resolution 設定在 X Axis 384 x Y Axis 384 x Z Axis 384，所以換言而知我們這 裡可以掃描的範圍就在 1 x1 x1 m3_{的空間裡，而最主要的變數調整就是設} 定 Volume Max 的值，這裡我們設置 250、500、750、1000，四種參數的變 化，來觀察最後人像模型破面處理的部分分析。 根據圖 3.2 顯示為一個全身的人像建模模型，破面的部分則標示在人 像外圍的球型放射線表示出來，標示紅色的部分屬於破損較嚴重的地方， 藍色的部分代表三角網格錯亂的地方，而粉色的部分代表三角網沒完整建 構的地方，而頭頂髮絲的部分，由於不是一個封閉的狀態，故破損的程度 就會比較大，這裡本實驗就不放入討論破面的數量分析，主要還是針對人 像的面部和身體部位做一個主要分析的數據。 依據圖（a）的顯示，紅色球狀放射線為 5 處，藍色球狀放射線為 6 處，

（b）的部分，紅色球狀放射線為 4 處，藍色球狀放射線為 8 處，（c） 的 部分，紅色球狀放射線為 3 處，藍色球狀放射線為 3 處，（d）的部分，紅 色球狀放射線為 2 處，藍色球狀放射線為 4 處，至於粉色球狀放射線較微 小程度的破面，則由（a）~（b）顯示，隨著 Volume max 的參數值越高， 微小破損面的地方相對的也比較少，紅色和藍色較嚴重的位置，也隨之減 少，就整體而言得知，Volume Max 的數值只要調校的越高，整體模型點雲 的建構成型上就會較為完整，轉換後的三角網格也較可以形成緊密的封閉 性模型，對於後續模型的處理上，較有效率的減少處理破面的時間。 表 3.2 Kinect Fusion(全身) 1 2 3 4 景深（DOF） 1.2 1.2 1.2 1.2 測試物件距離 1.2 1.2 1.2 1.2 Volume max 250 500 750 1000 Volume voxels 384 384 384 384 X Axis 384 384 384 384 Y Axis 384 384 384 384 Z Axis 384 384 384 384 呈現的圖形 a b c d

本測試是利用 Kinect Fusion 的參數設定，如表 3.3，來評估圖 3.3（a） ~（d）模型破面需有修補的程度，這裡我們深度影像跟測試物件一樣設定 在 1.2m 的距離，Volume Voxels Per Meter 設定在 512，Volume Voxels Resolution 設定在 X Axis 384 x Y Axis 384 x Z Axis 384，所以換言而知我們這 裡可以掃描的範圍就在 0.75x0.75 x0.75 m3_{的空間裡，而最主要的變數調整} 就是設定 Volume Max 的值，這裡我們設置 250、500、750、1000，四種參 數的變化，來觀察最後人像模型破面處理的部分分析。 根據圖 3.3 顯示為一個全身的人像建模模型，破面的部分則標示在人 像外圍的球型放射線表示出來，標示紅色的部分屬於破損較嚴重的地方， 藍色的部分代表三角網格錯亂的地方，而粉色的部分代表三角網沒完整建 構的地方，而頭頂髮絲的部分，由於不是一個封閉的狀態，故破損的程度 就會比較大，這裡本實驗就不放入討論破面的數量分析，主要還是針對人 像的面部和身體部位做一個主要分析的數據。

依據圖（a）的顯示，紅色球狀放射線為 7 處，藍色球狀放射線為 7 處， （b）的部分，紅色球狀放射線為 1 處，藍色球狀放射線為 6 處，（c） 的 部分，紅色球狀放射線為 0 處，藍色球狀放射線為 1 處，（d）的部分，紅 色球狀放射線為 0 處，藍色球狀放射線為 0 處，至於粉色球狀放射線較微 小程度的破面，則由（a）~（b）顯示，隨著 Volume max 的參數值越高， 微小破損面的地方相對的也比較少，紅色和藍色較嚴重的位置，也隨之減 少，就整體而言得知，Volume max 的數值只要調校的越高，整體模型點雲 的建構成型上就會較為完整，轉換後的三角網格也較可以形成緊密的封閉 性模型，對於後續模型的處理上，較有效率的減少處理破面的時間。

表 3.3 Kinect Fusion(半身) 1 2 3 4 景深（DOF） 1.2 1.2 1.2 1.2 測試物件距離 1.2 1.2 1.2 1.2 Volume max 250 500 750 1000 Volume voxels 512 512 512 512 X Axis 384 384 384 384 Y Axis 384 384 384 384 Z Axis 384 384 384 384 呈現的圖形 a b c d

圖 3.3 Kinect Fusion 建構的模型輸入到 Meshmixe 破面分析（半身）

最後根據圖 3.2 和 3.3 的人像模型破損顯示，在同樣的景深（DOF）和

測試物件距離都皆為 1.2m 距離的情況下，Volume Voxels Resolution 掃描的 範圍和 Volume Max 參數的設定上，有密切的關係，影響了模型破面形成的 多寡，及修復模型上，可改進的一個參考依據。

可以得知 Kinect 因深度影像擷取是採用 TOF 飛行時間法的程序用光 脈衝去同步化作用計算光子飛行時間，就能推導出發射點與物件之間 的距離方式，但也因此對光源的要求上較為敏感，容易影響在測量待 測物時的 FPS 值，間接導致 3D 模型建模的平滑和精細度，故此本試 驗採不同方式的環境光源做比較，來評估最佳的環境測試，如表 3.4 所 示，而經由測試可以得知在背光面，點雲的建構上較為完整清楚，轉 換後的三角網格也實體呈現出來，而較暗和較亮的環境下 FPS 不但沒 辦 法 達 到 最 高 值 ， 且 也 容 易 導 致 模 型 的 輸 出 上 點 雲 成 型 較 差 ， 而 用 Meshmixer 來比較差異的話，如圖 3.4 可知，過於明亮的地方，失敗的機 率也相對提高許多如（a），而較暗的環境下（b）則有點雲數較不平均 的現象，進而影響到最後建構出的三角網格，較顯得的參差不齊，而 （c）在三角網格呈現上就較完整且整齊，由此得知最佳的待測物放置 環境還是以背光源為主才是最好的。

表 3.4 Kinect 測試待測物的光源比較 亮（反射光） 暗（散射光） 背光(環境光) FPS 15~20FPS 15 FPS 30 FPS 呈現的圖形 a b c 圖 3. 4 Kinect 測試待測物的光源採用 Meshmixer 網格比較 3.2 實驗結果 因使用 Kinect 鏡頭偵測範圍最主要可以在 1.2~3.5 公尺之間獲取色彩 與深度以及骨架追蹤，而本論文主要是以人像作為模型的掃描，這裡受測 者以身高 170cm 為例，景深部分以 1.2m 距離為基準，而測試物件距離一 樣也在 1.2m 處，如表 3.5，再利用電動旋轉盤做一個原地自轉的 360 度的 深度掃描移動，在調整 Kinect 鏡頭的架設高度，針對不同身高的人像模型 上，最不容易掃到的頭頂處，做一個參數上的調整，減少人像模型頭頂常 常會有破損的缺陷發生，而進一步改善整體掃描的完整度，縮短後續需要 修補模型的繁瑣程序，而如圖 3.5 所示。

表 3.5 身高 170cm 受測者選取 Kinect 架設高度 受測者身高約 170cm Kinect 架設高度 選取景深 檢視頭頂破損程度 1.5m 1.2m （a） 1.7m 1.2m （b） 1.8m 1.2m （c） 1.9m 1.2m （d） （a）（b） 因 Kinect 深度影像偵測範圍剛好小於等於受測者身高上的 可視範圍內，故頭頂上端面的部分，無法使 Volume 完整的覆蓋上去，且因 Volume 的覆蓋數相對減少，造成重建之後的三角網格也相對的鬆散，呈現 出來的結果也較不平整。（c）受測者高度略高於 Kinect 深度影像可偵測的 範圍，所以頭頂上端的面部分，Volume 覆蓋的範圍已趨近完整，重建後的 網格也較為緊密完整，但礙於還是有跟受測者約 10cm 的差距，故破所的問 題還是依然存在著。 經由（c）的測試結果再進一步調整 Kinect 架設高度，調整高度在受測 者在高 20cm 的位置上試驗，經由改善後的調校，呈現出（d）的人像掃描， 上頭頂的破損面完整的貼合，而的點雲重建後的三角網格也較為鬆散，最 後 呈 現 的 模 型 勢 必 也 較 為 不 平 滑 及 精 細 ， 然 而 後 續 一 樣 還 需 要 借 於 Meshmixer 修補來進一步的修正，但也改善了對於人像頭頂上端大面積的 修補時間，提升更好的工作效率。

圖 3.5 170cm 頭頂破損度改善 Kinect 鏡頭偵測範圍最主要可以在 1.2~3.5 公尺之間獲取色彩與深度 以及骨架追蹤，而本論文主要是以人像作為模型的掃描，這裡受測者以身 高 175cm 為例，景深部分以 1.2m 距離為基準，而測試物件距離一樣也在 1.2m 處，如表 3.6，再利用電動旋轉盤做一個原地自轉的 360 度的深度掃 描移動，在調整 Kinect 鏡頭的架設高度，針對不同身高的人像模型上，最 不容易掃到的頭頂處，做一個參數上的調整，減少人像模型頭頂常常會有 破損的缺陷發生，而進一步改善整體掃描的完整度，縮短後續需要修補模 型的繁瑣程序。 表 3.6 身高 175cm 受測者選取 Kinect 架設高度 受測者身高約 175cm Kinect 架設高度 選取景深 檢視頭頂破損程 度 1.5m 1.2m （a） 1.7m 1.2m （b） 1.8m 1.2m （c） 1.9m 1.2m （d）

（a）（b）因 Kinect 深度影像偵測範圍剛好小於受測者身高和差 5cm 左 右的可視範圍內，故頭頂上端面的部分，無法使 Volume 完整的覆蓋上去， 且因 Volume 的覆蓋數相對減少，造成重建之後的三角網格也相對的鬆散， 呈現出來的結果也較不平整。 （c）受測者高度略高於 Kinect 深度影像可偵測的範圍，所以頭頂上端 的面部分，Volume 覆蓋的範圍已趨近完整，重建後的網格也較為緊密完整， 但礙於還是有跟受測者約高於 5cm 的差距，故破損的問題還是依然存在著。 經由（c）的測試結果再進一步調整 Kinect 架設高度，調整高度在受測者在 高 15cm 的位置上試驗，經由改善後的調校，呈現出（d）的人像掃描，上 頭頂的破損面完整的貼合，而的點雲重建後的三角網格也較為鬆散，最後 呈現的模型勢必也較為不平滑及精細，然而後續一樣還需要借於 Meshmixer 修補來進一步的修正，但也改善了對於人像頭頂上端大面積的修補時間， 提升更好的工作效率。 圖 3.6 178cm 頭頂破損度改善

經由上述不同受測者的身高比較之下，發現在景深 Kinect 深度影像， 景深 1.2m 距離內，兩位受測者身高差距接近 5cm 的高度，而本測驗高度也 從 1.5m~1.9m 的測試範圍，及每次調校的間距範圍約 10cm 作為一個變動 和測試的基準，經由表 3.5、3.6 呈現，經過試驗後發現，Kinect 深度影像 架設的高度若是接近或趨近於受測者高度，Volume 的分布量較不平均且鬆 散，建構後的三角網格也沒辦法形成封閉的模型建構程序，勢必最後就會 形成上端頭頂破損的主要原因，如圖 3.5 和 3.6 裡的（a）（b）部分，所以 在經由 Kinect 鏡頭高度的調校後，讓深度影像的範圍在高於受測人像的呈 現的結果顯示為，如圖 3.5 和 3.6 的（c）（d）部分，就會發現因可視的範 圍變大，上端頭頂破損的點雲數，覆蓋率也較為完整，建構三角網格封閉 模型上也改善許多。

因本論文主要使用的軟體是3D Builder 和 Kinect Fusion 做模型的建模 成形，兩款都是屬於 Microsoft 開發的軟體，但在使用上各有優缺點，故此 針對不同的差異點做一個探討，如表 3.7。 在整個操作方面 3D Builder 的介面顯得乾淨清爽，而可儲存的類型基 本的 STL、OBJ、PLY 等類型檔案都有支援，景深設定的範圍也剛好符合待 測物模型可掃取的最佳範圍內，可一鍵設定旋轉模式掃描，以及設定掃描 開始到停止的計時時間，且可使用的環境不只侷限在 PC 上，因為它的程式 是以 APP 的型態，所以手機也是可以支援的，而整體使用上，比較適合一

般新手或初學者，做一個簡單快速的建模，但顯而易見的缺點也相對的存 在，因不能做較細微的設定，成品的呈現上就需要多嘗試幾次，才可有比 較好的成品呈現出來。

而相對的 Kinect Fusion 在細節上，可調整的參數就很多元，例如可設 定 Volume 涵蓋的數值，設定 Volume Voxels Resolution 的三維空間範圍值， 景深（DOF）最遠可調校範圍可以到 8M，顯示的鏡頭狀態也較多元，還有 它是 Microsoft 特別針對 Kinect 設計的 SDK 軟件，因此可自行修改內部的 函式示庫做設定，使用上自由度也比較高，而整體使用上也較適合有經驗 的使用者，可供調整最佳的參數設定，呈現出最為完善的人像模型。 表 3.7 3D Builder 和 KinectFusion 深度影像建構模型系統比較 3D Builder KinectFusion 介面方面 簡單 複雜 可儲存的檔案類型 3MF、STL、OBJ、 PLY 、VRML STL、OBJ、PLY 設定 Volume 涵蓋的 數值 不可以 可以 景深設定 0.7m~4.5m 0.4m~8m 顯示鏡頭切換 只有單一 RGB 鏡頭 顯示 RGB 鏡頭顯示、深度影 像顯示、骨骼追蹤顯示 深度影像範圍設定 僅可調整寬度和高度 選項 可設定 Volume Voxels Resolution 的三維空間範 圍值 設定移動狀態掃描 （放置自動轉台上） 已建立一鍵設定，無 須調整 無一鍵設定，須調整參 數 時間設定 有 無 FPS 顯示 有 有 幀數顯示 無 有 適用環境 支援 PC 及手機 僅 PC 上

表 3.8 各建模軟體的優缺點比較

3D Builder Meshmixer Repetierhost

自動修復模型 較差 優秀 無 配合輸出到印表 機 支援 支援 支援 可輸入檔案型態 3MF、STL、 OBJ、PLY 、 VRML OBJ 、PLY、 STL、AMF、 PLY、3MF、 OFF、MIX STL 可輸出的檔案型 態 3MF、PLY 、 STL OBJ、STL、 3MF、AMF、 DAE、PLY、 WRL、SMESH STL 繪畫工具 （Painting） 較陽春 較豐富 無編輯功能 UV 工具 較差 優秀 無 適用系統 Microsoft Windows 8/ Microsoft Windows 10 Microsoft Windows 7 or later or OS X / macOS 10.11 or later 4GB system RAM Windows8 以 上、Linux、 Macintosh 支援線上列印功 能 支援 沒支援 沒支援 操作介面 簡單 複雜 一般

第四章結論與未來發展

4.1 研究結論 3D 建模技術發展到現今，已越來越普及了，對於現今的各行各業來說， 提供了一個簡便快速的建模方式，大大縮短了製程的時間，提高了更多工 作效率及減少成本的雙贏局面，但由於設備的價格的昂貴，以及軟體和硬 體上參數設定上的調整較繁複，且列印的材質也受限於素材上的限制，導 致到現今還無法量產的原因。 而本論文主要是針對價格較為讓一般人可接受的 Microsoft Kinect 3D 深度掃描器做一個 3D 建模掃描的參數設定，通過各種分析及調校，然 後再利用現在各種開源的建模軟體，修改模型至趨近完美，致力於產出最 為完整的成品。而經過分析的結果發現，根據 3D Builder 及 Kinect Fusion Explorer-WPF 兩套軟體建模來比較看來，前者介面較為乾淨且操作也屬簡 單明瞭，但模型三角網格建構上較為粗糙，建構後的模型則需要再利用修 補軟體做進一步修補，但由於 3D Builder 本身就兼具 3D Scan 及簡單的破 面修補功能，且提供線上列印的功能，對於買不起昂貴 3D 列印機的人來 說，是一個可考慮的方案。而對於後者 Kinect Fusion Explorer-WPF 來說， 由於本身就是屬於 Microsoft Kinect 3D 深度掃描器裡的 SDK，軟體相容 性也相對的高，但介面較為複雜，參數設定上也較多，但由於通過有效率

的調校下，模型三角網格建構上則為精細，模型成型上也較為平滑，但安 裝上較為繁複且本身只提供 3D Scan 的功能，後續模型的修補及檢查破面 上，還須仰賴如 Meshmixer 的修補軟體，做進一步的改善，且沒有提供線 上掃描的功能，相比之下來比較，3D Builder 的功能雖然較為陽春簡單，且 安裝取得上十分方便，所以很適合一般較不需要精細的簡單物件模型，而 Kinect Fusion Explorer-WPF 則比較適合面部特徵需要精細的人像建模方面 或是較細微的物件深度掃描上，綜合以上優缺點，根據自身建模的狀況挑 選適合的三維軟體便可。 而目前較為簡單的 3D 列印機的價格已逐漸較民眾所接受，如使用 PLA （聚乳酸）材質種類的列印機，且使用的 3D 深度感測器已不再受限於體積 龐大的如 Kinect、Ei n s c a n - Pr o 等裝 置 ， 然 而 最 新 的 I P H O N E 或 是 S O N Y 等 大 品 牌 上 的 手 機 ， 也 開 始 有 了 深 度 掃 描 的 功 能 ， 隨 手 就 可 以 列 印 出 屬 於 自 己 專 屬 的 物 件，簡 單 又 便 利，對 於 未 來 勢 必 是 一 個 趨 勢，且 結 合 現 今 最 為 火 紅 的 VR 體 感 裝 置 系 統，3 D 深 度 掃 描 技 術 對 於 未 來 不 容 小 覷 。

4.2 未來發展

根據目前的消息 Microsoft Kinect 3D 深度掃描器已在 2017 年正式停 產了，但 Kinect 還是在其他應用領域上，如醫療、安全等，激發許多新的 應用點子。而 Kinect 技術也不會消失，它的核心感應器將會應用在微軟的 擴增實境（AR）裝置 Hololens 上，微軟的語音助理 Cortana、臉部辨識系統 Windows Hello，也都是 Kinect 技術的衍生應用。以現今遊戲和體感上主要 還是以 VR 實境為最大的趨勢，這股熱潮應該會隨著設備上的普及越來越 進步。 由於本實驗掃取人像模型上，都需要透過其他人來當模特兒，且電腦 硬體設備的位置限制上跟 Kinect 3D 深度掃描器有一段距離，設定參數及建 構的模型完成時，都需在回到電腦上做一個確認和輸出成 STL 檔的動作， 較為不方便，但實驗後期則反思可以結合無線遠端的功能做一個及時的操 作，解決這些問題，且達到個人就可以自我建構人像的建模程序，提供更 活用的便利性。

參考文獻

[1] 周忠信、張哲綜、陳丁加、楊尚仁、謝翰誼 、王立志、陳怡文， 基於 3D 列印技術與社群工藝的文化創意產業生態系，TANET2013 臺灣網 際網路研討會-論文集，2013 年。 [2] 鍾淨宇、陳啟鏘，深度影像中之移動物體偵測，第十五屆離島資訊技術 與應用研討會，2016 年。 [3] 林恩宇，Kinect 深度影像陰影的偵測以及修復，逢甲大學資訊工程學系 碩士論文，2015 年。 [4] 林科瑜，對於 Kinect v2 RGB-D 影片之深度圖品質優化，國立交通大學 電子研究所碩士論文，2017 年。 [5] 賴居廷，於機器人作業系統使用多個 3D 深度感測器實現接近感測，國 立中山大學電機工程學系研究所碩士論文，2017 年。

[6] Microsoft Insider，https://www.microsoftinsider.es

[7] 鄭博旗，應用 KINECT 體感技術輔助國小健身操學習系統設計架構， 國立臺中教育大學數位內容科技學系碩士班碩士論文，2013 年。 [8] 林宇樑，利用 Kinect 手勢辨識進行 3D 建模，朝陽科技大學資訊與通訊 系碩士論文，2012 年。 [9] 上海證卷研究所，移動端 3D 視覺加速，智能交互進入新時代， https://www.htsec.com/ChannelHome/2850176/index.shtml，2017 年。

[10] 羅英哲、曾義星，光達點雲點雲面特徵重建，航測及遙測學刊 第十四 卷 第三期 第 171-184 頁，2009 年。

[11] Kinect for Windows，https://developer.microsoft.com/zh-tw/windows/kinect [12] 羅至中，單視域之遞迴式深度估測補償，

國立交通大學電信工程研究所 碩士論文，2012 年。 [13] Topic10:StereoImaging

https://www2.ph.ed.ac.uk/~wjh/teaching/dia/documents/stereo.pdf , School of Physics , Theory of Image Processing （P00809） Revised: 10, November , 2006.

[14] 黃偉彥，利用雷射光斑成像裝置建構姿勢辨識系統，國立交通大學照 明與能源光電研究所碩士論文，2012 年。

[15]3D natives, 3D scanning through structured light projection, https://www.3dnatives.com/en/structured-light-projection-3d- scanning/，2017 [16] 新通訊元件雜誌，借力結構光技術 3D 測量系統簡化機器視覺設計， 新通訊 187 期《技術前瞻》2016 年 9 月號 [17]Cheng、Z.、Shi、T.、Cui、W.、Dong、Y＆Fang、X， 基於 kinect 深度數據的三維人臉識別，2017 年第四屆系統與信息學國 際會議（ICSAI），2017 年。

[18] Kinect 散斑產生原理—中山大學

http://www2.nsysu.edu.tw/physdemo/2012/A1/A1.php

[19] Wasenmüller O., Stricker D. Comparison of Kinect V1 and V2 Depth Images in Terms of Accuracy and Precision. In: Chen CS., Lu J., Ma KK.（eds）Computer Vision – ACCV 2016 Workshops. ACCV 2016. Lecture Notes in Computer Science, vol 10117. Springer, Cham .2017 [20] Pierre Fereyre，3D 成像—飛行時間法恰逢其時，

https://www.eettaiwan.com/news/article/20180316TA31-3D-imaging-time-is-right-for-ToF.2018.

[21] HOTMESS3D. How does it work?

https://hotmess3d.com/en/about-3d-printing

[22] Steve Graves .Johann C. Rocholl （Rostock） Style,

http://fab.cba.mit.edu/classes/863.15/section.CBA/people/Spielberg/ Rostock_Delta_Kinematics_3.pdf

[23] Scopigno R., Cignoni P., Pietroni N., Callieri M., Dellepiane M.“Digital Fabrication Techniques for Cultural Heritage: A Survey”. Computer Graphics Forum 36 （1）: 6-21. DOI:10.1111/cgf.12781.2017 [24] 3DMART. Ultimaker PLA - Black 黑色

https://3dmart.com.tw/tw/about/index.aspx

[25]PRINT-RITES ABS 塑材 1 公斤卷裝 （黑色） http://www.printriteshop.com.hk

[26] Sidambe, Alfred, Biocompatibility of Advanced Manufactured Titanium Implants—A Review, Materials. 7. 8168-8188.

10.3390/ma7128168, 2 0 1 4 .

[27] Kalyani, Vijay & Bansal, Divya, Future Communication

Technology: A Comparison Between Claytronics And 3-D Printing. Journal of Management Engineering and Information Technology. 3. 2394-8124,2016.

[28] Mech Solutions Ltd. Mechsolutions.

http://www.mechsolutions.com/3d-printing-technology-sla/，2017

[29] Vlasea, Mihaela & Shanjani, Yaser & Basalah, Ahmad & Toyserkani, Ehsan. Additive Manufacturing of Scaffolds for Tissue Engineering of Bone and Cartilage. 2018

[30]Gebisa, A.W.; Lemu, H.G. Investigating Effects of Fused-Deposition Modeling （ FDM ） Processing Parameters on Flexural Properties of ULTEM 9085 using Designed Experiment. Materials 2018.

[31] von Andrian-Ceciu, Roxanne. Incodema3D’s Strategic Plan （MBA Thesis）. 2017.

[32] John Hewitt,EXTREME-TECH, the first 3D-printed

human stem cells, https://www.extremetech.com/extreme/147647- the-first-3d-printed-human-stem-cells, 2013.

[33]Andy Greenberg. How Secure Is the iPhone X's FaceID? Here's What We Know. From: https://www.wired.com/story/iphone-x- faceid-security/，2017.

[34]賴泓瑞，以模型樣版為基礎之建物三維點雲建模演算法，國立成功大學 測量及空間資訊學系碩博士班碩士論文，2009 年。

[35] Microsoft. Set up Kinect for Windows v2 or an Xbox Kinect sensor with Kinect Adapter for Windows, https://www.microsoft.com/zh-tw/ [36] D-Force 300 V2，http://d-force.tw/，2015 年。

[37] Microsoft，https://www.microsoft.com

[38]卓楷淵，利用 Kinect 感測器重建物體三維模型，元智大學資訊傳播學 系碩士論文，2015 年。

[39] Lachat, E; Macher, H; M-A Mittet; Landes, T; Grussenmeyer, P. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, W4; Gottingen Vol. XL, Iss. 5, : 93-

100. Gottingen: Copernicus GmbH.DOI:10.5194/isprsarchives-XL-5-W4-93-2015.

[40] Pagliari, D., Menna, F., Roncella, R., Remondino, F., & Pinto, L. Kinect Fusion improvement using depth camera calibration. The

International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 40（5）, 479,2014.

[41] Miles Hansard, Seungkyu Lee, Ouk Choi, Radu Horaud. Time of Flight Cameras: Principles, Methods, and Applications. Springer, pp.95, SpringerBriefs in Computer Science, ISBN 978-1-4471-4658- 2.2012 . [42] Meshmixer, from: http://www.meshmixer.com/

[43] Repetie, from: https://www.repetier.com . .