3D VR/AR 人才培訓之研究

明新學校財團法人明新科技大學

校內專題研究計畫成果報告

計畫類別：■任務型計畫 整合型計畫 個人計畫

計畫編號：MUST-109 任務-20

執行期間： 109 年 1 月 1 日 至 109 年 9 月 30 日

計畫主持人：曾俊霖

共同主持人：

計畫參與人員：陳昱佑

處理方式：公開於校網頁

執行單位：多媒體與遊戲發展系

中 華 民 國

109 年

10 月 30

日

3D VR/AR 人才培訓之研究

圖目錄

圖 1、HTC Vive 頭戴式虛擬實境系統 ... 5

圖 2、J. Egger et al.將虛擬實境裝置導入至 MeVisLab 醫療系統中 ... 6

圖 3、Collier III et al.利用 UAV 無人飛行載具與 HTC Vive 建構虛擬校園導覽系統 ... 6

圖 4、Microsoft Hololens 頭戴裝置 ... 7

圖 5、Silva et al.將擴增實境技術應用於教育場域中 ... 8

圖 6、Pham et al.在 Hololens 擴增實境系統上開發所需之操作手勢並將之應用在醫學上 .... 9

圖 7、Elena et al.導入虛擬實境裝置後，探討其對學生學習過程的影響 ... 10

圖 8、使用者在福特廠中帶上虛擬實境裝置後，可透視觀看到汽車外的虛擬場景內容 .... 11

圖 9、Zarraonandia et al.在 2019 年所提出了擴增實境遊戲 ... 12

圖 10、Pittman 與 LaViola 在研究中利用 Hololens，擷取球在斜坡上彈跳的情形 ... 12

圖 11、Pittman 與 LaViola 利用 AR 頭戴裝置捕捉，在庫倫定律下電荷電場的呈現效應 .. 13

圖 12、AR 自 2006 年至 2017 年的主要研究領域分類與探討 ... 13

圖 13、VR/AR 培訓圖 ... 15

表目錄

中文摘要

隨著虛擬實境(VR)與擴增實境(AR)技術的不斷提升，產業界對虛擬實境與擴增實境的 需求不斷增加。而為了有效提早讓學生投入 VR/AR 創意設計領域，本計畫以「3D VR/AR 人才培訓之研究」為主題，以期加速本系學生與產業技術同步發展，並透過此一計畫之執行 引領更多同學一同參與虛擬實境與擴增實境的技術領域。而為了培訓學生虛擬實境與擴增實 境系統相關技術，本計畫以 HTC Vive VR、智慧型手機為主要的 VR/AR 培訓裝置，並導入 HTC Vive 所需之 Steam VR 開發套件，並依培訓目標規畫出五個主要內容，包括 VR/AR 硬 體介紹、VR/AR 相關軟體介紹、VR/AR 開發環境架設、VR/AR 開發引擎實作、VR/AR 系 統發佈與展示，最後將研究成果撰寫於研究報告中，做為未來 VR/AR 創意設計人才培育方 向的參考。

Abstract

With the raising of the techniques of virtual reality (VR) and augmented reality (AR), the demand in VR and AR for industries are decreasing. To allow students to dedicate themselves to VR and AR, this study proposed a research, called 3D VR/AR manpower cultivation. This study will lead students to study the technique of VR and AR. In the VR and AR devices, this project will employ the HTC Vive VR and Smart Phone. To develop the integrative system, this project will import the Steam VR and relative AR packages respectively. There are five topics of manpower cultivation, including introduction to VR/AR hardware, introduction to VR/AR software, VR/AR development environment, VR development engine, VR/AR system publishing and representation. Finally, we also have written a research report for the reference of VR/AR personnel cultivation.

一、前言

二、研究動機與目的

本系所屬之人文與設計學院以「人文關懷與創意設計」為主要的人才培育目標，其中 創意設計更是本系的教育推動方向之一，而著眼於 VR/AR 創意設計的應用越來越廣，因此， 本系提出此計畫，以提升本系學生的 VR/AR 創意設計能力。 無論是虛擬實境還是擴增實境技術，近年來的應用已越來越多，包括軍事、醫療、建 築、教育、工程、影視、娛樂等相關領域 [1-6]，而目前常見的頭戴式虛擬實境裝置包括 Oculus Rift [7，8]、3Glasses [9]、HTC Vive [10，11]、PlayStation VR [12]等；頭戴式擴增實境裝置 則包括 Microsoft Hololens AR、Acer Windows Mixed Reality 開發版等。以下依頭戴式虛擬實 境裝置與擴增實境裝置的應用分別說明如下：

1. 虛擬實境裝置與其應用：

圖 1、HTC Vive 頭戴式虛擬實境系統 雖然虛擬實境技術可以提供使用者身歷其境的視覺效果，在娛樂產業的應用上也有許 多成功的例子，然而對於其他領域，要將之整合到現存的系統中，仍舊不是那麼容易，其中， 醫療領域的 MeVisLab 平台便是如此。 MeVisLab 是醫療研究人員常用的系統，該系統主要透過 ITK 與 VTK 來進行建構，並 利用傳統的圖形化介面來加以呈現。然而，ITK 與 VTK 皆未直接支援虛擬實境技術，因此， J. Egger et al.[13]在 MeVisLab 系統中導入了 OpenVR 介面，以便讓 MeVisLab 能透過 HTC Vive 等虛擬實境設備來進行呈現，如圖 2 所示。

圖 2、J. Egger et al.將虛擬實境裝置導入至 MeVisLab 醫療系統中

Collier III et al. [14] 則將 HTC Vive 虛擬實境裝置與 UAV 無人飛行載具進行結合，並 將之應用於虛擬校園導覽之中。Collier III et al.利用 DJI Phantom 無人飛行載具(含攝影機)在 校園中進行飛行拍攝，取樣出虛擬校園所需的 3D 模型點座標資訊，並擷取出多張建置虛擬 校園所需之照片資訊，最後在將之整合成 3D 場景模型，並將之導入 Unity 系統中，並透過 SteamVR 建構導覽虛擬校園所需之互動機制，進而運用 HTC Vive 可針對虛擬校園進行操 作。

圖 3、Collier III et al.利用 UAV 無人飛行載具與 HTC Vive 建構虛擬校園導覽系統 2. 擴增實境裝置與其應用：

Microsoft Hololens 最具代表性。Microsoft HoloLens 是使用 Windows Holographic 的主要設備。 HoloLens 是一個在 Windows 10 作業系統上執行的智能眼鏡產品。它採用先進的傳感器、高 清晰度 3D 光學頭置式全角度透鏡顯示器以及環繞音效。它允許在擴增實境中用戶界面可以 與用戶透過眼神、語音和手勢互相交流。 HoloLens 使用的傳感器是一種高效節能的深度攝像頭，具有 120°×120°的視野。傳感 器提供的其他功能包括頭部跟蹤，視頻拍攝，以及聲音捕捉。除了高性能的 CPU 和 GPU， HoloLens 帶有全息處理器（HPU）這一協處理器用於從所述的各種傳感器集成數據，並處 理包括空間映射，手勢識別和語音識別的相關任務。 圖 4、Microsoft Hololens 頭戴裝置 由於 Hololens 頭戴裝置因具有 Holographic 的功能，因此，其不限於應用在虛擬實境或 擴增實境的領域之中，換句話說，它具有更寬廣的應用範圍。另外，Hololens 與其他頭戴式 裝置最大的不同點就是它本身就相當於一台電腦，它具有獨立運算的功能，無須連接到電腦 伺服器之中，且可透過無線傳輸的方式將擴增實境系統訊息進行傳送或接收，提供使用者完 全無線且更自由式的操作模式。

圖 5、Silva et al.將擴增實境技術應用於教育場域中

三、相關文獻探討

3-1 虛擬實境文獻探討

近年來，虛擬實境裝置有許多不同的應用，包括遊戲、教育、電影、軍事訓練、工業 仿真等。在此我們以教育應用以及工業仿真兩方面來進行探討。

3-1-1 教育應用

圖 9、Zarraonandia et al.在 2019 年所提出了擴增實境遊戲 3-2-2 教育應用 雖然目前我們正處於增強現實 (AR) 的萌芽階段，然而，部分應用領域卻有著重大發 展。教育是一個經常透過新興技術來推動創新的領域之一，其中，受擴增實境的可視化功能， 而直接獲益的學科之一便是物理。Pittman 與 LaViola [21]在 2019 年的研究中介紹了一系列 對中學教師的訪談結果，研究中說明了他們在 AR 方面的經驗，以及從教學角度對中學教師 最有利的特點。為了收集有意義的訊息，本研究開發了一個應用程式雛形，並交給了教師們， 如圖 10 與圖 11 所示。根據從教師那裡收集的反饋，我們提出了一套 AR 物理教育工具的設 計建議，以及許多其他有用的建議。

為了進行 VR/AR 相關硬體的開發，因此，必須導入相關開發套件，在本培訓營中，我 們將導入 Unity 開發工具、SteamVR、Hololens AR ToolKit 等相關開發套件，並對培訓學生 介紹這相關的開發工具。  VR/AR 開發環境架設 了解 VR/AR 的硬體裝置以及軟體開發環境之後，再者便是先進行開發環境的架設，包 括如何進行 VR/AR 硬體環境的操作、架設以及軟體安裝與操作。  VR/AR 開發引擎實作 在本計畫中，我們將利用 Unity 作為培訓的主要開發引擎，並透過 Unity 來訓練學生 C#程式語言的實作。在此階段中，將以 VR/AR 遊戲為主要開發目標，讓學生了解 VR/AR 開發的過程，以因應未來執行產學計畫的基礎。  VR/AR 系統發佈與展示 如何將前一階段所開發的 VR/AR 遊戲專案進行發佈與展示，是本階段主要的工作，因 此，本計畫將引導學生如何將 Unity 所實作出來的內容發佈到 VR/AR 頭盔裝置之中，以便 透過 VR/AR 來觀看是實作結果

4-3 實施步驟

本計畫的研究步驟包括：  虛擬實境系統與擴增實境系統之相關應用研究。 虛擬實境與擴增實境系統皆為近年來 3D 應用中最為熱門的技術之一，隨著資訊技術 的迅速發展，目前已陸續有許多相關的研究也正如火如荼的進行著，為了加速 VR/AR 創意 設計人才培育的速度，本計畫將引導學生探討相關應用研究，以便讓參與學生更快速的了解 目前 VR/AR 的產業發展現況。  Unity3D 之相關應用研究。 Unity3D 是近年來普及度最高的 3D 系統開發軟體之一，其高普及度的原因除了其具有 跨平台的特性之外，更重要的是，它可與多項 3D 相關周邊設備進行整合，包括 HTC Vive、 Hololens、Oculus Rift、Manus VR、Perception Neuron 等，這大大拓展了 Unity3D 的應用領 域，也提升學生 Unity3D 開發平台中的實作概念，我們將在計畫中，將進行 Unity3D 相關應 用的研究。

 引導學生如何將 3D 場景與物件導入至 Unity3D 之中。

來進行 3D 地形場景之建置，而其他 3D 物件則利用目前市面上為人所熟知的 3D 模型建置 軟體(如 3ds Max 或 Maya)來進行建置，並透過 FBX 格式將這些 3D 物件導入至 Unity3D 之 中，以便提供後續計畫進行 VR/AR 之實作開發。

 探討如何有效加速學生學習 VR/AR 的速度。

合作對象：竹北新國社區 執行期間：109.01-109.12

發佈設備：智慧型手機 (AR 互動)  實作遊戲開發：VR 射擊遊戲

VR/AR 培訓營-VR 射擊遊戲場景實作畫面 VR/AR 培訓營-VR 射擊遊戲控制畫面

AR 培訓營-攝影機影像辨識 AR 培訓營-AR 系統實作

參考文獻

[1] P. R. Chai, R. Y. Wu, M. L. Ranney, P. S. Porter, K. M. Babu, E. W. Boyer, “The Virtual Toxicology Service: Wearable Head-Mounted Devices for Medical Toxicology”, Journal of Medical Toxicology, Vol.10, No.4, pp 382-387, 2014.

[2] F. Soffel, M. Zank, and A. Kunz, “Postural stability analysis in virtual reality using the HTC vive”, 22nd ACM Conference on Virtual Reality Software and Technology, pp. 351-352, Nov. 2016.

[3] M. Silva, D. Freitas, E. Neto, C. Lins, V. Teichrieb, J.M. Teixeira, “Glassist: Using Augmented Reality on Google Glass as an Aid to Classroom Management”, 2014 XVI IEEE Symposium on Virtual and Augmented Reality, pp.37-44, 2014.

[4] J. McGhee, B. Bailey, R. G. Parton, N. Ariotti, and A. Johnston, “Journey to the centre of the cell (JTCC): a 3D VR experience derived from migratory breast cancer cell image data”, ACM SIGGRAPH ASIA 2016 VR Showcase, p. 11, Nov. 2016.

[5] C.-Y. Hsu, Y.-C. Tung, H.-Y. Wang, S. Chyou, J.-W. Lin, M. Y. Chen, “Glass Shooter: Exploring First-Person Shooter Game Control with Google Glass”, ACM Proceedings of the 16th International Conference on Multimodal Interaction, pp.70-71, 2014.

[6] E. Lemle, K. Bomkamp, M. K. Williams, and E. Cutbirth, “Virtual Reality and the Future of Entertainment”, Two Bit Circus and the Future of Entertainment, Springer, pp. 25-37, 2015. [7] R. Gordon, "Oculus Rift Will Be Cheaper Thanks To Facebook; Aiming For 2015 Release".

Game Rant, 2014.

[8] N. Chan, "My 10 Virtual Reality Takeaways from Oculus Connect", Tested, 2014.

[9] C.-M. Chang, C.-H. Hsu, C.-F. Hsu, K.-T. Chen, “Performance Measurements of Virtual Reality Systems: Quantifying the Timing and Positioning Accuracy”, Proceedings of the ACM on Multimedia Conference, pp. 655-659, 2016.

[10] F. Soffel, M. Zank, A. Kunz, “Postural stability analysis in virtual reality using the HTC vive”, Proceedings of the 22nd ACM Conference on Virtual Reality Software and Technology, pp. 351-352, 2016.

[12] K. L. Chan, K. Ichikawa, Y. Watashiba, H. Iida, “Cloud-Based VR Gaming: Our Vision on Improving the Accessibility of VR Gaming”, 2017 International Symposium on Ubiquitous Virtual Reality, pp. 24-25, 2017.

[13] J. Egger, M. Gall, J. Wallner, P. Boechat, A. Hann, X. Li, X. Chen, D. Schmalstieg, “HTC Vive MeVisLab integration via OpenVR for medical applications”, PLOS ONE, vol.12, no.3, March 21, 2017.

[14] J. P. Collier III, J. W. Lewis, and B. P. Bernard, “Using Photogrammetry to create a Virtual Campus Tour for the HTC Vive”, 2017 ASEE Gulf-Southwest Section Annual Conference, 2017.

[15] M. Silva, D. Freitas, E. Neto, C. Lins, V. Teichrieb, J.M. Teixeira,“Glassist: Using Augmented Reality on Google Glass as an Aid to Classroom Management”, 2014 XVI IEEE Symposium on Virtual and Augmented Reality, pp.37-44, 2014.

[16] T. Pham, A. Tang, C. Jacob, “User-Defined Gestures for Holographic Medical Analytics”, Proceedings of Graphics Interface, 2017

[17] E. Olmos-Raya, J. Ferreira-Cavalcanti, M. Contero, M. C. Castellanos, I. A. C. Giglioli, M. Alcañiz, “Mobile Virtual Reality as an Educational Platform: A Pilot Study on the Impact of Immersion and Positive Emotion Induction in the Learning Process”, EURASIA Journal of Mathematics, Science and Technology Education, 14(6), pp.2045-2057, 2018.

[18] L. P. Berg, J. M. Vance, “Industry use of virtual reality in product design and manufacturing: a survey”, Virtual Reality, Vol.21, pp.1-17, 2017.

[19] C. J. Turner, W. Hutabarat, J. Oyekan, A. Tiwari, “Discrete Event Simulation and Virtual Reality Use in Industry: New Opportunities and Future Trends”, IEEE Transactions On Human-Machine Systems, Vol. 46, No.6, pp. 882–894, 2016.

[20] T. Zarraonandia, A. Montero, P. Diaz, I. Aedo, ""Magic Flowerpot": An AR Game for Learning about Plants", CHI PLAY'19, pp.813–819, 2019.

[21] C. Pittman and J. J. LaViola, "Determining Design Requirements for AR Physics Education Applications," 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pp. 1126-1127, 2019.

附錄、成果發表

34

計畫成果自評表

明新科技大學 109 年度 研究計畫執行成果自評表

計 畫 類 別 ： ■任務導向計畫 □整合型計畫 □個人計畫 所 屬 院 ( 部 ) ： □工學院 □管理學院 □服務學院 ■人文與設計學院 執 行 系 別 ： 多媒體與遊戲發展系(中心) 計 畫 主 持 人 ： 曾俊霖 職 稱：副教授 計 畫 名 稱 ： 3D VR/AR 人才培訓之研究 計 畫 編 號 ： MUST-109 任務-20 計 畫 執 行 時 間 ： 109 年 1 月 1 日 至 109 年 9 月 30 日

計

畫

執

行

成

效

教 學 方 面 1.對於改進教學成果方面之具體成效： 讓同學提早接觸 VR/AR 相關知識，累積培訓學生 VR/AR 開發的能量。 2.對於提昇學生論文/專題研究能力之具體成效： 提供學生進行 VR/AR 系統的安裝、開發與實作。 3.其他方面之具體成效： 受培訓的同學們參與了與社區的 AR 實務應用 學 術 研 究 方 面 1.該計畫是否有衍生出其他計畫案 ■是 □否 計畫名稱： 防災教育遊戲開發 2.該計畫是否有產生論文並發表 ■已發表 □預定投稿/審查中 □否

發表期刊(研討會)名稱：IAENG International Journal of Computer Science