虚拟现实交互技术Virtual RealityVirtual RealityVirtual RealityVirtual Reality

虚拟现实交互技术 Virtual Reality Virtual Reality Virtual Reality Virtual Reality

王莉莉 副教授 北京航空航天大学 虚拟现实技术与系统国家重点实验室

2010 2010 2010 2010年春季

课程主要内容

• 虚拟现实的概念

• 虚拟现实的应用

• 虚拟现实的支撑技术（ 重点内容）

• 一些其他技术在虚拟现实中的应用

• 构建虚拟现实系统的相关工具

课程安排

• 前七次课主要内容

– 第一讲 虚拟现实技术概述 – 第二讲 虚拟现实显示技术

– 第三讲 并行图形绘制与多屏拼接显示 – 第四讲 虚拟现实跟踪技术

– 第五讲 增强现实技术

– 第六讲 人工智能在虚拟现实中的应用

考核方式

• 课堂讲演 80%

• 印象分 20%

一些有用信息

• 授课教师 – A 沈旭昆教授 – B 王莉莉副教授

• 邮件地址

– xkshen@vrlab.buaa.edu.cn – Lily_w@vrlab.buaa.edu.cn

• 课程资源

– http://vrlab.buaa.edu.cn/HomePage/lily/classe s.html

参考书

• 虚拟现实技术（第二版） Grigore C.

Burdea & Philippe Coiffet著 电子工业出版 社 2005年

• 虚拟现实系统-接口、应用与设计 William R.

Sherman & Alan B. Craig著 点在工业出版

社 2004年

网络资源

• 国外网站

– 国外大学的VR实验室的网站

– International Virtual Reality Conference – International Journal of Virtual Reality

网络资源

• 国内网站 – www.86vr.com – www.3d-vr.com – www.vrforum.cn

– 一些代理vr相关产品的公司网站

• www.pcvr.com.cn 黎明视景

• www.gvision.cn 伟景行

• www.crystalcg.com 水晶石

第一讲 虚拟现实概述

（Introduction of Virtual Reality Introduction of Virtual Reality Introduction of Virtual Reality Introduction of Virtual Reality）

虚拟现实交互技术课程

主要内容

1. 为什么要研究虚拟现实技术 2. 虚拟现实的发展

3. 虚拟现实系统的构成与特点 4. 虚拟现实系统的应用 5. 主要问题与研究方向

虚拟现实的研究目的

• 由于客观条件的限制 ,许多研究成果不能只 满足于理论，又无法进行真正的实践研 究，对于这类问题，可以用计算机仿真的 方法进行研究。

Virtual Environments for past astronaut training: STS- Virtual Environments for past astronaut training: STS- Virtual Environments for past astronaut training: STS- Virtual Environments for past astronaut training: STS- 61 Hubble Telescope Repair (1993).

61 Hubble Telescope Repair (1993).

61 Hubble Telescope Repair (1993).

61 Hubble Telescope Repair (1993).

the 1993 Hubble Space Telescope the 1993 Hubble Space Telescope the 1993 Hubble Space Telescope the 1993 Hubble Space Telescope (HST) Repair mission team using (HST) Repair mission team using (HST) Repair mission team using (HST) Repair mission team using VR training

VR training VR training VR training

Computer generated scene Computer generated scene Computer generated scene Computer generated scene depicting the HST capture and depicting the HST capture and depicting the HST capture and depicting the HST capture and EVA repair mission for mission EVA repair mission for mission EVA repair mission for mission EVA repair mission for mission planning

planning planning planning

虚拟现实的研究目的

1. 计算仿真为解决一些传统方法无法解决的 问题提供了新途径、新方法。

2. 计算仿真中传统的人机交互方式不能满足 要求。

3. 计算机软件硬件水平的发展给虚拟现实研 究提供了有利条件。

虚拟现实的研究目的

• 传统人机交互方法：

– 人与计算机间的交互通过键盘、鼠标、显示屏等工具 实现。

• 虚拟现实方法：

– 将计算科学处理对象统一看作一个计算机生成空间

（虚拟空间或虚拟环境），并将操作它的人看作是这 个空间的一个组成部分 (man-in-the-loop)。

– 人与计算机空间的对象之间的交互是通过各种先进的 感知技术与显示技术（即虚拟现实技术）完成。

– 人可以感受到虚拟环境中的对象，虚拟环境也可以感 受到人对它的各种操作（类似于人与真实世界的交互 方式）。

主要内容

1. 为什么要研究虚拟现实技术 2. 虚拟现实的发展

3. 虚拟现实系统的构成与特点 4. 虚拟现实系统的应用 5. 主要问题与研究方向

虚拟现实技术的发展

• 1962年, 美国的Morton Heileg开发了一个被称为 Sensorama的全传感仿真器，这个早期虚拟现实 工作站主要包括：

– 三维视频反馈（有一对并排的 35mm照相机拍摄）；

– 运动、颜色、立体声音、香气、风吹的效果；

– 一个可以震动的座位

用户可以坐在仿真器的 座位上经历一种开摩托 车漫游美国纽约的感觉。

虚拟现实技术的发展

• 1965196519651965年，美国的 Ivan Sutherland Ivan Sutherland Ivan Sutherland Ivan Sutherland 发表了 一篇名为“The Ultimate Display”（终极的显 示）的文章。

– 应该将计算机显示屏幕看作观察虚拟世界的 一个窗口，计算机系统将使该窗口中的景象、

声音、动作行为、感觉都与真实世界相同或 相似。Sutherland的这篇文章给计算机界提 出了一个具有挑战性的目标，人们把这篇论 文称为是研究虚拟现实的开端。

• 1968196819681968年， Ivan SutherlandIvan SutherlandIvan SutherlandIvan Sutherland在哈佛大学组 织开发出第一个计算机图形驱动的头盔显 示器（Helmet-Mounted Display，即 HMD），并开发了与HMDHMDHMDHMD相配的头部位置 跟踪系统

接收器

发送器 液晶显示屏

光学装置

立体声耳机

立体声产生器

位置和方向跟踪器 左眼影象产生器 右眼影象产生器

虚拟现实技术的发展

• 70年代，随着计算机硬件水平的提高，能够生成较高质量的三维图 形，从而为进一步提高系统的真实感提供了可能。

• 基于从60年代以来所取得的一系列成就，美国VPL公司的创建人之一 Jaron Lanier在80年代初提出了“Virtual Reality”一词。虚拟现实给用 户带来一种新的人机交互方式。

• 除了视觉和触觉以外，人们还开始研究听觉、味觉等人体其它感知的 模拟方法，并将其应用在虚拟现实系统中。

• 近年来，随着多传感器技术、三维图形技术、计算机网络技术的发 展，以及对人类感知系统研究的深入，兴起了对虚拟现实的研究热潮。

虚拟现实也正在被广泛应用于产品原型设计、遥操作、教育、医疗、

娱乐、训练等许多领域。

虚拟现实的概念

• 虚拟现实（Virtual Reality Virtual Reality Virtual Reality Virtual Reality，

简称VR VR VR VR）

– 是一种由计算机建立的使得参与 者不能将其与真实经历相区分的 感官体验。它借助计算机图形学、

图像处理与模式识别、人工智能 技术、多传感器技术、语音处理 和音响技术等创建出能够重现真 实世界的电子版本，使用户通过 视、听、触觉等的体验，产生身 临其境的感觉。

虚拟现实的概念

• 虚拟现实（Virtual Reality Virtual Reality Virtual Reality Virtual Reality，简称VR VR VR VR）

– 虚拟现实就是采用以计算机技术为核心的现代 高技术生成逼真的视、听、触觉一体化的一定 范围的虚拟环境，用户可以借助必要的装备以 自然的方式与虚拟环境中的物体进行交互作用、

相互影响，从而获得亲临等同真实环境的感受 和体验。

虚拟现实技术的发展

• 这些探索过程中，人们开始形成与虚拟环境相关 的以下一些概念：

– 人工现实（ Artificial Reality）

– 合成现实（ Synthetic Reality）

– 虚拟环境（ Virtual Environment）

– 电脑空间（ Cyberspace） 等

• 这些可以理解为对虚拟现实技术的不同称呼，以 Virtual Reality一词影响最广。

虚拟现实的特征

• 虚拟现实技术的3个I特征

– 沉浸感(immersion): 参与者全身心地 沉浸于计算机所生成的三维虚拟环 境，并产生身临其境的感觉。

– 交互性(interaction): 参与者可以利用 各种感官功能及人类自然技能 虚拟 环境进行交互考察与操作 。

– 构想性(imagination): 参与者借助 VR 系统给出的逼真视听触觉信号而产 生的对虚拟空间的想象

Immersion

Imagination Interaction

IIII

1.

1. 1. 1. 事件推进（构想性）

2. 2.

2. 2. 逼真显示((((沉浸感)))) 3.

3.

3.

3. 任意漫游((((交互性))))

虚拟现实的特征 虚拟现实与其它内容的关系

• 与计算机仿真的区别

– 不再是坐在现实世界中仅通过普通的人机界面 去观察分析研究对象的参数，而是沉浸到由计 算机创造的一种虚拟世界之中，在这里面如同 真实世界一样与周围的虚拟环境事物进行交互 作用。

在流体力学中，流体仿真计算的数 学模型是斯托克司方程(Navier- Stokes Equations)，模拟河水通过 大坝。对压力系数的调整得到水流 的变化。

虚拟现实与其它内容的关系

• 与计算机动画的区别

– 用户可以实时地按自已的“意愿”与虚拟环境进 行交互作用。三维动画则是将事前计算的结果

“播放”出来，用户只能被动接受动画设计人员 预先规划好的路线，不能在观看过程中做实时 改变。

虚拟现实与其它内容的关系

• 与游戏的区别

注重效果、沉浸感、可 玩性，往往会对一些真 实的内容做以简化。

– 虚拟现实的最终目的是 借助虚拟世界指导现 实，因此真实性更为重 要。

•

DEMO

主要内容

1. 为什么要研究虚拟现实技术 2. 虚拟现实的发展

3. 虚拟现实系统 4. 虚拟现实系统的应用 5. 主要问题与研究方向

人类的感知系统

J.J.Gibson J.J.Gibson J.J.Gibson

J.J.Gibson总结的感知系统 内耳迷路中除耳蜗外，还有三个半规管、椭圆

囊和球囊，后三者合称为前庭器官，是人体 对 自身运动状态和头在空间位置的感受器。

人类的行为系统

行为系统

人与环境的关系

虚拟现实系统的概念模型 虚拟现实系统

http:// www.reflex.lth.se/reflex/whatisVR /

一个示例：virtual cockpit virtual cockpit virtual cockpit virtual cockpit

http://www.ipo.tue.nl/homepag es/mrauterb/presentations/HCI -history/sld068.htm

虚拟现实系统

• 设计一个虚拟现实系统通常考虑三个基本 组成部分构成：

– 用户接口 – 虚拟世界 – 现实经验

三个部分有机结合，

形成一个统一的整体。

现实经验指导着用户 接口、虚拟世界的设 计和建立，参与者通 过用户接口以自然的 方式与虚拟世界的对 象互相影响、互相作 用，从而获得等同亲 临真实环境的感受和 体验。

虚拟现实系统

• 用户接口

– 用户与虚拟现实系统信息交流的通道，通常分为两个 部分：硬件接口和软件接口。

• 虚拟世界

– 真实对象的计算机表示，虚拟世界则是虚拟对象及其 相关事件的全体。虚拟世界产生的基础是实物虚化和 虚物实化。

• 实物虚化(Real Objects Virtualizing)是指将现实世界中的真实 事件、对象转换成虚拟世界中的事件和对象，将真实世界的多 维信息映射到计算机数字空间的过程。

• 虚物实化(Virtual Objects Realizing)则是给虚拟世界中的物体 赋予一定的真实特性，并将虚拟世界中的事件和作用转换成真 实世界中的事件，从而反作用于真实世界的过程。

虚拟现实系统

• 现实经验

– 在虚拟现实系统中虽然没有直接的显式表示，但它却 是虚拟现实系统不可缺少的重要组成部分，融入到虚 拟现实系统的其它各个组成部分之中。

– 现实经验主要包括现实生活中的记忆、能力、以往经 历、感情和文化背景等，是整个虚拟现实系统的精髓。

因此，无论用户接口还是虚拟世界的设计和建立都离 不开现实经验。

– 现实经验增加了虚拟现实系统的真实性、实用性，同 时它也是虚拟现实系统与其它计算机应用系统的重要 区别之一。

虚拟现实系统

• 虚拟现实系统数据流示意图

实线指示虚拟现实 系统与参与者之间 的数据流向，虚线 指示真实世界中的 物体。

多种虚拟现实系统

• 单用户虚拟现实系统 – 系统允许单个用户参与 – 主要应用：

• 复杂设备操作训练

• 医学手术模拟

• 娱乐

多种虚拟现实系统

• 多用户虚拟现实系统

– 典型的系统有： mWorld, CAVE，DIVE等 – 主要应用：虚拟研讨环境 (聊天室), 虚拟社区 – 主要问题：保证多个用户对虚拟环境有一致的感受

多种虚拟现实系统

• 分布式虚拟现实系统

– 分布于不同地理位置的多台计算机通过网络互联 – 主要应用：军事仿真，多用户虚拟环境

– 典型系统：SIMNET ，NPSNET，STOW

– 主要问题：系统的一致性 (由数据分布与网络延迟引起 )

多种虚拟现实系统

• 遥存在(Tele-Presence) – 真实世界与操作人员相隔两地 – 主要应用：远程手术，远程探测等

示例

• 遥存在(Tele-Presence)

多种虚拟现实系统

• Augmented Reality

– 应用领域：维修，医学检查，培训等 – 主要问题：虚实一致性

Augmented Reality Augmented Reality Augmented Reality Augmented Reality

• Columbia Columbia Columbia Columbia大学Steve Steve Steve Steve Feiner Feiner Feiner Feiner的小组建造了激 光打印机维修的应用

用户自己所看到的。线框 告诉用户移走送纸器。

从他人角度看到的打印 机维修应用。

主要内容

1. 为什么要研究虚拟现实技术 2. 虚拟现实的发展

3. 虚拟现实系统 4. 虚拟现实系统的应用 5. 主要问题与研究方向

虚拟现实系统的应用

1. 系统仿真 2. 城市规划 3. 房地产 4. 文物保护 5. 展览馆 6. 军事 7. 教育

8. 医疗 9. 游戏 10. 培训 11. 产品展示 12. 勘探测绘 13. 其他

系统仿真

虚拟组装

用于核弹B-61-x 用于核弹B-61-x B-61-x B-61-x B-61-x 的虚拟组装系统B-61-x B-61-x B-61-x 的虚拟组装系统

各组成部分

各组成部分 总装完成后总装完成后

用于组装和拆卸过程 用于组装和拆卸过程 的训练及型号的改进 的训练及型号的改进 如如

B61-0,1,2,3,4,5...,10 B61-0,1,2,3,4,5...,10 B61-0,1,2,3,4,5...,10 B61-0,1,2,3,4,5...,10 B61-0,1,2,3,4,5...,10 B61-0,1,2,3,4,5...,10 B61-0,1,2,3,4,5...,10 B61-0,1,2,3,4,5...,10

系统仿真

• SmartCollision 一个来自美国和 日本科学家共同研发的基于多边 形的碰撞检测库和计算机力反馈

（计算机触觉）应用驱动引擎，

之前大部分的碰撞检测库仅仅能 计算不相交物体间的距离，或判 断物体是否有穿透能力，而 SmartCollision™不仅可以计算 穿透深度，而且还能检测和分析 渗透量。速度快。

系统仿真

产品设计与人机功效((((飞机，空间站等))))

系统仿真----布料仿真

Artifacts ArtifactsArtifactsArtifacts

系统仿真----布料仿真 城市规划

• 虚拟城市建设研究 利用虚拟现实软、

硬件与多种传感器 结合的高科技系 统，综合应用全数 字摄影测量技术、

GIS技术、仿真技 术等，在有关城市 数据的基础上建立 虚拟城市。

城市规划

• 美国UCLA城市仿真小组

（http://www.ust.ucla.edu/ustweb/ust.html）这是世界 上最为著名的城市仿真小组，从 90年代中期开始城市仿 真研究，致力于“虚拟洛杉矶”项目。至今已成功完成十 多个城市仿真项目。应用软件： Multigen Creator/Vega

城市规划

• 车辆流量分析

房地产

• 在房地产销售当中，传统的作法是制作沙盘模型。由于沙盘要经过大 比例缩小，因此只能获得小区的鸟瞰形象，无法以正常人的视角来感 受小区的建筑空间，更无法获得人在其中走动的真正感觉。同时，在 模型制作完后，修改的成本很高，有着很大的局限性。

• 近年来效果图及三维动画已得到普遍应用。然而，效果图只能提供静 态局部的视觉体验。三维动画虽有较强的动态三维表现力，但不具备 实时的交互性，是一个静态的世界。观察者只能按事先规定好的路线 和角度浏览，很被动，信息也不可能全面。

• 应用虚拟现实技术，目标客户可以在虚拟现实系统中自由行走、任意 观看，突破了传统三维动画被动观察无法互动的瓶颈，给目标客户带 来难以比拟的真实感与现场感，使他们获得身临其境的真实感受，更 快更准地做出定购决定，大大加快商品销售的速度。

房地产

文物保护

• 由于受到自然灾害、经济建设、旅游开发 等因素的影响，许多珍贵稀有文物遗址已 处于濒危境地，如何有效保护、研究与开 发这些文物资源已经显得非常的迫切与重 要；

• 如何将计算机技术与传统文物保护工作结 合起来，对文物实施数字化保存、重现和 修复 。

文物保护

• 以敦煌文物为研究 对象，利用虚拟现 实、图像处理与人 工智能等技术实现 了敦煌石窟虚拟展 示、脱落壁画复原 与演变模拟等系 统，极大地提高和 改善了文物保护研 究的效率与效果。

展览馆-埃及新建国家博物馆

在新闻发布会上，埃 及政府宣称：

“

“

“

“大埃及博物馆将充

军事

• 虚拟现实的技术根源可以追溯到军事模拟，最初的模拟是 用来训练飞行员能熟悉和掌握平时的和紧急情况下的飞行 环境，其实际的训练是通过将飞行员放在一个虚拟的环境 中来完成的。这种模拟不仅用来培训喷气式样飞机的飞行 员，还可以用来培训操纵坦克、武器和其他设备的军事人 员。

NASA Virtual Wind Tunnel NASA Virtual Wind Tunnel NASA Virtual Wind Tunnel NASA Virtual Wind Tunnel

http http

http http :// :// :// ://www www www www ....nas nas nas nas ....nasa nasa nasa nasa ....gov gov gov gov ////Software Software Software Software ////VWT VWT VWT VWT ////

http http

http http :// :// :// ://www www www www ....nas nas nas nas ....nasa nasa nasa nasa ....gov gov gov gov ////Software Software Software Software ////VWT VWT VWT VWT ////

NASA Virtual Wind Tunnel

Virtual Wind Tunnel Virtual Wind Tunnel Virtual Wind Tunnel (VWT)

(VWT) (VWT) (VWT)

Nasa的虚拟风洞，使用虚拟

勘探测绘

• 地震数据分析

勘探测绘 培训

• 仿真训练

培训

• 虚拟牙科训练virtual reality dentistry

• 可以模拟各类典型的牙科手术，包括牙面龋坏组 织探测、牙面软沉积物去除、牙体预备切削操作 等典型牙科手术过程，为医生提供力觉和视觉同 步反馈显示的训练环境。基于该实验平台，开展 下述研究：

　　•高性能力觉交互设备设计 　　•高效率碰撞检测算法 　　•触觉交互中的动力学模型 　　•力觉渲染算法研究

　　•力觉和图形同步显示技术研究

培训

• 虚拟牙科训练virtual reality dentistry

Virtual Environments for past astronaut training: STS- Virtual Environments for past astronaut training: STS- Virtual Environments for past astronaut training: STS- Virtual Environments for past astronaut training: STS- 61 Hubble Telescope Repair (1993).

61 Hubble Telescope Repair (1993).

61 Hubble Telescope Repair (1993).

61 Hubble Telescope Repair (1993).

the 1993 Hubble Space Telescope the 1993 Hubble Space Telescope the 1993 Hubble Space Telescope the 1993 Hubble Space Telescope (HST) Repair mission team using (HST) Repair mission team using (HST) Repair mission team using (HST) Repair mission team using VR training

VR training VR training VR training

Computer generated scene Computer generated scene Computer generated scene Computer generated scene depicting the HST capture and depicting the HST capture and depicting the HST capture and depicting the HST capture and EVA repair mission for mission EVA repair mission for mission EVA repair mission for mission EVA repair mission for mission planning

planning planning planning

Hubble Space Telescope Repair Hubble Space Telescope Repair Hubble Space Telescope Repair Hubble Space Telescope Repair Training System

Training System Training System Training System

– 用虚拟现实训练模拟器培训 “哈勃”望远镜维修任务飞 行乘员组和地面支持专家，保证了维修 “哈勃”望远镜 的成功。

– 应用虚拟显示技术创建的 “哈勃”望远镜维修飞行任务 的模拟训练设备，除了复制出 “哈勃”望远镜的物理结 构和各种部件之间的关系外，还建立了同所有主要维 护维修程序相关的最严格的边界条件模型，第一次实 现了智能计算机辅助训练系统的集成。

– 飞行任务结束以后，从受训人员收集到的调查数据证 明，对受训人员来说，在虚拟现实模拟器中的训练提 高了他们在真实飞行任务中的工作效率。

培训

• 煤矿逃生

医疗

• 虚拟现实技术和现代医学的飞速发展以及两者之间的融合 使得虚拟现实技术已开始对生物医学领域产生重大影响，

目前正处于应用虚拟现实的初级阶段，其应用范围包括从 建立合成药物的分子结构模型到各种医学模拟，以及进行 解剖和外科手术教育等。

• 当前计算机经常被用来设计各种合成药物，虚拟仿真器允 许研究人员测试各种新药物的特性，如北卡罗来那大学使 用的Grope III 虚拟仿真器，它可以是研究人员看到或感受 到一种药物分子是如何与其他生物化学物质相互作用的，

这些先进的仪器和技术大大加速了用于各种疾病的药物开 发过程。

医疗

• 虚拟手术

娱乐

游戏《半条命2》

Terminator II

Doom

主要内容

1. 为什么要研究虚拟现实技术 2. 虚拟现实的发展

3. 虚拟现实系统的构成与特点 4. 虚拟现实系统的应用 5. 主要问题与研究方向

存在的主要问题

• 虚物实化

– 如何根据虚拟环境生成人可直接感受到的真实信号

（声、光、电）。是一个显示（输出）问题。

• 实物虚化

– 如何将真实世界中的物（特别是人）与事件（特别是 人的动作）传入虚拟环境中。是一个感知的问题。

• 多用户参与

– 如何让多个用户（特别是不在同一地理位置的多个用 户）参与到同一个虚拟环境中。

主要研究方向

• 感知技术的研究

– 研究如何感知真实世界中人和物的存在及相关 事件的发生

• 电磁感知：三维定位跟踪技术。

• 数据手套与数据衣感知技术。

• 视觉感知：基于计算机视觉原理感知技术。

• 听觉感知：基于声音定位原理的感知技术。

• 触觉与力觉感知：触觉与力觉感知技术。

• 多种感知信息的融合技术。

主要研究方向

• 合成显示技术的研究

– 研究虚拟环境的合成显示，包括图像、声音、

触觉和力觉的输出。

• 立体显示技术

• 声音合成技术

• 触觉与力觉合成显示技术

主要研究方向

• 建模技术的研究

– 研究虚拟环境的表示技术

• 虚拟环境的几何空间表示技术

• 逼真环境建模技术 (纹理技术，LOD技术)

• 基于物理特性的建模技术（仿真）

主要研究方向

• 分布式虚拟现实技术的研究 – 研究多用户共享虚拟现实实现技术。

• 网络技术（带宽，延迟问题）

• 数据共享技术(一致性处理）

主要研究方向

• 支撑软件与开发工具的研究

– 支持开发满足虚拟环境建模要求的新一代造型 工具；

– 开发同时支持现有和新的模型的软件工具；

– 虚拟环境语言模型的研究；

– 限时计算与绘制的软件工具的开发；

– 多用户虚拟环境的支撑软件的研制 – …

主要研究方向

• 其他相关问题的研究 – 运动病

• 虚拟环境中的运动病可导致参与者出现恶心和呕 吐，严重时还会出现头痛、头晕、眼胀、昏睡和疲 劳等症状，因此，必须加强对运动病的研究。

– 人的因素

• 确定有效使用三维输入输出的方法；

• 在用户界面中有效地集成声音和语音；

• 虚拟环境的认知研究。