虚拟现实系统的硬件设备-专业讲座.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,2 虚拟现实系统硬件设备,虚拟现实系统中，硬件设备由三部分组成：,输入设备,输出设备,虚拟世界生成设备,1,第1页,2.1 虚拟现实系统输入设备,输入设备分为两类：,基于自然交互设备，用于对虚拟世界信息输入,三维定位跟踪设备，用于对输入设备在三维空间中位置进行判断，并送入虚拟现实系统中。,2,第2页,2.1.1 基于自然交互设备,数据手套,：作为一只虚拟手用于与虚拟现实系统进行交互，能够在虚拟世界中进行物体抓取、移动、装配、操纵、控制等操作，并把手指和手掌伸屈时各种姿势转换成数字信号传送给计算机，计算机经过应用程序识别出用户手在虚拟世界中操作时姿势，执行对应操作。在实际应用中，数据手套还必须配有空间位置跟踪器，检测手在空间中实际方位及运动方向。,现在已经有各种传感手套产品，区分主要在于采取,传感器,不一样。,3,第3页,2.1.1 基于自然交互设备,数据衣,：让虚拟现实系统识别全身运动而设计输入装置，能够检测出人四肢、腰部等部位活动，以及各关节弯曲角度。它能对人体大约50多个不一样关节进行测量，经过光电转换，身体运动信息送入计算机进行图像重建。,4,第4页,2.1.1 基于自然交互设备,三维控制器,三维鼠标：能够完成在虚拟空间中6个自由度操作，包含三个平移参数与三个旋转参数。惯用于建筑设计等领域。,力矩球：能够经过手扭转、挤压、往返摇摆等实现对应操作。,5,第5页,2.1.1 基于自然交互设备,三维扫描仪：是一个较为先进三维模型输入设备，是当前使用对实际物体三维建模主要工具。能快速方便地将真实世界立体彩色物体信息转换为计算机能直接处理数字信号，为实物数字化提供有效伎俩。,6,第6页,2.1.2 三维定位跟踪设备,三维定位跟踪设备：检测位置与方位，并将其数据汇报给虚拟现实系统。,在虚拟现实系统中最常见应用是跟踪用户头部位置与方位来确定用户视点与视线方向，而视点位置与视线方向是确定虚拟世界场景显示关键。,虚拟现实系统中常需要检测头部与手位置。要检测头与手在三维空间中位置和方向，普通要跟踪6个不一样运动方向，即沿X、Y、Z坐标轴平动和沿X、Y、Z轴方向转动。因为这几个运动都是相互正交，所以共有6个独立变量，即对应于描述三维对象宽度、高度、深度、俯仰角、转动角和偏转角，称之为六自由度（DOF）。,在虚拟现实系统中，显示设备或交互设备都必须配置跟踪定位设备。,7,第7页,2.1.2 三维定位跟踪设备,空间跟踪设备通常有以下要求：,数据采样率高且传输数据速度快，既要满足准确度需要，同时又不能出现显著滞后。,抗干扰性要强，也就是受环境影响要小。,对被检测物体必须是无干扰，不能因为增加了跟踪设备影响用户运动等。,真实世界和虚拟世界之间相一致整合能力。,多个用户及多个跟踪设备能够在工作区域内自由移动，不会相互之间产生影响。,8,第8页,2.2 虚拟世界输出设备,感知设备将虚拟世界中各种感知信号转变为人所能接收多通道刺激信号。,（1）视觉感知设备,（2）听觉感知设备,（3）触觉（力觉）感知设备,9,第9页,2.2 虚拟世界输出设备,视觉感知设备：主要是向用户提供立体宽视野场景显示，而且这种场景改变会实时改变。,听觉感知设备：提供虚拟世界中三维真实感声音输入及播放。普通由耳机和专用声音卡组成。通惯用专用声音卡将单通道或普通立体声源信号处理成含有双耳效应三维虚拟立体声音。,10,第10页,2.2 虚拟世界输出设备,触觉（力觉）感知设备：力觉感知设备主要是要求能反馈力大小和方向，而触觉感知应包含普通接触感，深入应包含感知物体质感、纹理感及温度感等。当前能实现仅仅是模拟普通接触感。,对触觉反馈和力觉反馈有一些要求：,实时性要求,有很好安全性,含有轻便和舒适特点,11,第11页,2.3 虚拟世界生成设备,计算机是虚拟世界主要生成设备，首先创造出虚拟世界场景，同时还必须实时响应用户各种方式输入。,计算机性能在很大程度上决定了虚拟现实系统性能优劣，因为虚拟世界本身复杂性及实时性能要求，产生虚拟环境所需计算量极为巨大，这对计算机配置提出了极高要求，最主要是要求计算机必须高速CPU和强有力图形处理能力。,12,第12页,2.3 虚拟世界生成设备,虚拟世界生成设备主要功效包含：,视觉通道信号产生与显示：生成显示所需三维立体、高真实感复杂场景，并能依据视点改变进行实时绘制。,听觉通道信号生成与显示：支持三维真实感声音生成与播放。所谓三维真实感声音是含有动态方位感、距离感和三维空间效应声音。,触觉与力觉通道信号生成与显示：,13,第13页,2.3 虚拟世界生成设备,现有虚拟现实系统主要考虑视觉通道，所以对虚拟现实生成设备提出了一下要求：,（1）帧频和延迟时间要求：VR要求高速帧频和快速响应。,帧频,是指新场景更新旧场景时间，当到达每秒20帧以上时就产生连续运动幻觉。,延迟时间,是从用户动作开始，经过三维空间跟踪器感知用户位置，把这个信号传送给计算机，计算机计算新显示场景，把新显示场景传送给视觉显示设备，直到视觉显示设备显示出新场景为止。,14,第14页,2.3 虚拟世界生成设备,（2）计算能力和场景复杂性,假如一个显示场景中有10000个三角形（或多边形），这个数量就反应了,场景复杂性,。,如在每秒进行10次计算，就应该计算100000个三角形（或多边形），这表示了,计算能力,。,若要求愈加逼真仿真效果，就要增加场景复杂性。这就要求更强计算机能力，每秒计算更多三角形（或多边形）。,这就要考虑计算能力和场景复杂性折衷。,15,第15页,2.3 虚拟世界生成设备,虚拟世界生成设备主要分为：,基于高性能个人计算机VR系统,基于高性能图形工作站VR系统,高度并行计算机系统VR系统,基于分布式计算机VR系统,16,第16页,2.4 绘制流水线,绘制流水线：把绘制过程划分成几个阶段，并把它们指派给不一样硬件资源。,图形绘制分为三个阶段：,应用程序阶段、几何处理阶段和光栅化阶段,用户输入,CPU1,CPUn,应用程序阶段,应用程序阶段,GE1,GEn,几何处理阶段,FIFO缓冲区,RU1,RUn,光栅化阶段,FIFO缓冲区,输出缓冲区,视频控制器,17,第17页,2.4 绘制流水线,应用程序阶段是用软件方法由CPU完成，读取数据库和来自鼠标、跟踪球、跟踪器或传感手套等用户输入。,几何处理阶段能够经过软件和硬件两种渠道实现。该阶段包含模型变换（平移、旋转和缩放）、光照计算、场景投影、剪裁和映射等。,光照子阶段依据场景中模拟光源类型和数目、光照模型、表面材质属性、大气效果计算表面颜色。光照计算结果是场景含有明暗效果，看上去会愈加真实。,18,第18页,2.4 绘制流水线,光栅化阶段：为了提升速度，它是经过硬件实现，把几何处理阶段输出顶点信息（比如颜色和纹理）转换成视频显示器需要像素信息。,光栅化阶段一个主要功效是执行反走样，以平滑多边形边缘锯齿。,19,第19页,2.4 绘制流水线,为了提升性能，绘制流水线各个阶段使用并行体系结构。,应用程序阶段能够在多个CPU上运行。,几何处理阶段在一组几何处理引擎(geometry engines,GE)上运行，每个引擎处理一部分场景几何（一组图形对象或图元）。应用程序阶段输出存放在一个FIFO缓冲区中，每个几何处理引擎在处理完自己图元后，从这个缓冲区里读取新图元。然后，把结构写入到光栅化阶段FIFO缓冲区中。,光栅化单元(rasterizer units,RU)周期性地读取这个缓冲区，形成绘制流水线第三个阶段。每个RU绘制分配给它一片像素，把数据写入输出缓冲区，然后从FIFO缓冲区中读取新数据，依次类推。,当代体系结构使用双缓冲区，即有一个前缓冲区和一个后缓冲区。前者存放已经显示图像，与此同时一副新场景被写入后缓冲区。接着后缓冲区被显示，新图像被写入前缓冲区，如此周而复始。这么做是为了降低因为显示硬件刷新而引发闪烁。,20,第20页,2.4 绘制流水线,图形流水线瓶颈：图形流水线基于一个理想假设，每一阶段输出速度和下一阶段输入速度都非常匹配，即两个FIFO缓冲区永远不会为空。实际上，三个阶段中最慢那个阶段会处于100%运行状态，从而限制了整个流水线吞吐量。这一阶段成为瓶颈状态。,21,第21页,2.4 绘制流水线,图形流水线优化：,应用程序阶段优化：,（1）用告诉CPU取代低速CPU，或者再增加一个CPU。,（2）降低场景复杂性。,（3）优化仿真软件。,几何处理阶段优化：,（1）降低虚拟光源数量。,（2）使用绘制硬件有优化办法多边形类型。,光栅化阶段优化：,（1）降低显示窗口尺寸,（2）降低窗口分辨率,22,第22页,2.5 基于PC图形体系结构,PC机体系结构通信瓶颈影响着实时图形绘制性能。当代基于PCVR系统，经过引入加速图形接口(Accelerated Graphics Port，AGP)总线来处理PCI带宽问题。,AGP总线直接与主板北桥芯片相连，且经过该接口让显示芯片与系统主内存直接相连，防止了窄带宽PCI总线形成系统瓶颈，增加3D图形数据传输速度，同时在显存不足情况下还能够调用系统主内存。,23,第23页,用户经过一个头部三维跟踪器和操纵杆提供输入，经过HMD接收视频反馈，经过操纵杆接收触觉反馈，经过连接到三维声卡耳机接收音频反馈。,跟踪器连接到一个串行端口，操纵杆经过USB端口与系统通信。,HMD连接到图形卡RGB输出端口，三维声卡直接插在PCI总线上。,24,第24页,