虚拟现实技术及应用课件.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二层,第三层,第四层,第五层,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二层,第三层,第四层,第五层,*,虚拟现实技术及应用,Virtual Reality,郝泳涛 博士,haoyt,同济大学CAD研究中心 副教授,上海,虚拟现实技术及应用课件,第1页,第二章,虚拟现实技术技术体系结构,虚拟现实技术及应用课件,第2页,2.1,虚拟现实技术体系结构,虚拟现实技术及应用课件,第3页,体系结构,输入处理器,渲染处理器,用户,模拟处理器,虚拟世界,数据库,虚拟现实技术及应用课件,第4页,模拟处理器,VR,关键程序,处理,:,控制交互、对象动作和决定虚拟世界状态。,虚拟现实技术及应用课件,第5页,渲染处理,感觉传输到用户,视觉,听觉,触觉（触摸,/,力）,实时图像生成,SGI,图形工作站,虚拟现实技术及应用课件,第6页,虚拟世界数据库,设计主体部分,隶属虚拟世界对象信息,描述动作脚本,用户信息,灯光效果,程序控制,硬件设备支持,OOD,技术,虚拟现实技术及应用课件,第7页,虚拟现实建模语言,(VRML),Virtual Reality Modeling Language,VRML,是在因特网上建立虚拟现实开放标准,虚拟现实技术及应用课件,第8页,A VRML cylinder,#VRML V2.0 utf8,#A Cylinder,Shape,appearance Appearance,material Material ,geometry Cylinder,height 2.0,radius 1.5,Cylinder.wrl,虚拟现实技术及应用课件,第9页,2.2 虚拟现实多感知系统体系和技术,虚拟现实技术及应用课件,第10页,J.J.Gibson,总结,感知系统,人类感知系统,虚拟现实技术及应用课件,第11页,行为系统,人类行为系统,虚拟现实技术及应用课件,第12页,人与环境关系,虚拟现实技术及应用课件,第13页,虚拟现实系统,www.reflex.lth.se/reflex/whatisVR/,虚拟现实技术及应用课件,第14页,1992,年,Bryson,主计算机,数据手套,（传感器）,（信号源）,BOOM,双筒全方,位监视器,多感知系统技术框图,虚拟现实技术及应用课件,第15页,一个示例：virtual cockpit,www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm,虚拟现实技术及应用课件,第16页,Virtual Reality systems to train aircraft pilots and tank commanders,P,2,P,m,那么离视点 最近,P,1,就是画面在象素点,e,处可见点，象素,e,光亮度应由,P,1,点,向,P,1,V,方向辐射光亮度决定。如此求出视域内每一个象素光亮度，则可生成一幅完整真实感图象。,e,虚拟现实技术及应用课件,第19页,光线跟踪技术,(ray tracing),I=I,c,+,t,s,I,s,+,t,t,I,t,其中：,I,：可见点,P,处光亮度。,I,c,：局部光照亮度,t,s,I,s,：环境镜面反射光亮度,t,t,I,t,：规则透射光亮度,每一点光亮度求法,虚拟现实技术及应用课件,第20页,视觉生成基本内容,在图形设备上生成逼真视景必须完成四个基本任务：,用数学方法建立所需要三维场景几何描述,将三维几何描述转换为二维视图,这可经过对场景透视变换来完成。,确定场景中全部可见面,这需要使用隐藏面消除算法将视域之外或被其它物体遮挡不可见面消去。,计算场景中可见面光强与颜色,严格地说，就是依据基于光学物理光照模型计算可见面投射到观察者眼中光亮度大小和色彩，并将它转换成适当图形设备颜色值，从而确定投影画面上每一个象素颜色，最终生成视景。,虚拟现实技术及应用课件,第21页,1.2 视景几何建模与表示方法,要实现虚拟现实，首先要尽可能详细地表示虚拟现实场景几何信息。,比如：表示虚拟环境中山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等。,实现虚拟现实视景表示方法有：,多边形,(,三角形,),网格表示方法,结构立体几何表示方法,体数据表示方法,(volume-based method),虚拟现实技术及应用课件,第22页,多边形(三角形)表示方法,这种方法又称为表面或边界表示方法，即物体立体几何信息是经过它们边界面或包围面来表示。而物体边界面或包围面（即物体表面）能够用多边形表示。,虚拟现实技术及应用课件,第23页,结构立体几何表示方法,这种方法又称为体积表示方法。这种表示方法中，物体被表示为一个三维体积基元集合及它们之们布尔运算：并、交及差。,虚拟现实技术及应用课件,第24页,Volume-based methods,表示单元为体素(voxel),每个体素表示了所在位置颜色、密度等相关信息。,虚拟现实技术及应用课件,第25页,其它建模与表示技术(VR相关),细节层次(Levels of Detail:LOD)技术,纹理映射(texture map)技术,虚拟现实技术及应用课件,第26页,Courtesy Stanford 3D Scanning Repository,69,451 polys,2,502 polys,251 polys,76 polys,Level of Detail:,Traditional LOD In A Nutshell,From:,David Luebke(University of Virginia,),www.cs.virginia.edu/gfx/Courses/RealTime/lecture06.LOD1.ppt,虚拟现实技术及应用课件,第27页,Distant objects use coarser LODs:,Level of Detail:,Traditional LOD In A Nutshell,From:,David Luebke(University of Virginia,),www.cs.virginia.edu/gfx/Courses/RealTime/lecture06.LOD1.ppt,虚拟现实技术及应用课件,第28页,纹理映射技术(texture mapping),在视景表示时，对于有些细节，不需要建立对应多边形表示，为了到达很好视觉效果，只需要建立简单几何模型，然后在几何模型面上贴上对应逼真图片就能够了。这种方法称为纹理映射方法。,这不但增加了场景逼真度，而且降低了表示场景多边形数目。,虚拟现实技术及应用课件,第29页,映射纹理前场景,映射纹理后场景,纹理映射技术(示例),虚拟现实技术及应用课件,第30页,1.3 立体显示技术,基本原理：,人视觉系统能够经过四种线索得到深度知觉,:,侧视网膜图象差,(lateral retinal image disparity);,运动视差,(motion parallax);,图象大小差异,(differential image size);,纹理梯度,(texture gradient),。,当前立体显示技术基本上是基于双目视差原理实现。,虚拟现实技术及应用课件,第31页,影响（沉醉感）立体 视觉原因,宽视野（）,立体显示,彩色,高分辨率,头部跟踪,主要视觉设备：,红蓝滤色眼镜,液晶开关立体视眼镜,三维头盔显示器（,HMD,）,双筒全方位监视器（,BOOM,）,墙式显示器自动声象虚拟环境（,CAVE,）,虚拟现实技术及应用课件,第32页,头盔式显示器（,Head Mounted Display,，,HMD),虚拟现实技术及应用课件,第33页,HMD,实物与原理图,头盔显示器,Head Mounted Display,HMD,虚拟现实技术及应用课件,第34页,头盔实现方法,1,带有光导纤维,HMD,原理,HMD 实现方法,虚拟现实技术及应用课件,第35页,美国,icuiti,企业,分辨率：,VGA,（,640 X 480,）,价格,69800,日圆（约合人民币,5235,元）,距离眼睛,1 cm,，画面相当于,2,米外,42,英寸屏幕,厚度,2 cm,，重量,70 g,支持连接,DVD,播放器、桌面电脑等,电源使用,3,节,AA,电池，能够连续播放,5,小时左右。,Video Eyewear,眼镜式显示器,虚拟现实技术及应用课件,第36页,虚拟现实技术及应用课件,第37页,虚拟现实技术及应用课件,第38页,BOOM,Binocular Omni-Orientation Monitor,Omni Orientation Monitor(BOOM),虚拟现实技术及应用课件,第40页,CAVE,Cave Automatic Virtual Environment,www.evl.uic.edu/pape/CAVE/,www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld076.htm,虚拟现实技术及应用课件,第41页,CyberSphere,Fully Immersive Spherical Projection System,Illustration of the Spherical Projection System,the Fully Immersive Spherical Projection System,www.vr-systems.ndtilda.co.uk/sphere1.htm,虚拟现实技术及应用课件,第42页,ImmersaDesk,www.evl.uic.edu/pape/CAVE/idesk/paper/,avl.iu.edu/technology/idesk/,虚拟现实技术及应用课件,第43页,Infinity Wall,www.evl.uic.edu/pape/CAVE/idesk/paper/,www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm,虚拟现实技术及应用课件,第44页,2、声音生成技术,虚拟现实技术及应用课件,第45页,听觉,3D&Stereo,声源定位：强度（高频）和时差（低频）,问题：声音从头里发出，随强度差而偏左或偏右,原因：与耳朵形状相关,处理：,Convolvotron($15,000),耳内录音 +计算,虚拟现实技术及应用课件,第46页,3 触觉与力觉生成技术,虚拟现实技术及应用课件,第47页,3.1 触觉与力觉反馈设备,There are two main types of haptic devices:,devices that allow users to feel textures of 2-dementional objects with a pen or mouse-type interface,glove or pen-type devices that allow the user to touch and manipulate 3-dementional virtual objects,虚拟现实技术及应用课件,第48页,触觉（,Haptic),Haptic:机械感受器（压力与纹理）与本体感受器(proprioceptor)（重量、形状、大小）,机械臂，空气囊，记忆金属，小马达，小探针,虚拟现实技术及应用课件,第49页,第二代,TeletactII,装有更高分辨率指尖空气室，其余部分空气室更大，并提供手掌反馈系统。很大手掌空气室允许用户使劲握物体，然后接收刺激。,TeletactII,与,TeletactI,使用相同，只是空气室由20增加到30个。,在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手背部，以产生手接触物体感觉。,ARRC力学反馈手套,虚拟现实技术及应用课件,第50页,笔式力量感知器,虚拟现实技术及应用课件,第51页,PHANTOM Omni Haptic Device,Technologies,虚拟现实技术及应用课件,第52页,力反馈手套RM,RM,像一付手套似戴在用户手上。主要结构包含一个小平台，上面架着四个特制汽缸。每个汽缸轴顶端都和对应指尖相连接，轴和指尖连接经过“,Y”,形连接物。一个简单细皮手套被作为传感器/反馈系统支持结构。,虚拟现实技术及应用课件,第53页,CyberGrasp,Corporation,虚拟现实技术及应用课件,第54页,数据手套,虚拟现实技术及应用课件,第55页,DHM,手势传感装置原理图,虚拟现实技术及应用课件,第56页,4、身体位置跟踪,虚拟现实技术及应用课件,第57页,身体跟踪,位置跟踪（位置,+,方向）及角度度量（指关节、光纤）,眼动跟踪,虚拟现实技术及应用课件,第58页,位置跟踪技术：,正交电磁场,Polhemus trackers,超声波信号,Logitec.Mattel Power Glove,机械连接,Fake Space Labs,视频信号处理,Myron Krueger,LED,视频传感,UNC at Chapel Hill,惯性跟踪（加速度）,Spaceball,虚拟现实技术及应用课件,第59页,PowerGlove,示意图,虚拟现实技术及应用课件,第60页,三维鼠标器示意图,虚拟现实技术及应用课件,第61页,基于运动跟踪方法,一个人体运动统计回放方法,关键：数据转换,虚拟现实技术及应用课件,第62页,基于运动跟踪方法,虚拟现实技术及应用课件,第63页,基于运动跟踪方法,统计点,坐标,转换成,旋转角,驱动虚,拟角色,运动重,定向,虚拟现实技术及应用课件,第64页,基于运动跟踪方法,虚拟现实技术及应用课件,第65页,虚拟现实系统,www.reflex.lth.se/reflex/whatisVR/,虚拟现实技术及应用课件,第66页,一个示例：virtual cockpit,www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm,虚拟现实技术及应用课件,第67页,Virtual Reality systems to train aircraft pilots and tank commanders,Augmented Reality,应用领域：维修，医学检验，培训等,主要问题：虚实一致性,王兆其,虚拟环境中物体运动逼真性研究,博士论文，北京航空航天大学，,1999.6.,R.T.Azuma,A Survey of Augmented Reality,Presence:Teleoperators and Virtual Environments,1997,6(4):355385,虚拟现实技术及应用课件,第74页,(2)多用户虚拟现实系统,一次允许多个用户参加。,经典系统有：,mWorld,CAVE,，,DIVE,等,主要应用：虚拟研讨环境,(,聊天室,),虚拟小区,主要问题：确保多个用户对虚拟环境有一致感受,王兆其,虚拟环境中物体运动逼真性研究,博士论文，北京航空航天大学，,1999.6.,虚拟现实技术及应用课件,第75页,(3)分布式虚拟现实系统,分布于不一样地理位置多台计算机经过网络互联,主要应用：军事仿真，多用户虚拟环境,经典系统：,SIMNET,，,NPSNET,，,STOW,，,DVENET,主要问题：系统一致性,(,由数据分布与网络延迟引发,),王兆其,虚拟环境中物体运动逼真性研究,博士论文，北京航空航天大学，,1999.6.,虚拟现实技术及应用课件,第76页,(4)遥存在(Tele-Presence),真实世界与操作人员相隔两地,主要应用：远程手术，远程探测等,王兆其,虚拟环境中物体运动逼真性研究,博士论文，北京航空航天大学，,1999.6.,虚拟现实技术及应用课件,第77页,第二讲结束,谢谢！,虚拟现实技术及应用课件,第78页,