透视式头盔显示器及评测方法.pdf

See-through Head Mounted Display and its Evaluation Method透视式头盔显示器及评测方法透视式头盔显示器及评测方法北京理工大学光电学院北京理工大学光电学院北京市混合现实与新型显示工程技术研究中心北京市混合现实与新型显示工程技术研究中心刘越刘越1Yue LiuBeijing Engineering Research Center of Mixed Reality and Advanced DisplaySchool of Optoelectronics,Beijing Institute of Technology,China目录目录一一.研究背景研究背景二二.瓶颈问题瓶颈问题三三.解决方案解决方案四四.未来方向未来方向23应用于应用于VR/AR的头盔显示器的头盔显示器Mixed Reality(MR)RealEnvironmentAugmentedReality(AR)AugmentedVirtuality(AV)VirtualEnvironment 头盔显示器定义：头盔显示器定义：“A head-mounted display or helmet mounteddisplay,both abbreviated HMD,is a display device,worn on thehead or as part of a helmet,that has a small display optic in front ofone(monocular HMD)or each eye(binocular HMD)”头盔显示器是虚拟现实领域最重要的设备头盔显示器是虚拟现实领域最重要的设备 头盔显示器是移动增强现实领域最重要的设备头盔显示器是移动增强现实领域最重要的设备 头盔显示器是未来生活的最重要设备头盔显示器是未来生活的最重要设备2016年是虚拟现实元年年是虚拟现实元年45头盔显示器发展历程头盔显示器发展历程670809020002010201520091980200120042008199919682004200920052008Google glassMagic LeapOculusHoloLens微软微软Hololens Hololens于北京时间于北京时间2015年年1月月22日凌晨日凌晨与与Windows 10同时同时发布发布 HoloLens 是增强现实眼镜是增强现实眼镜，戴上它戴上它之后之后，会会在现实的世界里混入虚拟物体或信息在现实的世界里混入虚拟物体或信息，从而进入到一个混合空间中去从而进入到一个混合空间中去。它会将它会将人的头部移动虚拟成指针人的头部移动虚拟成指针，将手势用作将手势用作动作开关动作开关，而将声音指令作为辅助而将声音指令作为辅助，帮帮助切换不同的动作指令助切换不同的动作指令。相比相比 Google Glass，HoloLens 的工作环的工作环境是室内境是室内，以提供新的交互方式来帮助以提供新的交互方式来帮助人更加高效地工作人更加高效地工作，或者展示新的娱乐或者展示新的娱乐方式方式。相比相比 Oculus Rift，HoloLens 不会不会把人封闭在全新的虚拟世界里把人封闭在全新的虚拟世界里，所以并所以并不妨碍人们面对面交流不妨碍人们面对面交流。目录目录一一.研究背景研究背景二二.瓶颈问题瓶颈问题三三.解决方案解决方案四四.未来方向未来方向8瓶颈问题瓶颈问题9头戴式装置的体积和重量头戴式装置的体积和重量显示视场角显示视场角/分辨率矛盾分辨率矛盾聚焦聚焦/辐辏失配带来的眩晕感辐辏失配带来的眩晕感系统标定及虚实融合一致性系统标定及虚实融合一致性再现三维图像的畸变预测再现三维图像的畸变预测10体积体积vs重量重量传统传统头盔显示器光学系统较为复杂，加大了整个系统的体积与头盔显示器光学系统较为复杂，加大了整个系统的体积与重量。重量。400g以上重量，佩戴时间平均为以上重量，佩戴时间平均为20-30分钟；分钟；300g重量，佩戴时间可能延重量，佩戴时间可能延续到续到1个小时左右；终极目标是低于个小时左右；终极目标是低于50g，与，与眼镜眼镜相当。相当。N-Vision Datavisor 803D Head 公司推出公司推出GCS3样机样机IODC,2010111020304050607080901234567891011视场角（o）分辨率（弧分）230KWQVGAVGAWVGASVGASXGA视场角视场角vs分辨率分辨率Applied optics,2009由于微显示器工艺的限制，在由于微显示器工艺的限制，在头盔显示头盔显示器的设计中存在器的设计中存在视场角越视场角越大、分大、分辨率辨率越低的越低的矛盾，而设计头盔显示器时需同时追求矛盾，而设计头盔显示器时需同时追求大视场角和高分辨率。大视场角和高分辨率。12聚焦聚焦vs辐辏辐辏用户在佩戴头盔显示器时由于双目辐辏系统和聚焦系统之间的冲突会引用户在佩戴头盔显示器时由于双目辐辏系统和聚焦系统之间的冲突会引起双目融像困难，从而产生疲劳感。起双目融像困难，从而产生疲劳感。Journal of Vision,200813虚虚vs实融合一致性实融合一致性几何一致性：虚拟图像要求准确叠加到真实环境，几何一致性：虚拟图像要求准确叠加到真实环境，实现几何位置精确实现几何位置精确配准，标定配准，标定结果根据人眼实时位结果根据人眼实时位置快速调校置快速调校。光照一致性：使用真实世界光照渲染虚拟物体，从光照一致性：使用真实世界光照渲染虚拟物体，从而达到虚实物体光照匹配。而达到虚实物体光照匹配。绘制具有真实世界光照的高真实感虚拟物体会牺牲绘制具有真实世界光照的高真实感虚拟物体会牺牲增强现实系统的性能。增强现实系统的性能。ICIP,2013ACM TOG,2011IEEE ISUVR,201114图像拍摄再现畸变图像拍摄再现畸变预测预测在立体图像拍摄与再现的过程中，再现图像的长宽高比例会出现失真的在立体图像拍摄与再现的过程中，再现图像的长宽高比例会出现失真的情情况况，应该在拍摄与显示时尽量避免这一情况的发生。应该在拍摄与显示时尽量避免这一情况的发生。摄像机摄像机视场角视场角15，再现空间的整体深度再现空间的整体深度被减小了被减小了，并且并且预测到一个较大的硬纸板预测到一个较大的硬纸板效应效应。辐辏距离辐辏距离2.3m，预测到木偶剧院预测到木偶剧院效应效应。深度大约在深度大约在7.5m处的物体处的物体再现于无穷远处再现于无穷远处。Report ITU-R BT.2293-0(11/2013)目录目录一一.研究背景研究背景二二.瓶颈问题瓶颈问题三三.解决方案解决方案四四.未来方向未来方向15增强现实透视式显示头盔增强现实透视式显示头盔视频式视频式光学式光学式123PCPC123可利用可利用VR头盔显示器头盔显示器对注册对注册、定位系统的要求相对较低定位系统的要求相对较低需要进行图像融合需要进行图像融合需要使用两台以上摄录机拍摄外部图像需要使用两台以上摄录机拍摄外部图像对真实世界的感知准确对真实世界的感知准确不易产生晕眩不易产生晕眩较少增加头部负重较少增加头部负重需重新研制头盔显示器需重新研制头盔显示器对注册对注册、定位系统的要求高定位系统的要求高16视频透视式头盔显示视频透视式头盔显示器系统构成器系统构成17视频透视式头盔显示器可以通过在浸没式头盔显示器上安装摄像头的方视频透视式头盔显示器可以通过在浸没式头盔显示器上安装摄像头的方法来法来获得。获得。硬件：硬件：CCDCCD摄像机、多通道图像采集卡、运动跟踪系统摄像机、多通道图像采集卡、运动跟踪系统软件：视频图像采集、注册定位计算、虚实图像融合和显示软件：视频图像采集、注册定位计算、虚实图像融合和显示光学透视式头盔显示器光学透视式头盔显示器提出的新型光学图像融合器件，提出的新型光学图像融合器件，比国外产品的设计成倍地提高了两个比国外产品的设计成倍地提高了两个通道上的光能利用率。通道上的光能利用率。FOV:44EPD:10mmERF:25mmWeight:400gLength:18mmHeight：66mm国外产品光路国外产品光路北理工北理工设计光路设计光路18光学透视式头盔显示技术解决光学透视式头盔显示技术解决方案方案19头戴式装置的体积和重量头戴式装置的体积和重量自由曲面自由曲面/波导式头盔显示器波导式头盔显示器显示视场角显示视场角/分辨率矛盾分辨率矛盾拼接式头盔显示器拼接式头盔显示器聚焦聚焦/辐辏失配带来的眩晕感辐辏失配带来的眩晕感多焦面头盔显示器及评测技术多焦面头盔显示器及评测技术系统标定及虚实融合一致性系统标定及虚实融合一致性快速标定及光照检测快速标定及光照检测再现三维图像的畸变预测再现三维图像的畸变预测头盔显示器从拍摄到再现模型头盔显示器从拍摄到再现模型自由曲面自由曲面头盔显示概念头盔显示概念虚拟成像光路畸变虚拟成像光路畸变20 头盔显示器由三个部分组成头盔显示器由三个部分组成:显示元件显示元件 自由曲面棱镜和透镜自由曲面棱镜和透镜 支撑框架支撑框架主要参数比较主要参数比较系统比较系统比较头盔样机头盔样机全反射全反射Applied Optics,2009与传统旋转对称系统比较与传统旋转对称系统比较21旋转对称目镜旋转对称目镜传统透视传统透视自由曲面目镜自由曲面目镜视场角视场角()524453出瞳距出瞳距(mm)182518出瞳孔径出瞳孔径(mm)7108焦距焦距(mm)1541.215重量重量(g)354005总长总长(mm)256612光学透射光学透射否是是4.50 MM 全内反射面全内反射面全反射面全反射面Applied Optics,2009 Eye-Trek FMD Z800 3Dvisor i-Visor ProView SL40 Our design 模型视图 对角视场（）37 39.5 42 40 53.5 出瞳距（mm）23 27 22 30 18.25 出瞳直径（mm）4 4 3 5 8 有效焦距（mm）21 22 26.7 20.6 15 像面尺寸（inch）0.55 0.61 0.81*0.59 0.61 F/#5.25 5.5 8.9 4.1 1.875 FOV/Fnumber 7.05 7.25 4.72 9.76 28.53 4.50 MM 全内反射面全内反射面现有同类结构主要参数比较现有同类结构主要参数比较22Applied Optics,2009自由曲面自由曲面头盔显示样机头盔显示样机23Applied Optics,2009眼镜型头盔显示技术眼镜型头盔显示技术24全息波导眼镜型头盔显示全息波导眼镜型头盔显示25 舒适的扩展应用舒适的扩展应用 透视透视 宽视场宽视场 高分辨率高分辨率MicrodisplayCollimation Optical componentsOptical components to coupling into Optical components to coupling outPupilField of viewPlanar Waveguide26平板平板波导波导眼镜型头盔显示眼镜型头盔显示Optics Express,2014拼接式显示技术拼接式显示技术27 宽视场宽视场、高分辨率高分辨率、整个视场分辨率一致整个视场分辨率一致 需要多个显示通道需要多个显示通道、拼接装调困难拼接装调困难、容易看到缝隙容易看到缝隙Optics Letters,2011 离轴结构和自由曲面相结合离轴结构和自由曲面相结合 完成设计后不需要物理旋转完成设计后不需要物理旋转 有效出瞳距离不变有效出瞳距离不变 光轴与视轴重合光轴与视轴重合 易于实现光学透射易于实现光学透射 结构紧凑重量轻结构紧凑重量轻新型自由曲面拼接式头盔显示器新型自由曲面拼接式头盔显示器28视轴视轴出瞳出瞳自由曲面棱镜自由曲面棱镜微显示器微显示器自由曲自由曲面透镜面透镜ZYXOptics Letters,201182 3282 56119 56多焦面头盔显示器多焦面头盔显示器29 ACM TOG.2004 Optics Letters,2009 空分复用方法空分复用方法 时分复用方法时分复用方法基于自由基于自由曲面曲面双焦面双焦面头盔显示器头盔显示器30FOV:40 DegreesEye relief:20mmExit pupil diameter:6mmChinese Optics Letters,2012 微结构阵列微结构阵列(MSA)插入目镜和微型显示装置之间插入目镜和微型显示装置之间。只在目镜出瞳处形成密集光场只在目镜出瞳处形成密集光场。31光场光场头盔显示头盔显示技术技术IODC,2014光场光场头盔显示头盔显示技术技术实验场景搭建实验场景搭建实验结果实验结果Chinese Optics Letters,201433通过实验的方法对三维通过实验的方法对三维视频运动视频运动特性特性、眨眼频率以及视觉不适三者之间的眨眼频率以及视觉不适三者之间的关系进行研究关系进行研究。提供提供给被试的刺激具有不同的运动形式给被试的刺激具有不同的运动形式、运动速度和视差运动速度和视差。SD&A，2016 三三维显示舒适度评估维显示舒适度评估34三维显示舒适度评估三维显示舒适度评估虚拟魔方虚拟魔方+真实背景真实背景真实真实魔方魔方+真实背景真实背景使用使用Unity 3D软件软件制作的虚拟魔方制作的虚拟魔方设置观看任务：设置观看任务：透过透视式头盔观看附加在真实场景上的虚拟立体魔方透过透视式头盔观看附加在真实场景上的虚拟立体魔方，并完成任务并完成任务。透过透视式头盔观看真实场景中的真实魔方透过透视式头盔观看真实场景中的真实魔方，并完成任务并完成任务。通过分析被试的主观问卷通过分析被试的主观问卷、CFF、任务任务准确率以及准确率以及心电心电、脑电情况来比较脑电情况来比较用户在两种情况下的疲劳度变化用户在两种情况下的疲劳度变化。35三维显示舒适度评估三维显示舒适度评估IPC,2015(Invited)利用随机点立体图作为视觉刺激来研究辐辏调节不匹配所带来的立体显示利用随机点立体图作为视觉刺激来研究辐辏调节不匹配所带来的立体显示视疲劳视疲劳。随机点立体图的深度感知只与视差相关随机点立体图的深度感知只与视差相关，从而避免了其它深度线索从而避免了其它深度线索，如透如透视视，纹理纹理，阴影阴影，遮挡等遮挡等，所带来的影响所带来的影响。实验刺激示意图实验刺激示意图视差几何图视差几何图36ISBB，2015三维显示舒适度评估三维显示舒适度评估通过脑电采集设备获得被试的生理信号通过脑电采集设备获得被试的生理信号，研究获得视觉疲劳状态下脑电研究获得视觉疲劳状态下脑电相关指标的变化趋势相关指标的变化趋势。通过对实验前后的脑电信号对比分析发现通过对实验前后的脑电信号对比分析发现，alpha波显著上升波显著上升，beta波显波显著下降著下降，Theta波保持稳定波保持稳定。,与与波段在警觉与疲劳阶段相对能量电极比较图波段在警觉与疲劳阶段相对能量电极比较图脑电脑电波段波段各阶段单因素方差结果各阶段单因素方差结果实验前后各波段脑电地形图结果实验前后各波段脑电地形图结果37JDT，2015三维显示舒适度评估三维显示舒适度评估采用采用灰色关联灰色关联分析并用分析并用闪光融合频率相关性进行验证闪光融合频率相关性进行验证。重复测量方差分析结果显示重复测量方差分析结果显示alpha变化具有时间效应变化具有时间效应，随时间推移随时间推移alpha逐渐逐渐上升上升;灰色关联分析结果显示灰色关联分析结果显示alpha与视疲劳相关度最高与视疲劳相关度最高，结果与重复测量方结果与重复测量方差一致；差一致；alpha与闪光融合频率高度相关与闪光融合频率高度相关。闪光融合频率与闪光融合频率与alpha波相关性波相关性脑电指标与疲劳脑电指标与疲劳灰色关联分析灰色关联分析脑电指标的单因素方差分析结果脑电指标的单因素方差分析结果闪光融合频率结果闪光融合频率结果光学透射式头盔显示器几何标定技术光学透射式头盔显示器几何标定技术38WCVPGFK(Screen)(Tracking Camera)(Target)S(Virtual Image Plane)(Eye)HEquivalent Virtual CameraOSTHMD and camera 改进了改进了经典经典的的SPAAM算法以确定跟踪摄像机与人眼算法以确定跟踪摄像机与人眼-HMD摄像机摄像机模型模型之间的相对位置之间的相对位置，从而可以在头盔显示器屏幕上准确渲染虚拟图像从而可以在头盔显示器屏幕上准确渲染虚拟图像。ICOPEN,2015(Invited Talk)Real PositionIdeal PositionImage planeEquivalent image plane 虚拟物体与真实世界虚拟物体与真实世界直方图相似性分析直方图相似性分析 将直方图划分为高、将直方图划分为高、低、中三个区域，高、低、中三个区域，高、低区域相比整个直方低区域相比整个直方图有更强的相关性。图有更强的相关性。定义光照一致性系数：定义光照一致性系数：=+,A 与主观评测的相关性与主观评测的相关性分析分析光学透视式头盔显示器光照一致性评测技术光学透视式头盔显示器光照一致性评测技术3939亮度亮度饱和度饱和度色调色调当当视场角和视察角的放大率均为视场角和视察角的放大率均为1 1时时，再现立体影像无再现立体影像无畸变畸变。当视场角和视察角的放大率相等且不为当视场角和视察角的放大率相等且不为1 1时时，再现像在再现像在xzxz平面内没有发平面内没有发生畸变生畸变，yy轴轴的纵深方向上出现了被压缩或被拉伸倍的的纵深方向上出现了被压缩或被拉伸倍的畸变畸变。视场角和视察角的放大率不等时视场角和视察角的放大率不等时，再现像在再现像在xzxz平面内也发生畸变平面内也发生畸变，畸畸变量表示为两角放大率的函数变量表示为两角放大率的函数。40消除和控制畸变条件消除和控制畸变条件拍摄截面示意图观看再现截面示意图光学学报，光学学报，201041畸变畸变量可控的拍摄显示系统设计方法量可控的拍摄显示系统设计方法在有畸变情况时在有畸变情况时，xzxz截面内的线放大率定义为截面内的线放大率定义为，y y 轴方向上的线放大轴方向上的线放大率为率为/。即观看再现的立体像中纵深方向的压缩比为即观看再现的立体像中纵深方向的压缩比为1 1/y y 轴方向有轴方向有1 1/压缩比畸变的参数总结如下表所示压缩比畸变的参数总结如下表所示光子学报，光子学报，2010目录目录一一.研究背景研究背景二二.瓶颈问题瓶颈问题三三.解决方案解决方案四四.未来方向未来方向42未来未来发展方向发展方向 要真正实现一个高度逼真要真正实现一个高度逼真、自然可交互自然可交互、具备一定具备一定“生命力生命力”、并可进行并可进行大众化推广应用的虚拟现实系统大众化推广应用的虚拟现实系统，用户用户体验与安全性体验与安全性、技术局限技术局限、内容和内容和应用的开发以及价格是虚拟现实普及的主要障碍应用的开发以及价格是虚拟现实普及的主要障碍，其中用户体验和安全性其中用户体验和安全性是最重要的因素是最重要的因素，而技术的改进将提高虚拟现实设备的移动性而技术的改进将提高虚拟现实设备的移动性、拓展其应拓展其应用空间并推动其普及用空间并推动其普及。头盔显示头盔显示器是目前受到关注最多的虚拟现实硬件设备器是目前受到关注最多的虚拟现实硬件设备，姿态姿态跟踪设备的发跟踪设备的发展缓慢也是限制虚拟现实普及的一个重要因素展缓慢也是限制虚拟现实普及的一个重要因素。计算单元的运算性能决定了虚拟现实系统的参数是否能计算单元的运算性能决定了虚拟现实系统的参数是否能“达标达标”，目前目前依依靠手机平台进行的虚拟现实体验能够让用户比较自由的活动靠手机平台进行的虚拟现实体验能够让用户比较自由的活动，但手机的运但手机的运算资源有限算资源有限，难以达到令人满意的渲染效果难以达到令人满意的渲染效果。借助借助无线局域网络有望解决高运算性能和移动性之间的矛盾无线局域网络有望解决高运算性能和移动性之间的矛盾，目前无线目前无线局局域网络的数据传输速率尚难以满足连接头盔显示器和计算单元的要求域网络的数据传输速率尚难以满足连接头盔显示器和计算单元的要求。虚拟虚拟现实的内容生产速度慢现实的内容生产速度慢、难度高难度高，并且并且还要考虑用户体验等还要考虑用户体验等因素因素，内内容容的匮乏是阻碍虚拟现实发展的一个重要原因的匮乏是阻碍虚拟现实发展的一个重要原因。44联系方式：联系方式：北京理工大学北京理工大学1999-13信箱信箱 刘越刘越邮编邮编：100081，e-mail:电话：电话：[phone]Prof.Yue LiuP.O.Box 1999-13,Beijing Institute of TechnologyBeijing 100081,ChinaE-mail:Tel:[phone]