基于图像的VR技术培训课件.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,基于图像VR技术,基于图像的VR技术培训课件,第1页,VR两种研究方法介绍,VR两种研究方法：,方法一：基于几何绘制,该方法有时也被称为基于模型方法,传统上，一个虚拟环境是由各类3D几何体合成。在虚拟环境中漫游是经过实时绘制2D几何体实现。,首先对场景建立三维几何模型，对场景中各个物体材料、光照、纹理、消隐等原因进行描述；,然后依据观察者位置和观察角度生成场景中各个物体图象，用图形学方法进行绘制；,最终用光线跟踪或纹理映射方法增加真实感，同时对物体进行着色、上光、粘贴材质、判断遮挡、填充空洞等处理。,基于图像的VR技术培训课件,第2页,基于几何绘制方法,此方法有3个主要问题：,第一，几何体建模是一个非常繁琐问题。,其次，因为漫游需要实时显示，所以限制了场景复杂性和绘制质量。,最终，加速绘制所需要专门硬件极其昂贵，所以限制了虚拟现实发展。,基于图像的VR技术培训课件,第3页,基于几何绘制方法工作流程,基于图像的VR技术培训课件,第4页,基于图像绘制技术,VR两种研究方法：,方法二：基于图像建模和绘制(Image Based Modeling and Rendering，简称IBMR，简写为IBR),从已知图像中合成新视图来组成虚拟环境，IBMR方法有以下优点：,建模轻易,：,把不一样视线方向、不一样位置拍摄照片数据按某种形式组织起来表示场景，如全景图像和光场，这就是IBMR意义下所谓建模。,绘制快：,不需要复杂计算，直接从已经有视图中合成新视图，整个绘制过程都在二维空间进行，绘制时间不依赖于场景复杂度，只跟显示分辨率相关。,真实感强：,基于图像方法能真实地反应景物形状和丰富明暗、材料及纹理细节，不需要经过额外光照模拟。,交互性好：,因为有绘制速度和真实感确保，再加之先进交互设备和反馈技术，使得基于图像VR有更加好交互性。,基于图像的VR技术培训课件,第5页,当然，IBR方法也并非没有不足，当前还有以下缺点：,1)表示模式。,即数据组织问题。需要找到一个简便有效且适合于计算机表示模式，使之能准确完整地表示整个场景;,2)获取方法。,用手持相机或者用被准确定位与控制数控摄像机、图象采样数量多少、采样模式及样本均匀性等都会影响问题难度和精度。,3)失真问题,失真是因为连续图象信号离散化、采样设备精度和质量、设备噪等各种原因而产生。同时，工BR方法不可防止地要对场景图象进行多重采样，这么又会产生采样积累误差。,4)可见性判断。,景物间相互遮挡会使新合成视图中出现空洞和重合。,5)信息压缩。,IB,R方法计算量不大，但数据量很大，合理有效压缩及解压缩机制是一个亚待处理问题。,6)完全漫游。,怎样实现基于图象完全实时漫游是基于IBR方法虚拟现实系统能否走向实用又一个关键问题。,基于图像的VR技术培训课件,第6页,基于图像建模和绘制技术,基于立体视觉方法,基于视图插值方法,基于图像拼合和分层方法,基于全视函数方法,基于图像的VR技术培训课件,第7页,基于立体视觉方法,基于立体视觉视图合成方法主要利用立体视觉技术从已知参考图像中合成相对于新视点理想图像,关键问题是找出每对已知图像之间对应映射，即处理立体匹配问题,经过对应关系建立了一个基于图像场景表示,将场景视图及其对应关系组成一个图结构，图中灰色摄像机代表不一样物理位置参考图像，黑色摄像机代表合成视图，双向边表示邻接视图间立体对应关系，单向边表示对参考图像所做变换。,基于图像建模和绘制技术,1 基于立体视觉方法,基于图像的VR技术培训课件,第8页,基于立体视觉图像合成方法主要有以下优点,：,新视图能够由两幅邻近参考图像及它们对应关系合成，整体几何模型不是必需；,图像变换比传统图像绘制快得多，而且计算时间独立于场景复杂度；,只需知道邻接摄像机之间相对轮廓信息，而不需要对摄像机进行准确定标。,基于图像的VR技术培训课件,第9页,基于立体视觉图像合成方法,也存在着立体视觉中固有缺点：,因为场景有可能部分和全部地被遮挡，只能掌握场景有限信息，造成在参考图中不可见而在新图中应该可见区域出现空洞，怎样填补这些空洞是一个难以处理问题；,因为只产生有限深度分辨率(深度不连续)，使得匹配处理出现误差。,基于图像的VR技术培训课件,第10页,视图插值方法能够对二维图像按照形状插值来模拟和近似三维图形变换。给定两幅不一样视点参数图像，用这种方法能够求出中间视点图像，从而到达视点改变效果。,视图插值就是利用图像变形方法产生视点沿着一定路径改变时中间图像,基于图像建模和绘制技术,2 基于视图插值方法,基于图像的VR技术培训课件,第11页,将同一场景多张有重合图像组合成一幅较大图像处理叫做拼合(mosaic)。,图像拼合技术经典地被用于全景图生成、改进图像分辨率、图像压缩及视频扩展等方面,图像整合(image registration),即是把参考图像中相互重合部分对齐所做变换。,基于图像建模和绘制技术,3 图像拼合和分层方法,基于图像的VR技术培训课件,第12页,基于图像的VR技术培训课件,第13页,全视函数(PlenOptic Function)是由Adelson和Bergen命名,全视函数描述了观察点(而非物体或光源)接收到全部可见光辐射能量。用计算机图形学术语，它描述了给定场景中全部可能环境映照集合,全视函数定义在一个七维参数空间上,代表空间中视点位置，视域方向和范围用仰角,方位角,定义,，,代表人眼感受到波长,t代表时间,基于图像建模和绘制技术,4 基于全视函数方法,基于图像的VR技术培训课件,第14页,全视函数参数化,基于图像的VR技术培训课件,第15页,摄像机：模型及定标,摄像机模型,针孔成像模型（几何）,几个参考坐标系,成像过程（代数）,摄像机定标,线性模型摄像机定标,非线性模型摄像机定标,立体视觉摄像机定标,基于图像的VR技术培训课件,第16页,一、Camera模型：,针孔成像模型,图像上每一点亮度反应了空间物体表面某点反射光强度，而该点在图像上位置则与空间物体表面对应点几何位置相关。这些位置相互关系，由摄像机成像几何模型所决定；,该几何模型参数称为摄像机参数，必须由试验与计算来确定，试验与计算过程称为摄像机定标；,摄像机模型是光学成像几何关系简化。最简单模型为线性模型，亦称为针孔模型(pin-hole model),基于图像的VR技术培训课件,第17页,摄像机针孔模型示意图,基于图像的VR技术培训课件,第18页,Camera模型：,四种参考坐标系,Image坐标系,camera坐标系,world坐标系,（物理/计算机）,基于图像的VR技术培训课件,第19页,Camera模型：,代数模型,成像过程,旋转、平移,（欧氏变换）,(1)从world坐标到Camera坐标,齐次坐标概念：,基于图像的VR技术培训课件,第20页,Camera模型：,代数模型,(2)经透视投影将Camera坐标投影到实际图像平面,透视投影,（中心射影）：,基于图像的VR技术培训课件,第21页,Camera模型：,代数模型,(3)将实际图像坐标转换成计算机图像坐标(缩放变换),Image坐标系,代数表示：,为计算机图像坐标（象素单位）,为实际图像坐标（物理单位）,基于图像的VR技术培训课件,第22页,Camera模型：,代数模型,完整过程,摄像机定标,：求解,基于图像的VR技术培训课件,第23页,二、Camera定标,目标,基本原理,定标参考物,线性模型,非线性模型,立体视觉,自定标(project),实例,机器人手眼定标,主动视觉头眼定标,基于图像的VR技术培训课件,第24页,Camera定标：,线性模型情形,Camera完整代数模型,：,基于图像的VR技术培训课件,第25页,其中：,:,为3X4矩阵，称为,投影矩阵,;,:,由 （只与摄像机内部结构相关）决定，称为,摄像机内部参数,;,:,由摄像机相对于世界坐标系方位决定，称为,摄像机外部参数,;,Camera定标,：确定某摄像机,基于图像的VR技术培训课件,第26页,条件：借助定标参考物（已知,n,个点）,摄像机定标算法,（,线性模型情形,）,基于图像的VR技术培训课件,第27页,最小二乘法,基于图像的VR技术培训课件,第28页,基于图像的VR技术培训课件,第29页,Camera定标：,非线性模型情形,径向畸变,离心畸变,薄棱镜畸变,如广角镜头系统,基于图像的VR技术培训课件,第30页,Camera定标：,立体视觉情形,极线,概念,基于图像的VR技术培训课件,第31页,Camera定标：,立体视觉情形,消去,消去,基于图像的VR技术培训课件,第32页,Camera定标：,立体视觉情形,：,基本矩阵,外极线方程,：,基于图像的VR技术培训课件,第33页,Camera定标,自定标,不使用定标参考物,基于图像的VR技术培训课件,第34页,针孔摄像机模型及坐标系,基于图像的VR技术培训课件,第35页,基于图像的VR技术培训课件,第36页,全景图像生成,图像拼合主要包含两个问题：,一是图像整合，即把参考图像中相互重合部分对齐所做变换；,二是图像缝合，即把图像经过一定变换后，在缝合空间进行图像局部匹配。,基于图像的VR技术培训课件,第37页,经过图象拼接来生成全景图象基本过程以下:,针对某一场景，视点固定，采集一组有重合区域连续环视图象作为原始图象数据。,按照全景视觉一致性要求，同时也是为了维持实际场景中空间约束关系，先将原始图象数据转化为拼接图象数据，即:把原始图象转换到用于映射全景图象曲面上(如:圆柱面、球面、立方体表面等)。,经过图象拼接技术，将这组图象中相邻两幅图象间重合部分整合在一起，进而实现相邻两幅图象拼接。当全部图象都拼接完成后，就会取得一幅全景图象。,当然也能够不固定视点，如:手持摄影机进行拍摄，但此时要经过某种方法计算出拍摄各张相片时，摄影机位置和方位,基于图像的VR技术培训课件,第38页,柱面全景模型,柱面全景模型(图a)就是将环境图像表示在一个圆柱体面上，这么就很轻易将它展开为简单平面图(图b)。在水平方向上其无表面无边界，从而简化了建立图像流场所需对应关系搜索。,经过旋转摄影方法，能够取得一系列相互间有一定接缝局部图像，以此作为全景图像生成原始输入。,基于图像的VR技术培训课件,第39页,柱面体模型和展开示意图,基于图像的VR技术培训课件,第40页,1、柱面正投影算法,在拼接全景图像之前必须将他们统一投影到柱面上，使现实世界中相同景物在不一样局部图像中是相同。,柱面正投影算法是为了将多张实景图像分别投影到一个柱面上，以柱面全景图像形式存放,就是对于一张拍摄实景图像I上每一个象素点P坐标(x,y)，找到其在圆柱体上投影点Q(u,v,w)在柱面全景图像中坐标(x，y)。以下列图2-9所表示。,P在摄影机坐标系下坐标为:(x-W/2,y-H/2,-f)，其中，W和H分别是实景图像I宽度和高度。把圆柱面中心设为摄影机坐标系原点0，以数码相机象素焦距f作为圆柱面半径。,基于图像的VR技术培训课件,第41页,柱面正投影示意图,基于图像的VR技术培训课件,第42页,柱面坐标转换图,基于图像的VR技术培训课件,第43页,摄影机坐标系原点0与象素点P直线方程能够表示为参数方程(t是参数):,圆柱面方程能够表示为:,联立上面式即可得到P点在圆柱面上投影点Q参数坐标:,基于图像的VR技术培训课件,第44页,为了便于存放，将此三维坐标转换为二维图像坐标:,基于图像的VR技术培训课件,第45页,1、柱面全景图像拼接,图像整合,普通图像整合问题能够形式化定义为,其中I,1,和I,2,分别代表两个图像样本，M是一个平面投影变换或摄像机定点旋转拍摄时两幅重合图像间变换矩阵，用齐次坐标表示以下:,基于图像的VR技术培训课件,第46页,因为两个图像含有共同视点，所以,m9,=1，即,假如M能得到，我们就可准确地将两幅图像拼合。,基于图像的VR技术培训课件,第47页,（1）特征点提取及相关匹配算法,特征点提取及匹配算法目标是提取图像特征点，然后对两幅图像中特征点进行尽可能准确匹配。,主要包含以下三步：,首先提取每幅图像特征点；,然后经过一定相关准则对两幅图像特征点集进行初步匹配；,最终经过全局优化策略在初始匹配集中寻找最正确匹配,基于图像的VR技术培训课件,第48页,(a)角点检测(Corner Detection),选取特征点为图像上Harris角点，它基本原理描述以下，建立下面矩阵,C,其中I(x,y)是亮度值，这里用灰度来表示,假如在一点上矩阵C两个特征值很大，则在该点向任意方向上一个很小移动都会引发灰度值较大改变,基于图像的VR技术培训课件,第49页,角点检测函数以下：,其中k参数设为0.04(Harris设定最优参数)。局部区域中对应角点函数最大值点就是角点。,确定一个阈值，仅仅选取R值大于这个阈值点作为角点。这个阈值依据需要角点数量确定,基于图像的VR技术培训课件,第50页,（2）相关匹配法,匹配过程以下：在一幅图像中选择一个角点以及角点周围小区域像素，把这些像素同第二幅图像中候选角点及周围相同大小区域像素进行比较，得到一些相同度量值，最终经过这些度量值确定匹配点。,角点匹配过程是一个病态问题。一些角点不能得到匹配点，这是因为,第一，待匹配角点有一些非常相同，可能得到错误匹配点。,第二，两幅图像中求出角点并不是一一对应，存在一些角点在另一幅图像中匹配点没有检测出来。,基于图像的VR技术培训课件,第51页,相关匹配法,基于图像的VR技术培训课件,第52页,对于图像I1中角点,m,1，设其坐标为(,x,1,y,1)，并以该点为中心定义一个大小为(2,n,+1)(2,m,+1)相关窗口。,选择第二幅图像I2中矩形搜索窗口为在该点附近大小为(2,dx,+1)(2,dy,+1)窗口，然后用该区域中全部角点,m,2与图像I1中角点,m,1在给定相关窗口中进行相关操作，并设,m,2坐标为(,x,2,y,2)。,角点,m,1和,m,2相关值Score定义以下,基于图像的VR技术培训课件,第53页,表示相关窗口内像素灰度均值，定义为，,k,=1,2.,则表示图像Ik在以点(xk,yk)为中心，大小为(2n+1)(2m+1)邻域内标准偏差，其表示式为,相关值Score(m1,m2)取值范围从-1到1，当点m1与m2越相同，相关值Score(m1,m2)也就越大,基于图像的VR技术培训课件,第54页,（3）松弛法,经过对匹配点匹配强度进行松弛法迭代来去除含糊匹配点对。,基于图像的VR技术培训课件,第55页,M矩阵鲁棒求解,因为,M,只有8个未知参数，而一对匹配点能够组成两个方程，所以假如我们有四对匹配点 ，,i,=1，2，3，4，便可得到下面方程组,基于图像的VR技术培训课件,第56页,用下式求得变换矩阵,M,后，可定义以下误差函数来衡量,M,准确程度,其中，n为匹配点数目，ei为第i对匹配点误差，定义以下,其中,基于图像的VR技术培训课件,第57页,图像缝合,在求得图像序列变换矩阵,M,后，要将相邻照片依次拼接形成圆柱面全景图，需要处理以下三个问题：,恢复摄像机焦距，将照片序列投影到圆柱面；,查找变换后图像重合区域；,对图像色彩融合。,基于图像的VR技术培训课件,第58页,摄像机焦距求解,Ii和Ii+1是相邻两幅照片，图Ii中心点,O,i在Ii+1中对应点是,P,i+1。依据Ii到Ii+1变换矩阵,M,i，并由此计算,P,i+1到,O,i+1距离,t,i。摄像机焦距,f,、摄像机帧间转角,H,i与,t,i之间有以下关系：,H,i=arctan(,t,i/,f,)。假如图片1,2,N,是摄像机围绕垂直轴旋轴360摄取如图所表示依次相邻图片序列，那么有以下等式成立,用牛顿迭代法解方程(5-16)，可得到以象素为单位摄像机焦距f 值,基于图像的VR技术培训课件,第59页,摄像机焦距恢复示意图,基于图像的VR技术培训课件,第60页,为简化计算，设摄像机内参数矩阵为,对于纯旋转运动情况，变换矩阵可表示为,为旋转矩阵。因为R为正交矩阵，所以可由下面式子,能够求f,基于图像的VR技术培训课件,第61页,缝合点查找,将图像投影到圆柱面上后，得到了含有重合相同区域两幅图像,对两幅图像分别运算相同距离，依据相同距离来寻找图像相同部分,因为在上面算法中已经得到了匹配特征点，所以利用重合区域搜寻方法。,图像投影变换后匹配点对,基于图像的VR技术培训课件,第62页,对于图像中特征点，设其坐标为(,)，并以该点为中心定义一个大小为(2,n,+1)(2,m,+1)相关窗口。并设坐标为(,)，选择第二幅图像中搜索窗口为以该点为中心大小为(2,s,+1)(2,t,+1)窗口，然后用该区域中全部点与图像中特征点在给定相关窗口中进行相关操作，并设坐标为(,)。点和相关值Score定义上面所述。在试验中，为使缝合点查找更准确，比如使m=n=10，考虑到，分别为,m,1和,m,2变换后对应点，所以确定搜索窗口很小，s=t=5，相关值阈值为0.95,基于图像的VR技术培训课件,第63页,缝合点查找算法描述：,Step 1 随机选择一对匹配点,m,1、,m,2，投影变换后得到对应点和。,Step 2 在投影变换后图像和上进行上面所述相关匹配。,Step 3 若存在满足要求匹配，从中选择一个最优匹配作为结果，算法结束；不然，转到Step 1。,基于图像的VR技术培训课件,第64页,图像色彩融合,因为相邻帧之间亮度差存在，假如将图像简单叠加，拼接处会产生显著接缝。为了消除拼接缝隙，在两幅图重合区域，将两帧图像素值按一定权值合成到新图,图像融合加权函数,基于图像的VR技术培训课件,第65页,基于图像的VR技术培训课件,第66页,基于图像的VR技术培训课件,第67页,生成全景图像,基于图像的VR技术培训课件,第68页,球面全景图生成技术,使用普通数字相机球面全景图生成技术难度即使较高，不过应用价值也大。,这种方法对硬件要求低，只需有一台数字相机即可，伴随数字相机普及，它能使个人制作自己球面全景图。,用这种方法结构全景图有很大灵活性，能够依据需要设置场景分辨率，能够满足不一样应用需求。,还能够用于从拍摄较低分辨率图像结构高分辨率图像。,基于图像的VR技术培训课件,第69页,基于图像绘制全景图生成系统能够采取,立方体,、,圆柱体,和,球体,等模型来实现。,采取球面模型生成全景图，相对于立方体模型而言效果真实，相对于圆柱体模型而言视角范围广，但球面全景图模型较复杂，技术尚欠成熟。,同时因为球面模型生成全景图在两极变形较大，在实际中应用受到限制。,球面模型原始图像拍摄能够用普通相机也能够外挂鱼眼镜头拍摄。,基于图像的VR技术培训课件,第70页,对于用普通相机拍摄得到照片图像，其全景图生成过程普通为:取得系列图像一计算相机焦距一投影变换一拼接生成全景图一反投影变换实时浏览。,用鱼眼镜头，我们只需要拍摄,2-4张,图片，就可覆盖水平和垂直方向360度场景，因为全方位光线投射方式使得鱼眼图片中场景展现扭曲现象，因而不能直接使用普通拼接方式合成全景图。所以用鱼眼图像全景图生成过程为:取得鱼眼图片一鱼眼图片校正一拼接生成全景图一反投影变换。,基于图像的VR技术培训课件,第71页,相邻照片几何关系示意图,基于图像的VR技术培训课件,第72页,为取得球体半径，首先应对相机焦距进行预计。对于绕固定视点旋转360度拍摄到水平层系列图片，利用等距离匹配算法计算出相机焦距。原理如前图所表示。,基于图像的VR技术培训课件,第73页,I,i,和I,i+1,是相邻两幅照片;为拍摄此相邻照片时相机转角，亦即相机光轴夹角;d,i,为两幅照片交点至照片中心距离，对相邻两幅照片而言，此值相同。,设提相机焦距，如图有以下公式:=2arctan(d,i,/f),P(x,y,z)和P(x，y ,z)是两个实物景点，因为相机视角改变，P在两幅照片上成象位置不一样，变形有差异;而P点在两幅照片上成象位于照片平面交点上，变形相同。所以，能够比较相邻两幅照片上各列象素点之间颜色差值求得d,i,值。,基于图像的VR技术培训课件,第74页,若相机经360。旋转拍摄得到n幅系列照片，则有以下关系式:,上式中，若求出n幅系列照片di值，便可求出f,求得f值后，就能够将各层系列照片投影到以f为半径球面上。,基于图像的VR技术培训课件,第75页,球面正投影算法,我们先做以下假设：XYZ为世界坐标系，xyz为摄影机坐标系，而且xyz是XYZ绕X轴转 ，再绕Y轴旋转 得到。,实景图像I上任意一个象素点P图像坐标为(x,y），它在球体上对应点Q在球面全景图像上图像坐标为(x，y)，下列图为球面正投影示意图。首先要将P(x,y)在xyz下坐标(x-W/2,y-H/2,-f)变换到XYZ下坐标为（u,v,w),基于图像的VR技术培训课件,第76页,球面正投影示意图,基于图像的VR技术培训课件,第77页,球面坐标转换图,基于图像的VR技术培训课件,第78页,过点O与点P直线方程能够表示为参数方程(t是参数),球面方程能够表示为:,即能够求出参数t,基于图像的VR技术培训课件,第79页,为了方便存放，把三维参数坐标转化为二维图像坐标，当w 0时，有:,不然，有:,基于图像的VR技术培训课件,第80页,假设：,基于图像的VR技术培训课件,第81页,使用上面算法实现了全景图。试验平台是一台Pentium III600PC机，Geforce 2，显示卡，256M内存，编程环境为Visual C+6.0，运行在WindowsXP下，底层图形绘制和操作采取三维图形标准Direct3D，每个项目包含120幅图像。,基于图像的VR技术培训课件,第82页,基于图像的VR技术培训课件,第83页,基于图像的VR技术培训课件,第84页,