多视角重建技术介绍.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多视角重建技术介绍,报告人：姚刚,参考书目：,An introduction to 3d vision(MASKS),目录,引言,-,概念和应用领域,原理,-,单视几何,原理,-,双视几何,三维重建,多视角重建,什么是多视角,Input:,Corresponding“features”in multiple perspective images.,Output:,Camera pose,calibration,scene structure representation.,应用,-,ITS,应用,-Unmanned Aerial Vehicles,Rate:10Hz;Accuracy:5cm,4,o,应用,-,Real-Time Virtual Object Insertion,应用,-,Real-Time Sports Coverage,应用,-,Image Based Modeling and Rendering,应用,-,Image Alignment,Mosaicing,and Morphing,单视几何,单视几何,投影矩阵：,：表示内部参数,：表示外部参数,双视几何,双视几何,双视几何,1),如果内部参数已经标定：由于,CC,Cu,Cu,三个向量共面，故有,称为,本征矩阵,2),如果内部参数未标定：,F,称为,基本矩阵,注：推导过程非常复杂，这里就不在讲解，可以参考相关文献,为什么需要求基本矩阵：,1,、我们能得到的只是图像上的点,2,、空间距离信息我们是无法知道的，也就是外参数无法知道,假设现在根据两幅图像上的对应点计算出了基本矩阵,F,，则有：,基本矩阵的计算算法：,8,点算法,当,n=8,时，可以线性求解,F,。,数学模型：,求解上述模型的方法主要是通过对构造的矩阵,A,进行,SVD,分解来实现,而构造矩阵,A,又需要寻找两幅图像上的对应点，即立体匹配,模拟实验效果,重建前期工作,图像底层处理,摄像机内部参数标定,特征点提取,对应点匹配,传统三维重建过程,Step1,：标定,K,Step2,：图像底层处理，提取特征点，寻找匹配点对，估计基本矩阵,F,Step3,：根据估计出的基本矩阵,F,和已标定的,K,可以构造投影矩阵,P,Step4,：根据二维空间点，投影矩阵,P,可以计算得到三维空间点坐标,Step5,：连接坐标点构成线框模型,Step6,：图像渲染，得到真实感的图像,重建分类,重建算法,基于两幅图像的重建,实验效果,多视角重建,多视角重建,-(2D-3D-2D),多视角重建,-(2D-2D),推导过程见雷邦军博士论文,重建效果,Thanks,！,