基于结构光与双目视觉.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,2D,和,3D,的关系,现实存在的问题,一般的物体,(Objects),都是三维的；,图像,(Images),却是有关灰度，颜色等信息的阵列；,3D,的深度,(Depth),信息在一幅图像上不能明显的显示出来。,2D,的分析需要,3D,的信息,物体表面是连续，平滑,(Smooth),的；,物体都有特定的形状和边界。,3D,的信息可以通过,2D,的图像计算出来,视差,(Disparity),，深度,(Depth),信息等等。,为什么需要两个眼睛？,物体的深度信息可以通过双眼的观察得到。,亚像素,(Sub-pixel),在某些对精度要求较高的场合，需要对视差进一步精细化,(Refinement),，亚像素是其中的一种方法。,立体视觉（,Stereo Vision,）,由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术,两个主要的子问题,匹配问题,-,视差图,(Disparity Space Image),相似而不是相同,遮挡问题,:,场景的某些部分只在一幅图像中可见,重建问题,-3D,重建所需要的摄像机参数,立体摄像机标定,极线几何,(Epipolar Geometry),动机,:,在哪寻找匹配点,?,极平面,极线,极点,极线约束,匹配点必须在极线上,p,l,p,r,P,O,l,O,r,e,l,e,r,P,l,P,r,极平面,极线,极点,极线几何,(Epipolar Geometry),基线：左右两像机光心的连线；,极平面：空间点，两像机光心决定的平面；,极点：基线与两摄像机图像平面的交点；,极线：极平面与图像平面的交线。,p,l,p,r,P,O,l,O,r,e,l,e,r,P,l,P,r,极平面,极线,极点,基线,Essential,矩阵,左右两幅图像相对应的点之间的关系可以通过,Essential,矩阵或是,Fundamental,矩阵来表明。,Essential,矩阵是摄像机标定情况下用的。,公式：,p,r,和,p,l,分别是齐次摄像机坐标向量。,公式描述了点,p,r,位于与向量,Ep,l,相关的外极线上。,Essential,矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为,2,。,Fundamental,矩阵,当内部参数未知（非标定的摄像机）：,公式可表示为：,M,为内参矩阵,q,l,q,r,为图像坐标,Fundamental,矩阵秩同样为,2,。,Fundamental,矩阵是摄像机非标定的情况用的。,Reference:Learning OpenCV,图像校正,(Rectified Images),目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。,校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线,(Scan-line),上。,图像校正,(Rectified Images),在校正图像中所有极线都平行,关键点,A.,图像获取,B.,相机标定,C.,特征提取,D.,立体匹配,E.,三维重建,图像获取,在进行图像处理之前，先要用摄像机获取三维物体的二维图像。光照条件、相机的几何特性等对后续的图像处理造成很大的影响。,相机标定,通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。,特征提取,特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。因此在进行特征点的提取时需要先确定用哪种匹配方法。,特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种。,立体匹配,立体匹配,三维重建,有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度，摄像机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能设计出一个比较精确的立体视觉系统。,