09-数字图像处理-双目立体视觉.ppt

单击此处编辑母版文本样式,第二级,第三级,*,单击此处编辑母版标题样式,Image&Vision Lab,双目立体视觉,Binocular stereo vision,信息视觉处理,2,内容（,Contents,）,极线几何,Essential,矩阵、,fundamental,矩阵,弱标定,立体重建（视差、双目匹配）,多个摄像机,结构光,时空立体光条,距离（,range,）数据,实例：视差与三维图,最新进展（运动提取等）,进一步学习材料,3,2D,和,3D,的关系,现实存在的问题,一般的物体,(Objects),都是三维的；,图像,(Images),却是有关灰度，颜色等信息的阵列；,3D,的深度,(Depth),信息在一幅图像上不能明显的显示出来。,2D,的分析需要,3D,的信息,物体表面是连续，平滑,(Smooth),的；,物体都有特定的形状和边界。,3D,的信息可以通过,2D,的图像计算出来,视差,(Disparity),，深度,(Depth),信息等等。,4,为什么需要两个眼睛？,物体的深度信息不能通过单眼所获得。,5,为什么需要两个眼睛？,物体的深度信息可以通过双眼的观察得到。,6,双目立体视觉三维测量原理,(Triangulation),双目立体视觉三维测量是基于视差原理。,计算公式：,7,视差,(Disparity),与深度,(Depth),的关系,视差和深度成反比关系8,视差,(Disparity),与深度,(Depth),的关系,同一深度下的视差一样,9,亚像素,(Sub-pixel),在某些对精度要求较高的场合，需要对视差进一步精细化,(Refinement),，亚像素是其中的一种方法。,10,立体视觉（,Stereo Vision,）,由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术,两个主要的子问题,匹配问题,-,视差图,(Disparity Space Image),相似而不是相同,遮挡问题,:,场景的某些部分只在一幅图像中可见,重建问题,-3D,重建所需要的摄像机参数,立体摄像机标定,11,立体图对,(Stereo pair),问题,匹配问题,(,立体匹配,)-,视差图,重建问题,-3D,?,3D?,匹配,?,12,极线几何,(,Epipolar Geometry),动机,:,在哪寻找匹配点,?,极平面,极线,极点,极线约束,匹配点必须在极线上,p,l,p,r,P,O,l,O,r,e,l,e,r,P,l,P,r,极平面,极线,极点,13,极线几何,(,Epipolar Geometry),基线：左右两像机光心的连线；,极平面：空间点，两像机光心决定的平面；,极点：基线与两摄像机图像平面的交点；,极线：极平面与图像平面的交线。,p,l,p,r,P,O,l,O,r,e,l,e,r,P,l,P,r,极平面,极线,极点,基线,14Essential,矩阵,左右两幅图像相对应的点之间的关系可以通过,Essential,矩阵或是,Fundamental,矩阵来表明。,Essential,矩阵是摄像机标定情况下用的。,公式：,p,r,和,p,l,分别是齐次摄像机坐标向量。,公式描述了点,p,r,位于与向量,Ep,l,相关的外极线上。,Essential,矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为,2,。,15,Fundamental,矩阵,当内部参数未知（非标定的摄像机）：,公式可表示为：,M,为内参矩阵,q,l,q,r,为图像坐标,Fundamental,矩阵秩同样为,2,。,Fundamental,矩阵是摄像机非标定的情况用的。,Reference:Learning OpenCV,16,弱标定,(Weak Calibration),定义：对于内部参数未知的摄像机，通过两幅图中的冗余点集合来估计外极几何。,方法：,8,点算法,(Longuet-Higgins 1981),最小二乘法,最小二乘法的,8,点算法,规范化线性,8,点算法,(Hartley 1995),Reference:,计算机视觉,一种现代方法,第,10,章,17,弱标定,(Weak Calibration),使用一个玩具房子的两幅图像上的,37,个点作为输入的弱标定实验。,数据点在图中用圆点表示，所经过的外极线用短的直线段表示。,左图显示使用最小二乘法的普通,8,点算法得到的输出结果；右图为使用,Hartley,变换后的该方法的输出结果。,18,图像校正,(Rectified Images),目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。,校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线,(Scan-line),上。,19,图像校正,(Rectified Images),在校正图像中所有极线都平行,20,图像校正,(Rectified Images),把极点拉向无穷远处。,21,图像校正,(Rectified Images),校正后,22,立体匹配,(Stereo match),选取何种匹配基元进行匹配？,两种主要的方法,特征匹配,稠密匹配,23,特征匹配,(Feature match),常用特征,边缘,线,(,长度、方向、平均对比度,),角点,匹配算法,在立体图对中抽取特征,定义相似度,利用相似度和极线几何寻找匹配,24,特征匹配,(Feature match),对于左图像中的每一个特征,左图像,角点,线,结构,25,特征匹配,(Feature match),在右图像中寻找,当相似度达到最大时的偏移量就是视差,右图像,角点,线,结构,26,稠密匹配（,Dense match,）,找到对应于场景中同一点的像素,通常假设,经过立体校正,分块平滑表面,朗氏表面,目标,:,找到视差图,27,稠密匹配（,Dense match,）,局部算法,(Local/window-based algorithms):,在匹配点的一个特定窗口中计算相似度。,SSD,，,SAD,，,MSE,，,MAD,，,etc.,全局算法,(Global algorithms),：,能量方程,：,模拟退火,(,Simulated annealing,),动态规划,(Dynamic Programming),最大流,(,Max-flow,),图像分割,(graph-cut),etc.,28,匹配方程,(Matching Function),29,特征匹配,VS,稠密匹配,特征匹配,(Feature match),：,速度快，匹配效率高；,特征的提取可以到亚像素级别，精度较高；,匹配元素为物体的几何特征，对照明变化不敏感；,重建需要拟合。,稠密匹配,(Dense match):,重建不需要拟合；,速度慢，效率低；,对于无纹理，纹理不明显的图像匹配效果不理想；,对光强、对比度、照明条件敏感。,30,立体匹配的困难,场景投影到两幅图像中并不总是一致的,摄像机相关,图像噪声、不同增益、不同对比度等等,.,视点相关,透视畸变,遮挡,镜面反射,即使在测试的标准图像中匹配也不是容易的事,重复场景,无纹理区域,遮挡,31,32,立体匹配中常用约束,(Constraints),极线约束：匹配点一定位于两幅图像中相应的极线上；,顺序一致性约束：位于一幅图像上的极线上的系列点，在另一幅图像中的极线上具有相同的顺序；,唯一性约束：两幅图像中的对应的匹配点应该有且仅有一个；,视差连续性约束：除了遮挡区域和视差不连续区域外，视差的变化应该都是平滑的。,33,算法评估,以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法的性能,vision.middlebury.edu/stereo.,34,35,具体实例,-SSD,36,具体实例,-SSD,37,多个摄像机,38,多个摄像机,三个摄像机,增加第三个摄像机可以消除（大部分）由双目图像点造成的不确定性。,本质上，第三幅图像可以用来检查前两幅图像中假定的匹配：,和前两幅图像中匹配点对应的三维空间点首先被重建，然后再投影到第三幅图。如果在第三幅图像的再投影点周围没有相容的点，那么这个匹配一定是错误的匹配。,39,多个摄像机,多个摄像机,Okutami,和,Kanade(1993),提出一个多摄像机的算法，其中同时利用所有图像来搜索匹配。,基本想法：假设所有图像都是被校正过的，讲搜索正确的视差的操作转换为搜索正确的深度或者深度的倒数。,选择第一幅图像作为参考，将与所有其他摄像机相关的平方差加到一个全局评价函数,E,中。,评价函数,E,是深度倒数的函数。,40,多个摄像机,下图是不同数量的摄像机评价函数,E,的函数值：,41,结构光,(Structure Light),光学投影器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图。,结构光的目的就是增加三维物体的纹理信息。,42,结构光的三大基本原则,编码要唯一；,汉明距离（,Hamming distance,）为,1;,满足抽样定理。,43,结构光光条模板（,Pattern,）,二进制编码,(,binary code,),格雷码,(Gray code),改进格雷码,灰度编码：锯齿状条纹,(,Saw-tooth pattern,),、正弦状条纹、,etc.,金字塔子光栅条纹投射法,(,Pyramid sub-grating projecting method,),伪随机编码阵列,(,Pseudo-random encoded array),Ref:,Salvi et al.,Pattern codification strategies in structured light system,Pattern Recognition,37,827-849,2004.,44,各种结构模板光举例,二进制编码,(,binary code,),格雷码,(Gray code),45,各种结构模板光举例,改进格雷码,46,各种结构模板光举例,灰度编码,(,n-array codes,),47,各种结构模板光举例,金字塔子光栅条纹投射法,(,Pyramid sub-grating projecting method,),48,各种结构模板光举例,伪随机编码阵列,(,Pseudo-random encoded array),63*65,的伪随机阵列：,49,各种结构模板光实例,50,实验设施示意图,51,实验设施,(Experimental Setup),Reference,：,High-Accuracy Stereo Depth Maps Using Structured Light,52,时空立体光条,(Spacetime Stereo),空间域匹配函数,公式：,I,1,I,2,分别为图像,1,和图像,2,的灰度值；,V,s,是x,1,像素邻近域的向量。,时空匹配函数,公式：,53,时空立体光条,(Spacetime Stereo),空间匹配和时空匹配的比较,54,实验设施,(Experimental Setup),Reference,：,Spacetime Stereo-Shape Recovery for Dynamic Scenes,55,时空立体光条实验,Reference,：,Spacetime StereoA Unifying Framework for Depth from Triangulation,56,时空立体光条实验结果,57,时空立体光条实验结果,Reference,：,Spacetime Stereo-Shape Recovery for Dynamic Scenes,58,距离（,range,）数据,距离图像,(,深度图像,),：这种图像存储的不是亮度和颜色信息，而是与每一个像素相关的射线与摄像机观测到的第一次交点的深度信息。,一幅距离图像正是立体视觉、运动等的输出。,距离图像可以通过主动传感器获得。,主动传感器向场景投影某种光模式，以此来避开建立对应的困难和时间消耗问题，并构造出紧密和准确的深度图像。,59,主动距离传感器,Reference,：,graphics.stanford.edu/papers/volrange/paper_1_level/paper.html,60,主动距离传感器,Scanner:Cyberware 3030 MS,Number of scans:10,Reference:The Stanford 3D Scanning Repository,61,便携式,3D,扫描仪,美能达,(Minolta),扫描仪,62,实例：视差图与三维图,Ref:Extraction and temporal segmentation of multiple motion trajectories in human motion,66,最新进展（,Photo Tourism,）,Ref:,phototour.cs.washington.edu/,。,67,最新进展,(3D Virtual World),Reference:3D World from 2D Photos,68,最新进展,(Photo Navigator),Ref:www.csie.ntu.edu.tw/cyy/publications/papers/Hsieh2008PN.pdf,69,最新进展,(Automatic Photo Pop-up),70,最新进展,(Automatic Photo Pop-up),71,进一步学习材料,David A.Forsyth,等著,林学訚 等译,.,计算机视觉,一种现代方法,M.,北京：电子工业出版社，,2004.6.,张广军,.,视觉测量,M.,北京：科学出版社，,2008.,刘瑞祯，于仕琪,.OpenCV,教程,基础篇,M.,北京：北京航空航天大学出版社，,2007,6.,vision.middlebury.edu,.,