经典光流综述.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,经典光流法综述,1,1.,光流简介,三维场中,P,点的运动投影到二维平面后形成的,M,点的二维运动场,2,1.,光流简介,光流场则是指图像灰度模式的表面运动，它是一种像素级的运动，理想情况下，光流场和二维运动场互相吻合，但实际上并不经常如此。,3,1.,光流简介,这里我们可以认为光流场实际就是在时间序列上帧与帧之间图像的像素级运动，后面的部分，我们将讨论如何求出视频中运动物体的光流场，而运动场和光流场的不一致问题，则不在我们此次讨论范围内。,4,2.,经典光流法,Lucas-Kanade(LK),pyramidal LK,（,PRLK,）,5,LK,算法的原型最初是一篇讲述配准问题的论文，该文主要论述了如何对两幅图像中的感兴趣区域进行配准，这实际也是一种求光流的方法，但这里配准过程中使用的是牛顿迭代的方法，而经典,LK,光流法中使用的是解线性方程组的方法。,An Iterative Image Registration Technique with an Application to Stereo Vision,发表在,1981,年的,Proceedings of Imaging Understanding Workshop,上。该文通过空间的灰度梯度信息，求解两幅图像之间相应区域的匹配问题，它可以用在各种线性变换下，甚至是旋转变换。它,被引用的次数达到了,2330,多次,。,2.1 Lucas-Kanade(LK),算法,6,2.1 Lucas-Kanade(LK),算法,上图表示两幅图像某区域,R,的匹配，,F(x),和,G(x),分别表示两幅图像在相应坐标下的像素灰度值，我们的目标是找到相应的向量,h,，使得在感兴趣的区域,R,中，,F(x+h),和,G(x),的差别最小，这里的差别也就是：,7,2.1 Lucas-Kanade(LK),算法,一维坐标下两条曲线的匹配,我们的算法是基于,F(x),上在,x,邻域上具有线性性质的假设,当,h,较小时，我们可以得出：,8,2.1,备注：牛顿迭代法,牛顿迭代法是一种求方程根的方法，如图所示蓝色曲线是我们要求的方程，所求目标便是图中所示的曲线与,x,轴的交点，是经过,n,次迭代后的结果，在收敛的情况下，它是不断向正确的值逼近的。,由,可以得到：,于是我们令：,9,2.1 Lucas-Kanade(LK),算法,根据我们的线性假设，曲线线性较好的地方求出的,h,必然更为准确，而线性性能的度量可以用曲线的二阶导来表示，二阶导较小的地方如拐点，即二阶导为零处则线性最好，所以我们给每个,x,处得出的,h,一个权值：,10,2.1 Lucas-Kanade(LK),算法,这里有个问题就是在曲线为平的时候，为零时，作为分母，,h,的求取会出现无意义的情况。,于是我们做一个小变换，将它代入使两曲线的,E,最小，这里我们使用差的平方来判断两者差异大小，有：,为了使误差,E,最小，我们对,E,求,h,的导数：,11,2.1 Lucas-Kanade(LK),算法,由一维扩展到多维：,12,前面我们提到过算法是基于,h,很小的假设，所以当,h,很大的时候计算出来的 结果误差很大甚至是错误的，文中在一维的情况下对正弦曲线的匹配进行了上述算法的计算实验，设：,实验发现，当 时，上述算法的结果能收敛到正确的,h,值上去，这表明最初的偏差值可以最多取到波长的一半。我们从中可以获得启发：抑制图像高频的部分，可以扩大,h,的收敛域。我们将图像进行平滑便可以达到这个效果，但这同时损失了图像的细节部分，会反过来造成匹配的不够准确，尤其当平滑窗口大于我们匹配的区域时，我们将得不到匹配结果。,2.1 Lucas-Kanade(LK),算法,13,从前面一维和二维的推导过程来看，我们都是使用了,F,和,G,的两幅图像的,F(x+h),和,G(x),的相等与否关系来得到,h,的求解，我们假设了,F(x+h)=G(x),。,而在视频中，对于,t,和,t+dt,帧的光流计算，也相当于两幅帧图像的像素匹配过程，这里我们假设在视频帧中，物体的对应像素的灰度值不因运动而变化，也得到光流的基本公式：,2.2 LK,光流,14,2.2 LK,光流,LK,算法基于以下三个假设：,1,）亮度恒定,2,）时间连续或者是运动是,“,小运动,”,3,）空间一致，临近点有相似运动，保持相邻,15,类似的，对于 也进行一阶泰勒展开：,之前的匹配中我们对,F(x+h,）进行一阶展开：,使得,F(x+h)=F(x)+hF(x),，然后代入相关公式中计算。,2.2 LK,光流,对,t,求导，令 分别表示水平方向、垂直方向的光流速度，表示某方向的梯度，用一阶差分代替一阶微分，于是光流基本计算公式有一般形式：,16,2.2 LK,光流,假设在一个小窗口内的像素光流是一致的：,17,2.2 LK,光流,使用最小二乘法解 里的向量,u:,图三情况下，在纹理密集的地方可以求得,u,。,考虑矩阵的可逆性：,18,2.2 LK,光流,19,2.2 PRLK,光流,1,）在,LK,算法中，有些情况会导致矩阵不可逆，这些情况下无法计算光流，于是我们可以考虑寻找一些好的特征点来计算光流，也就是角点。,2,）在光流计算中，当光流较大，也就是物体运动范围较大时，计算误差很大，这时，我们引入金字塔的思想，对原始图像进行采样，进行类似,coarse to fine,的过程，对先通过高层金字塔找出大的运动量，再逐步细化，计算小的运动量并不断纠正大运动量的精确度。,20,2.2 PRLK,光流,21,2.2 PRLK,光流,22,LK,法,PRLK,法,23,PRLK,找相对应的点,24,OVER!,25,