5目标检测基于特征描述子的方法.pptx

目标目标检测检测基于基于特征描述子的方法特征描述子的方法吴金建吴金建电子工程学院电子工程学院目标检测目标检测基于特征描述子的方法基于特征描述子的方法引言引言图像变化的类型图像变化的类型几何变化几何变化旋转旋转旋转旋转相似相似相似相似(旋转旋转旋转旋转 +各向相同的尺度缩放各向相同的尺度缩放各向相同的尺度缩放各向相同的尺度缩放)仿射仿射仿射仿射(非各向相同的尺度缩放非各向相同的尺度缩放非各向相同的尺度缩放非各向相同的尺度缩放)适用于适用于适用于适用于:物体局部为平面物体局部为平面物体局部为平面物体局部为平面灰度变化灰度变化仿射灰度变化仿射灰度变化仿射灰度变化仿射灰度变化 (I I a a I Ib+b)图像匹配图像匹配图像匹配图像匹配在众多视觉应用中是一个关键技术，在众多视觉应用中是一个关键技术，在众多视觉应用中是一个关键技术，在众多视觉应用中是一个关键技术，匹配匹配匹配匹配算法直算法直算法直算法直接影响后续视觉处理的效果接影响后续视觉处理的效果接影响后续视觉处理的效果接影响后续视觉处理的效果。引言引言图像匹配图像匹配在众多视觉应用中是一个关键技术，在众多视觉应用中是一个关键技术，匹配匹配算法直算法直接影响后续视觉处理的效果接影响后续视觉处理的效果。对于对于运动运动目标目标，常常采用光流等方法提取特征进行匹配采用光流等方法提取特征进行匹配，如如北航王北航王兆仲等兆仲等人提出人提出了一种利用光流确定图像运动场的高了一种利用光流确定图像运动场的高精度精度图像匹配算法。图像匹配算法。对于对于静态静态目标，主要目标，主要采用点匹配方法采用点匹配方法，即，即给定同给定同一场景的一场景的两幅图像，寻找同一场景点投影到图像两幅图像，寻找同一场景点投影到图像中的中的像素之间的对像素之间的对应关系应关系，主要步骤为，主要步骤为图像特征点提取和最小距离图像特征点提取和最小距离计算计算。引言引言不同类型的特征点什么是角点什么是角点？目前关于角点的具体定义和描述主要有如下几种：目前关于角点的具体定义和描述主要有如下几种：目前关于角点的具体定义和描述主要有如下几种：目前关于角点的具体定义和描述主要有如下几种：3 3角点是一阶导数角点是一阶导数角点是一阶导数角点是一阶导数(即灰度的梯度即灰度的梯度即灰度的梯度即灰度的梯度)的局部最大所对应的像素点；的局部最大所对应的像素点；的局部最大所对应的像素点；的局部最大所对应的像素点；4 4角点处的一阶导数最大，二阶导数为零；角点处的一阶导数最大，二阶导数为零；角点处的一阶导数最大，二阶导数为零；角点处的一阶导数最大，二阶导数为零；1 1角点是两条及两条以上边缘的交点；角点是两条及两条以上边缘的交点；角点是两条及两条以上边缘的交点；角点是两条及两条以上边缘的交点；2 2角点是指图像中梯度值和梯度方向的变化速率都很高的点。角点是指图像中梯度值和梯度方向的变化速率都很高的点。角点是指图像中梯度值和梯度方向的变化速率都很高的点。角点是指图像中梯度值和梯度方向的变化速率都很高的点。引言引言角角点特征是影像的重要特征点特征是影像的重要特征，在各种影像特征中角点具，在各种影像特征中角点具有有旋转不变性旋转不变性和和不随光照条件改变而改变不随光照条件改变而改变的优点在一些的优点在一些应用中应用中使用角点特征进行处理使用角点特征进行处理，可以减少参与计算的数，可以减少参与计算的数据量，同时又不损失图像的重要灰度信息，利用角点特据量，同时又不损失图像的重要灰度信息，利用角点特征进行匹配可以大大提高匹配的速度征进行匹配可以大大提高匹配的速度。其在其在三维场景重建三维场景重建、运动估计运动估计、目标跟踪目标跟踪、目标识别目标识别、图像图像配准与配准与匹配匹配等计算机视觉领域起着非常重要的等计算机视觉领域起着非常重要的作用。作用。什么是好的角点检测算法？检测出图像中“真实的”角点；准确的定位性能；很高的重复检测率（稳定性好）；具有对噪声的鲁棒性；具有较高的计算效率；Harris等等人对人对Moravec算子算子进行进行改进改进，主要克服只对四，主要克服只对四个方个方向向进行研究的问题，提出了通过进行研究的问题，提出了通过Taylor级数展开法，实现窗级数展开法，实现窗口沿任何方向位移的口沿任何方向位移的灰度变化灰度变化情况，最后特征点的确定用数情况，最后特征点的确定用数学解析式做学解析式做辅助。辅助。Harris角角点检测算子点检测算子具有具有旋转旋转不变不变以及以及缩放不变缩放不变等许多优良等许多优良性能，因此广泛应用在性能，因此广泛应用在各种各种图像图像匹配匹配算法中。算法中。如如Schmid和和Mohr采用采用Harris角角点检测点检测实现实现通用通用目标识别目标识别等等，但它对，但它对尺度、尺度、视角、视角、照明变化照明变化比较敏感比较敏感，而且抗噪声能力，而且抗噪声能力差。差。引言引言1999年年Lowe等等人人提提出出一一种种更更加加稳稳定定的的SIFT(Scale Invariant Feature Transform)特特征征算算子子，该该算算子子不不仅仅具具有有尺尺度度、旋旋转转、仿仿射射、视视角角、光光照照不不变变性性，对对目目标标的的运运动动、遮遮挡挡、噪噪声声等等因因素素也也保保持持较较好好的的匹匹配配性性。该该算算子子目目前前已已广广泛泛应应用用于于机机器器人人定定位位和和导导航航、地地图图生成生成及及三维目标识别三维目标识别中。中。引言引言2006年年Bay提提出出了了SURF(Speeded Up Robust Features)算算法法，进进一一步步提提高高了了特特征征的的提提取取速速度度，但但在在对对尺尺度度和和旋旋转转的适应方面不及的适应方面不及SIFT。SURF算算法法通通过过计计算算积积分分图图像像和和Fast-Hessian矩矩阵阵大大大大提提高高了了特特征征点点检检测测的的速速度度，但但特特征征匹匹配配时时采采用用的的是是全全局局最最近近邻邻搜搜索索方方法法，由由于于SURF特特征征向向量量是是高高维维向向量量，其其计计算算量量大、匹配正确率低大、匹配正确率低。引言引言HARRIS 角点检测角点检测Harris角点检测角点检测基本基本思想思想从从图像局部的小窗口图像局部的小窗口观察图像特征观察图像特征角点定义：角点定义：窗口向任意方向的移动都导致图像窗口向任意方向的移动都导致图像灰度灰度的明显变化的明显变化Harris角点检测角点检测基本基本思想思想平坦区域：平坦区域：任意方向移动，任意方向移动，无灰度变化无灰度变化边缘：边缘：沿着边缘方向移沿着边缘方向移动，无灰度变化动，无灰度变化角点：角点：沿任意方向移动，沿任意方向移动，明显灰度变化明显灰度变化HARRIS 角点检测角点检测H HARRISARRIS检测：数学表达检测：数学表达图像灰度平移后的图像灰度窗口函数将图像窗口平移将图像窗口平移u,v产生灰度变化产生灰度变化E(u,v)或窗口函数 w(x,y)=Gaussian1 in window,0 outside由：得：H HARRISARRIS检测：数学表达检测：数学表达于是对于局部微小的移动量于是对于局部微小的移动量 u,v，可以近似得到下面的表达可以近似得到下面的表达：其中其中M是是 2 2 矩阵，可由图像的导数求得：矩阵，可由图像的导数求得：H HARRISARRIS检测：数学表达检测：数学表达窗口移动导致的图像变化：实对称矩阵窗口移动导致的图像变化：实对称矩阵M M的特征值分析的特征值分析 max,min M的特征值的特征值缓慢变化的方向缓慢变化的方向快速变化的方向快速变化的方向(max)-1/2(min)-1/2E(u,v)的椭圆形式的椭圆形式H HARRISARRIS检测：数学表达检测：数学表达 max,min也是矩阵也是矩阵M的旋转不变量，反映图像两轴的旋转不变量，反映图像两轴方向的平面曲率。方向的平面曲率。12“Corner”1 和和 2 都较大且数值都较大且数值相当相当 1 2;图像窗口在所有方向上移图像窗口在所有方向上移动都产生明显灰度变化动都产生明显灰度变化如果如果 1 和和 2 都很小，都很小，图像窗口在所有方向上图像窗口在所有方向上移动都无明显灰度变化移动都无明显灰度变化“Edge”1 2“Edge”2 1“Flat”region通过通过M的两个特征的两个特征值的大小对图像点值的大小对图像点进行分类进行分类:H HARRISARRIS检测：数学表达检测：数学表达定义：角点响应函数定义：角点响应函数R(k empirical constant,k=0.04-0.06)H HARRISARRIS检测：数学表达检测：数学表达12“Corner”“Edge”“Edge”“Flat”R 只与只与M的特征值有关的特征值有关 角角点：点：R 为大数值正数为大数值正数 边缘：边缘：R为大数值负数为大数值负数 平坦区：平坦区：R为小数值为小数值R 0R 0R 对于灰度平移变化不变对于灰度平移变化不变 I I+b 对于图像灰度的尺度变化对于图像灰度的尺度变化:I a IRx(image coordinate)阈值阈值Rx(image coordinate)H HARRISARRIS角点的性质角点的性质对于图像几何尺度变化不具有不变性对于图像几何尺度变化不具有不变性：这几个点被分类为边缘点这几个点被分类为边缘点角点角点!图像缩小H HARRISARRIS角点的性质角点的性质