Harris角点检测原理与流程.ppt

模式识别国家重点实验室,中国科学院自动化研究所,National Laboratory of Pattern Recognition,Institute of Automation,Chinese Academy of Sciences,图像特征点提取,图像变化的类型,：,几何变化,旋转,相似,(,旋转,+,各向相同的尺度缩放,),仿射,(,非各向相同的尺度缩放,),适用于,:,物体局部为平面,灰度变化,仿射灰度变化,(,I,a,I,+b,),提取点特征的作用,图像的点特征是许多计算机视觉算法的基础：,使用特征点来代表图像的内容,运动目标跟踪,物体识别,图像配准,全景图像拼接,三维重建,一类重要的点,特征：角点,角点（,corner points,）：,局部窗口沿各方向移动，均产生明显变化的点,图像局部曲率突变的点,典型的角点检测算法：,Harris,角点检测,CSS,角点检测,不同类型的角点,什么是好的角点检测算法？,检测出图像中“真实的”角点,准确的定位性能,很高的重复检测率（稳定性好）,具有对噪声的鲁棒性,具有较高的计算效率,Harris,角点检测,C.Harris,M.Stephens.“A Combined Corner and Edge Detector”.Proc of 4th Alvey Vision Conference,1988.,C.Harris was with,The Plessey Company plc.U.K.in 1988.,Harris,角点检测基本思想,从图像局部的小窗口观察图像特征,角点定义,窗口向任意方向的移动都导致图像灰度的明显变化,Harris,角点检测基本思想,平坦区域：任意方向移动，无灰度变化,边缘：,沿着边缘方向移动，无灰度变化,角点：,沿任意方向移动，明显灰度变化,Harris,检测：数学表达,图像灰度,平移后的图像灰度,窗口函数,将图像窗口平移,u,v,产生灰度变化,E,(,u,v,),或,窗口函数,w(x,y),=,Gaussian,1 in window,0 outside,Harris,检测：数学表达,由：,得：,Harris,检测：数学表达,于是对于局部微小的移动量,u,v,，可以近似得到下面的表达：,其中,M,是,2,2,矩阵，可由图像的导数求得：,Harris,检测：数学表达,窗口移动导致的图像变化：实对称矩阵,M,的特征值分析,max,min,M,的特征值,缓慢变化的方向,快速变化的方向,(,max,),-1/2,(,min,),-1/2,E(u,v),的椭圆形式,Harris,检测：数学表达,1,2,“Corner”,1,和,2,都较大且数值相当,1,2,;,图像窗口在所有方向上移动都产生明显灰度变化,如果,1,和,2,都很小，图像窗口在所有方向上移动都无明显灰度变化,“Edge”,1,2,“Edge”,2,1,“Flat”region,通过,M,的两个特征值的大小对图像点进行分类,:,Harris,检测：数学表达,定义：角点响应函数,R,(,k,empirical constant,k,=0.04-0.06),R,的等高线图,（,k=0.2,）,R,的等高线图,（,k=0.1,）,R,的等高线图,（,k=0.05,）,Harris,检测：数学表达,1,2,“Corner”,“Edge”,“Edge”,“Flat”,R,只与,M,的特征值有关,角点：,R,为大数值正数,边缘：,R,为大数值负数,平坦区：,R,为小数值,R,0,R,0,R,threshold,提取,R,的局部极大值,Harris,角点检测：流程,Harris,角点检测：流程,角点响应函数,R,Harris,角点检测：流程,提取,R,的局部极值,Harris,角点检测：流程,Harris,角点检测：小结,沿方向,u,v,的平均灰度变化可以表达成双线性形式：,使用,M,的特征值表达图像点局部灰度变化的情况，定义角点响应函数：,一个好的角点沿着任意方向移动都将导致明显的图像灰度变化，即：,R,具有大的正数值。,Harris,角点的性质,旋转不变性：,椭圆转过一定角度但是其形状保持不变,（特征值保持不变）,角点响应函数,R,对于图像的旋转具有不变性,Harris,角点的性质,对于图像,灰度,的仿射变化具有部分的不变性,只使用了图像导数,=,对于灰度平移变化不变,I,I,+,b,对于图像灰度的尺度变化,:,I,a,I,R,x,(image coordinate),阈值,R,x,(image coordinate),Harris,角点的性质,对于图像几何尺度变化不具有不变性,：,这几个点被分类为边缘点,角点,!,图像缩小,Harris,角点的性质,随,几何,尺度变化，,Harris,角点检测的性能下降,Repeatability rate:,#correspondences#possible correspondences,C.Schmid et.al.“Evaluation of Interest Point Detectors”.IJCV 2000,参考,Harris,角点：,C.Harris,M.Stephens.“A Combined Corner and Edge Detector”.Proc.of 4th Alvey Vision Conference,1988,一个介绍角点检测的网站：,www.cim.mcgill.ca/dparks/CornerDetector/index.htm,一个,PPT,讲义：,Darya Frolova,Denis Simakov,Matching with Invariant Features,The Weizmann Institute of Science,March 2004,