运动跟踪和行为识别专业知识讲座.ppt

模式识别国家重点实验室,中国科学院自动化研究所,National Laboratory of Pattern Recognition,Institute of Automation,Chinese Academy of Sciences,文档来源于网络，文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不当之处，请联系本人或网站删除。,什么是跟踪(Tracking)？,所谓跟踪，就是指在图像序列中持续地估计出感兴趣的运动目标所在区域（位置），形成运动目标的运动轨迹；有时还需要估计出运动目标的某些运动参数（比如速度、加速度等）。,一个跟踪的例子,运动目标的表示方法,具体介绍常用的跟踪方法,多目标跟踪的数据关联问题,多摄像机跟踪,运动目标的表示方法,基于点的跟踪,基于区域的跟踪,基于轮廓的跟踪,基于模型的跟踪,基于点的跟踪,质心或一组特征点集,运动轮廓的角点,基于点的跟踪,将运动目标表示成点比较适合跟踪那些在图像上所占区域比较小的目标,做简单刚体运动的目标（特征点集）,基于区域的跟踪,将运动目标用比较简单的几何形状表示，比如矩形或椭圆等,适合于表示,简单的,刚体或非刚体运动目标。,相较于后面要介绍的活动轮廓等表示方法精度较差。,基于轮廓的跟踪,Contour,表示运动目标的外部轮廓,Silhouette,表示运动目标外部轮廓内的区域,适用于表示,复杂的,非刚体运动目标。,Contour,Silhouette,基于轮廓的跟踪,主动轮廓,Active Contour,利用封闭的曲线轮廓来表示运动目标，并且该轮廓能够自动连续地更新,*YILMAZ,A.,LI,X.,AND SHAH,M.2004.,Contour based object tracking with occlusion handling in video acquired using mobile cameras,.IEEE Trans.Patt.Analy.Mach.Intell.26,11,15311536.,基于模型的跟踪,二维形状模型,立体模型,Volumetric Model,Skeletal Articulated,Model,运动目标的表示方法,基于点的跟踪,基于区域的跟踪,基于轮廓的跟踪,基于模型的跟踪,由,简,到,繁,采用上述的哪种方法来表示运动目标和不同的应用场合、运动目标的运动特性、以及对跟踪算法的精度要求等密切相关。,运动目标的表示方法,具体介绍常用的跟踪方法,多目标跟踪的数据关联问题,多摄像机跟踪,跟踪问题的两种解决思路*,自底,向上,(Bottom-up),的处理方法,又称为数据驱动,(Date-driven),的方法，不依赖于,先验知识,自顶向下,(Top-down),的处理方法,又称为模型驱动,(Model-driven),的方法，依赖于所,构建的模型或先验知识,*,Comanniciu D,Ramesh V,Meer P.,Kernel-based object tracking,.IEEE,Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564577,跟踪问题的两种解决思路*,自底,向上,(Bottom-up),的处理方法,模板匹配,(Template Match),均值漂移,(Mean Shift),自顶向下,(Top-down),的处理方法,卡尔曼滤波器,(,Kalman,Filter),粒子滤波器,(Particle Filter),自底向上(Bottom-up)的处理方法,模板匹配法,(Template Matching),在,前一帧图像中目标位置（或模板,T,位置）为：,在当前帧搜寻位置,使得,:,概念上相对比较简单,进行穷尽的搜索计算量非常大,在,前一帧目标位置附近的一个小区域内搜索,FIEGUTH,P.AND TERZOPOULOS,D.1997.,Color-based tracking of heads and other mobile objects at video frame rates,.,In IEEE Conference on Computer Vision and Pattern Recognition(CVPR).2127.,使用模板匹配的快速算法,SCHWEITZER,H.,BELL,J.W.,AND WU,F.2002.,Very fast template matching,.In European Conference on Computer Vision(ECCV).358372.,自底向上(Bottom-up)的处理方法,均值漂移法,(,Mean Shift),原理 在图像分割中已经做过介绍,自底向上(Bottom-up)的处理方法,均值漂移法,(Mean Shift),自底向上(Bottom-up)的处理方法,均值漂移法,(Mean Shift),通常只需要经过,4,5,次迭代,Comanniciu,D,Ramesh,V,Meer,P.,Kernel-based object tracking,.IEEE,Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564577,自顶向下(Top-down)的处理方法,通过建立状态空间模型，把跟踪问题表示为动态系统的状态估计问题。,思路是将目标跟踪问题转换为在贝叶斯,(,Bayesian),理论框架下已知目标状态的先验概率，在获得的测量值,(,Measurement),后不断求解目标状态的后验概率的过程。,状态空间模型(State Space Model),动态系统由状态转移方程和观测方程组成。,状态转移方程：,当前时刻和前一时刻的状态,在很多跟踪问题中可能是非线性的,系统噪声，,通常是非高斯的,状态空间模型(State Space Model),观测方程,状态,在很多跟踪问题中可能是非线性的,测量噪,声，,通常是非高斯的,测量值,状态空间模型(State Space Model),贝叶斯递归滤波器(Recursive Filters),状态转移方程：,测量方程：,已知信息：,要求的是：,步骤,:,预测测量更新,(Predict-Measurement-Update),预测,:,更新：,测量,贝叶斯递归滤波器(Recursive Filters),预测测量更新,复习一下贝叶斯准则,(,Bayes,Rule):,Posterior,likelihood,Prior,预测,:,(using Chapman-,Kolmogoroff,equation),更新,:,(using,Bayes,Rule),预测测量更新,上述推导给出了理论上解的形式，实际中往往无法得到解析表达,在特定假设下可以获得最优解,基于线性、高斯假设,卡尔曼滤波器,对任意概率密度函数,概率密度函数多峰情况,粒子滤波器,基本假设,:,后验概率分布 为,高斯,分布,动态系统是,线性,的,系统噪声和测量噪声都是,高斯,分布的，协方差矩阵分别为 和 。,卡尔曼滤波器(Kalman Filter),with,卡尔曼滤波器预测,with,Kalman Gain（增益）：,Kalman Innovation,(新息),卡尔曼滤波器更新,Extended,Kalman,Filter(EKF),Unscented,Kalman,Filter(UKF),同样基于高斯分布的假设；,状态转移方程和测量方程为,非线性,函数；,沿用,Kalman,Filter,的框架；,将非线性函数局部线性化。,为处理更为一般的概率密度函数（比如，多峰情况），我们需要适应性更强的方法,粒子滤波器,。,卡尔曼滤波器的扩展,粒子滤波器的一系列别名,:,Condensation Algorithms,Sequential sampling-importance re-sampling(SIR),Bootstrap Filtering,Interacting particle approximations,Survival of the fittest,粒子滤波器(Particle Filter),基于贝叶斯准则的序贯蒙特卡罗算法,(Sequential Monte Carlo),粒子滤波器(Particle Filter),通过寻找一组随机样本对任意概率密度函数进行近似,也即：用一组离散样本点来近似连续的概率密度函数,样本点的权重表示概率密度,粒子滤波器(Particle Filter),*Isard M and Blake A.,Condensationconditional density propagation for visual tracking,.,International Journal of Computer Vision,1998,29(1):5-28.,通过随机采样近似复杂的、无法解析表达的概率密度函数,不需要计算复杂的积分,适应性广,粒子滤波器(Particle Filter),Kalman Filter vs.Particle Filter,性能比较,实验 Bouncing Ball,Kalman Filter,The estimated position from the Kalman filter(red)is compared against the actual ground truth position(green).,Kalman filter Failures：,Kalman Filter,The predicted position from the particle filter(red)is compared against the actual ground truth position(green).,Particle Filter,Particle Filter,运动跟踪中的一些难点问题,运动跟踪所面临的主要难点可以归结为对跟踪算法在三个方面的要求，即对算法的鲁棒性、准确性和快速性的要求。,鲁棒性要求跟踪算法能够在各种环境条件下实现对运动目标持续稳定的跟踪。影响视觉跟踪算法鲁棒性的主要原因在于：,被跟踪运动目标的姿态变化；,运动目标所处环境的变化（比如，光照条件等）；,部分遮挡引起的运动目标不规则变形和全部遮挡引起的运动目标的暂时消失。,运动跟踪中的一些难点问题,准确性的要求包括两个方面：,对运动目标检测的准确性；,对运动目标分割的准确性；,快速性的要求在于：在保证所要求的跟踪精度的前提下实现,实时,地跟踪。,运动跟踪中的一些难点问题,场景中运动目标的数目：单运动目标,vs.,多运动目标,在多目标跟踪过程中，必须考虑到多个目标在场景中会互相遮挡,(Occlusion),，,合并,(Merge),，,分离,(Split),等情况,。,多目标跟踪中的数据关联问题,(Data Association),。,跟踪问题分类,跟踪问题分类,摄像机的数目：单摄像机,vs.,多摄像机,使用多摄像机有望解决因相互遮挡导致的运动目标,丢失问题，但多摄像机的信息融合是一个关键性问,题。,摄像机是否运动：摄像机静止,vs.,摄像机运动,摄像机的运动形式，一种是摄像机支架固定，但摄像,机可以偏转,(Pan),，,俯仰,(Tilt),以及缩放,(Zoom),；,另一,种是摄像机装在某个移动的载体上，如移动的车辆,或飞行的飞机。,摄像机的运动增加了运动目标检测的难度。,场景中运动目标的类型：刚体,vs.,非刚体,交通车辆刚体；人非刚体。,传感器的种类：可见光图像,vs.,红外图像,白天使用可见光图像；晚上使用红外图像。,跟踪问题分类,运动目标的表示方法,具体介绍常用的跟踪方法,多目标跟踪的数据关联问题,多摄像机跟踪,多目标跟踪中的数据关联,数据关联,Data Association,类似于在两幅图像中找对应点,(Correspondence),的问题,多目标跟踪中的数据关联,多目标跟踪中的数据关联,如何确定哪一个观测对应,于哪一个跟踪目标？,贝叶斯递归滤波器,预测测量更新,预测,:,更新,:,测量,多目标跟踪中的数据关联,使用哪一个测量值进行更新？,预 测,数据关联,确定哪一个测量最为匹配,更 新,多目标跟踪中的数据关联,一些常用的基本约束,多目标跟踪中的数据关联,典型的数据关联方法,最近邻方法,(NN,Nearest Neighbor),联合概率数据关联方法,(JPDA,Joint Probability Data Association),多假设跟踪方法,(MHT,Multi Hypothesis Tracking),运动目标的表示方法,具体介绍常用的跟踪方法,多目标跟踪的数据关联问题,多摄像机跟踪,多摄像机跟踪,在跟踪过程中需要使用多个摄像机主要基于以下的两个原因：,可以通过选择最好的视点来解决遮挡问题；应该说，解决遮挡问题最有实际意义的潜在方法应该是基于多摄像机的跟踪系统。,可以扩大跟踪的有效区域，单个摄像机的视野范围毕竟是有限的。,多摄像机跟踪 一个例子,MITTAL,A.AND DAVIS,L.,M2 tracker:A multiview approach to segmenting and tracking people in a cluttered scene,.IJCV,2003 51,3,189203,多摄像机跟踪 一个例子,推荐阅读,综述,A.,Yilmaz,O.,Javed,and M.Shah,Object Tracking:A Survey,ACM Journal of Computing Surveys,Vol.38,No.4,2006,卡尔曼滤波器,Greg Welch,Gary Bishop,An Introduction to the,Kalman,Filter,TR 95-041,粒子滤波器,Michael,Isard,Andrew Blake,CONDENSATION conditional density propagation for visual tracking,Int.J.Computer Vision,29,1,5-28,(1998),homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/ISARD1/condensation.html,核方法,Comanniciu,D,Ramesh,V,Meer,P.,Kernel-based object tracking,.IEEE PAMI,2003,25(5):564577,