多车辆跟踪时目标粘连的解决方法.pdf

第2 9 卷第8 期 2 0 0 8年 8月 东 北大学学报(自 然科学版)J o u r n a l o f No r t h e a s t e r n Un i v e r s i t y(Na t u r a l S c i e n c e)Vo 1 2 9 No 8 Au g 2 0 0 8 多车辆跟踪时 目标粘连的解决方法 吴成 东，郭利锋，张云洲，刘 潆(东北 大学 信息科学与工程学院，辽宁 沈阳1 1 0 0 0 4)摘 要：复杂交通中车辆问的相互遮挡会造成图像中的车辆粘连，针对这一问题，提出了一种新的基于 K a l ma n预测模型与正交投影定位理论的多运动 目标分割与跟踪方法 利用粘连车辆在时域上的历史运动信 息和 Ka l ma n预测结果，在二值图像 中构建特定粘连车辆的分割窗；在分割窗内利用水平 一垂直正交投影和 动态阈值的理论方法，确定目标最小外接矩形 设计 目标分割评判函数，确定粘连车辆分割的合理性，并给出 相应的处理结果 实验结果表明，该方法能够有效处理目标相互粘连的情况，实现 目标的稳定准确跟踪，并且 计算复杂度低，能够满足实时环境的需求 关键词：车辆跟踪；图像处理；车辆遮挡；投影；Ka l ma n 滤波 中图分 类号：r r P 3 9 1 文献标识码：A 文章编号：1 0 0 5 3 0 2 6(2 0 0 8)0 8 1 0 6 5 0 4 Me t h o d f o r T o u c h i n g 0b j e c t s i n Mu l t i-v e h i c l e T r a c k i n g wU C h e n g-d o n g，GU O L i-f e n g，Z H ANG Yu n z h o u，L I U Me n g (S c h o o l o f I n f o r ma t i o n Sc i e n c e&En g i n e e rin g，No r t h e a s t e r n Un i v e r s i t y，S h e n y a n g 1 1 0 0 0 4，Ch i n a C o r r e s p o n d e n t：G UO L i f e n g，E-ma i h g u o l i f e n g 6 1 6 1 6 3 c o rn)A b s t r a c t：B a s e d o n t h e Ka l ma n p r e d i c t i v e mo d e l a n d o r t h o g o n a l p r o j e c t i o n l o c a t i n g t h e o r y。a n o v e l a l g o r i t h m i s p r o p o s e d t o s e g me n t t h e o b j e c t f r o m o v e r l a p p e d v e h i c l e i ma g e s，wh i c h i s p a r t l y h i d d e n b y o t h e r o b j e c t(S)I n t h e a l g o r i t h m，a s e gm e n t a t i o n w i n d o w i s f r a me d f o r a s p e c i f i c o c c l u d i n g v e h i c l e i n b i n a r y i ma g e b y me a n s o f t h e v e h i c l e S h i s t o r i c a l l y mo t i o n i n f o r ma t i o n i n t i me d o ma i n a n d Ka l ma n p r e d i c t i v e r e s u l t，a n d t h e n t h e mi n i ma l c i r c u ms c r i b e d r e c t a n g l e o f t h e v e h i c l e i s d e t e rm i n e d u s i n g h o r i z o n t a l v e r t i c a l o r t h o g o n a l p r o j e c t i o n a n d d y n am i c t h r e s h o l d t h e o r y A f u n c t i o n i s d e s i g n e d t o e v a l u a t e i f t h e s e gm e n t a t i o n i s r e a s o n a b l e wi t h c o r r e s p o n d i n g r e s u l t s g i v e n Ex p e r i me n t a l r e s u l t s s h o we d t h a t t h i s a l g o r i t h m c a n e f f e c t i v e l y s e g me n t o v e r l a p p e d v e h i c l e s f r o m e a c h o t h e r a n d t r a c k t h e m s t e a d i l y wi t h l O W c o mp u t a t i o n a l c o mp l e x i t y a v a i l a b l e t o me e t t h e r e q u i r e me n t s f o r r e a l t i me s y s t e m Ke y w o r d s：v e h i c l e t r a c k i n g；i ma g e p r o c e s s i n g；o c c l u s i o n；p r o j e c t i o n；Ka l ma n f i l t e r i n g 采用基于视频 的 目标检测与跟踪技术实现车 型、车流量的检测，已经成为当今智能交通领域 的 热点研究课题之一 基 于视频 的车辆检测 与跟踪 的准确性受环境影响很大，其中车辆间的部分遮 挡是影响车辆跟踪准确性 的重要 因素之一；在复 杂的交通环境 中车辆 间的遮挡更 为突出，目前还 没有能够完全解决车辆之间因遮挡而造成粘连 的 方法 对于车辆跟踪，人们提出了基于区域、3 D模 型和特 征等 的跟踪方法 _ l 一 5 J 在这些方法 中，基 于特征 的跟踪难以处 理由于交通拥挤、堵塞而造 成的车辆部分遮挡；3 D跟踪方法虽然可以处理部 分遮挡问题，但其计算量大，实时性差；基于区域 的跟踪方法对运动 目标之间的遮挡不太敏感 文 献 6 7 提 出，使用马尔可夫随机场模型可 以有 效解决遮挡问题，但其计算复杂，不适合实时性 场合 文献 8 提出一种使用模板匹配的方法进行 跟踪，但如果滤波器连续估计错误时，该方法就失 效 了 针对复杂交通环境 中运动车辆遮挡的问题，本文提 出一种基 于 Ka l ma n预测模型和投影方法 定位的粘连车辆分割方法，利用粘连车辆在前几 帧中的累积跟踪信息(位置和高、宽度信息)来修 收稿 日期：2 0 0 7 0 9 2 0 基金项 目：建设部科研基金资助项 目(0 7 k 一 0 4 4)作者简介：吴成东(1 9 6 0一)，男，辽宁大连人，东北 大学教授，博士生导师 维普资讯 http:/ 东北大学学报(自然科 学版)第 2 9卷 正由于粘连而造成的分割不准确 的问题，实验证 明该方法是有效的 1 运动车辆检测方法 在拥塞、繁忙的交通环境中，道路上一直有行 人和车辆存在，直接抓取无运动对象的背景图像 较为困难，本文采用中值滤波 的方法来获取背景 图像 首先获取视频 的前 N 帧构建初始背景，对 图像中的每一个像素，求取 N 帧序列中对应 N 个像素值的中值作为初始背景图像中对应位置处 的像素值 由于室外的交通场景会 随着光照强度 的变化而变化，背景也在逐渐发生变化，导致运动 目标 的检测出现误差，所 以在提取车辆特征时，需 要对背景进行更新处理，以使其具有 自适应性 和 鲁棒性 本文 采用一 阶 Ka l ma n滤 波模型来更新 背景 获得背景图像之后，将当前帧与背景图像差 分，对差分图像二值化后，利用形态学的方法去除 孤立的噪声就可以获得 比较完整的前景 目标 2 粘连车辆图像分割处理 为了准确分割粘 连的车辆，本文采用基于跟 踪 目标时域信息的投影定位方法 该方法的基本 思想是：首先确定该连通 区域 内包含上一帧的车 辆 目标，然后按 照这些 目标各 自外接矩形左上角 的纵坐标位置从上往下逐个分割 根据需分割的 运动 目标在前一帧中的位置，高、宽度信息及其变 化率，在当前时刻 的二值掩模 图像 中确定 出包含 其后继 目标的一个分割窗，然后在该窗 内利用垂 直投影来确定 目标的左右边界，根据水平投影确 定 目标的上下边界 在垂直投影图中，横坐标为分 割窗 口的宽度，纵坐标为投影 窗 口中每一列上所 有前景点的个数之和，它反映了图像在水平 方向 上 目标边界可能的位置 由于运动车辆包含在搜 索窗口中，因此，投影曲线必定在运动车辆所在的 区域 中有突变 为了确定运动车辆的边界，需要首 先确定分割窗 定义 目标框宽和高的变化率分别为 r 一l i 二 2 二 【l 1 一l W(t 1)l l、R。()：l 1 j I 1 1 I 式中：W(t)和 L(t)分别表示 目标在 t 时刻的最 小外接矩形的宽和长；R (t)和 Rl(t)分别表示 该 目标在 t 时刻最小外接矩形的宽和长的变化率 以对应 目标预测 的形心位置 为中心，根据其 预测的高和宽乘以相应 的变化率，获得高和宽 的 增益；再将增益值与其预测值分别相加来获得分 割窗 口的长和宽；然后在该分割窗 内利用投影法 分割 目标 设 图像 的大小 为 M N，垂直投影 函 数为()=(，)，=0，J，M一 1 (2)=舅 式中，(z，Y)为当前时刻的二值掩模图像 定义投影直方图的左均值和右均值分别为(4)左边界 的确定方法为：从投影直方 图的左边 开始扫描，如果 me a n 1(i)me a n 1(i+1)，则左边 界取为 i 右边界的确定方法为：从投影直方 图 的右边开始扫描，如果 me a n 2()me a n 2(J一1)，则右边界取为 i 同理，可以在分割框中进行水平 投影，以确定 目标的上下边界 确定 了目标 的外 接矩形之后，将该 目标在二值掩模 图像 中的标记 消除 为了确定 目 标分割是否合理，定义评判函数 V(i，J)：如果该 函数小于某一 阈值，则认为分割 正确；如果大于某一 阈值，同时该外接矩形接近监 控区域的边界，则认为该 目标出了监控区域，将其 删除，如果未接近监控区域 的边界则认 为分割失 败，利用 Ka l ma n的预测值作为分割结果 用 同样 的方法可 以将粘连的车辆依次分割开来 +m a x (z；一z 1)2+(；一 +1)2 (5)式中：w；，z；，Y；分别表示图像序列t 时刻第i 个运动 目标的外接矩形 的宽和高，目标形心 的横 纵坐标；a和 为 比例 系数，满 足条件 0 a 1，0 1，且 a+=1 为了说明该方法的分割过程，对现场图像中 运动粘连车辆的垂直投影与分割如 图 1 所示，其 维普资讯 http:/ 第 8期 吴成 东等：多车辆跟踪时 目标粘连的解决方法 1 0 6 7 中图 1 b中黑色线条为分割 目标的左右边界 图 1 粘连车辆的分割 F i g 1 I ma g e s e r n e n t a t i o n o f a c a r h i g h l y c l o s e t o a n o t h e r 0 13 8 (a)一粘连车辆图像分割；(b)一粘连车辆的垂直投影图 3 运动车辆的跟踪 本文采用基于区域的跟踪方法，利用 Ka l ma n 滤波器预测 目标的位置、宽高与速度，以缩小 目标 搜索匹配的范围，加快 目标匹配的速度；同时在 目 标出现粘连的时候 利用 预测信息确定分割 窗口 在跟踪过程 中，由于相邻两帧图像 时间问隔较短，因此 目标运动状态变化较小，所 以可假设 目标在 单位时问问隔内是匀速运动 设运动 目标状态 向量 X(t)和观测 向量(t)为(t)=(t)，(t)，z (t)，X h(t)，1()T，(t)=z (t)，(t)，(t)，h(t)J(6)式 中：(t)，(t)为 目标形心 的坐标；z (t)与 h(t)分别为目标框的宽和高(t)与 (t)分别为 目标在 z轴和 v轴方向的速度 由此可 以 确定系统的状态转移矩阵 A和观测矩阵 c 假设系统的过程噪声 向量和观测噪声向量是 零均值且相互独立 的噪声 向量，设它们 的协方差 矩阵均为单位 向量，在确定 了运动模型的状态矩 阵和观测矩 阵之后，就可 以利用 Ka l ma n滤波器 跟踪 目标 步骤如下：S t e p 1 将第一帧 中出现的 目标作为新 出现 的 目标，对各个 目标启动 目标链，同时用 目标的特 征值启动 K a l ma n滤波器；初始状 态设 置为 目标 出现时的位置、速度和宽高，如果速度未知，初始 值可 以赋为 0，并记录当前时刻的值 S t e p 2 在每一 帧进 行分割之前，计算与上 一帧的时间间隔，代入状态转移矩阵，预测当前运 动状态 在运动估计结果限定的范围内进行搜索，根据文献 9 中的判决准则：如果在预测值所在的 位置处找到了最佳匹配区域，则利用算法锁定的 匹配 区域特征更新该 目标链 中的区域特征；如果 在预测值所在位置，当前帧区域和目标链前一帧 中区域面积相差很大，则认为发生 了 目标遮挡粘 连或者目标分裂现象 在当前帧中查找与前一帧 对应 的外接矩形 内覆盖 了几个 区域，如果 多于 1 个。则认为发生了分裂现象 对分裂出的新 区域启 动新的 目标链，同时，在 目标链前一帧中查找与当 前帧对应 的外接矩形 内覆盖了几个 区域，如果多 于 1 个，则认为发生了粘连现象 利用本文第 2节 中介绍的方法将粘连的车辆分割开，同时更新 目 标链 中的区域特征 对于 目标链 中的区域，如果当 前帧没有与之 相匹配 的区域存在，则认 为发生了 消失现象，目标链并不立即终止，只有在经过数帧 仍没有找到匹配 区域之后，才终止该 目标链 当前 帧中仍有未 匹配 的目标，则认为是新 目标，启动 目 标链 S t e p 3 更新 Ka l ma n滤波器，读取下一帧图 像，重复 S t e p 2和 S t e p 3，直到图像序列结束 4 实验结果分析 为了验证本文算法的有效性，采集 了沈阳某 路段交通场景的视频序列，对其进行 了实验研究 实验选取视频图像的分辨率为 3 8 42 8 8，实验环 境为 P e n t i u m(R)2 0 GHz C P U，2 5 6 MB R A M，所 有源程序均用 C+编写 实验结果如图 2所示 图 2 a，图 2 b分别 为实际拍摄 的交通 序列 的 第 1 2 6 4，1 3 0 0帧 该序列显示了图 2 a中左下角 白色面包车从开始出现时到车辆之问相互粘连时 的跟踪过程图 2 b显示其同时与前方两辆车发 生了粘连 利用本文提出的分割方法，对相互粘连 的多辆车进行合理分割，从而实现对该 车辆 的稳 定跟踪 同时从图 2 b中看出，与其粘连的其他车 辆也能够准确地分割 图 3为该 目标的跟踪轨迹，图中横轴和纵轴分别表示 目标形心在监控图像 中 维普资讯 http:/ 1 0 6 8 东北大学学报(自然科学版)第 2 9卷 的横坐标和纵坐标，均以像素为单位 横坐标从 2 6到 4 6，目标未发生粘 连，通过正常的跟踪算法 实现了稳定的跟踪；从 4 6到 6 2，该 目标与其前面 的车辆发生 了粘连，此 时利用本文的车辆分割方 法，可以将其准确分割 图 3中平滑的轨迹曲线说 明了本文算法的有效性 图 2 车辆跟踪结果 Fig 2 R e s u l t s o f v e h i c le t r a c k i n g (a)一第 1 2 6 4帧；(b)一第 1 3 0 0帧 图 3目标跟踪轨迹 F i g 3 T r a j e c t o r y o f t r a ckin g 为了更好地说明本文算法 的优越性，与文献 9 和文献 1 0 中的车辆跟踪方法进行 了比较，结 果如表 1 所示 从表 1中可 以看 出：本文方法和文 献 1 0 均可以处理多辆车相互粘连 的情况，比文 献 9 中的方法有更好的适用范围；本文方法跟踪 的准确率 比文献 1 0 中的方法高；另外，本文算法 的处理速度也要优于前两种方法，l 5帧 s 的处理 速度可以满足实时系统 的要求，这充分显示 了该 算法 的优越性 表 1 比较结 果 T a b le 1 Co mp a r a t i v e r e s u l t 5 结 论 本文提出一种基于 K a lma n预测模型和投影 定位的粘连物体分割方法 当目标由于粘连而发 生合并时，可根据当前 帧中的粘连 目标框和上一 帧跟踪 目标的位置、高宽及其变化率，利用投影法 将粘连 目标逐个分割，从而实现车辆的稳定跟踪，而且复杂度低，能够满足实时交通监控的要求 实 验结果证 明了本文方法 的有效性 参考文献：1 C a v a l la r o A，S t e i g e r O，E b r a h i mi T T r a c k i n g v i d e o o b j e c t s i n c l u t t e r e d b a c k g r o u n d J J I E E E T n s a c t i o n s o n C i r c u i t s a n dS y s t e ms 加rV i d e oT e c h n o l o g y，2 0 0 5，1 5(4)：5 7 5 5 8 4 2 蔡 垧，孟祥旭，刘 强 一 种新 的基于 区域的高 速公路多 车 辆跟 踪方案 J 光电工程，2 0 0 6，3 3(6)：2 02 3 (C a i Xu n，Me n g X i a n g-x u，L i u Qi a n g N e w r e g io n b a s e d s u r v e il l a n c e s c h e m e f o r h i g h wa y mu l t i v e h i c l e r e c o g n i t i o n a n d t r a c k i n g J J Op t o-E l e c t r o n i c En g i n e e r i n g，2 0 0 6，3 3 (6)：2 02 3 )l 3 J Z h u ZG，X uGY，Y a n gB，e t a l VI S A TR A M：a r e a l t ime v i s io n s y s t e m f o r a u t o ma t ic t r a f f i c m o n i t o r i n g J I m a g e a n d Vi s i o n C o mpu t i n g，2 0 0 0，1 8：7 8 17 9 4 1 4 J C o i f ma n B，B e y me r D，Mc L a u c h l a n P，e t a 1 A r eal-t ime c o mp u t e r v i s io n s y s t e m f o r v e hic l e t r a c k i ng a n d t r a f f ic s u r v e i l l anc e J J Tr a n s p o r t a t i o n Re s e a r c h：P a r t C，1 9 9 8，6 (4)：2 7 1 2 8 8 1 5 J Gu p t e S，Ma s o u d O，Ma r t i n R F K，e t a 1 De t e c t io n a n d c l a s s i f i c a t i o n o f v e h i c l e s J J I E E E Tr a m I n t e l l T r a n s p S y s t，2 0 0 2，3(1)：3 74 2 1 6 J K a mij o S，Ma t s u s h it a Y，I k e u c h i K，e t a 1 Oc c l u s i o n r o b u s t t r a c k i ng u s i ng s p a t i o t e mp o r a l Ma r k o v r a nd o m f ie ld m o d e l C、f f P r o c e e d i ngs o f t h e I n t e rna t io n a l C o n f e r e n c e o n P a t t e r n Re c o g ni t i o n W a s h i ng t o n D C：I EEE Co mp u t e r S o c i e t y，2 0 0 0：1 1 4 0 1 1 5 3 1 7 J Z h 0 u Y，T a o HA b a c k g r o u n d la y e r mo d e l for o b j e c t t r a c k i ng t h r o u g h occ l u s io n C T h e 9 t h I E E E I n t e r n a t io n a l Co n f e r e n c e o n Co mp u t e r Vi s i o nNe w Yo r k：I EEE，2 0 0 3：1 0 7 9 1 0 8 5 1 8 Ng u y e n H T，S me u l d e r s W M F a s t occ l u d e d o b j e c t t r a c k i ng b y a r o b u s t a p p e a r a n c e f i l t e r J I E E E T r a n s a c t i o n s o n P a t t e r nAn a l y s i s a n d Ma c h i n e I n t e l l i g e n c e，2 0 0 4，2 6(5)：1 0 9 91 1 0 4 9 李跃发 基于 视频 的车辆 检测 与跟 踪技术 研究 D 西 安：西安电子科技大学，2 0 0 7：3 3 3 6 (Li Yu e f a S t u d y o n v i d e o-b a s e d v e h i c l e d e t ect i o n and t r a c k i n g D Xi a n：X i d i a n Un iv e r s it y，2 0 0 7：3 3 3 6 )1 0 郁梅，王圣男，蒋 刚毅 复 杂交 通场景 中的车辆 检测 与跟 踪新方法 J 光 电工程，2 0 0 5，3 2(2)：6 77 0 (Yu Me i，wa n g S h e ng nan，J i a ng Ga n g y i Me t h o d f o r d e t ect i ng a n d t r a c k i ng v e h i c l e s in c o mp l e x t r a f f i c s c e n e J Op t o-El e c t*-o n i c En g i n e e r i n g，2 0 0 5，3 2(2)：6 77 0 )维普资讯 http:/