基于邻域相关性和帧间连续性的前景目标分割.doc

基于邻域相关性和帧间连续性的前景目标分割

摘 要： 像素级前景分割方法大都基于各像素独立的假设(例如：MOGs和HMMs), 然而这种假设往往导致前景物体的不完整。本文克服了这一缺点，提出了一种新的运动目标分割算法。首先,利用像素的颜色、空间的和帧间的特性信息结合贝叶斯判别定理对视频图像进行粗分割，得到一个前景目标的二值图, 由于该类方法基于像素间彼此独立的假设，导致分割出的前景目标不完整存在很多空洞。其次,基于前景目标局部邻域空间的一致性假设，计算该邻域内像素间的互相关系数；同时，基于背景的帧间连续性和前景的不连续性，计算像素帧间的互相关系数。最后,依据像素的互相关系数在该邻域内进行二次判决，以填补粗分割中前景目标内部的空洞。实验表明在复杂背景交通视频中该分割算法具有较强的鲁棒性，并能获得更完整准确的前景目标。
关键词：前景目标二值图；局部相关系数；帧间相关系数；前景分割
Integrating Local Correlation and Interframe Continuity for Robust Foreground Object Segmentation

Abstract: Per-pixel foreground segmentation methods are mostly based on the assumption that each pixel is independent (e.g. MOGs[2][3][7][9] and HMMs[4]), which makes the segmented foreground objects not integral. In this paper, a novel technique without this deficiency is proposed. Firstly, a binary map of initial foreground segmentation is achieved by performing Bayesian strategy according to spectral, spatial, and temporal features, where the foreground map is fragmented due to independence hypothesis among pixels. Secondly, pixels’ cross correlation in neighborhood of each foreground object patch is calculated considering spatial homogeneity. The pixels’ cross correlation between two frames regarding background interframe continuity and foreground discontinuity is also computed. Finally, pixels in each neighborhood are reclassified according to the above cross correlations in order to compensate small holes within foreground object. Experiments show that this method is robust in complicated background traffic scene video and can obtain more integral foreground objects.
Key words: foreground binary map, local correlation, interframe continuity, foreground segmentation

引言

在交通视频监控中, 感兴趣的前景目标分割对于提取某些交通信息是非常重要的，例如车辆的速度、车牌等。目前，已有很多分割技术被提出[1]-[9]。文献[1]通过每20帧对每个像素点建立灰度直方图来进行背景模型的初始化及更新，由于该前景分割方法基于当前像素与背景模型的灰度差分，会造成背景模型不连续和前景虚伪。文献[2][3][7][9]假设各像素间是相互独立的，利用混合高斯模型对多峰值背景建模，由于没有考虑邻域内像素的空间信息，导致对光照变化的敏感，分割出来的前景图像中包含很多背景信息。文献[4]基于像素间彼此独立的假设，用隐形马尔科夫对像素建模，通过其加权熵提取运动前景。文献[5]对背景建立ARMA模型，进而利用卡尔曼滤波器估计动态目标。文献[6]逐个统计像素其颜色的、空间和帧间信息，建立特征向量表，然后利用贝叶斯定理判定各像素点是背景或前景。然而, 其分割出的前景目标中存在很多空洞，特别是运动目标过大或者速度过慢时，例如一辆白车通过某固定像素点时，代表白色的颜色向量被不断匹配权重增大，当其权重足够大时在后续帧中此像素将被误判为背景。简而言之，以上方法大都基于像素的独立假设进行建模和分割，没有充分考虑邻域块内的局部相关性。
本文利用贝叶斯判别准则分割得到前景目标的二值图像，结合像素的局部空间相关性和帧间连续性，对该二值图中的前景目标邻域进行再判决，以得到更完整准确的前景物体。文章内容如下：第1部分, 建立前景目标分割二值图；第2部分描述邻域内像素空间相关系数和帧间相关系数的计算；第3部分为利用相关系数进行再分割的过程；第4部分是实验结果比较；第5部分本文的结论。

1　建立前景目标的二值图

1.1 像素的特征信息

　建立前景目标的二值图像的有效方法是利用一些显著特征，例如亮度、颜色、纹理、深度和帧间信息等，抑制图像序列中的背景点，从而获得一些不连续的区域。本文采用颜色、梯度和帧间信息作为建立特征向量表的依据。其中颜色信息在前景分割中是非常重要的，特别是在纹理信息不明显的时候（例如自动扶梯）。梯度信息反映了像素灰度级的空间排列，对光照变化和噪声具有鲁棒性。然而这两者都不能处理动态背景(例如摇摆的树叶, 旋转的风扇, 闪烁的屏幕等)，基于此，本文采用帧间信息来记录“周期”变化的动态背景以弥补上述的不足。这里的“周期”动态背景既包括严格周期变化的场景(如背景中的钟摆等)又包括按一定规则非周期变化的场景(如风中飘扬的旗子等)。
对于视频图像平面上的一点s=(x,y)，建立该点的三种特征向量为颜色信息Vc=(R,G,B)，梯度信息Vt=(Vx,Vy)，帧间信息Vcc=(R1,G1,B1, R2,G2,B2)。其中颜色信息即为像素RGB彩色空间的三个分量值，在实际应用中，当背景点被前景目标遮挡且两者的颜色不相近时，该点像素的颜色会有明显变化，通过记录该点在不同帧中的颜色特征(R,G,B)来组建该像素的颜色向量表以表征这种变化，为下一步进行贝叶斯判定提供一组有效数据；Vx和Vy是像素水平和垂直方向上的梯度，它们值的变化反映了像素邻域纹理结构的稳定性，在实际应用中可采用Sobel算子得到不同帧的这种纹理信息，并组建该点像素的梯度向量表，作为贝叶斯判定的另一组有效数据；该点帧间信息Vcc中的R1、G1、B1和R2、G2、B2是连续两帧的像素颜色分量，同样可以组建帧间信息向量表，为贝叶斯判定提供第三组有效数据。
　为保证分割算法的鲁棒性，适应不同场景变化，这三种特性向量的稳定性即它们出现的概率p(V)要随之变化[6]：例如当背景是摇摆的树叶时，帧间向量是显著的；在起伏的水面上颜色向量是明显的；而在光照变化的情况下（电灯的开、关），梯度向量是重要的。本文在建立这种特征向量表后，对每一像素点，选取最显著的特征向量来进行贝叶斯判定。

1.2 贝叶斯判定

针对上面已经建立的特征向量表，利用贝叶斯判别准则进行背景和前景的统计分割，可以得到一个初步的分割结果，具体判别过程如下：
在像素点位置处，根据贝叶斯定理，将条件概率表示为：

其中，代表背景；代表特征向量在像素点处被判为背景的概率；代表像素点是背景的先验概率；代表在像素点处特征向量的先验概率。
通过比较像素点被判为前景或背景的概率，可得下式[6]：　　　　　　
即如果时刻在点处像素处满足(2)式，像素将被判为背景，位置s处置为0，否则置为１，从而得到了一个二值化的前景图像。
然而由于文献[6]的局限性，将前景目标中的很多前景点误判为背景，因此在分割出来的前景目标二值图中存在很多空洞。为了填补上述分割出的前景目标的空洞，本文利用局部相关性和帧间连续性，根据上面得到的二值图进行再分割。

2 局部相关性测量

2.1 局部纹理的相关性

直观上，同一前景目标中较小邻域内的像素是相似的[8]。因此，在上面得到的二值图像中的前景碎片邻域内，通过计算前景像素局部的纹理和亮度相似性，可将误判为背景的像素点重新聚类为前景。
在某邻域内，第帧处像素的亮度函数表示为。它的梯度向量表示为，其中，。本文使用Sobel算子生成偏导数。因此，两个像素的梯度向量的互相关系数可以表示为：

其中代表两个向量间的夹角。同样地，同一像素的梯度向量的自相关系数可定义为：

而

假设位置处是二值图中的一个前景像素点，而位置是邻域内的一背景点。如果处像素是被误判为背景的，那么和的局部纹理特征是相似的。此时满足：

另一方面, 如果处是真正的背景，例如，设处为前景车辆，处为遮挡车辆的树(背景)，由于此时和处的像素来自不同物体的表面，所以通常有很大的差别。此时满足：

因此，两像素的梯度相似性可定义为：
根据经验取的阈值为0.2。如果，那么将被聚类为前景；否则，仍被判为背景，例如，处像素是遮挡车辆的树中的一点，树就不会被重新分割到运动目标车中。判定公式(8)对遮挡问题和光照变化具有较好的鲁棒性。当纹理信息不显著或不稳定时(如：起伏的水面), 应使用颜色信息代替纹理信息进行局部相关性测量，其方法与纹理信息的测量类似。

2.2 帧间连续性测量

为提高重新分割的精确性，帧间连续性假设被引入。如果处像素点是背景, 那么它每帧的亮度值只相差一个测量噪声，近似保持不变。设其第帧时的值为，其中是它第1帧时的值，是在第帧附加的零均值高斯测量噪声。如果像素是前景，则它遮挡了原来的背景像素， 其亮度值通常有较大变化，设为，即第帧时的值为：。因此，可通过二值化的假设检验判决像素属于前景或背景:

其中。因此，当像素是背景时，服从高斯分布，满足假设条件。反之，当满足假设条件时，被添加到样本中，变化明显，此时像素判为前景。
判别属于还是,等价于测量它是否服从高斯分布。而判别高斯分布的一种典型的方法是检查其峰度，定义的峰度为：
在条件下，服从高斯分布满足，因而它的峰度等于零。因此，若非零，则处像素是前景；反之，为零则表示处像素是真实的背景。

3 再分割过程

在分割过程共分四个步骤：
第一步，利用形态学方法对第1部分得到的前景二值图进行预处理，清除前景图像中的孤立噪声点。
第二步，利用一个的滑动窗口遍历二值图，以搜寻前景碎片，当窗内像素前景“1”个数大于某一阈值时（本文中为13），即确认当前位置为前景碎片区域。
第三步，针对窗内这25个像素所占据的邻域内，有前景像素“1”和背景像素“0”。用第2部分中所述方法计算背景像素与邻域内前景像素的相关性，以及背景像素的帧间连续性，根据阈值对这些背景像素进行二次判决，将误判的背景重新判为前景，并在二值图中像素位置点处由0改为1。
第四步，根据新的二值图所确定的前景像素位置，从对应的原始帧图像中分割出前景图像。通过再分割矫正处理，有效的填补了前景目标中的空洞。

4 实验结果比较

为了测试算法的适用性和鲁棒性，捕获一段复杂的背景视频，其中包含通常的背景建模问题例如动态背景问题（摇摆的树叶）、遮挡问题和前景背景颜色相近的情况。
图1是本文提出的算法和文献[6]提出的算法以及文献[2]提出的MOGs算法的实验结果比较。第一行是第986帧处理的结果，从左到右依次为原始图像、文献[6]分割的结果、文献[2]MOGs算法的分割结果、本文算法的分割结果。可以看出本文提出的方法分割的前景目标比另外两种方法分割得更完整。中间行列出的是第1132帧处理的结果，不仅填补了空洞，而且未将其中遮挡前景车辆的树（背景）误判到前景中来，显示较强的鲁棒性。 对于前景背景颜色相近的情况，此方法填补空洞的结果不是非常理想，如第三行所示,骑摩托车的人由于其衣服颜色与背景相似,分割的并不是很完整。总之，通过比较实验结果表明此方法能分割出更完整准确的前景目标。
图1 本文的算法和文献[6]、[2]提出的算法在复杂交通视频中分割结果比较
从上到下分别为第986、1132和1140帧；从左到右分别为原始视频图像、文献[6]分割的结果、文献[2]MOGs算法的分割结果、本文算法的分割结果

5 结论

本文提出了一种鲁棒的前景分割算法，它可适用于复杂的背景环境下的视频监控中。主要改进的地方有（1）在分割算法中结合了像素局部相关性和帧间连续性信息，得到一个较完备、精度较高的分割方法。（2）利用数学中的相关函数概念来表征某邻域内像素间的纹理相关性，并进行量化计算，应用于贝叶斯判别准则得到的粗分割结果中，填补了前景目标中的空洞。（3）根据背景像素的帧间连续性假设，用假设检验方法结合Kurtosis峰度判据，充实判别准则。通过测试，表明了该方法与那些假设像素间彼此独立且忽略像素邻域信息的分割方法相比较，由于融合了更完备的像素信息，因而具有较强的鲁棒性，为进一步应用在交通视频监视中识别车牌等提供更完整的前景图像。

参考文献：

[1] Chen B S, Lei Y Q and Li W W. A Novel Background Model for Real-Time Vehicle Detection [C]. IEEE ICSP’04 Proceedings. Chinese institute of Electronics. Beijing, China. 2004.1276-1279.
[2] Stauffer C. and Grimson W. Adaptive background mixture models for real-time tracking [C]. In Proc. IEEE Conference on Computer Vision and Pattern Recognition, Fort Collins, Colorado, 1999.246-252.
[3] Michael H., Gaile G. and John W. Foreground Segmentation Using Adaptive Mixture Models in Color and Depth [C]. IEEE Workshop on Detection and Recognition of Events in videos. [s.l.] VOL.13, 2001.3-11.
[4] Manuele B, Marco C. and Vittorio M. Unsupervised scene analysis: A hidden Markov model approach [J]. Computer Vision and Image Understanding, Elsevier Inc. VOL. 23. No.5, 2005. 1-20.
[5] Zhong J and Sclaroff, S. Segmenting Foreground Objects from a Dynamic Textured Background via a Robust Kalman Filter [C]. Proceedings of the Ninth IEEE International Conference on Computer Vision (ICCV’03) 2003. [s.l.], VOL.1, 44- 50
[6] Li L., Huang Y. W., Irene M, Gu Y H. and Tian Q. Statistical Modeling of Complex Backgrounds for Foreground Object Detection [J]. IEEE TRANSACTIONS ON IMAGE PROCESSING, [s.l.],VOL. 13, NO.11, NOVEMBER,2004.14-29.
[7] Stauffer C. and Grimson W.. Learning patterns of activity using realtime tracking [J]. IEEE Trans. Pattern Anal. Machine Intell., VOL. 22, NO.8, [s.l.], Aug. 2000. 79-95.
[8] Makito S., Toshikazu W., Hideto F. and Kazuhiko S. Background Subtraction based on Cooccurrence of Image Variations [C]. Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’03). [s.l.] VOL.2, 1351-1358.
[9] Song M. and Wang H. Highly efficient incremental estimation of Gaussian mixture models for online data stream clustering [C]. SPE Conference on Intelligent Computing: Theory And Applications III, Orlando, Florida, 2005. 1-17.