一种头肩像序列的人脸快速定位算法.pdf

一种头肩像序列的人脸快速定位算法阮鹏赵明生(清华走学电子工程系网络与人机语音通信研究所，北京1 0 0 0 8 4)E m a i l：r u a n p n i p e et s i n g h u ae d u c n摘要谊文根据视频应用的特点结夸凡脸的肤色和特征部位几何分布特征，提出了一种应用于共肩像序列视频编码的快速人脸定位算法。实验表明该方法定住速度快，误栓率低，可以在要时系统中应用。美键词人脸定位头肩像序列文章编号l 0 0 2 8 3 3 1 一(2 0 0 3)2 9-0 1 2 5 0 3文献标识码A中图分类号T P 3 9 lAF a s tF a c eL o c a t i o nA l g o r i t h mf o rH e a d-a n d-s h o u l d e rS e q u e n c eR u a nP e n gZ h a oM i n g s h e n g(D e p a r t m e n to fE l e c t r o n i cE n g i n e e r i n g，T s i n g h u aU n i v e r s i t y，B e i j i n g1 0 0 0 8 4)A b s t r a c t：Af a s tf a c e l o c a t i o na l g o r i t h mf o rh e a d a n d s h o u l d e rs e q u e n c ei sp r o p o s e du s i n gb e t hs k i n c o l o rf o a l u r ea n df e a t u r ef a c ee o n l p o n e n tg e o m e t r yt e m p l a t eT h ee x p e r i m e n tm s u l t ss h o wt h a t t h i sa l g o r i t h mh a sh i g hs p e e da n dl o we r r o r-d e t e c t i o nr a t e，s oi tc a l lb eu s e di nr e a l t i m es y s t e m K e y w o r d s：f a c el o c a t i o n，h e a d a n d-s h o u l d e rs e q t t e n e el引言基于知识和基于|羽象理解的视频编码方法是低码宰视频编码的重要分支，这一编码思想在M P E G 一4 新标准中已被广泛采用。对象分割是这种编码方法的第一步直接关系剥编码的效晏。而时于头肩像序列来说，人脸是谖序列中主要的视，撷对象，因此人脆定位是叉肩像序列视频编码过程非常重要的环节。人睑定位是近年米图象处理领域的热点问题之一，彳嚏多学者已经提出择种各样的定位算祛，作者主要考察了常用的三类方法：第一类方法是基于整体 睑的灰度模板p L 配的方法，这种方法运算量太天且受亮j 萱变化影响太大n。第二类方法尾入丁冲经弼槊方法通廿大嚣样本的训练，最后对图象各区域进行判决，该方法在理论卜十分可行，佴是圳练样本的选择和网络收敛均非易事”。第三类方法足肤色检测的方法，这种方法利用了数亨图象的彩色信息，大大提高了检测的速度，基本能做到宴时稳测并且不受人脆旋转或人侧转的影响，但由于肤色空问和韩他颜色空问的交曼性已有的方法只能限制在简单的背景，在复杂的背景图象中误检率非常高，现有的人脸定位算法几予_ 牟部是针对音摹止图象的定伸，冉这种应用中要求检测的漏检率和误检率都尽可能地低，但是这并小适H j 于视频序列巾的应用实际情况。由丁视频序列存冉着很强的时域连续性，完全可以在准确定位人脸后利用跟踪算法在后续序列中找到人脸，因此该应用对漏榆率的要求并不严格，但对误检率却要求比较高。根据上述情况，该文提出了一种将肤色检测和特征部位几何分布模板匹配相结的方法，该力法在检测速度上大大高于上述神经网络和模扳匹配方法，误检率远低干肤色检测方法，为在寅时视顿编码系统中应用提供了口J 能。2 系统的总体结构系统总体由3 个部分组成，第一部分首先利用肤色检测的方法在图象中圈定一十大致的人脸的可能区域，这一模块大大缩小r 后续部分的搜索范围，降低了系统的运算量但是由于复杂背景下肤色方法的溟检率高，仍需后续模块进一步精确定位。第二部分在肤色检测圈定的区域中找出可能的特征部位点(主晏包括双眼，双眉，鼻基线和嘴)，这一模块将全区域的模板搜索转变成了若干个点中的搜索匹配，进一步降低了运算量。第二部分在第步的结果中利用人脸特征部位几何分布的先验知识搜索真正的人脸特征部传。从而准确定他人脸。重鞋边心色图边缘点区象几域马缘圭戋何圃暮柱重鞭心台定克化布判决图1 系统总体龉构3 具体算法描述3 1 肤色检测传统的人脸定位多在亮度空间，由于没有任何区域或比例的限制，必须作多尺度空间的全搜索，运算量相当大，而利用色度信息可以大大降低搜索区域，肤色信息足最直接有效的，肤色检测可“在多个色度空间叶l 进行：R G B 归一化、H I S、C Y M K、C b C r 方法等。该文选用C h C r 空间来作为检测空间，该空间的基童项目：清毕大学9 8 5 基金支持作者简介：阮鹏，硕士研究生，主要研究方向信号与信息址理，赵明生，清华大学电子上程系副教授。计算机工程与应用2 0 0 32 91 2 5 万方数据优点足受亮度变化的影响较小且是两维独立分布，且和通用视频输入豫的格式一致，无需额外作色度空问的变换，经过统计证明，不同人种，不同环境下的肤色区别t 要受亮度影响，受色度影响较小，C r C b 李间下肤色的统 1 分布如图2 和图3 所示。黔：l围2 肤色的c h 分统计分布h。口熏骑k田3 肤色的c r 分统计分布文章采用通用阈值方法对肤色区域进行判决。对于图象中每一个象素(1 J)村(1，沿1 1 衄。j)5 7 7,1 2 7 1 且州j)1 3 3，1 7 3 11 0 e l s e这样将图象转变成一个二值图象，图5 即为日炙色榆测的结果白色区域(灰度为】)就足顶分割的肤色协域。厢4 原始围象雎5 肤色检测结果3 2 特征部位检测利用图象马赛克，边缘检测和边缘线重心化的处理方法，在肤色榆测圈定的区域中寻找双眼，鼻基线等特征部位的可能1 2 62 0 0 32 9 计算机工程与应用位置。32 1 图象马赛克在复杂背晕卜定位人喻足非常网难的事隋，丈部分前人作的工作都是冉象索级对图象进行搜索。但是因为住头肩像序列中，人脸一般此较端正，人脸的主要特征部位：双悄、烈服、鼻端和嘴部是呈水平方向，且垂直方向的大小相近，因此如果把图象转成。个合适大小的乌赛克图象，u n H 更加容易地检测出这此特征部位束，且可以大大减小处理所需的运算量。由于所处理的图象大小一般比较小通常是l7 6 x 1 4 4，经过实验比较选定乌赛克夫小为2 x 2，3 22 边缘检测从人脸图象中，可以看H 一般情况是：烈眼、双眉、鼻基线和嘴线部呈现m 亮度值比它”J 周同的点爱小的特征。从这个特征出发利用拉昔拉斯算子剐上一步所得到的马赛克图象作水平边缘检测，马赛克图象中每一点的亮度值足该马赛克单元中4 个原始图象象素的亮度值的平均。经过实验比较，选择边缘检测的闽值为4 0，检测后的图象如图6 所示。围6 边缘检测结果3 23 计算重心点在卜步获得的水平边缘图象中，扔掉些太长的边缘线计算剩下来的边缘线的重心点，并用重心点来代替这些边缘，就可以获得一个蘑心化的图象。如图7 所示。可以椎直观地看出，一些重心点的位置和人脸的特征部位相互刘府，厦映了特征部位的几何分市情况止是利用丁这一网象来正确检测人脸。硇7 边缘重心化结果3 3 重心点几何分布判决经过前两步处理，图象转变成一个由一些重心电组成的_ 二值罔象而这些重心点就是人脸特征部位的可能位置。系统通过对这些点的几何分布情况来分析判决，从中找到真正的特征部位点，从而定位出人脸的传置。系统以全搜索这些重心点的，b 式来判决，对于每一十扫描到的重心点，我们都假设它是人腧的左眼点，然后让系统向右下方扫描，来寻找足胥在这个矩彤区域内存在3-5 个点分别代表右眼(右眉)，鼻线和嘴。目8所示是一个人脸的模板。在判决上述寻找割的重心点的几何组台是否符合人脸的特征儿何分布中，采用丁下述4 条判决规则。万方数据(I)4 s x+一xb 4 0，l l1 1y，一Y-1 1s I(2)满足条件1 的右眼点的个数1 妄N，-2(3)令X c=X 学。，y。等生；_|X,-X c l l1 2，o 7 5 争誓 1 2 5(4)x h-X r -X，0 l s；”聋(0 3 5(其中工X XX。分别左眼、右眼、鼻基线和嘴线特征点的x 坐标；kw Yy Y 分别左眼、右眼、鼻基线和嘴线特札点的Y 出标)圈8 人胜模板上述规则小所涉及的闻值部是经过实验反复比较选定的。经过以上规则判决筛选以后，L 经得到了绝人部分假脸筛选出去了但是仍存在着检泓出多个几乎萤叠的真脸的情况，这是由于系统对于芹眼和左眉泄有判断能力造成的。为此该文利H j人臆的统计特征没计了另外条附加规则来从检测山的多个真呤巾筛选出个来，该规则如下所述。附加规则：令，j=!竺!_!L+_ 婴!尘兰 堕I，在寻找到的人脸中哉U刊足P 值最小的人脸被判决为最终的人脸(其中D，D 一，D。，见图8 所示)。吊终定位结果如图9 所示(其中方块亮点表示定位到的特征邾f 证的f 讧置)。图9 人脸定位掂粜4 实验结果与结论为r 检验方法的有技性笔者选取了标准测试序列C l a i r e，M i s s a，F o r H l a l l，G r a n d m a，以及在实验室创建的个视频帛列库l F l b l l P 4 1 3，该库中有1 2 个人总圈像帧数达到r9 6 0 0帻，录制背景复杂，图象大小为1 7 6 x 1 4 4 1 2 b i t Y U V 4 2 0 色彩格式。罔1 0 为部分检测的结果(其中方块亮点表示定位到的特征部位的位置)。圈1 0 部分实验结果该方法的处理速度，正确牢等参数指标以及和其他方法的E 较如表1 所示。表1 实验结果比较系统|耗时漏植卒误检串图象大小运 i 矶器本文方扯4 7 抻绎阿络【4】7 1 模板匹自E【4 12 9 聚类【S u n g)4 1该文的方法结合了视频应用的实际情况，在保迁了尽量低的误枪牢，实现f 非常快的定位速度，非常适用在实时视频处理编码中使用，进一步降低漏检率是下一步的T 作。(收稿日期：2 0 0 2 年6 月)参考文献1 J u nM i a oe ta lAh i e r a r c h i c a lm u l t i s c a l ea n dm u h i a n g l es y s t e mf o rh u m a nf a c ed e t e c t i o ni nac o I t p l 慨b a c k g r o u n du s i n gg r a v i t y c e n t e rt e m p l a t e J P a t t e r nR e c o g n i t i o n，1 9 9 9；3 2(7)2 康学雷等种墓丁肤色奉模板的人脸检测方法 J l 红外与毫米渡学报，2 0 0 0：1 9 f 3)3L e u n gT KB u dMC P e r o n aP i n d i n gh 州i nc l u t t e r e ds c e n e su s i n gr a n d o ml a b e l e d#T a p h i cm a t c h i n g C I n：F i f t hI n t lC o n fO l lC o m pV i s i o n C a m b r i d g eMA 1 9 9 54 李士进等一种稳健的、脸检测方法小型微型计算机系统，2 0 0 0；2 1(7)5 J o h nH a r t u n g A n t a u dJ a e q u i n，J o n a t h a nR o s e a b e r gO b j e c t o r i e n t e dH 2 6 3c o m p a t i b l ev i d e oe n d i n gp l a t f o r mf o rc o n f e r e n e i n ga p p l i c a t i o n s J I E E EJ o u r n a lo nS e l e c t e dA r e a si nC o m m u n i c a t i o n s，1 9 9 8；1 6(1)计算机工程与应用2 0 0 3 2 91 2 7 万方数据