人脸跟踪和检测研究)大学论文.doc

西 华 大 学

硕 士 学 位（毕 业）论 文

题目：人脸检测与跟踪算法研究

西华大学硕士学位论文

毕业设计（论文）原创性声明和使用授权说明
原创性声明
本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。
作 者 签 名：　　 　 　　日　 期：　　 　 　　 
指导教师签名：　　 　 　　 日　　期：　　 　 　　
使用授权说明
本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。
作者签名：　　 　 　　 日　 期：　　 　 　　 
学位论文原创性声明
本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。
作者签名： 日期： 年 月 日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权　　 　 　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
涉密论文按学校规定处理。
作者签名： 日期： 年 月 日
导师签名： 日期： 年 月 日
人脸检测与跟踪算法研究

图像中的人往往是整个图像的中心，而根据人眼的视觉特性，人们通常对图像中人的脸部区域更感兴趣，因此人脸相关的图像处理技术成为了计算机视觉中的一个非常重要的研究方向。人脸处理技术在身份验证、人机交互接口、智能视觉监控、基于感兴趣区域ROI(Region of Interest)的编码与传输、可视电话等领域有着广泛的应用，有着广阔的发展前景。
本文研究的目标是在人脸检测的基础上进行人脸跟踪，选用快速有效的人脸检测算法，在保证实时性的基础上，提高人脸跟踪的准确性。
本文研究的内容主要分为三个部分：人脸可能区域的获得，人脸检测，人脸跟踪。
本文采用帧间差法对视频图像进行运动检测，获得运动区域。研究了经典的Hsu R L肤色检测算法，在运动区域内进行肤色检测，得到有可能存在人脸的区域，以减少后续人脸检测的范围，提高检测速度。
对可能存在人脸的区域进行人脸检测，本文深入研究了经典的Adaboost人脸检测算法，同时针对Adaboost经典算法对人一定角度的侧脸检测率不高的问题，本文分析了人侧脸的五官结构在透视情况下的特性，改进了传统的Harr-like特征，得到一系列具有透视特性的进行侧脸检测的特征，将这些侧脸特征与传统的Harr-like特征一起构成新的特征库，用Adaboost算法构建分类器级联结构。通过实验证明，在针对侧脸情况下进行人脸检测时结合使用本文的特征具有较好的效果。
本文通过对马赛克图像法的研究提出了针对多尺度五官结构的正面人脸模板，并且根据透视原理提出了侧面人脸模板。利用这些模板来限定Adaboost人脸检测法中传统的Harr-like特征与侧脸特征的空间位置大小关系，整合了特征，组合成强分类器。使用该强分类器对符合人脸模板的典型人脸进行检测时具有较快的检测速度，与用Adboost算法构成的分类器级联结构结合起来进行人脸检测。实验证明，运用本文方法进行人脸检测具有较好的实用性。
把检测到的人脸作为目标进行跟踪，本文采用Kalman滤波预测人脸运动区域，并使用计算图像间的协方差值来判定图像相似度的模板匹配法来进行人脸目标匹配，具有较好的实用性。实验证明，在本文提出的人脸检测法的基础上进行跟踪具有速度较快，准确性较高的特点。

关键词：图像处理，人脸检测，跟踪，Adaboost，模板匹配。

Research On The Algorithm Of Human Face Detection And Tracking

Computer software and theory

M.D.Candidate：He Shaofu Supervisor： Luo XiaoHui

People in the image are always the point of the image, but according to the Human Visual Properties, the people usually pay more attention to the human face area of the image, therefore the face related imagery processing technology has become an important research direction of the computer vision field. The face processing technology has wide application and great development prospect in the field of identification verification, the man-machine interaction interface, the intelligent vision monitoring, the code and transmission based on ROI (Region of Interest), and the videophone.
The purpose of this paper is to do some research on human face tracking based on face detection. So we choose the face detection algorithm which is speedy and effective, can increase the accuracy on the foundation of real time tracking.
This content can mainly be divided into three parts：the possible face area judgment, face detection and face tracking.
We do motion detection by fame subtraction method, get the motion area. Then do research on the Hsu R L skin color detection algorithm, do skin color detection on the motion area, get the possible face area which can reduce the face detection area and speed up the detection.
When we are detecting face in the possible face area, this thesis do a deep research on the Adaboost algorithm, regarding the Adaboost classic algorithm doesn’t have good effect on the circumstance of side face, we analyze the characteristics of the five senses organs in perspective conditions, improve the traditional Harr-like features, get some perspective features which can be used to do side face detection, then we use Adaboost algorithm to create the new sorter union structure by the side face features and traditional Harr-like features together. Experiment proves, in the condition of side, using features put forward by this thesis had better detection effect than use traditional Harr-like features only.
The thesis proposes a face template of a muti-scales face five senses organs template based on the mosaic image method, then propose some side face template according to perspective. We limit the position of Harr-like features and side face features by those template, unite features and form a strong sorter., which can speed up face detection and can be used to detect face together with the sorter union structure of Adaboost algorithm. The experiment proved, using the method of the thesis had good practicability in face detection.
Track the detected face as an object, the thesis forecasts face movement area by Kalman filter, then makes use of a template matching method of judging the similarity of image by the Covariance, which has good practicability. Experiments proved, tracking face in the condition of the face detection method taken by the thesis, was fast and accurate.

Keyword：image processing，human face detection，tracking，Adaboost，template matching.

目 录
1 绪论 1
1.1研究的背景及意义 1
1.2人脸检测与跟踪技术简介 2
1.3人脸检测与跟踪的研究状况 3
1.4人脸检测方法综述 3
1.5人脸跟踪方法综述 5
1.6本文的研究方法 6
1.7论文的结构与内容 8
2 人脸跟踪系统的组成原理及硬软件知识 9
2.1 人脸跟踪系统工作原理 9
2.2 人脸跟踪系统的硬件构成 9
2.3开发工具 11
3 图像预处理 12
4 运动检测和分析法 13
4.1 运动物体定位 13
4.2孔洞填充和运动区域判断 16
5 人体的肤色检测 17
5.1 颜色空间 17
5.2 肤色模型 18
5.3 Hsu R L肤色检测算法[34] 20
6 基于五官特征的多尺度人脸检测法 23
6.1 多尺度的人脸检测 23
6.2 基于灰度结构的马赛克模糊结构的检测 23
6.3 本文改进的基于五官结构的多尺度人脸检测模板 25
6.4 基于Adaboost的人脸检测 29
6.5 本文改进的Adaboost的人脸检测法 37
7 人脸目标跟踪 47
7.1概述 47
7.2技术现状 47
7.3 模板匹配法 50
7.4 状态预测方法 54
7.5跟踪实验结果 59
8 结论与展望 60
9 参考文献 62
10 作者在读期间的科研成果 66
11 声明 67
12 授权书 68
13 致谢 69

CONTENTS
1 INTRODUCTION 1
1.1 Background and meanning of the research 1
1.2 Introduction of human face detection and tracking 2
1.3 Aplication and research of human face detection and tracking 3
1.4 Introduction of human face detection method 3
1.5 Introduction of human face tracking method 5
1.6 Research of this thesis 6
1.7 Research of this thesis 8
2 FRAME OF FACE TRACKING SYSTEM AND KNOWLEDGE OF SOFTWARE AND HARDWARE 9
2.1 Principle of human face tracking system 9
2.2 Principle of human face tracking system 9
2.3 Development tool 11
3 PRETREATMENT OF IMAGE 12
4 MOTION DETECTION AND ANALYSE 13
4.1 Locate the movement area 13
4.2 Fill the hole and locate movement area 16
5 SKIN COLOR DETECTION 17
5.1 Color space 17
5.2 Skin color model 18
5.3 Hsu R L skin color detection 20
6 MUTI-SCALES HUMAN FACE DETECTION BASED ON FIVE SENSES ORGANS STRUCTURE 23
6.1 Muti-scales human face detection 23
6.2 Mosaic structure detection based on gray image 23
6.3 Muti-scales face template based on five senses organs structure 25
6.4 Face detection by Adaboost arithmetic 29
6.5 Adaboost face detection method improved by thesis 37
7 FACE OBJECT TRACKING 47
7.1 Introduction 47
7.2 Presentation of track method 47
7.3 Template matching 50
7.4 State forecast method 54
7.5 Result of tracking 59
8 CONCLUSIONS AND OUTLOOK 60
9 REFERENCES 62
10 ACADEMIC RESULTS 66
11 ANNOUNCEMENTS 67
12 AUTHORIZATION 68
13 ACKNOWLEDGEMENTS 69

76

1 绪论
1.1研究的背景及意义
近年来，随着信息技术的发展，应用的普及性不断提高，以及计算机的软硬件性能的飞速提升，更加高效并且也更加友好的人机交互技术,即HCI(Human Computer Interaction)被不断的提出并应用于我们周围，并且这些技术的应用不再依赖于传统的键盘，鼠标，显示器等设备，开始向着多模态人机交互的方向发展。多模态人机交互模拟人类自然交流的方法，包括视觉、听觉、触觉和嗅觉，试图综合图像，声音，文字等手段，达到与计算机进行交流的目的，其中以视觉交流最为方便和易于接受。同时，图像处理设备的性价比也不断的提高，从而使得基于图像处理的人机交互技术成为当前研究领域的热点。同时随着人机交互技术的发展，视频监控，可视电话、视频电视会议的广泛应用，人们开始将人脸检测与跟踪作为统一的整体加以研究。目前人脸检测与跟踪的应用背景己经远远超出了人脸识别系统的范畴。作为完整的单独功能模块，人脸检测与跟踪已的应用领域十分广泛，已经成为了计算机视觉及相关领域中的关键技术，在基于内容的视频存储与检索、数字视频处理、高级人机交互、智能视频监控等方面有着重要的应用价值。在CBIR(Content-based Image Retrieval，即基于内容的图像检索)系统中，图像中的人脸可以成为图像检索的条件，因此许多CBIR系统都将人脸检测作为系统中一个重要的组成部分。例如芝加哥大学开发的用于在万维网上搜索图像的影像搜索引擎Webseer，其中就使用了基于神经网络的人脸检测作为搜索引擎的一部分。因特网上广泛使用的数字图书馆中包含了大量的视频及音频信息，因此许多数字图书馆将人脸检测作为系统搜索引擎的一个重要的组成部分。在智能人机接口应用领域中，我们希望未来的机器能像人一样与我们更加容易和便捷地交流，如手势驱动控制、手语翻译等。人与人之间的信息交流主要是依靠语言，并适当结合手势、身体姿势和面部表情等，因此视觉信息可以作为语音和自然语言理解的有效补充来完成更加智能的人机交互。这就要求未来的计算机必须具备感知外部环境的能力，即代替传统的键盘或鼠标输入模式、独立地提取周围环境的重要信息(如检测到人的存在等)；更进一步的能力是进行人的识别和视频中的人脸检测跟踪技术及其应用行为理解，结合面部表情、身体姿势和手势等的分析来与人进行相应的交流。在视频监视系统中，人脸检测和跟踪技术得到了及其重要的应用。针对敏感场合（如银行、商店、停车场）开发的智能监控系统，能够每天连续24小时的实时监视，并自动分析摄像机捕捉的图像数据，当盗窃发生或发现到具有异常行为的可疑的人时，系统能向保卫人员准确及时地发出警报，从而避免犯罪的发生；同时，人脸检测与跟踪技术在访问控制场合，在自动售货机、ATM机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等监控方面也有着相应的应用。
同样，人脸检测和跟踪还可以应用于其他许多领域，比如现在数码相机中常见的对人脸进行检测和自动对焦，以及MPEG4中采用的基于对象的压缩等。

1.2人脸检测与跟踪技术简介
人脸检测问题最初来源于人脸识别，它是自动人脸识别系统中的一个关键环节。但是早期的人脸识别研究主要针对具有较强约束条件的人脸图像（如无背景的图像），往往假设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。近几年随着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸检测也开始作为一个独立的课题受到研究者的重视。一般人脸检测问题可以描述为：给定一副静止图像或一段动态图像序列，从未知的图像背景中分割、提取并确认可能存在的人脸，如果检测到人脸，提取人脸特征。虽然人类能毫不费力地识别出人脸及其表情，但用机器自动进行人脸检测与识别却是一个难度极大的课题。它牵涉到模式识别、图像处理及生理、心理学等方面的诸多知识。其面临的问题可以归结如下：
1．图像中是否存在人脸：即如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图像。
2．检测不同表现形式的人脸：人脸可能以不同视角出现在图像中，也可能被某些物体遮挡，造成某些用于检测而需提取的人脸特征不可见，为了实现检测方法的鲁棒性，还需考虑人脸在各种复杂的背景中，不同方向、角度、尺度等情况下所展现出来的不同表象。
3．图像中存在着噪声：检测对象大多是由图像捕捉设备所采集的数字图像或视频流中的数字图像序列，所以采集条件特别是光照条件包括光源的方向、明暗、色彩等都会对图像的效果产生很大的影响，进而影响对人脸的检测。
4．人脸自身的因素：人脸是一个包含五官、毛发等极不规则的复杂待测目标，不同的人脸在形状、大小、颜色、质地等方面都有很大的变化性，某些局部特征具有随机性（如眼镜、胡须、发型等），而且还存在着不同表情的人脸，以及时间间隔产生人脸的变化等，这些都给人脸检测带来难度。人脸检测问题在近十年中得到了广泛的关注和长足的发展，国内外很多研究学者提出了很多方法，在不同的领域取得了一定的成果。但是对于寻找一种能够普遍适用于各种复杂情况的准确率很高的检测算法，还有很大的距离。

1.3人脸检测与跟踪的研究状况
目前国外对人脸检测与跟踪问题的研究很多，比较著名的有MIT、CMU等；国内的清华大学、北京工业大学、南京理工大学、中国科学院计算技术研究所和中国科学院自动化研究所等都有人员从事人脸检测与跟踪的相关研究。而且MPEG7标准组织已经建立了人脸识别草案小组，人脸检测与跟踪算法也是一项征集的内容。随着人脸检测与跟踪研究的深入，国际上发表的有关论文数量也大幅度增加，EI可检索到的相关文献多达数千篇，每年的国际会议上关于这方面的专题也屡屡可见，如IEEE的FG(IEEE International Conference onAutomatic Face and Gesture Recognition)、CVPR(Conference on Computer Vision and PatternRecognition)、ICIP(International Conference on Image Processing)、ICPR(International Conference on Pattern Recognition)等重要国际会议上每年都有大量关于人脸检测与跟踪的论文，占有关人脸研究论文的近1/3之多。

1.4人脸检测方法综述
人脸检测的基本思想是用知识或统计的方法，比较所有可能的待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。人脸检测问题所包含的内容十分广泛。从不同的角度有多种分类方法。根据利用人脸知识的不同，现有的人脸检测技术方法可以分为三类：基于特征的方法、模板匹配法、基于表象（appearance-based）的方法。
1．基于特征的人脸检测方法是通过检测出不同的人脸面部特征的位置，然后根据它们之间的空间几何关系来定位人脸。这种方法又可以进一步分为基于知识和基于局部特征的检测策略。基于知识的方法首先定位候选人脸区域，然后再通过人脸的先验知识来检验人脸是否存在。与之相对应的基于局部特征的方法中，人脸的局部特征如眼睛、鼻子和嘴唇等首先被检测出来，然后由这些局部特征组合成人脸。另外，肤色特征与运动特征也能与其他特征相结合用于人脸检测之中。
2．早期的基于模板匹配的方法[1]处理过程是：首先建立一个标准的人脸模板，由包含局部人脸特征的子模板构成，然后对一幅输入图像进行全局搜索，对应不同尺度大小的图像窗口，计算与标准人脸模板中不同部分的相关系数，通过预先设置的阈值来判断该图像窗口中是否包含人脸。利用基于模板的方法来定位眼睛的位置，他们把标准的眼睛模板调整为5个不同的尺寸，然后在输入图像中找寻眼睛。这种简单模板匹配的方法易于实现，但是也存在着缺点：图像噪声对检测结果影响很大，因此需要对输入图像做适当的预处理；标准模板的大小是人为设定的，因此不能动态检测眼睛的位置。Yullie等人提出了一种基于弹性模板的人脸检测方法[2]。弹性模板是由一个根据被测物体形状而设定的参数化的可调模板和与之相应的能量函数所构成，能量函数要根据图像的灰度信息、被测物体轮廓等先验知识来设计。当用弹性模板进行人脸检测时，首先，将可调模板在待测图像中移动，并动态地调整其参数，计算能量函数。当能量函数到达最小值时，根据其位置和参数所决定的可调模板形状应该达到与人脸形状的最佳拟合,这样就检测到了一幅人脸。这种方法的优点在于，由于使用的弹性模板可调，能够检测不同大小、具有不同偏转角度的物体。但是其缺点是检测前必须根据待测物体的形状来设计弹性模板的轮廓，否则会影响收敛的结果；当对图像进行全局搜索时，由于要动态地调整参数和计算能量函数，计算时间过长。
3．基于表象的方法遵循一种统一的模式，即首先通过学习，在大量训练样本的基础上建立一个能对人脸和非人脸样本进行正确识别的分类器，然后对被检测图像进行全局扫描，用分类器检测扫描到的图像窗口中是否包含人脸。若有，则给出人脸所在的位置。采用这种检测模式的理论依据是：人脸具有统一的结构模式（都是眉毛，眼睛，鼻子和嘴巴等器官构成），如果将所有的图像集看作一个高维线性空间，那么整个人脸图像集仅对应于其中的某个子空间。通过检验待测图像窗口是否落在这个子空间中来判断其是否为人脸。因此，通过大量的人脸和非人脸样本来建立一个分类器，使它能正确分辨这两种不同的图像模式，再利用训练好的分类器在未知的图像中检测人脸。在这些方法中，基于支持向量机与基于神经网络的人脸检测的方法是最具有代表性的[3]。
另外，Viola[4]提出了积分图像概念和基于Adaboost方法训练人脸检测分类器的方法，具有速度快、检测率高等优点，是目前较有影响的一种方法。随后Li的研究组[5]发展了这一方法，建立了实时的多视角人脸检测系统。Viola的方法利用积分图像快速计算图像的矩特征；通过Adaboost学习算法选择少量的关键特征并构造分类器；在检测时，将多个分类器组成一个级联结构，以快速的排除图像中的非人脸区域。

1.5人脸跟踪方法综述
人脸跟踪方法主要分为基于运动(Motion-based)的方法和基于模型(Model-based)的方法两类。其中前者主要采用图像差分，光流等方法跟踪人脸，这种方法跟踪速度快，但依赖于目标的运动一致性假设，跟踪精度不高；后者则首先获得目标的先验知识，构造目标的模型，然后对输入的每一帧图像通过滑动窗口进行模式匹配，这种方法可以获得较高的跟踪精度，但计算复杂，帧间模型特征的匹配是问题的关键。
一．基于运动的跟踪方法
基于运动的跟踪方法完全依赖运动信息来检测运动目标，因此可跟踪任意大小和形状的运动目标，根据采用的检测运动目标技术不同，主要分为图像差分(Image Difference)方法和光流(Optical Flow)方法两种。
图像差分[6]是检测相邻两帧图像序列之间变化的最简单方法，主要有两种类型的差分：当前图像与固定背景图像之间的差分以及当前连续两帧图像之间的差分。其中前者的优点是位置精确、速度快，因为它只需获取当前的一幅图像，不足之处是受环境光照变化的影响，在非受控环境下需要加入背景图象更新机制，且不适用于摄像头运动或者背景灰度变化很大的情况；后者的优点在于它只对运动物体敏感，实际上它只检测相对运动的物体，而且因为两帧图像的时间间隔较短，差分图像受光照变化影响小，检测有效而稳定，其缺点是检测出的物体的位置不精确。
光流(Optical flow)技术是运动跟踪中最典型的方法之一，它是将人脸图像分成一些小平面，通过计算这些小平面上的光流来跟踪人脸的运动。Decarlo和Metaxas[7]结合光流和边缘信息，得出基于3D变形模型的最小二乘光流解，并结合Kalman滤波进行实时人脸运动跟踪。
二．基于模型的跟踪方法
基于模型的跟踪方法基本思想是首先获取目标的先验知识，构造目标模型，然后对输入的每一帧图像通过滑动窗口进行模型匹配。这类跟踪方法主要有两种思路：一种是对整个头部进行跟踪，即将头部的旋转和位移运动视为刚体的运动，利用头部形状特征对其进行跟踪，如Birchfield等人[8]实现的人脸跟踪系统。肤色信息具有姿态不变性的特点，而且实现简单，因此大多数系统采用肤色特征进行跟踪[9]。另一种思路是对脸部重要器官的特征进行跟踪[10]，Yang等人[11]实现的人脸跟踪系统是这类方法中较有代表性的一种，他们采用三种模型达到人脸跟踪的目的，即用高斯统计模型描述人脸肤色分布，用运动模型预测估计运动区域，用摄像机模型来预测并补偿摄像机运动。
综上所述，虽然各种各样的人脸跟踪方法层出不穷，但目前的跟踪系统普遍存在跟踪速度慢、对人脸姿态变化较敏感等缺点，基于一般PC机上的实时人脸跟踪系统还有待于进一步研究和开发。

1.6本文的研究方法
本文研究的主要内容为人脸的检测与跟踪算法，主要工作如下：
1．通过运动检测和人体的肤色检测来去除大部分非人脸的区域，得到备选人脸区域，以减小误检率和提高检测速度。
2．从人最基本的视觉角度入手，进行人脸结构的分析，通过对马赛克图像法人脸检测的研究，提出了基于五官结构的多尺度人脸检测法，并且根据透视原理创建了针对不同侧脸角度的人脸检测的人脸模板，整合了Harr-like特征训练成强分类器，以检测符合典型模板的人脸。然后从人脸模板中提取特征，并且提出了一种鼻嘴结构的特征，结合Harr-like特征一起采用Adaboost算法进行人脸的检测。
图像预处理
运动检测
肤色检测
获得类人脸区域
基于五官特征的人脸检测
是不是人脸
人脸跟踪
摄像头取帧
是
否
3．结合Adaboost检测算法与运动跟踪算法，把检测出来的人脸作为目标，采用kalman滤波进行目标的运动预测，并且提出了一种根据图像间协方差值来判定图像相似度的模板匹配法来进行运动目标匹配，从而进行跟踪。
Fig.1.1 Flow chart
图1.1 算法流程图
1.7论文的结构与内容
第二章 叙述了人脸跟踪系统的组成原理，并介绍了硬件知识。介绍了存储于计算机的数据格式，视频图像的采集，图像基本知识和开发工具。
第三章 对图像进行预处理，包括彩色图像转换成灰度图像和用中值法对图像进行滤波去噪两个部分。
第四章 运动检测，采用的帧间差发检测运动区域，然后通过数学形态学中的膨胀法进行空洞填充，标记下各个联通区域，去除过小的区域，最终保留的面积较大的孤立区域即是待分析的目标。
第五章 人体的肤色检测，先对检测出来的运动区域进行光线补偿，然后采用Hsu R L肤色检测算法进行肤色检测，获得备选人脸区域。
第六章 基于五官特征的多尺度人脸检测。将备选人脸区域划分为若干特定大小的块，建立正面和侧面的人脸模板。改变划分块的大小，以达到检测大小不同的人脸的目的。用人脸模板整合Harr-like特征组合成强分类器，并且通过透视原理从中得到新的特征和鼻和嘴的结构特征，结合harr-like特征进行Adaboost人脸检测。
第七章 对人脸目标的跟踪。把检测到的人脸作为运动目标进行跟踪，采用kalman滤波进行目标的运动预测，并且提出了一种根据图像间协方差值来判定图像相似度的模板匹配法来进行运动目标匹配。
第八章 总结论文的工作，提出不足之处，并解决不总为未来的研究方向。

2 人脸跟踪系统的组成原理及硬软件知识
人脸跟踪系统主要是通过摄像机监控目标区域，使用数字图像处理技术自动检测目标区域中是否存在人脸，如果存在则在人脸处做标记进行跟踪。

2.1 人脸跟踪系统工作原理
（1）通过系统初始化，对系统中的参数进行设定，如每秒采集图像的帧数等。由图像采集系统将摄像机摄取的视频图像按序列连续捕捉下来并数字化，存入帧缓存中。
（2）将这些采集到的序列数字图像进行预处理（灰度化、滤波除噪）。
（3）对预处理后的图像进行运动检测，肤色检测，获得备选人脸区域。
（4）在备选人脸区域进行人脸检测。
（5）对检测到的人脸进行跟踪。

2.2 人脸跟踪系统的硬件构成
人脸跟踪系统的硬件由摄像机、图像采集卡、控制处理计算机、显示设备组成。
1．摄像机
视频检测系统的摄像机采用CCD摄像机。CCD摄像机是通过强光照射在加有外加驱动时钟脉冲电压驱动下的CCD光敏面上完成电荷注入、电荷转移、电荷输出实现视觉信息的获取、保留、传输的仪器。CCD摄像机采用CCD电子藕合器件替代摄像管，在硅片上集成了以阵列分布的成像单元及相应的控制电路、输出电路。CCD摄像器件具有小型、轻重量、长寿命、低工作电压、图像无几何失真、抗灼伤等优点。目前，工业用的摄像机绝大多数的为CCD摄像机。CCD摄像机拍摄的图像质量与CCD的数量、CCD的感光面积、CCD的工作方式有很大关系。
2．图像采集卡
摄像头传送过来的电信号与计算机之间的接口是图像采集卡。采集卡就是将其他数据源（如电视机，模拟录像机、VCD机、数字摄像机）等输出的视频数据或者视频音频的混合数据导入电脑，并转换成电脑可辨别的数据，存在电脑中，成为可以编辑处理的数字信号。模拟图像经过采样、量化以后转换为数字图像并输入、存储到帧存储器的过程，称为采集、数字化、获取、捕获、捕捉、抓取、抓帧等，因此视频采集卡也称捕获卡、获取卡、视频输入等。
目前图像采集卡种类繁多，其性能特征主要有以下几点，
（1）是否支持视频数据的硬件级处理
这点影响处理速度。
（2）帧速率的高低
帧速率的高低直接影响采集卡制作的视频文件能否流畅，以及CPU占用率的高低。
（3）分辨率的高低
分辨率是视频文件质量好坏的主要参数，如一般VCD的分辨率为352×288(PAL制式)和320×240(NTSC制式)，而DVD的分辨率一般为704×480(30fps)或704576(25fps)。大多数视频卡都具备硬件压缩的功能，在采集视频信号时首先在卡上对视频信号进行压缩，然后再通过PCI接口把压缩的视频数据传送到主机上。采集卡都是把获取的视频序列先进行压缩处理，然后再存入硬盘，也就是说视频序列的获取和压缩是在一起完成的，免除了再次进行压缩处理的不便。不同档次的采集卡具有不同质量的采集压缩性能。视频采集卡的工作方式可以是单帧采集或连续采集，可将采集的图像序列放在内存或磁盘上，可对图像进行压缩或不压缩。
3．控制处理计算机
由于模拟视频输入端可以提供不间断的信息源，视频采集卡要采集模拟视频序列中的