人机交互：第4章 人机交互技术--1.pptx

,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,4,章 人机主要交互技术,(,新一代人机交互技术,),人脸识别的特点,优点,非接触式采集，没有侵犯性，容易接受,可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用，这是其他生物特征识别技术不能替代的,方便、快捷,更符合我们人类的识别习惯（普通人并不具备指纹、虹膜、视网膜判别能力）,设备成本较低,不足,识别性能受外界条件的影响非常大,人脸识别的发展,从,20,世纪,60,年代末到现在，其发展经历了如下四个阶段：,正面人脸识别阶段,:,基于简单背景的正面人脸识别阶段是人脸识别研究的初级阶段，,开始于,60,年代末期,。基于简单背景的正面人脸识别通常利用人脸器官的局部特征来描述人脸，但由于人脸器官间并没有显著的边缘信息，当人脸表情变化时，这些特征也会受到较大的影响。因此，它的应用价值仅局限于正面人像,(,变形较小,),的识别。,基于多姿态表情的人脸识别阶段,:,基于多姿态表情的人脸识别阶段是人脸识别研究的发展阶段，最早,开始于,70,年代末期,，但到了,90,年代初期才被人们真正关注,。在早期的人脸识别中，对姿态、表情问题也有所涉及，但大多数识别方法是在限制人脸表情、姿态变化的基础上进行研究的，其方法缺乏一定的通用性。为了进一步提高通用性和识别效果，人们从,90,年代开始对姿态和表情问题进行了专门研究。,动态跟踪人脸识别阶段,:,动态跟踪人脸识别阶段是人脸识别研究的实用化阶段，它开始从纯理论阶段向大范围实用化阶段过渡。对于动态人脸跟踪识别的研究，,开始于,90,年代末期,。特别是“,9,11”,事件之后，各国对安全防范系统性能提出了更高的要求，这就更促进了动态人脸跟踪技术的快速发展。,三维人脸识别阶段,:,在二维人脸识别研究相对成熟的情况下，为了获得更多的特征信息，直接利用二维人脸图象合成三维人脸模型进行识别也成了该领域的,个主要研究方向。,代表性人脸识别算法,Rockefeller,大学,算法：局部特征分析,南加州大学,(USC),算法：基于小波变换特征的弹性模板图匹配技术,马里兰大学,(UMD),算法：基于,subspace,的线性判别分析,麻省理工学院,(MIT),算法：双子空间贝叶斯判别方法,PCA,检测与定位,识别与认证,特征提取,输入图象,识别结果,人脸识别系统构成,输入图像中是否有人脸,?,什么特征能够用来有效的表示人脸？,如何对输入的人脸图像进行识别分类？,检测,定位,识别,认证,人脸检测,是给定任意一幅图像，判断在这幅图像中是否有人脸出现；,人脸定位,的目标是确定人脸的在图像中的位置；,人脸识别,则是将一幅输入的人脸图像与数据库中的图像进行比较并且得出相似度，从而得出输入的人脸图像是否属于数据库中的某个人的图像；,人脸认证,是确定当前待检验的人脸是否与数据库中某个特定人脸一致。,人脸检测与人脸识别的关系,区别：,采用特征不同,处理的图像模式尺寸不同,可供训练的样本数量相差很大,联系,:,关注目标相同，可以互相借鉴,人脸检测与定位,人脸检测方法,基于显式特征的方法,:,根据观察与分析，总结出人脸区域不同于非人脸区域的一些“不变量”,/,特征如肤色与器官，然后利用模式识别中典型的特征提取和分类技术来判断被检测区域是否包含人脸的方法。,基于隐式特征,(,整体图像,),的方法,:,不需要进行特征提取和选择，直接对人脸区域图像本身作为一种模式进行分类，通过对大量的“人脸”、“非人脸”样本进行训练得到合适的分类器。,人脸检测的主要方法,(,基于显式特征,:,基于知识,/,规则,/,不变特征,),人脸模式的变化满足一定的规律,:,灰度分布、颜色信息、纹理信息等,根据人脸局部特征的空间位置及其集合关系来检测人脸,:,器官分布规则、轮廓规则、结构规则、比例关系、运动规则等。,具体方法,:(1),分析足够多的人脸图像样本，针对人脸的灰度、边缘、纹理等信息，建立一种关于人脸的知识库,;(2),检测时，首先抽取这些灰度、边缘等信息，然后检验它是否符合知识库中关于人脸的先验知识,存在的主要问题：,检测率不高，如果图像背景中存在类人脸区域，则必然会导致误检；,对于不同视角的人由于某些人脸特征不可见，所以不能使用这种方法检测；,用于描述人脸特征之间关系的规则不易设计，规则制定的过高或者过低会造成拒识或误识。,基于显式特征的方法在初期应用较多，现在往往把它作为其它检测方法的辅助手段。,人脸检测的主要方法,(,基于显式特征,:,模板匹配,),此方法一般是人为地先定义一个标准人脸模板，计算输入图像与模板的似然度；然后，确定一个似然度阈值，用以判断该输入图像中是否包含人脸,标准人脸模板可以是固定的样板，也可以是带参变量的曲线函数,/,变形模板,固定模板，采用不同的匹配测度，将目标图象与标准模板相匹配,通过阈值判定是否存在人脸。人脸模板由包含局部人脸特征的子模板构成，对一幅输入图像进行全局搜索，计算与标准人脸模板中不同部分的相关系数，通过预先设置的阈值来判断该图像窗口中是否包含人脸,.,如“双眼一人脸”模板,人脸轮廓,宽长比等,.,2.,变形模板,:,它用参数化的曲线模型，来逼近人脸图象的某些构件，如眼睛、鼻子和嘴唇等,检测时利用这些曲线进行“弹性”匹配。,Yullie,等人提出的弹性模板,是由一个根据被测物体形状而设定的参数化的可调模板和与之相应的能量函数所构成，能量函数要根据图像的灰度信息、被测物体轮廓等先验知识来设计,.,检测时，将可调模板在待测图像中移动，并动态地调整其参数，计算能量函数,.,当能量函数到达最小值时，根据其位置和参数所决定的可调模板形状应该达到与人脸形状的最佳拟合，这样就检测到了一幅人脸,.,变形模板人脸检测的特点,优点,:,由于使用的弹性模板可调，能够检测不同大小、具有不同偏转角度的物体,.,缺点,:,检测前必须根据待测人脸的形状来设计弹性模板的轮廓，否则会影响收敛的结果；当对图像进行全局搜索时，由于要动态地调整参数和计算能量函数，计算时间过长,.,人脸检测的主要方法,(,基于隐式特征,),将人脸检测视为人脸样本与非人脸样本两类分类问题，通过对人脸样本集和非人脸样本集的学习产生分类器,.,基于变换的方法,/,子空间方法,如特征脸法,人工神经网络,积分图像法,Boosting,方法,(,AdaBoost-based face detection,),支持向量机法,SVM,隐马尔可夫模型,(HMM),法,基于变换的方法,/,子空间方法：主要思想是将处于高维的原始数据空间，通过变换，转换为低维数据空间。,用待检测区域在子空间上的投影能量，即待检测区域到变换子空间的距离作为检测统计量，距离越小，表明越像人脸。,基于统计模型的人脸检测方法是目的比较流行的人脸检测方法，是解决复杂的人脸检测问题的有效途径,。,主元分析,(PCA),它根据图像的统计特性进行正交变换,(KL,变换,),，以消除原有向量各个分量间的相关性，变换得到对应特征值依次递减的特征向量，即特征脸。,具体的实现方法：同时使用,NXN,的“人脸”和“非人脸”样本，样本预处理后按行列顺序展开为样本向量进行主分量分解。采用,k,均值聚类方法在特征空间中建若干个“人脸”簇,(Clusters),，同时建立包围“人脸”簇的若干个“非人脸”簇，以使“人脸”与“非人脸”模式的边界区分开来。,这种方法的一大难点就是非人脸的样本很难获得。因为随着环境的不同而不同，非人脸区域很难有确定性,基于神经网络的方法：主要的思想是把人脸检测看作非人脸样本与人脸样本两大类，通过对人脸样本集和非人脸样本集进行学习训练以产生分类器,进行模式分类。,主要优点,:,由于人工神经网络,(ANN),高度的自适直性，它对于图像的容忍度相当高，对于平移、变形、噪声甚至局部残缺的图像都能够持一定的识别率，因而有时候可能会达到传统方法很难达到的可喜效果,对于人脸这类复杂的、难以显式描述的模式，基于,ANN,的方法具有独特的优势,致命缺点,:,一方面是用于训练输入的样本维数过高，计算量太大不容易收敛，搜索的过程也会很慢。另外一个问题就是很难找到一个标准的非人脸的样本，来适应各种情况,.,动态人脸检测,/,跟踪,动态人脸检测与跟踪的解决思路可以归结为四类：,基于运动信息的方法：充分利用运动连续性规律，进行图象在连续帧间的跟踪、预测，以达到快速跟踪的目的。,基于彩色信息的方法：利用人脸彩色信息，提取人脸特征中相对固定不变的颜色信息,(,如肤色、虹膜等,),进行人脸检测，它具有速度快、姿态不变性等特点。,基于参数模型或模板的方法：通过获取目标的先验知识，建立参数模型，对输入的每一帧图像通过滑动窗口进行模型匹配，实现人脸跟踪。,基于人脸局部特征的方法：根据不同的人脸器官特征信息进行器官跟踪,。,特征提取,我们的眼睛靠什么特征来识别？,脸形与面部器官结构,:,长脸,圆脸,方脸，宽眼距,皮肤和肤色,:,光滑,/,粗糙，黝黑,/,白皙,局部特性,:,黑痣，刀疤，鹰勾鼻子，独眼龙,动态特征,:,酒窝，皱纹,人进行人脸识别的过程,远处辨人，主要是整体识别,(,整体特征,),近距离识别,，,局部部件特征更重要,(,局部特征,),特征分类,局部特征,几何形状（可变模版等）,:,如人脸器官,形状,具体形象,但是它和灰度特征一样受到光照、角度和表情的影响,人脸器官的位置，尺度，以及彼此间比率特征，以几何参数作为描述人脸的特征,整体特征,灰度表征特征（,eigenfaces,等）,频域特征（小波脸、,Gabor,脸等）,频域特征虽然相对较稳定，但作为低层次特征，不易直接用于匹配和识别,流形学习（,LLE,、,Lapalace,脸等）,人脸识别主要方法,早期人脸识别的主要方法,提取几何特征方法,，包括人脸器官规一化间距,间距比率,人脸的一些特征点,(,眼角、嘴角、鼻尖等,),所构成的二维几何拓扑结构；,模板匹配方法,，主要是利用计算模板和图象灰度的自相关性来实现识别功能,基于几何特征的识别方法,基于几何特征的人脸正面图像识别方法是通过人脸面部拓扑结构几何关系的先验知识利用基于结构的方法在知识的层次上提取人脸面部主要器官特征,将人脸用一组几何特征矢量表示，识别归结为特征矢量之间的匹配，基于欧氏距离的判决是最常用的识别方法。,识别所采用的,几何特征,是以人脸器官的形状和几何关系为基础的,特征,矢量，最通常包括人脸指定两点间的欧氏距离、曲率、角度等,基于几何特征的例子,建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸,人脸图像,f,特征向量,v=(x1,x2,xn),对所有已知人脸提取同样描述的几何特征,D=v1,v2,.,vp,待识别的人脸,f,提取的几何特征为,vf,计算,vf,与,D,中所有,vi,的相似度,s(vf,vi),(,比如欧式距离、,cosine(,.,),等,),，进行排序,根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息,基于几何特征识别的特点,优点,:,符合人类识别人脸的机理，易于理解；,对每幅图像只需存储一个特征矢量，存储量小；,对光照变化不太敏感。,缺点：,从图像中抽取稳定的特征比较困难,;,对强烈表情变化和姿态变化鲁棒惟较差,;,造成部分信息丢失，适合于粗分类。,模板匹配法,一种经典的模式识别方法，这种方法大多是用归一化互相关，直接计算两幅图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。,基于模板匹配的例子,建模,2D,灰度矩阵，按行向量化为,1D,向量,所有图像均表示为这样的向量,识别,计算输入图像的向量与已知人脸库中所有向量的相似度,/,相关程度，排序即可给出识别结果,目前人脸识别的主要方法,基于局部特征的方法,:,将人脸基准点的相对比率和其它脸部特征的形状参数或类别参数等一起构成,识别特征向量,;(,基于局部特征的人脸特征提取方法已不是研究的主流，只有同其它方法结合起来使用才能达到较好的效果,.,),基于整体特征的方法,:,它考虑了模式的整体属性，如特征脸方法、,SVD,分解的方法、弹性图匹配方法、隐马尔可夫模型方法,、,神经网络方法等；,值得关注的基于,整体特征的,新方法,:,LLE(,Locally Linear Embedding,),ISOMAP,目前基于局部特征的人脸识别,基于局部特征的人脸识别是利用每个人的面部特征,(,眉毛、眼睛、鼻子、嘴巴和面部轮廓线等,),的位置、大小及其相互位置的不同来进行特征提取，达到识别的目的,例如，,Poggio,和,runelli,用改进的积分投影法提取出用欧氏距离表征的,35,维人脸特征矢量,用于模式分类,目前基于局部特征分析的典型方法,弹性模板,方法,:,弹性模板由一组根据特征形状的先验知识设计的可调参数所定义。将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛模板和下巴模板等。,部件建模的方法是利用曲线去拟合部件、分析部件的形状比较直观,弹性模板方法要点,模板：器官形状的参数描述形式,(,先验,),直线、圆、抛物线、四次曲线等,这些模板的获得必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘。,能量函数：定义模板与图像的匹配程度,变形：多参数非线性函数极小化,优化问题,梯度下降法,坐标轮换法,其它优化算法,目前基于整体特征的识别方法,(,较流行的方法大多数是基于整体特征的,),基于统计模型的方法,/,子空间方法,PCA/,特征脸,双子空间贝叶斯判别方法,TPCA,LDA/Fisherface,subspace LDA,ICA(Independent Component Analysis),独立分量分析,基于奇异值分解,(SVD),的方法,基于局部特征分析的方法（,LFA,）,统计形状模型、统计纹理模型,其它,:Boosting,ASM/AAM,统计模型约束的参数优化,弹性图匹配方法,(Elastic Graph Matching,Face Bunch Graph Matching),基于神经网络的方法,SVM,方法,基于,HMM,的方法,基于,3D,形变模型的方法,(3D Morphable-Model),特征脸,(Eigenface),方法,Turk&Pentland 1991,年提出,本质上与,PCA,，,K-L,变换没有区别,基本思想,任意输入图像可以表示为若干,“,特征脸,”,的线性组合,线性组合的系数反映了该人脸的特性,被用作人脸特征,特点,全局特征，不能建模局部特征,可以有效的判断是否人脸,用于检测,受光照、角度和人脸尺寸等因素影响,独立分量分析方法,(ICA),ICA,是近几年才发展起来的一种新的统计方法,.Bartlett,等采用独立分量分析方法,(Independent Component Analysis),识别人脸，获得了比,PCA,方法更好的识别效果。,与,PCA,相比，,ICA,有两个优势：,一是,ICA,获得的独立分量不需要满足正交关系，能够消除象素间的高阶统计相关性，而,PCA,只能消除象素间的二阶统计相关性；,二是,ICA,获得的一组矢量比本征矢量更具空间局部描述性，具有更好的人脸描述能力。,奇异值分解,(SVD),的方法,将图像矩阵的奇异值作为模式的特征矢量。,SVD,方法具有如下优点：,人脸图像的奇异值具有良好的稳定性，当图像上有小的扰动时，奇异值变化不大；,奇异值表示了图像的代数特征，是一种本质的,内在特征，在某种程度上，,SVD,特征同时拥有代数与几何两方面的不变性，即对图像灰度值的比例变化、平移、旋转和伸缩不变性。,弹性图匹配技术,研究表明：,Gabor,小波最符合人类视觉特性,建模：在若干关键特征点位置上计算多个,Gabor,小波系数,根据对综合,MIT,等人脸库所形成的包括,272,幅照片的综合人脸库，分别用,PCA,方法和弹性匹配方法进行识别试验比较，所得的,识别率,分别为,66%,和,93%,拓扑图的顶点采用了小波变换特征，它对于光照、尺寸、角度具有,一定的不变性,。另外。弹性图匹配能够容忍表情的变化。并在一定程度上能够容忍视角的变化。而这也是弹性图匹配方法优于特征脸方法的原因,弹性图形匹配能,保留二维图象的空间信息,，而特征脸方法在将图象排成一维向量后，则丢失了很多空间相关性信息,.,但计算较复杂,和大存储空间,是弹性匹配的一大缺点,神经网络方法,由于对人脸特征的精确描述是相当困难的，而神经网络的优势是通过学习的过程获得对这些规律和规则的隐性表达，它的适应性较强。,自从神经网络技术引入到人脸识别领域后，它一直是人们关注的热点，其中比较有代表性的方法有：混合型神经网络、卷积神经网络、基于概率决策的神经网络，主元神经网络等。,人脸识别评价指标,对识别问题,识别率,:,相似度最大的人脸是正确的比率,累积识别率曲线,:,正确识别结果在前,n,个候选中的比率,对验证问题,错误接收率,FAR(False Accept(/Alarm)Rate):,把李四判别为张三的比率,错误拒绝率,FRR(False Reject Rate):,把张三拒之门外的比率,等错误率,:FAR=FRR,评测相关问题,人脸库要求,规模在,1000,人以上（除非专门研究关键问题）,评测方法,Training Set,Test Set(=Gallery+Probe set),Gallery,和,Probe set,交集必须为空；,严格的讲，,Test Set,中的任意图像、任意人都不能在,Training set,中出现；,结果呈现,不能泛泛的介绍识别率：严格限定条件，最好同时给出测试库的情况,不要只问：你的算法识别率是多少？没法回答！,人脸图像数据库,人脸识别技术的经验评价系统：,FERET,、,XM2VTS,、,FRVT2000,和,FRVT2002,协议等。,FERET,人脸库，,1196,人,CMU-PIE,姿态光照表情人脸库，,68,人,Yale Face Database B,光照人脸库，,10,人,XM2VTS,多模态人脸库，,200,多人,AR,人脸库,JDL-PLEA,人脸库,9000,人,姿态光照表情饰物,其它人脸库，,Yale 15,人,ORL,MIT,FRVT2002,其它测试结论,1),对室内拍摄的图像识别性能较好；,2),对室外拍摄的图像，其识别性能仍需改善；,3),随着库图像和待识别的新图像之间拍摄时间间隔的增大，识别性能按每年约,5,的速度线性下降；,4),识别算法对正常的室内光照变化不敏感；,5),采用,3D,形变模型极大地提高了非正面人脸图像的识别性能；,6),男性比女性更容易识别，高出约,6,9,；,7),老人比年轻人更容易识别，每,10,年识别率增加约,5,；,8),随着数据库的增大，识别性能按其对数关系线性下降；,9),利用视频序列目前并没有获得比静态图像更高的识别性能，但是这只是静态对视频的测试结果，还没有测试视频对视频的性能。,技术挑战与进一步研究,姿态,(,人与摄像设备的位置关系,距离角度）,光照环境条件,饰物（眼镜帽子等）,化妆、整容,面部毛发,(,头发，胡须,),表情与精神状态,健康状况,年龄变化,意外损伤,技术挑战与进一步研究,1),准确的人脸检测是提高人脸识别性能的前提。,2),人脸的局部和整体信息的相互结合能有效地描述人脸的特征，如何更好地提取和组合局部与整体的特征值得深入研究。研究新的人脸描述方法以获得准确的人脸描述和区别信息，避免完全不相似的人脸图像被认为是相似的。基于混合模型的方法值得进一步深入研究，以便能准确描述复杂的人脸模式分布；,3)3D,形变模型可以处理多种变化因素，具有很好的发展前景。,4),视频能提供更多信息，如何有效地利用这些信息是一个重要的研究方向；,5),不同的人脸描述方式有不同的特点，不同的分类器产生的分类结果也不一样。因此，多特征融合和多分类器融合的方法也是改善识别性能的一个手段；,6),大多数自动人脸识别技术具有实时要求，因此，新的算法要快速、有效且易于实现。,