人机交互：第4章 人机交互技术--2.ppt

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,4,章 人机主要交互技术,(,新一代人机交互技术,),情绪心理,情绪表现、情绪体验和情绪生理这三种因素组成了情绪心理,.,面部表情是情绪心理由脸部运动而产生的外在表现,.,面部表情识别,人类语言分为自然语言和人体语言,(,或形体语言,),两类，面部表情是人体语言的一部分。,人的面部表情不是孤立的，它与情绪之间存在着千丝万缕的联系,是深层交互所需要的,在交流中起着至关重要的作用,。,面部表情,不仅告诉一些人的情感东西，还告诉我们一些有关人的认知行为、性格、气质、真诚和心理的信息,国际上表情分析与识别的研究工作可以分为基于心理学的和基于计算机识别的两类。,计算机,表情识别的难点,建立人脸表情模型和情绪分类，并把它们同面部特征与表情的变化联系起来。人脸是一个柔性体而不是刚体，,不能用经典的几何模型来进行识别分类，,很难把脸部运动和表情变化联系起来，根据表情图像序列的特点建立的动态表情模型才是一个完整的动态表情过程的描述。,人脸表情丰富，人类对表情有控制能力，表情的变化细微而复杂，对表情变化特点难以概括,表情特征提取的准确性和有效性困难,.,人脸表情识别涉及多学科相关知识,(,图像处理、计算机视觉、模式识别、应用心理学、生命科学、认知科学等,),。,检测与定位,表情识别,特征提取,输入图象,识别结果,面部表情识别系统构成,输入图像中是否有人脸,?,什么特征能够用来有效的表示表情？,如何进行表情分类？,人脸检测与定位方法,人脸图像检测与定位就是在输入图像中找到人脸确切的位置，它是人脸表情识别的第一步。人脸检测的基本思想是用知识或统计的方法对人脸建模，比较待检测区域与人脸模型的匹配程度，从而得到可能存在人脸的区域。其方法与人脸识别中的检测与定位方法一样,如：,(1),基于局部知识的人脸检测,:,是利用人的知识建立若干规则，从而将人脸检测问题转化为假设验证问题。,(2),基于整体统计的人脸检测,:,是将人脸图像视为一个高维向量，将人脸检测问题转化为高维空间中分布信号的检测问题。,举例,:,基于知识,(,显性特征,),的人脸检测,人脸规则是人脸遵循的一些几乎是普遍适用的空间相关性。如：,灰度分布规则,:,如五官的空间位置分布大致符合,“,三停五眼,”,等，人脸不同区域的明暗关系不变，眼睛的灰度总是比前额和颧骨低，鼻梁的灰度一般比两侧亮等。,轮廓规则,:,人脸的轮廓可以简单地看成一个近似椭圆，而人脸检测可以通过椭圆检测来完成。,运动规则,:,通常相对背景人总是在运动的，利用运动信息可以简单有效地将人从任意复杂背景中分割出来。,举例,:,基于知识,(,显性特征,),的人脸检测,颜色、纹理信息：,同一种族人的面部肤色在颜色空间中的分布相对比较集中，颜色信息在一定程度上可以将人脸从大部分背景区分开来。,对称性：,人脸具有一定的轴对称性，各器官也具有一定的对称性。,Reisfeld,提出广义对称变换方法 检测局部对称性强的点来进行人脸器官定位。,定位与归一化,在对人脸表情特征提取和分类之前一般需要做几何归一化和灰度归一化。,几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小；,灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克服光照变化的影响而提高识别率。,特征提取与识别,特征提取,目前所用到的识别特征主要有：灰度特征、运动特征,/,形状特征,和频率特征三种。,灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。这种情况下要求图像对光照、角度等因素要进行充分的预处理，使获得的灰度值具有归一性。,运动特征利用了不同表情情况下人脸的主要表情关键点的运动信息来进行识别。也称之为形状特征,.,频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。,另外纹理特征,即面部区域的纹理信息也是一种有效信息,人脸表情特征分类,持久性表情特征,:,包括嘴巴、眼睛和眉毛，决定了基本表情状态,.,瞬态表情特征,:,包括脸颊和额角皱纹的瞬间变化，能在一定程度上揭示表情状态。,实验表明，嘴角形状对表情的影响最大，其次是眼睛和眉毛，而皱纹变化属于动态特征，且受年龄等因素影响较大，对表情的贡献不大，甚至会对表情识别产生不利影响。因此表情识别应重点提取嘴巴、眼睛和眉毛等局部表情特征，并忽略皱纹的变化。,表情特征提取方法,基于静态图像的表情特征提取,:,处理的是单帧静态表情图像，一般要求该图像反映的表情处于夸张或极大状态，使得提取的表情特征更为典型，这类方法主要包括主成份分析,PCA,、奇异值分解以及基于小波变换的方法等。,基于视频序列的动态表情特征提取,:,处理的是表情图像序列，目标是提取表情特征的变化过程。光流模型,(Optical Flow Models),是提取动态表情特征的典型方法。,表情识别方法分类,在具体的表情识别方法上，主要有：,几何特征法,整体识别法,局部识别法,形变提取法,运动提取法,几何特征法,人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和相对位置的各种变化才使得人脸表情千差万别，因此对这些部件的形状和结构关系变化的几何描述，可以作为人脸表情识别的重要特征。,几何特征法是根据人的面部的各个部分的形状和位置,(,包括嘴、眼睛、眉毛、鼻子,),来提取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢量的不同就可以识别不同的表情。,它主要是对人脸表情的显著特征，如眼睛、鼻子、眉毛、嘴等的位置变化进行定位、测量，确定其大小、距离、形状及相互比例等特征，进行表情识别。,几何特征法的特点,基于几何特征的方法很大程度上减少了输入的数据，但是用有限的特征点来代表人脸图像，一些重要的表情识别和分类信息就会丢失。,实验研究表明几何特征提取的精确性结果不容乐观。现在对于人脸图像处理技术，基于整体的正面灰度信息的方法越来越引起重视。,整体识别法,与基于几何特征的识别方法相比，基于整体的识别方法主要强调尽可能多的保留原始人脸表情图像中的信息，通过对整幅人脸表情图像进行变换，获取特征来进行识别。,这种全局表情特征未必有明确的含义，但在某种意义上是易于分类的。,整体识别法原理与方法,整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，,它通过对整幅人脸或人脸图像中特别的区域进行变换，获取人脸各种表情的特征,找出各种表情下的图像差别,来进行识别。,典型的方法有：,基于特征脸的主分量分析法,(PCA),独立分量分析法,(ICA),Fisher,线性判别法,(FLD),局部特征分析,(Local Feature Analysis,，,LFA),Fisher,运动法,(Fisher Actions),聚类分析法,局部识别法,就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一样。比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表情。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。,其中最典型的方法就是脸部运动编码分析法,(Facial Actions Code System,，,FACS),和,MPEG,一,4,中的脸部运动参数法。其他的还有局部主分量分析法,(Local PCA),、,Gabor,小波法和神经网络法。,形变提取法,是根据人脸在表达各种表情时的各个部位的变形情况来识别的，主要的方法有：主分量分析法,(PCA),、,Gabor,小波、运动模板法,(Active Shape Model,，,ASM),和点分布模型,(Point Distribution Model,，,PDM),法。,运动提取法,是根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的运动这一原理来识别的。在上面提到的,6,种基本的表情中，脸上一些固定的特征点,(,或部位,),的运动方向或趋势是固定的，比如说人在恐惧的时候，眼睛张开的幅度应该比正常时要大，嘴一般是张开的等等。典型的识别方法有：光流法,(Optical Flow),和,MPEG-4,中的脸部运动参数法,(Face Animation Parameter FAP),。,上述分类方法不是严格独立，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路，相互联系，相互影响。,有很多种方法是介于两者甚至是三者之间。例如面部运动编码系统法是局部法的一种，同时也是从脸部运动上考虑的。,HMM,动态人脸表情识别,人脸表情图像库,暂时没有一个很全面的标准图像表情库,起初,Ekman,和,Ffiesen,系统地建立了一个有上千幅不同人脸表情的图像库。,近来美国,CMU,机器人研究所和心理学系共同建立了,Colm,Kanade AU,Coded,人脸表情库。现有,210,个,18,到,50,岁成年人的脸部表情图像序列。,CMU,还建立有,PIE,表情库，其中包括,68,人的,41,，,368,幅图像。,加州大学圣克鲁兹分校知觉实验室的人脸运动表情图像库是基于,FACS,主要用于神经网络方法分类面部行为的训练图像。,日本,ART,建立了日本女性表情数据库,JAFFE,。,还有耶鲁大学、普渡大学、马里兰大学也各自建立了自己的人脸表情图像库。,面部表情识别系统建造需要考虑的问题,1),图像拍摄的环境：,它不仅仅涉及到灰度,(,彩色就是亮度、色度、饱和度等信息,),，而且还涉及到背景的复杂性；,2),图像的分辨率：,高分辨率的图像能更多反映图像的细节，对面部表情识别而言，细节方面很重要，不仅有的算法就是从细节入手，而且还因为各种算法本身都是基于细节上的差别的，比如说眼角的上翘，眉毛的变化等等；,3),对人脸表情特征的有效选择：,不同的算法提取的特征数是不一样的，从几十个,(FACS,，,Gabor,小波,),到几百个,(PCA),，这样怎样选取能有效表达人脸面部表情的特征就十分重要。它涉及到算法效率和速度；,4),算法的复杂性和有效性：,这一条主要是对应用而言的，希望是采用不太复杂的算法就能获得比较高的识别率；,5),与生理学和心理学的互动结合：,现有的计算机自动表情识别把图像当作一个纯粹的客观物体来研究，没有考虑到它是人这一生物体的一个重要部分，在很大程度上表现了人的心理活动，所以如果结合这两个方面的最新研究成果一定会取得更好的识别结果。,表情识别系统重要因素,人脸表情识别是一个跨学科富挑战性的前沿课题，但目前还只是研究课题尚没有进入实用化的领域。成功的人脸表情识别系统,(,针对二维图像,),至少要包括以下几个因素：,(1),由于外部干扰不可避免，预处理的效果会直接影响识别结果，所以图像预处理要尽量保留有用信息并且抑制和分隔外界干扰。,(2),细节是区分人脸表情的关键，因此选择方法要充分考虑人脸表情细微的形变。,(3),对于人脸表情的各种特征表达方法需要进行比较和选择，要找出合适的人脸表情特征表达方法。,