基于混合特征与信息熵的人脸微表情识别算法.pdf

197第40 卷第6 期2023年6 月机真计仿算文章编号：10 0 6-9348（2 0 2 3)0 6-0 197-0 5基于混合特征与信息熵的人脸微表情识别算法黄兴禄，药小珊*，陈希（成都大学计算机学院，四川成都6 10 0 0 0）摘要：采用目前方法对人脸微表情进行识别时，存在识别率低、精确度低、运算处理耗时长的问题。提出基于混合特征与信息熵的人脸微表情识别算法，利用二维Gabor小波变换提取人脸眼睛和眉毛的微表情特征，再利用信息提取人脸鼻子和嘴的微表情特征，结合整体面部特征加人到支持向量机中，并在Sigmoid函数基础上构建深度学习模型，将优化分类矩阵代人模型中进行多项式阶次训练，获取面部特征分类矩阵，并根据矩阵结果识别人脸微表情。实验结果表明，所提方法识别率高、精确度高、运算处理耗时短。关键词：混合特征；信息炳；特征提取；支持向量机微表情识别中图分类号：TP301.6文献标识码：BFace Micro-Expression Recognition Algorithm Based onHybrid Features and Information EntropyHUANG Xing-lu,GOU Xiao-shan*,CHEN Xi(School of Computer Science,Chengdu University,Chengdu Sichuan 610000,China)ABSTRACT:Due to the low recognition rate,low accuracy,and long computing time in current methods,this paperputs forward an algorithm based on mixed features and information entropy to recognize facial micro expressions.Themicro-expression features of human eyes and eyebrows were extracted by the two-dimensional Gabor wavelettransform at first.Moreover,the micro-expression features of the nose and mouth were extracted by informationentropy and then added to the support vector machine after being combined with the overall facial features.Mean-while,a deep learning model was constructed based on the Sigmoid function.After that,the optimized classificationmatrix was substituted into the model for polynomial order training to obtain the facial feature classification matrix.According to the matrix result,the facial micro-expression could be recognized.Experimental results show that theproposed method has high recognition rate,high accuracy,and short computing time.KEYWORDS:Mixed feature;Information entropy;Feature extraction;Support vector machine;Micro-expression recognition1引言人脸的面部微表情一直被认为是人类情绪最真实的写照，当一个人试图隐藏自身情绪1、故作轻松或伴装快乐时，研究员可以通过观察说谎者的微表情，例如偶有几顿的皱眉、撇嘴、眼神失焦等，这些转瞬即逝且无法模仿、控制的自发式微表情，能让研究员捕捉到说谎者当下最真实的情绪。尽管研究员通过众多的培训锻炼，已经具备了专业知识和辨识能力，但单靠人工识别人脸微表情在准确率和时间成本方面均不能做到高效精确，因此，依赖互联网技术与相关算法收稿日期：2 0 2 1-12-0 8修回日期：2 0 2 2-0 2-2 3识别人脸微表情2 已经成为近年来研究的热点。李国豪3 等人通过观察公安部门的嫌疑人审问过程和医院门诊的患者心理测试，针对试图隐藏真实情绪的嫌疑人和患者的面部肌肉运动进行解析，并在注意力区域模型中输入肌肉运行曲线解码单位顿内肌肉变化幅度，最终输出微表情肌肉解码数据，实现人脸微表情的识别，该方法存在识别率低的问题。赖振意4 等人通过多卷积层计算微表情持续时间和表情牵动五官产生的细微幅度获取微表情特征,并在空洞卷积核中计算表情特征权重，完成微表情特征提取，再利用CASME分类器对特征数据集进行实时分类，实现人脸微表情的识别，该方法存在精确度低的问题。吴进5 等人通过视觉几何网络中的短期记忆卷积网络和长期记忆卷积网1982.络分别对人脸微表情数据进行时域特征和空域特征的提取，将提取到的数据集拟合，获得囊括时域、空域两种特点的扩增序列，在扩增序列中加人批量丢弃算法，最终获得微表情识别矩阵，根据矩阵结果实现人脸微表情识别，该方法存在运算耗时长的问题。为了解决上述方法中存在的问题，提出基于混合特征与信息熵的人脸微表情识别算法的方法。2基基于混合特征与信息熵的人脸微表情特征提取1基于混合特征的眼睛及眉毛区域的微表情特征提取混合特征的主要存在形式是二维Gabor小波变换6 ,其小波系数具备良好的颜色信号提取特性和生物纹理提取特性，因此混合特征常用于人脸表情图像的处理和识别等领域。二维Gabor小波变换函数表达式如下y:)(y:2,)(.(y,2)=10g282283)-1og(*s)(1)式中，e表示为小波变换失波常数;f（y，）表示小波的区域模f(:：,)块识别频率表示当Gabor小波组谱系数为z时，小283波变换的特征提取满足2 8;log2（y:z）表示小波变换信号对应的微表情图像特征参数；y表示小波变换的方位向量。1）颜色信号提取特性正常情况下，普通的扫描仪器在对人脸微表情识别时，会由于偏色现象导致人脸微表情识别结果出现不自然、不精细等问题，为了避免这种偏色现象导致的微表情“维数灾难”，混合特征结合可量化小波色频HSV对人脸微表情颜色信号进行特征提取，设眼球、眼白、眉毛的颜色取值为（s,f，z），可量化小波色频HSV表达式如下S=(l-S)/l-log2(s,f,z)F=(l-F)/l-log2(s,f,z)(2)z=(l-Z)/l-log2(s,f,z)式中，l表示小波色频系数；log2（s,f,z)表示人脸微表情图像色彩丰富度。S、F、Z分别表示人脸微表情图像中的眼球、眼白和眉毛的可量化颜色特征维数。首先选定图像颜色空间，规定人脸微表情颜色维数阈值为s,f,zE0,60,再利用非等间隔和等间隔两种方法,将微表情所包括的全部色调划分为7 2 维矢量区间和50 维矢量区间，7 2 维矢量区间表示为fh=1,1,4Q=30n=1,4,1,9(3)(60ifmE 1,9,1,1050维矢量区间表示为：0h=3,4,1P=30n=3,7,6,9(4)(60mE 5,12,9,11式中，h、n、m 分别表示两区间的饱和度、色彩偏光属性和亮度。经过对比，可见两区间存在间隔量化差别。根据缩减特征维数算法在两区间内分别加人F、P、O 三项权值参数，7 2维矢量区间输出计算量小、复杂性高、效率低的人脸微表情颜色信号特征数据，50 维矢量区间输出计算量大、复杂性低、效率高的人脸微表情颜色信号特征数据。缩减特征维数算法的表达式如下g=max(h,n,m)-min(h,n,m)/Z(F,P,0,)(5)式中，u表示人脸微表情信号提取数据的复杂程度；j表示缩减特征维数向量。选择量化基数、色频带宽度更优的50 维矢量区间作为微表情颜色特征维矢量矩阵，继续下一步人脸微表情特征提取。2)生物纹理特征提取运用设备对人脸微表情进行纹理特征进行提取的过程中，图像中的自然光线起到决定性作用，自然光线位置合理、光线柔和的图像与自然光线位置闭塞、光线犀利的图像在统计纹理特征提取率方面具有显著差异。在纹理特征提取过程中考虑自然光线的影响，是混合特征提取方法的一项优势。自然光线最佳取值可以根据光线的轨迹矩阵获取T2i+2+mT2T2T2=(6)L(+1)(+2)L(+m)TL通过光信号奇异值分解原理获取光信号奇异值分解原理表达式如下A(n,m)ight=IXT(7)mxl式中，t表示光信号频率；1xl表示自然光线位置序列；8 表示自然光线射频波形；（n，m）表示自然光线的最佳取值。混合特征采用灰色共生矩阵的方法对符合自然光线最佳取值的人脸微表情图像进行纹理特征提取。灰色共生矩阵的表达式如下：Ci-1W1k2(n,ml d,入)n,m+ori-1(n-m)W2(n,mI d,入)(8)n,m?o2i-1-1W3logzk2(n,ml d,入)m?0式中，入表示人脸微表情图像灰度变化均一率参数；d表示处Ci-1于共生矩阵边缘及对角线的均匀性较差的纹理特征；n,m#0k(n,mld,入）表示人脸微表情图像的纹理清晰度和对比度，其中，n的取值越大，图像纹理清晰度越高，m的取值越199大，图像纹理对比度越高，当k为0 时，图像没有纹理，属于淘汰的失顿图像。2.2基于信息熵的鼻子及嘴区域的微表情特征提取信息熵由多种小波信号频带组成，因而在描述局部微表情特征时，常表现出以小波包7 为单位的非线性熵定量异谱。利用多分辨率信号频谱的Mallat算法8 对小波包进行分解，可以提取到区域微表情变量特征信息，这些变量特征信息投射到人脸上，恰巧对应人脸鼻子及嘴的区域。Mallat算法表达式如下2m5-2kke0,1(9)2myj+2kYkeo,1S.式中，o表示信息熵小波常数；Si表示第i簇小波包分解后的特征信息总量;ke0,1表示小波包空间的尺度范围;Sil表示特征信息所对应的人脸微表情序列系数。在小波包分解的基础上，根据信息熵关联算法对所提取的区域微表情变量特征信息进行优化处理，主要目的在于强化微表情特征，使粗糙的特征数据蜕变成具备色彩、纹理的高维特征序列。信息熵关联算法表达式如下2x2(x)p(i)/(x)(i)FPH(a)pG)I s,t I=j=1j=j=1(10)式中，f(x）表示联合算法的能量熵；s表示颜色信号指数；t表示纹理分布复杂度；p(i)表示信息熵优化率。通过混合特征与信息摘的共同协作，完成人脸微表情特征提取，为下一步支持向量机对特征的分类奠定了坚实的基础。3支持向量机的分类支持向量机（SupportVectotMachine,SVM）是依赖统计算法的一种新式识别分类模型,其图像特征输出的分类结果在查全率、查准率方面，都优于其它现有方法。支持向量机的具体操作原理为：首先将特征数据作为分离训练样本，根据线性函数将样本T，和T，分别置于相交不平行的两条分类线上，再运用归一化处理当前分类线平面，直至样本T，和T，所处的分类线归于平行，即最优超平面非线性函数推导完成，样本T，和T，称为此过程的支持向量，非线性函数输出结果称为支持向量机的特征分类矩阵。线性函数表达式如下Y X+g=0(11)式中，Y表示线性约束条件；X表示线性向量常数。对分类线平面进行归一化处理，使线性函数裂解为1Y(y),X(a)|=1,2,n,x;EQ,y;-1,0),同时满足平面约y:(YX)束条件-1-1,0,1,且i=1,2,m,这样就可;(YX)以推导出非线性函数。非线性函数的表达式如下nm=1W()=(12)2j=1式中，表示极大化泛函常数；表示分类平面最优解；（xi，y）表示特征样本总量，其编码序号分别为和y;W()表示特征分类矩阵。将上述混合特征与信息摘所提取的人脸微表情图像全部特征与非线性函数式结合，可以得到人脸微表情图像分类矩阵，其表现形式如下(0,0)(0,1)i(0,n)(0,0)(0,1)i(0,m)W()=Lp(0,0)pi(0,1)pi(0,n m)(13)尽管支持向量机输出的分类矩阵具有良好的人脸微表情识别能力，但由于此时的分类矩阵仅处于特征分类的浅层学习阶段，其对于人脸微表情识别还存在消耗时间长和成本高的问题,因此在分类矩阵的基础上完成深层特征学习，是一种提升微表情识别精确度、减少时间成本的全新策略。首先在分类矩阵中加人Larange乘子，处理矩阵的极值问题，获得回归置信度9 更高的优化分类矩阵。Larange乘子的表达式如下=sgn,ptf(x x)+goFlagrange(14)jElo,11式中，w表示Larange乘子内积运算常数;p表示矩阵权重矢量；t表示矩阵偏置系数；之pt表示当ije10,11时，矩ijelo,1l阵对于特征的敏感度；g表示优化矩阵的回归置信度阅值。在Sigmoid函数基础上构建深度学习模型，将优化分类矩阵代人模型中进行多项式阶次训练。满足Merce条件的分类矩阵理论上都属于核函数矩阵，但不同的核函数参数所对应的分类矩阵性能完全不同，多项式阶次训练的目的，就是在众多核函数矩阵中，选择参数最优，性能最强的分类矩阵，为此，需要在深度学习模型中设置两项限制条件，一是径向基函数10 ,其表达式如下CRBF=exp(x)-x2)/nm2(15)(xx)式中，x1-x2表示相邻两项核函数的参数差值。二是多项式核函数11,其表达式如下Ixx2l(16)Rlog2P式中,xx,表示相邻两项核函数的参数乘积;p表示多项式系数。深度学习模型12,13 的表达式如下Con=K-.(17)1ijs?0200式中，K表示模型学习能力；r表示多项式阶次训练次数；1i,js0表示核函数最优参数取值；Con表示性能最强的分类矩阵的输出结果，根据输出结果可以实现人脸微表情图像的识别14,15 4实验与结果为了验证基于混合特征与信息熵的人脸微表情识别算法的整体有效性，需要对其进行测试。在神经网络中构建三组虚拟人脸图像数据库，第一组称为0 RL数据库，收集10 0 个志愿者的10 0 0 张人脸微表情图像，这些图像中的志愿者性别、微表情各不相同，图像的光线照射方向也有较大差异，图像宽度和高度分别限制在10 0 像素和12 0 像素。第二组称为AR数据库，收集2 0 0 个志愿者的2 0 0 0 张人脸微表情图像，这些图像中的志愿者人脸角度、姿态及微表情各不相同，图像的比例也有较大差异，图像宽度和高度分别限制在150 像素和18 0 像素。第三组称为HD红外射线数据库，收集50 0 个志愿者的50 0 0 张人脸微表情图像，这些图像中的志愿者年龄、微表情各不相同，图像的拍摄角度也有较大差异，图像限制宽度和高度分别为10 像素和40 像素。以上述三组数据库为实验数据进行下列验证。1）人脸微表情识别率对比所提方法、文献3 方法和文献4 方法在上述三组数据库中的人脸微表情识别率。人脸微表情识别率对比如下表1所示。表1人脸微表情识别率对比数据库所提方法文献3 方法文献4 方法ORL99%79%79%AR99%80%85%HD100%93%87%由上表1可见，所提方法在三组人脸微表情数据库的识别率都高于98%，说明所提方法对于数据库内的图像样本处理效果好,识别性能强。文献3 方法和文献4 方法在三组人脸微表情数据库内的识别率较低，两者与所提方法存在较大差距。经上述对比可知，所提方法的识别效果较好。2）不同方法下的平均ROC曲线ROC曲线即感受性曲线，又称受试者工作特征曲线。ROC曲线作为综合向量衡量指标，主要描述持续性变量的敏感性和特异性。以三组人脸微表情数据库为基础，通过临界值计算法统计数据库内一系列微表情的平均ROC曲线，已知ROC曲线面积与识别准确率为正相关关系，即ROC曲线面积越大，识别准确率越高。不同方法下的平均ROC曲线如图1所示。由上图1可见，所提方法的ROC曲线位于其它方法的上方，即所提方法的平均曲线面积大，识别准确率高。文献3方法和文献4 方法的ROC曲线接近水平线，说明二者1.0一所提方法-文献3 方法0.8-文献4 方法0.60.4一0.200.20.40.60.81.0FAR图1不同方法下的平均ROC曲线的平均ROC曲线面积小，识别准确率低。经上述对比可知，所提方法优于传统方法，具有较高的精确度。3)运算复杂度除识别率、准确率外，还可以在每组人脸微表情数据库内随机选取1张图像，共计3张图像，进行运算处理时间的比对。假定三张图像的选择结果为a、b、c,观察所提方法、文献3 方法和文献4 方法的运算处理时间，不同方法识别同一张图像所用的时间如下图2 所示。所提方法文献3 方法文献4方法1.21.00.8/回相0.60.40.20图像a图像图像图2不同方法识别同一张图像所用的时间由上图2 可见，所提方法的三张图像运算处理时间均不超过0.2 秒,体现出所提方法的高效性。文献3 方法的三张图像运算处理时间均超过1.0 秒，文献4 方法的三张图像运算处理时间均超过0.8 秒,二者与所提方法存在一定差距。经上述对比可见所提方法能够使时间消耗和效率水平达到最佳平衡点，即所提方法用时短、效率高。5结束语微表情是一种相当短暂且不受思维控制的面部表情，通常出现在人类试图掩盖自身真实情绪的时候，由于微表情能够反映人类的心理状态，在现代生活中，微表情的识别常用201上接第191页）于刑侦、审讯、职场应聘或心理辅导等多种领域。随着社会发展逐渐科技化，微表情的识别也步入计算机依赖的时代。现有的微表情识别算法常与测谎领域相结合，如何在保证微表情高识别率的前提下，将微表情与心理反应间的能量关系表现出来，是下一步研究工作的重点。参考文献：1王菁，邹博超，刘瑞，等.隐藏情绪分析与识别方法J.心理科学进展,2 0 2 0,2 8(9)：142 6-1436.2张人，何宁.微表情识别研究综述J.计算机工程与应用，2021,57(1):38-47.3李国豪，袁一帆，贯皖烨，等.采用时空注意力机制的人脸微表情识别J.中国图象图形学报，2 0 2 0,2 5（11）：2 38 0-2 390.4赖振意，陈人和，钱育蓉.结合空洞卷积的CNN实时微表情识别算法J.计算机应用研究，2 0 2 0,37（12）：37 7 7-37 8 0,38 35.5吴进，闵育，马思敏，等.一种基于CNN与LSTM结合的微表情识别算法J.电讯技术,2 0 2 0,6 0(1)：1-7.6朱晓玲，李琨，张长胜，等.基于Gabor小波变换和多核支持向量机的电梯导靴故障诊断方法J.计算机科学，2 0 2 0，47(12):258-261.7赵肖雪，辛正祥，宋吉江，等.基于小波包多尺度分析的多时间窗行波相关法J.水电能源科学，2 0 19,37（9）：2 0 2-2 0 5.8李粮，田青林，钟明，等.基于Mallat算法的机载失速喘振辨识装置研制J.燃气涡轮试验与研究，2 0 19,32(6）：45-49.2Wang Zhongyuan&Wang Guangcheng&Huang Baojin&XiongZhangyang&Hong Qi&Wu Hao&Yi Peng&Jiang Kui&WangNanxi&Pei Yingjiao&Chen Heling&Yu Miao&Huang Zhibing&Liang Jinbi.Masked Face Recognition Dataset and ApplicationJ.arXiv:2003.09093cs.CV,20203D A Socolinsky,L B Wolff,J D Neuheisel.Illumination invariantface recognition using thermal infrared imagery C.IEEEComputer Society Conference on Computer Vision I&Pattern Rec-ognition,IEEE,2001.4Redmon J,Farhadi A.YOLOv3:An Incremental ImprovementJ.YOLO:Real-Time Object Detection,2018.5Zhu J Y,Park T,Isola P,et al.Unpaired Image-to-Image Transla-tion using Cycle-Consistent Adversarial Networks J.arXiv:1703.10593v7 cs.CV for this version,2017.6Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation withConditional Adversarial Networks J.arXiv:1611.07004v3 cs.CVJfor this version,2016.9于贤杰，张建伟，杨梦龙.基于回归回归置信度的多尺度精确人脸检测J.计算机工程与设计，2 0 2 0,41（1）：59-6 4.10李维勃，王国砚，钱志浩，等。基于径向基函数的冷却塔风场重构J.工程力学，2 0 19,36（5）：2 2 6-2 34.11王赞，景博，焦晓璇，等.基于自适应组合核函数的RVM剩余寿命预测研究J.电子测量与仪器学报，2 0 19,33（6）：59-68.12郑智聪，王红，齐林海.基于深度学习模型融合的电压暂降源识别方法J.中国电机工程学报，2 0 19,39（1）：97-10 4,32 4.13高晗，田育龙，许封元，等.深度学习模型压缩与加速综述.软件学报,2 0 2 1,32(1)：6 8-92.14刘蒂，李茂军，胡建文，等.基于低像素人脸图像的表情识别J.激光与光电子学进展，2 0 2 0,57（10）：97-10 4.15朱伟杰，陈莹.双流网络信息交互机制下的微表情识别J.计算机辅助设计与图形学学报，2 0 2 1,33（4）：545-552.作者简介黄兴禄（198 6-），男（汉族），四川成都人，硕士，实验师，研究方向：智能教育、实验室管理。苟小珊（198 6-），女（汉族），四川成都人，硕士，实验师，研究方向：图像处理、模式识别、实验室管理(通讯作者)。陈希（198 9-），女（汉族），河南商丘人，硕士，讲师，研究方向：认知心理学、心理语言学。7张天序，苏轩，李正涛，郭诗嘉，郭婷，彭雅。一种热红外人脸识别的方法及系统P.江苏省：CN111914761A，2 0 2 0-11-10.8张天序，郭诗嘉，李正涛，苏轩，郭婷。一种热红外图像的人脸检测方法P.江苏省：CN111209822A,2020-05-29.作者简介郭诗嘉（1996-），男（回族），安徽省合肥市人，硕士研究生，自2 0 19年至今就读于武汉工程大学。主要从事人脸识别，计算机视觉和红外仿真的研究。郭婷（1995-），女（汉族），河南省商丘市人，硕士研究生，主要研究领域为热红外光谱融合的人脸识别算法与目标特性仿真的研究。张天序（1947-），男（汉族），湖北省武汉市人，教授，博士生导师，兼职研究员，研究方向为图像分析与目标识别，精确制导智能化信息处理，医学图像处理，实时并行处理，工频电磁场探测等。