生成式方法在戴面罩热红外人脸识别中的研究.pdf

187第40 卷第6 期2023年6 月真机仿计算文章编号：10 0 6-9348（2 0 2 3)0 6-0 18 7-0 5生成式方法在戴面罩热红外人脸识别中的研究郭诗嘉1，2,郭婷！，张天序2（1.武汉工程大学电气信息学院，湖北武汉430 2 0 5；2.华中科技大学图像识别与人工智能研究所，湖北武汉430 0 7 0)摘要：随着人工智能技术的发展，可见光人脸识别大放光彩。但是可见光无法解决面部有遮挡的问题，因此限制了它在国家安全方面的应用范围。因为可见光无法透过遮挡物从而被相机接收，所以丢失了大量信息。现实中如果佩戴面罩，鼻子、嘴巴、脸颊等大部分的特征将会丢失，则会导致可见光人脸识别的识别率大大下降。而热红外技术有解决该问题的可能，因为人脸散发的热量可以透过面罩，被热红外相机获取。首先提出了一种面罩检测的神经网络，通过对目标检测方法进行改进，设计并实现了适用于热红外戴面罩检测的算法。实验表明，上述方法在保证检测精度的同时，具有更快的检测速度。在研究构建的数据集上，mAP为96.5%，Fps为38。其次，被面罩遮挡后，鼻子嘴巴等热可以透过面罩，并在热红外图像中有体现。利用佩戴面罩和未佩戴面罩的数据作为样本训练对抗生成网络，训练一个可以去除戴面罩样本的网络。最后提出一种九宫格损失函数，用于对去面罩后的人脸进行识别的方法。上述方法在采集8 6 名志愿者戴面罩和未戴面罩的中波红外图像数据库中，进行了识别验证，识别率为8 9.6 8%。还提出了将来的工作方向，包括戴口罩人脸识别的研究。关键词：面罩；人脸识别；深度学习；中波热红外图像；生成模型中图分类号：TP183文献标识码：BResearch of Generative Method in Thermal InfraredFace Recognition with Face MaskGUO Shi-jia 1,2,GUO Ting,ZHANG Tian-xu?2(1.School of Electrical Information,Wuhan University of Engineering,Wuhan Hubei 430205,China;2.Institute of Image Recognition and Artificial Intelligence,Huazhong University of Scienceand Technology,Wuhan Hubei 430070,China)ABSTRACT:With the development of artificial intelligence technology,visible light face recognition is becomingmore and more popular.But visible light cannot solve the problem of facial occlusion,so it limits its application in na-tional security.Because the visible light cannot pass through the occlusion and is received by the camera,a lot of in-formation is lost.In reality,most of the features such as nose,mouth and cheek are lost,which will lead to a great de-cline in the accuracy of visible light face recognition.Thermal infrared technology can solve this problem because theheat emitted by the face can be captured by the thermal infrared camera through the mask.In this paper,a kind ofneural network for mask detection is proposed.Through improving the target detection method,an algorithm suitablefor thermal infrared mask detection is designed and implemented.The experimental results show that this method hasa faster detection speed while ensuring the detection accuracy.When the confidence threshold is 0.9 and the mini-mum cross-union ratio is 0.85,the detection accuracy is 98.54%.Secondly,after being covered by the mask,theheat such as nose and mouth can pass through the mask and be reflected in the thermal infrared image.In this paper,the data from both wearing masks and without wearing masks are used as samples to train the confrontation generationnetwork,and a network that can remove wearing mask samples is trained.Finally,a nine-palace loss function is pro-posed for face recognition after mask removal.This method has been applied to the MWIR image database of 86 vol-unteers with or without face masks,and the recognition rate is 89.72%.This paper also puts forward the direction of收稿日期：2 0 2 1-0 9-0 7修回日期：2 0 2 1-0 9-15188future work,including the research on face recognition with masks.KEYWORDS:Mask;Face recognition;Deep learning;Medium wave thermal infrared image;Generation model1引言可见光的人脸识别技术已经广泛应用于各个领域。但可见光的人脸识别技术无法在无外界光源的情况下进行工作，也无法对面部有遮挡物的人脸进行识别。当用面罩等遮蔽脸部时，基于反射的可见光相机无法探知被遮蔽的信息。COVID-19 是一场前所未有的危机,为了减少冠状病毒的传播，人们经常戴口罩保护自己。戴上口罩后，面部的某些部分被隐藏，这使得可见光人脸识别成为非常困难的任务。2020年，BadjiMokhtar等人通过丢弃可见光图像被遮蔽区域和深度学习的方法，来解决戴口罩人脸识别过程中的问题。2 0 2 0 年，Wang,Zhongyuan等人建立了目前世界上最大的真实可见光蒙面人数据集（largestreal-worldmaskedfacedataset),并且可以达到95%的精度2 热红外图像是热辐射成像，它是根据物体的红外辐射差异成像，红外热成像仪能够把物体表面自然发射的红外辐射分布转变为可见图像3。当有面罩遮蔽脸部时，面部的热会以不可抵挡的趋势，通过热传导和热辐射的方式被热红外相机获取，这一技术可以弥补可见光相机完全丢失被遮挡部分特征的不足。目前世界上还没有公开发表过利用热红外技术针对面罩遮挡问题的解决方法。本文利用自主建立的HUST-MIRMaskFaceDatabase，其中包括8 6 名志愿者佩戴面罩和未佩戴面罩的数据，约2 7 万张。本文通过神经网络的方法，首先实现面罩的检测任务，之后实现去除面罩的技术，最后对去除面罩的图像进行识别。2戴面罩热红外人脸识别算法流程本文热红外人脸识别的算法流程：采集戴面罩的热红外人脸图像，建立了自己的戴面罩的红外图像人脸数据库。本数据库采集了8 6 名志愿者的戴面罩和未戴面罩的热红外人脸数据，总计2 7 万张。之后将图像做灰度归一化处理。本文的算法均在该人脸数据库上测试。训练部分：)对于灰度归一化后的戴面罩和未戴面罩的热红外人脸图像，手动标记出图像中人脸的位置，送人卷积神经网络，进行代多次训练。生成面罩检测神经网络CNN1。将未戴面罩的热红外人脸图像和戴面罩的图像一起送人生成对抗网络学习，迭代训练出去除面罩网络CNN2。将去除面罩后的热红外人脸图像和未戴面罩的图像送人卷积神经网络CNN3训练特征提取器和分类器测试部分：利用训练好的面罩检测网络CNN1进行验证，检测出是否戴面罩。利用训练好的去面罩网络CNN2,去除戴面罩样本的面罩。利用网络CNN3训练的特征提取器和分类器，对验证集中去面罩后的图像和未戴面罩的人（a）戴面罩的可见光图像（b）戴面罩的热红外人脸图像图1戴面罩的可见光和红外图像对比图脸图像进行识别。3热红外人脸的面罩检测算法3.1数据集的处理本文利用14位数据的中波红外热像仪，建立了华中科技大学中波面罩热红外数据库（HUST-MIRMaskFaceData-base）。H U ST-M I R M a s k Fa c e D a t a b a s e 包含8 6 名志愿者的热红外人脸数据，每位志愿者均包含戴面罩的数据和未佩戴面罩的数据，共计2 7 万张。对热红外图像Img进行标准化处理，取最大灰度值为MAX,最小灰度值为MIN,对图像上所有像素进行如式(1)变换得到灰度归一化的图像Img。Img;-MIN;Img214(1)MAX,-MIN,在标记戴口罩和未戴面罩的人脸框时，选取眉毛为最上方，下巴处为最下方。标记2 50 0 0 张戴面罩的人脸图像和25000张未戴面罩的人脸图像。1893.2训练面罩检测的神经网络Yolov3是一种用于目标检测的算法4,其可以用于各种大小且不同形状的目标进行检测，直接将其用于热红外面罩检测中,其速度较慢,且误检框较多。人脸框近似为一个正方形，且其在数据集中的大小范围可以预知。本文采用修改Yolov3网络的锚点框（anchor box）可以达到检测准确和速度快的效果。Yolov3修改前拥有三个规模的anchor box，大规模的anchorbox为（116,90），（156,198），（37 3,32 6）。中规模的适合一般大小的物体，anchorbox为（30,6 1），（6 2,45），（59,119）。小规模的感受野最小，适合检测小目标，anchorbox为（10,13），（16,30），（33,2 3）。本文的FastAnchor的算法通过设计两个规模的anchorbox，大规模的anchorbox为（37 9,38 7），（2 51,2 92），（142,18 9），小规模的anchorbox为（190,193），（110,116），（54，45）。两种规模的框如图2所示。（a）大规模的三个anchorboxes(b）小规模的三个anchorboxes图2两种规模的anchorboxes标记S，张戴面罩和S，张未戴面罩的图像作为训练集，输人面罩检测网络中进行训练。本文次数（epoch）设置为200,批（batch）设置为8，输人图像设置为416*416，动量（mo me n t）设置为0.9，衰减（decay）设置为0.0 0 0 5，学习率（Ir）设置为0.0 0 1,色彩饱和度（saturation）设置为1.5，曝光度（exposure）设置为1.5,色调变化范围（hue）设置为.18 ，训练时间为8 3个小时。3.3测试面罩检测的神经网络本文采用mAP作为热红外面罩检测的评价指标，采用Fps作为检测速率的评价指标，文中的检测网络在测试集上mAP为96.5%，Fps为38。检测未戴面罩如图3（a），检测戴面罩如图3(b)。（a）检测出未戴面罩的人脸（b）检测出戴面罩的人脸图3面罩检测结果图热红外人脸的面罩检测算法4.1训练去除面罩的神经网络当人脸佩戴面罩后，被面罩遮挡的部分的热依旧可以以热的形式透出，被红外热像仪捕捉。本文的思想是通过神经网络寻找有无戴面罩人脸之间的映射关系，之后通过映射关系，恢复被面罩遮挡的区域。Cyclegan5是一种图像迁移的算法，它可以将一类图片转化为另一类图片。但是与其它的Gan网络不同的点是，Cyclegan不需要配对的训练图像。本文选取0-59号志愿者为训练集，6 0-8 5号志愿者为测试集。训练集分为real_A和real_B两个部分，设置real_A为戴面罩的人脸图像，如图4(a)所示。real_B为不戴面罩的人脸图像，如图4(b）所示。训练集中real_A和real_B各50000张。Cyclegan中拥有两个Gan网络，每一个Gan网络都有一个生成器和一个判别器。与传统的单向Gan网络不同的在于，它将两个镜像的Gan网络形成了一个环形网络，两个Gan网络相互对抗，共享信息，共同学习。Gan网络中的生成器（Generator）采用一个Resblock组成的网络，降采样部分用stride卷积，增采样部分采用反卷积。判别器（Discriminator）采用的是Pix2Pix6中的PatchGANs结构，大小为7 0 7 0。训练时的损失函数分为三个部分如式（2），第一部分为real_A到real_B的生成器用G表示和判别器用D，表示。第二部分为real_B到real_A的生成器用F表示和判别器用D，。第三部分为对抗损失，入为加权因子，用于控制循环一致性损失在全部损失中的权重。190(a)real_A，戴面罩的人脸(b）r e a l _B,未戴面罩的人脸图4训练数据中的real_A和real_B的示意图Lossfull=Loss.+入LOS(2)本文次数（epoch）设置为2 0 0。批（batch）设置为6。输人图像设置为2 56*2 56。学习率（Lr）设置为0.0 0 0 2。优化器（Adam）中的b1设置为0.5,b2设置为0.999,循环损失系数（lambda_cycle）设置为10.0，自身损失系数（lambda_id）设置为5.0。4.2测试去除面罩的神经网络利用训练后的real_A转换real_B的模型，输人6 0 8 5号人戴面罩的人脸数据,输出生成的去除面罩的fake_B的数据。如图5(c)是1号人的神经网络生成的fake_B结果图。(f)是2 号人的神经网络生成的fake_B结果图。5去面罩后的热红外人脸识别算法5.1去面罩后的热红外人脸识别算法分析利用去除面罩网络后，real_B和生成的fake_B依旧有差距，生成的去面罩的图像必定不能达到完美的去除效果，如果用传统的识别方法将real_B和fake_B之间作为同一类，实验表明损失不能收敛，且识别率仅为14.7%，因此需要设计一种可以解决去面罩效果不理想的人脸识别的损失函数。5.2训练去面罩后的热红外人脸识别针对使用传统的识别方法不可行，本文提出了一种九宫格损失函数。包含三种损失函数和九种样本。三个损失函数如图6 所示。(a)1号志愿者的real_A数据(b)1号人的real_B数据(c)1号人的神经网络生成的fake_B结果图(d）2 号志愿者的real_A数据（e）2 号人的real_B数据居（f）2 号人的神经网络生成的fake_B结果图图5训练后real_A转换real_B的模型结果图Loss1Loss2Extenmling theEuclidean distanceExtending theEudidean distanceothersothersreal_Breal_BShorten theEnelidean distanceShorten theEudlidean distancereal_B_othersfake_BLoss3Extending theEuclidean distanceothersfake_BSherten theEuelidean distancefake_B_others图6三种损失函数示意图NLoss1(3)一NLoss2=(xru)-(x)1(4)N1Jl f(xfake_B)f(xothers)?1(5)Loss1中i表示第i张图像，N表示有N组样本，real_B表示未戴面罩的图像，real_B_others表示未戴面罩的不同张图像，others表示不同人的图像。Loss1用于拉近real_B同类之间的欧式距离，拉大与不同类的距离。Loss2中real_B表示未戴面罩的图像,fake_B表示生成的未戴面罩图像，others表示不同人的图像。Loss2用于拉近real_B和fake_B之间的欧式距离,拉大与不同类的距离。Loss3中fake_B表示生成的未戴面罩图像，fake_B_others表示生成的未戴面罩不同张图像，others表示不同人的191下转第2 0 1页）图像。Loss3用于拉近fake_B同类之间的欧式距离，拉大与不同类的距离。上述三个损失函数可以达到聚合生成的图像和真实图像，且可以实现生成的图像和真实图像本身的聚合，实现训练时损失的收敛。5.3测试去面罩后的热红外人脸识别算法本文采用TAR（正确接受率）、FAR（错误接受率）和Ac-curacy(识别率)作为评价指标，检验模型的性能。假定目前有totalTrue组同人对（同人的两张不同热红外人脸图像）与组不同人对！不同人的两张热红外人脸图像！，TAR与FAR定义如下total TrueAcceptTARtotal Tnue(6)total aleceptFARtotal rale(7)total receopa total alejietAccuracy:(8)total Tnie+一+totalFalse式中,total macepr为有多少同人对被模型判定为属于相同人的数量;totaladaeon为有多少不同人对被模型判定为属于相同人的数量;totalraleje为由多少不同人对被模型判定为属于不同人的数量。选取不同的最大相似距离，便会有不同的TAR、FA R,并绘制ROC曲线进行分析。所用数据集共包含20000组同人对,2 0 0 0 0 组不同人对。1.0ROCurveRandom guess0.80.60.40.20.0a.00.20.40.60.81.0FAR(a)去面罩后的热红外人脸识别算法的ROC曲线1.0Acouracy0.9-0.80.70.60.510152025303540Maximumsimilaritydistance（b）取不同最大相似距离时的识别率曲线图7去面罩后的热红外人脸识别算法结果图1.0Aocuracy0.90.80.70.6-0.510152025303540Maximumsimilaritydistance图8不去面罩直接测试，取不同最大相似距离时的识别率曲线ROC曲线下方面积越接近1,则说明本方法的特征提取器越好。由图7(a）可知，本特征提取器在现有数据集上有效，其ROC的面积AUC为0.512。图7(b）为取不同最大相似距离时的识别率曲线，当最大相似距离取18 时，识别率为89.68%。本文也进行了不去面罩，直接进行识别的实验，如图8 所示，当最大相似距离取18 时最大，识别率为8 0.91%。由此可见，采用去掉面罩后再进行识别的算法可以对识别率有较大的提高。6约结论目前，可见光无法解决面部有遮挡的问题。同时COVID-19的大流行，导致人们需要长期佩戴口罩，所以目前需要面部遮挡情况下的人脸识别解决方法。但是可见光的解决方案抛弃了被遮挡部分的信息，这必然导致无法在较大的数据集中得到有效的应用。本文采用了热红外技术的解决方法，通过热红外可以捕捉面罩抵挡不了热传递、热辐射这一原理，并开展了一系列的工作。目前没有公开的戴面罩的热红外人脸数据集，所以本文通过自主采集8 6 名志愿者的人脸数据，完成算法的研究。本文首先通过训练面罩检测的网络，之后通过训练生成式去除面罩的网络，最后对去除面罩后的人脸和未戴面罩的人脸进行训练，完成人脸识别，识别率为8 9.6 8%。因为目前自主构建的数据较少，所以目前识别率较低且ROC曲线不理想，模型有待完善。本文今后会通过扩充数据集和继续研究生成式算法，进一步完善热红外技术的解决方案。参考文献：1Walid,Hariri.Efficient Masked Face Recognition Method duringthe COVID-19 Pandemic.10.21203/rs.3.rs-39289/v1,2020.201上接第191页）于刑侦、审讯、职场应聘或心理辅导等多种领域。随着社会发展逐渐科技化，微表情的识别也步入计算机依赖的时代。现有的微表情识别算法常与测谎领域相结合，如何在保证微表情高识别率的前提下，将微表情与心理反应间的能量关系表现出来，是下一步研究工作的重点。参考文献：1王菁，邹博超，刘瑞，等.隐藏情绪分析与识别方法J.心理科学进展,2 0 2 0,2 8(9)：142 6-1436.2张人，何宁.微表情识别研究综述J.计算机工程与应用，2021,57(1):38-47.3李国豪，袁一帆，贯皖烨，等.采用时空注意力机制的人脸微表情识别J.中国图象图形学报，2 0 2 0,2 5（11）：2 38 0-2 390.4赖振意，陈人和，钱育蓉.结合空洞卷积的CNN实时微表情识别算法J.计算机应用研究，2 0 2 0,37（12）：37 7 7-37 8 0,38 35.5吴进，闵育，马思敏，等.一种基于CNN与LSTM结合的微表情识别算法J.电讯技术,2 0 2 0,6 0(1)：1-7.6朱晓玲，李琨，张长胜，等.基于Gabor小波变换和多核支持向量机的电梯导靴故障诊断方法J.计算机科学，2 0 2 0，47(12):258-261.7赵肖雪，辛正祥，宋吉江，等.基于小波包多尺度分析的多时间窗行波相关法J.水电能源科学，2 0 19,37（9）：2 0 2-2 0 5.8李粮，田青林，钟明，等.基于Mallat算法的机载失速喘振辨识装置研制J.燃气涡轮试验与研究，2 0 19,32(6）：45-49.2Wang Zhongyuan&Wang Guangcheng&Huang Baojin&XiongZhangyang&Hong Qi&Wu Hao&Yi Peng&Jiang Kui&WangNanxi&Pei Yingjiao&Chen Heling&Yu Miao&Huang Zhibing&Liang Jinbi.Masked Face Recognition Dataset and ApplicationJ.arXiv:2003.09093cs.CV,20203D A Socolinsky,L B Wolff,J D Neuheisel.Illumination invariantface recognition using thermal infrared imagery C.IEEEComputer Society Conference on Computer Vision I&Pattern Rec-ognition,IEEE,2001.4Redmon J,Farhadi A.YOLOv3:An Incremental ImprovementJ.YOLO:Real-Time Object Detection,2018.5Zhu J Y,Park T,Isola P,et al.Unpaired Image-to-Image Transla-tion using Cycle-Consistent Adversarial Networks J.arXiv:1703.10593v7 cs.CV for this version,2017.6Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation withConditional Adversarial Networks J.arXiv:1611.07004v3 cs.CVJfor this version,2016.9于贤杰，张建伟，杨梦龙.基于回归回归置信度的多尺度精确人脸检测J.计算机工程与设计，2 0 2 0,41（1）：59-6 4.10李维勃，王国砚，钱志浩，等。基于径向基函数的冷却塔风场重构J.工程力学，2 0 19,36（5）：2 2 6-2 34.11王赞，景博，焦晓璇，等.基于自适应组合核函数的RVM剩余寿命预测研究J.电子测量与仪器学报，2 0 19,33（6）：59-68.12郑智聪，王红，齐林海.基于深度学习模型融合的电压暂降源识别方法J.中国电机工程学报，2 0 19,39（1）：97-10 4,32 4.13高晗，田育龙，许封元，等.深度学习模型压缩与加速综述.软件学报,2 0 2 1,32(1)：6 8-92.14刘蒂，李茂军，胡建文，等.基于低像素人脸图像的表情识别J.激光与光电子学进展，2 0 2 0,57（10）：97-10 4.15朱伟杰，陈莹.双流网络信息交互机制下的微表情识别J.计算机辅助设计与图形学学报，2 0 2 1,33（4）：545-552.作者简介黄兴禄（198 6-），男（汉族），四川成都人，硕士，实验师，研究方向：智能教育、实验室管理。苟小珊（198 6-），女（汉族），四川成都人，硕士，实验师，研究方向：图像处理、模式识别、实验室管理(通讯作者)。陈希（198 9-），女（汉族），河南商丘人，硕士，讲师，研究方向：认知心理学、心理语言学。7张天序，苏轩，李正涛，郭诗嘉，郭婷，彭雅。一种热红外人脸识别的方法及系统P.江苏省：CN111914761A，2 0 2 0-11-10.8张天序，郭诗嘉，李正涛，苏轩，郭婷。一种热红外图像的人脸检测方法P.江苏省：CN111209822A,2020-05-29.作者简介郭诗嘉（1996-），男（回族），安徽省合肥市人，硕士研究生，自2 0 19年至今就读于武汉工程大学。主要从事人脸识别，计算机视觉和红外仿真的研究。郭婷（1995-），女（汉族），河南省商丘市人，硕士研究生，主要研究领域为热红外光谱融合的人脸识别算法与目标特性仿真的研究。张天序（1947-），男（汉族），湖北省武汉市人，教授，博士生导师，兼职研究员，研究方向为图像分析与目标识别，精确制导智能化信息处理，医学图像处理，实时并行处理，工频电磁场探测等。