有遮挡人脸识别进展综述.pdf

收稿日期：；修回日期：基金项目：河南省重大公益专项资助项目（）；河南省科技攻关项目（）；郑州市协同创新专项资助项目（）；河南工业大学博士基金资助项目（）作者简介：张庆辉（），男，教授，博导，博士，会员，主要研究方向为智能信息处理（）；张媛（），女，硕士研究生，主要研究方向为计算机视觉；张梦雅（），女，讲师，博士，会员，主要研究方向为计算机视觉有遮挡人脸识别进展综述张庆辉，张媛，张梦雅（河南工业大学 信息科学与工程学院，郑州 ）摘要：人脸识别技术水平不断提升，在身份认证、人机交互等应用上得到了较为理想的识别率，市场规模不断增长。然而真实场景下的遮挡问题并没有被彻底解决，如何抑制或消除遮挡对人脸关键性特征的负面影响是当前人脸识别领域的热点之一。针对遮挡导致的人脸结构信息缺失问题，对有遮挡人脸识别数据集和有遮挡人脸识别方法进行综述，首先介绍分析了一些重要的新型有遮挡人脸识别数据集；其次，归纳分析了用于解决遮挡问题的传统方法和深度学习方法，重点介绍了基于深度学习的特征鲁棒性提取方法和遮挡部位信息恢复方法；最后，总结分析了相关方法的优缺点，指出有遮挡人脸识别研究存在的问题和挑战，对未来研究方向进行了展望。关键词：人脸识别；有遮挡人脸数据集；深度学习；鲁棒性特征提取；遮挡信息恢复中图分类号：文献标志码：文章编号：（）：，（，）：，：；引言人脸识别 通过抽取并对比分析人脸特征来进行身份验证及识别，是生物识别领域的重要技术之一，得到了广泛的实际应用。然而，受光线、姿态、分辨率、遮挡等现实不可控因素的影响，人脸识别算法并不能总发挥积极作用 ，。其中遮挡的存在会掩盖人脸上大部分特征，造成较大的信息损失，导致人脸识别算法性能大幅下降。有遮挡人脸识别是研究在遮挡情况下人脸识别方法的一个领域，用于抑制或消除遮挡的影响，主要研究遮挡导致的人脸结构信息缺失问题，抑制或消除遮挡对人脸关键性特征的负面影响，包含遮挡下的人脸特征鲁棒性提取和针对有遮挡部位的人脸信息有效恢复两个重要研究内容。相比于约束场景下无遮挡的人脸识别高精度性能，无约束场景下佩戴口罩、围巾、眼镜等造成的遮挡会混淆面部特征，造成人脸特征点被破坏和面部特征大量缺失，不仅影响着人脸识别的精度，也会间接造成人脸检测阶段的目标误检、漏检。现实世界的遮挡不可提前预知，遮挡可能出现在人脸面部区域的任何位置，以任意大小或形状的形式呈现，遮挡带来的人脸关键性特征缺失是人脸识别领域无法回避并且亟待解决的一个重要问题 。有遮挡人脸识别的研究具有广泛的应用场景，可应用于安全防护、金融商务、交通监控、娱乐社交等多个领域，例如一些受安全保护的现实场景小区需要通过人脸识别辨识身份方可进入。人脸识别系统可用于企业、住宅安全管理，如人脸识别防盗门、门禁考勤系统等；还可在公共场所对不法分子进行监视，如在机场通过监控系统对通过遮挡进行伪装的不法分子识别身份，防止恐怖分子登记。另外，在理论层面可以帮助解决人脸识别遇到的遮挡等问题，对图像合成、图像修复领域具有一定的启发 。特别地，疫情常态化防控下的口罩遮挡对面部的特征提取（如嘴巴、鼻子、下巴等）产生了极大的负面影响，促使人脸识别应用需进一步考虑遮挡问题。有遮挡人脸识别的研究主要包括遮挡下的人脸特征鲁棒性提取和针对有遮挡部位的人脸信息有效恢复两个重要研究内容。本文从有遮挡人脸识别的关键问题和研究内容出发，综述了新型有遮挡人脸数据集及最新有遮挡人脸识别研究方法。有遮挡人脸数据集 人脸遮挡构造一个数据充足、标注良好且种类多样的数据集是训练模第 卷第 期 年 月计 算 机 应 用 研 究 型、提升模型性能的必要条件。目前常用的人脸数据集有 、等，然而，这些数据集多数面向人脸识别应用主动配合环境，并非针对人脸遮挡问题专门设计，遮挡条件不足、缺乏非配合环境下的遮挡情况，不满足有遮挡人脸识别研究的迫切需求。通过使用模拟遮挡和数据增强的方法可以构建满足研究需求的有遮挡人脸数据集。）数据合成方法。等人 基于 将创建的合成口罩融合进人脸图像的面部区域，增强无遮挡人脸数据集中的遮挡条件；等人 提出一种 模块，利用 个面部特征点和 人脸重建方法 合成大量遮挡人脸图像；和 等人 ，开发了基于 库的口罩佩戴软件；等人 开源了遮挡添加工具 ；等人 提出了一种可以对每张图像各个类别（眼、鼻、配饰等）分别遮挡的方法。）数据增强方法。等人 提出一种称做 的数据增强方法，采用随机遮挡模板代替鼻子下方的移除区域，利用区域数据增强方法，使用了剪切、随机擦除、及 等技术，可有效用于任何网络架构，并构建了真实蒙面人脸数据集 ，包含 个人的 张蒙面图像。与 相比，产生的内存和训练成本可忽略不计。新型有遮挡人脸数据集）。文献 ，提出了三种特殊类型的遮挡人脸数据集：口罩遮挡人脸检测数据集 、真实口罩遮挡人脸识别数据集 和模拟蒙面人脸识别数据集 。其中，的一部分样本来自相关研究，另一部分来源是通过爬虫抓取的，该数据集包括 个有遮挡人脸图像；包括 名有遮挡者的 张图片和 名不戴口罩的 张图片，这是目前世界上较大的真实口罩人脸数据集；包括 个人的 张人脸图像。文献指出，可以同时使用模拟口罩数据集和原始未遮挡人脸数据集来提高有遮挡人脸识别的准确性。真实遮挡和模拟遮挡的样例如图 所示。图 真实遮挡和模拟遮挡的样例 ）。针对目前遮挡数据集存在面部不一致或未对齐、识别难度大、缺乏无遮挡身份信息、数据多样性低等问题，等人 使用开源工具 创建了真实世界的遮挡人脸识别数据集 ，该数据集包括蒙面和未蒙面的身份图像。是一个经过人脸对齐处理的真实小型数据集，包含 个名人和政治家身份的共 张图像，每个身份平均有 张图像，图像尺寸为 。是目前数据多样性高，可用于训练遮挡人脸识别系统的数据集之一，如图 所示。）。当前的人脸分割数据集存在数据量小、遮挡类型少、分辨率低和注释不精确等问题，限制了基于数据驱动的算法的性能。最接近满足该要求，但该数据集是为基于 的面部图像编辑任务而设计，忽略了人脸图像上的各种遮挡（头发和眼镜除外）。等人 提出一种新的高质量人脸遮挡数据集 ，该数据集包含 多张图片，具有太阳镜、手、口罩等多种类型，是目前较大的最全面的面部遮挡数据集，如图 所示。其中第一行是原始图像，第二行是数据增强图像。图 数据集（包含戴着不同类型口罩的各种政治家和名人的遮挡人脸图像）（）图 数据集 表 主要介绍了口罩人脸数据集的具体内容和下载网址，表 通过分析各数据集，总结了数据集的数据集来源、数据集大小、数据任务以及发布年份，为之后口罩遮挡的人脸识别任务奠定了一定的基础。表 人脸识别遮挡数据集描述 数据集网址描述 ：训练精确的口罩人脸检测模型，还可以用来确定一个人是否戴口罩是目前较大的口罩人脸识别数据集，但是数据集面部不一致或不对齐，使用起来较困难；该数据集缺乏身份的正常面孔，在种族方面也不够多样模拟口罩数据集可以与原始的未遮挡人脸数据集一起使用，以提高有遮挡人脸识别的准确性 ：数据集较小，是经过预处理的由名人和政治家组成的真实世界口罩数据集。与 不同，它是在真实蒙面图像上展示模拟蒙面数据集有效性的一种方法 未开源它是迄今为止较大、最全面的高质量人脸遮挡数据集，其中包含来自 和互联网的手动标记的人脸遮挡 有遮挡人脸识别传统方法传统学习方法主要利用遮挡区域的面部特征和人脸的全局结构特征对人脸的遮挡区域进行表示、抑制或去除，以此来减少遮挡对目标检测的影响，提升人脸识别算法的效果，其主要方法有基于子空间的方法、稀疏表示法和局部特征分析方法等。基于子空间和稀疏表示方法强化有遮挡人脸的全局特征判别信息，基于局部特征的遮挡弱化方法降低遮挡区域的权重或者直接舍弃遮挡区域，均聚焦遮挡下的人脸特征鲁棒性提取这一关键问题。基于子空间的方法基于子空间的方法在保持特征区分性约束下，利用空间变换算法将人脸图像高维向量投射到低维度的子空间，使用数据中最主要的方面进行人脸特征提取。任安虎等人 提出一种 结合 算法的方法，基于有降噪处理、直方图和归第 期张庆辉，等：有遮挡人脸识别进展综述一化进一步提高了子空间算法的准确率以及抗干扰的能力；等人 使用多个相似性度量，通过一种弱机器单元构建子空间学习框架 ，实验表明 在分类精度和聚类结果方面都优于其他基于 的方法；赵雯等人 针对遮挡图像中噪声影响的问题，提出基于鉴别性低秩表示及字典学习的算法 。对这三类方法的总结及对比如表 所示。表 人脸识别遮挡数据集对比 数据集数据集来源数据集大小适用任务发布年份 主要包括两部分：）来自相关研究；）从互联网上抓取 张训练精确的口罩人脸检测模型，还可以用来确定一个人是否戴口罩 利用 爬虫工具抓取公众人物的正面图像和相应的蒙面图像，并手动删除错误不合理的人脸图像，借助半自动注释工具裁剪精确的面部区域 名戴口罩者的 张和 名不戴口罩者的 张训练网络模型，用于口罩人脸识别任务，提高模型识别的准确率 使用基于 库的口罩佩戴软件，在现有的公共大规模人脸数据集上戴上模拟口罩 个人 张可用于训练模型，以提高模型口罩人脸识别的准确率 从互联网收集小型数据集，个身份，共 张可用于测试模型识别的精度 一种新的人脸遮挡数据集，其中包含来自 和互联网的手动标记的人脸遮挡 与 一起生成了用于训练提取模型的人脸遮挡和增强数据的数据集 表 有遮挡的基于子空间方法的总结及对比 算法名称模型网络特点优势局限性适用场景基于 结合 的算法去噪声，直方图均衡化，归一化；与 相结合提高算法的抗干扰性和识别速度，降低 对光照的敏感性和误识率在非限制性环境识别率较低，训练样本要符合高斯分布传统 受人脸表情、光照、姿态和遮挡等外界干扰因素的影响新的子空间学习框架 使用多个相似性测量；构建弱机器单元（）；生成新的合成相似性子空间在分类精度和聚类结果方面效果较好，擅于表达数据在有遮挡条件下人脸很难识别，鲁棒性较差可以训练小样本数据集基于鉴别性低秩表示及字典学习算法提出 方法；提出 方法进行字典学习分离训练样本的遮挡，增大类间结构不相关性，提升样本的表示能力，减少噪声，减小重构误差，提高模式分类的性能算法复杂度高，未能将 和 的优点结合到一个目标函数训练样本中存在噪声或遮挡情况 稀疏表示法稀疏表示法将人脸表示为训练样本的加权组合，用于克服遮挡的影响，学习出有区分度的人脸特征表示，是处理人脸识别各种挑战传统方法中的主流方法，在解决噪声方面鲁棒性很好 。王明沂 提出一种基于误差加权和协同表示的遮挡人脸识别方法，通过融合 、等多个特征增强了有遮挡数据集 和 上的人脸识别效果。基于此研究，可考虑将基于 的结构模型与常用分类器相结合来解决图像大面积遮挡的问题。等人 提出了一种区分性多尺度稀疏编码（）来解决单人单样本人脸识别场景下具有不同类型遮挡情况的识别问题。该方法通过学习辅助字典，基于 对外部数据中可能的遮挡变化进行建模。模型具有很好的区分性，但不能完全忽略遮挡引起的异常像素。等人 提出了一种基于结构元素的特征提取方法，结合局部和上下文信息，可将少镜头稀疏表示学习应用于有限训练样本下的少镜头遮挡人脸识别。当数据样本较少时，可考虑少镜头识别方法。相关方法的总结及对比如表 所示。表 有遮挡的稀疏表示法的总结及对比 算法名称模型网络特点优势局限性适用场景基于误差加权和协同 表 示 的 多 特 征分类将 、等特征提取方法与鲁棒性较好的分类器相结合在遮挡面积较大的情况下，识别效果较好，且下降速度比其他算法低算法结构复杂，计算量大，鲁棒性较差光照和表情变化、模拟遮挡、固定遮挡、无规则遮挡区分性多尺度稀疏编码开发多尺度误差测量策略；学习辅助字典；将基于学习字典和多尺度误差测量策略相结合区分性高、不需要较多人脸样本；可产生稀疏、鲁棒和高度区分的编码，用于检测和忽略异常像素；有效处理多种遮挡变化，具有一定的鲁棒性和鉴别能力需要克服光照、表情和姿态的影响，不能完全忽略遮挡引起的异常像素具有不同类型遮挡情况；样本数据信息较少的情况基于遮挡的少镜头人脸识别方法提出结构元素的特征提取方法；引入自适应融合方法；融合结构元素特征、连接颗粒标记特征以及增强的 可以获取局部和上下文信息，结合多个特征的融合，识别精度高构建词典耗时长，鲁棒性差应用于有限训练样本、少镜头遮挡人脸识别 局部特征分析方法不同于稀疏表示法学习使用人脸全局信息学习字典对可能的遮挡进行建模，局部特征分析方法从另一个角度出发考虑人脸局部信息的作用。一种思路是在特征提取以及分类过程中完全丢弃一些遮挡区域，减弱或者去除遮挡部分在面部区域中的作用。这类方法思路相对大胆奇特，不属于人脸识别主流方法，因此研究较少。等人 提出一种基于均值加权矩阵方法进行局部特征处理，先使用支持向量机分类器对人脸分块进行检测过滤掉遮挡部位，然后在剩余的非遮挡能反映人脸微小特征变化的区域使用均值加权矩阵刻画人脸信息。另一种思路是结合人脸全局信息和局部信息的优势，通过增加特征的多样性来解决遮挡带来的人脸特征缺失问题。岳震等人 提出一种基于双属性模型的 特征人脸识别算法。首先使用线性回归分类重构获取误差图像，然后与 全局信息相融合得到双属性信息，最后使用 算子提升效果。该方法将全局信息与局部信息相结合，对光照、遮挡等不可控因素造成图像失真有较好的特征表征能力，具有一定的抗计 算 机 应 用 研 究第 卷干扰能力，但特征维度大、计算量大。结合上文，表 分析了传统方法在有遮挡人脸识别方法中的优缺点。总之，传统方法在传统数据集上有良好性能，但无约束场景下遮挡的识别效果并不好且鲁棒性较差，在识别性能上有很大的提升空间。表 遮挡人脸识别的传统方法对比 方法优点缺点基于子空间的方法计算量较小，描述能力强 忽略样本之间的差异性稀疏表示法使用少量样本对现有样本进行紧凑表示，提高识别效率忽略了遮挡的空间结构和连续性局部特征分析方法减弱了遮挡区域对识别的影响极端情况时重建效果较差 有遮挡人脸识别深度学习方法基于子空间、稀疏表示、局部特征分析的传统学习方法，在传统无遮挡数据集上有较好的表现能力，然而不满足大规模无约束数据的识别需求。与传统学习方法相比，深度学习的重点是特征学习，它可以通过优化 学习更具有判别性的深度人脸特征，如 、等。受有遮挡人脸数据集发展及遮挡人脸识别挑战赛的推动（如 ，和 ），可将深度学习的方法应用到解决有遮挡下的人脸识别问题 ，。基于深度学习的人脸特征鲁棒性提取基于深度学习的人脸特征鲁棒性提取方法可以通过迁移学习和特征融合、局部特征分析、使用注意力机制、优化损失函数，结合红外热成像技术等强化人脸的关键性特征，从而挖掘遮挡人脸中的人脸身份信息，抑制或消除遮挡的影响 ，。）迁移学习和特征融合。等人 使用口罩遮挡数据对 模型进行迁移学习，得到富含口罩信息的人脸身份特征，并通过在图像上裁剪人脸的遮挡区域模拟遮挡后人脸 呈 现 不 均 匀 特 征 映 射。该 方 法 与 和 相比，具有时间最佳、高内存、鲁棒性高等特点。由于简单的 遇到人脸遮挡，识别效果会变差，不能达到预期效果，所以需要更多新技术来提高其性能，可以尝试裁剪人脸的遮挡区域或者 学习等方法来提高实验效果。等人 从网络的层次特性角度出发，提出了一种基于浅层特征、中层特征和深层特征，主要使用每个卷积层来获取图像特征，适用于端到端网络特征提取的通用特征融合方法，能够提升人脸识别在光照和遮挡下的识别精度。由于端到端的 结构过于重视人脸的深层特征，忽略了浅层和中层特征，而该特征融合方法可提取各层特征，弥补了提取部分特征的缺陷 。）局部特征分析。首先定位和去除面部遮挡区域，然后使用三种预训练模型 、和 获得眼睛、额头的深度特征，最终使用多层感知器应用于分类。此外，该方法将 范式应用于最后卷积层的特征图，可获得全连接层的轻量表示，能够提高遮挡情况下人脸识别的通用性。等人 挖掘遮挡区域与损毁特征元素之间的对应关系，设计了特殊的网络结构 （），结合针对遮挡区域的掩膜生成器 （）交互，可以建立基于卷积特征差异的掩膜字典并实现有遮挡人脸特征鲁棒性提取。该方法目前存在的问题是，由于掩码未知，只保留最后的卷积层特征，对于大型数据图像，卷积层特征占用空间太大。并且，比对时需要进行特征提取，以及计算相似度，增加了一定的时间成本和计算难度。）改进注意力机制。等人 设计了 将 与 模块集成到同一网络，使用遮挡和非遮挡数据集进行训练可以捕获人脸区域的全局和局部信息用于有遮挡下的人脸识别。袁慧洁 关注遮挡部位的信息缺失问题，采用区域注意力模块定位未遮挡人脸，设计了基于双注意力机制的深度学习网络 ，可集中处理人脸图像中非遮挡区域对人脸特征进行嵌入。该方法验证了双注意力结合的有效性且不会明显增加计算量。同时，位置注意力机制能够让模型更有效地处理未被遮挡的部分，降低遮挡对人脸的影响，而通道注意力机制可以增强网络学习通道特征。张博等人 首先估计人脸遮挡区域位置，然后基于掩码字典寻找遮挡位置所对应的掩码，最后基于注意力模块实现人脸不同区域权重更新，提取具有鲁棒性的人脸特征进行识别。叶子勋等人 融合注意力机制改进 ，兼顾了戴口罩和未戴口罩两种场景下的人脸识别任务。此外，针对口罩遮挡情况下识别率低下的问题，结合注意力机制进一步提出专注于人脸未遮挡区域（眼睛、眉毛等）的 ，结合两种尺度的特征层融合人脸关键部位信息，该方法极大地降低了复杂度，实现了轻量级效果，有效提升了速度与准确度。基于注意力机制的方法关注相关信息而忽略不相关信息 ，引发学术界关注，可结合局部特征分析的方法进一步提升深度人脸特征的鲁棒性。表 对相关方法进行了对比分析。表 有遮挡的基于注意力机制的总结及对比 算法名称模型网络特点优势局限性适用场景基于 特征提取主干网络残差块与自注意力模块结合；提出 、；采用相对位置编码获得长期依赖型，捕获人脸局部和全局信息，提高模型性能，鲁棒性好未使用较大数据集，未研究不同损失函数的有效性可用于遮挡人脸识别场景基于双注意力机制的 深 度 学 习 网 络（）采用遮挡敏感度实验技术；采用区域注意力模块；改进三元组损失函数提取出最具区别性特征的人脸区域，提升训练模型的性能，集中处理图像未被遮挡部分需要耗费大量计算资源和存储资源，受硬件设备的限制人脸图像特征不完整，光线、实物等较低遮挡的场景对遮挡具有鲁棒性的人脸再识别算法提出 ；注意力机制与掩码字典相结合；采取等距随机取样；使用 保留完整的面部特征，减少信息冗余，降低掩码字典的误差无法将姿态和衣着服饰等信息与人脸特征相融合面部出现严重遮挡的情况融合注意力机制的轻量级人脸识别算法 改进 ；采用三维人脸网络生成添加口罩遮挡的数据增强方法聚焦于未遮挡区域，对人脸的眼、眉部分进行重点关注，生成添加口罩遮挡的数据增强方法，极大降低复杂度使用 作为主干特征提取网络后，准确率有所下降口罩遮挡数据集不充分、不真实，需兼顾无遮挡和有遮挡的识别任务）优化损失函数。等人 提出 损失函数，该函数由 和 分类器损失相结合，使网络学习人脸何时佩戴口罩。等人 提出包括口罩生成模块（）和损失函数搜索模块的遮挡感知网络（，）来获得更真实可靠的遮挡人脸。挑战赛中出现的损失函数搜索模块，使用 搜索最适合遮挡人脸识别任务的损失函数，具有一定的鲁棒性和通用性。等人 将 和 相结合增强类内紧密性和类间差异性来提高遮挡人脸识别任务的性能；等人 提出一种结合 损失和 损失的新损失第 期张庆辉，等：有遮挡人脸识别进展综述函数，通过数据重采样来平衡数据分布生成口罩数据集并进行模型训练优化，可以实现在不同种族人脸识别上的公平效果。）结合红外线成像技术。近红外可见光遮挡人脸识别的类内多样性较大，基于深度学习的方法 可以解决这个问题。等人 提出一种用于 的异构训练方法 （），使用 网络 提升两个域的人脸表示共享信息效果，也结合 人脸重建方法提供域不变的人脸表示，该方法对遮挡具有一定的鲁棒性和跨数据泛化能力。等人 提出了一种基于红外热成像定位的部分遮挡人脸识别方法。首先通过算法判断人脸的遮挡状态，然后自适应地引入红外热成像技术，最后利用 神经网络对人脸穴位进行定位，对局部遮挡的人脸进行有效识别。实验结果表明，当人脸遮挡率达到 以上时，传统方法已无法实际应用，而红外热成像方法仍具有一定的准确性。基于深度学习的遮挡部位人脸信息恢复基于深度学习的遮挡部位人脸信息恢复方法从数据增强角度考虑，可通过人脸图像修复、人脸特征迁移、遮挡部位人脸信息重建等方式挖掘人脸图像的语义信息，降低有遮挡人脸和非遮挡人脸的身份信息差异，抑制或消除人脸自遮挡和外部遮挡导致的人脸结构信息缺失和人脸信息不全等问题 ，。例如，等人 提出 方法合成和识别非遮挡图像，解决大姿势和遮挡下的人脸合成和识别问题；等人 通过将 与预训练的 人脸识别器集成，引入了身份多样性修复方法，约束生成器的输出图像在身份空间中具有相似的表示。）人脸图像修复。姜艺等人 提出一种边缘指导图像修复的方法，通过训练边缘修复模型生成缺失部分的边缘信息，训练内容生成模型填充缺失部分的内容信息，最终实现对结构缺失较复杂的图像细节上的模糊修复，在 和 数据集上被验证有较好的修复效果。但该方法在修复细节上有所欠缺，且缺少一点真实性。刘微容等人 提出多级解码网络（，），使用多个解码器对编码过程各层特征进行解码并聚合，增大编码器对不同特征的利用率，最终得到更能反映受损区域的特征映射。该方法是主流的图像修复方法之一，试图利用编码阶段压缩后的信息在解码阶段恢复出原始图像，在多个数据集上有较好的实验效果。整体性能稳定，可有效生成完整图像，但该方法不能完全避免信息丢失。基于深度学习的图像修复技术在计算机视觉、图像处理等领域受到了广泛关注，早期的图像修复方法只能在小区域缺失区域取得良好效果，目前提出的许多方法可解决大面积缺失区域的问题，且有待进一步深究。）人脸特征迁移。等人 提出将非对称完成机制迁移到端到端去遮挡的蒸馏框架中。首先利用生成对抗网络（）构造去遮挡模块执行人脸补全，然后恢复遮挡下的人脸内容并消除外观模糊，最后使用蒸馏模块强化学生模型中的人脸真实身份信息。这种使用 方法结合蒸馏学习的方法被证明可以用于处理合成数据集及真实数据集上的遮挡人脸识别任务。）遮挡部位人脸信息重建。李琨剑 提出基于 的两阶段遮挡人脸图像恢复模型，使用多分支编码器进行人脸遮挡恢复，可以生成无遮挡的人脸图像，提高人脸区域特征的质量，强化人脸身份信息。王晨博 提出一种基于多模态的双阶段人脸恢复算法，提取人脸图像、几何特征和属性特征，在特征融合的基础上使用人脸修复网络对较粗略细节进行精细化提升，能够抑制口罩遮挡带来的区域信息丢失问题。等人 提出深层网络模型 ，通过添加一些卷积模块以及 模块加强缺失区域的感受力，用于更好地对面部的缺失部分进行恢复。胡渲 提出基于改进 网络的深度学习方法，首先判定遮挡的位置将其定为缺失位置，然后进行人脸修复，最后进行人脸判定，被验证能有效修复缺失区域，并具有良好的鲁棒性。遮挡部位人脸信息重建的方法从挖掘人脸图像的语义信息出发，能够学习遮挡区域被遮挡的人脸信息或模拟出遮挡区域真实的人脸细节信息，是一种逻辑上自洽的方法，近年来研究热度不断增加。相关方法优劣及分析如表 所示。表 有遮挡部位人脸特征修复方法的总结及对比 算法名称模型网络特点优势局限性适用场景边缘指导图像修复提出边缘生成模型和内容填充模型；提供端到端训练的网络模型能更好地修复图像中缺失区域的复杂结构信息在修复结构细节上有所欠缺，并且缺少些许的真实性图像结构缺失较复杂，细节处理较差的情况多级解码网络（）提出多级解码网络 ，设计主、副解码器；提出并行连接机制，以并联方式引入注意力转移网络 整体性能较稳定，可有效生成细节丰富且视觉真实的完整图像不能完全避免信息丢失图像信息利用不完备，内容复杂的缺损图像，人脸图像修复 蒸馏模块提出新的端到端人脸识别框架；非对称完成机制；基于 的去遮挡模块；蒸馏模块消除外观模糊，恢复外观和身份空间信息，识别精度较高网络架构需进一步完善，无法重现人脸关键点细节，遇到口罩等大面积遮挡物识别效果不好戴太阳镜、围巾、口罩等遮挡背景基于生成对抗网络（）的两阶段遮挡人脸图像恢复引入部分卷积和上下文注意力机制；采用从粗糙到精细的两级结构；引入人脸身份信息约束；提出正面人脸图像合成方法复合遮挡恢复至无遮挡人脸，有效保留人脸身份信息，减少噪声，能够修复任意形状大小的外部遮挡，减少推广成本需要同时提供多角度人脸图像和对应的正面人脸图像，人工标注较繁琐，图像有效信息有限图像中姿态偏转引起的自遮挡和物体引起的外部遮挡基于多模态的双阶段人脸恢复多模态信息提取网络，编解码结构；多模态融合框架；两阶段的人脸修复网络该算法可用在不同遮挡区域，特别是遮挡区域较大的情况算法运行时间长，复杂度高，有噪声，受不同光照、人脸姿态等复杂环境的影响缺少口罩遮挡数据集，口罩遮挡区域信息丢失，遮挡区域较大效果更好基于改进 网络提出 网络；基于 网络改进人脸修复网络，使用空洞卷积和 模块；改进 网络生成真实的未遮挡人脸，有效修复缺失区域边缘，有效提取语义信息修复大面积缺失区域，具有抗干扰能力，具有良好的鲁棒性 数据集较少，遮挡物形状和种类不全面，定位不准确，未将人脸修复网络和人脸识别网络联合训练日常遮挡和随机严重遮挡等非限制场景 总结与展望 存在的问题及挑战从人脸识别技术诞生至今，遮挡条件下的精准识别就是一个技术难点。基于深度学习的方法相比传统方法在大数据时代硬件加持下更具有优势，能够在一些遮挡条件下进行有效人脸识别，然而它们都不能完全解决遮挡带来的信息缺失问题。有遮挡下的人脸识别依然存在诸多研究难点 ：）合成数据与真实数据上有差异。现实场景中的人脸识别有许多主动或非主动的遮挡因素，例如衣帽遮挡、发饰遮挡、眼镜遮挡及口罩遮挡等。现有遮挡数据集规模较小，并不适用计 算 机 应 用 研 究第 卷于主流的深度网络模型；利用生成的方法可以合成遮挡人脸数据集，然而合成数据与真实数据在时域、频域上存在较大的差距，也会潜在影响真实场景下人脸识别的效果。）遮挡部位人脸信息恢复效果不理想。基于深度学习的遮挡信息恢复依赖 对抗学习的效果，此类方法在非成对数据下难以有效训练，在去除遮挡时易导致人脸身份判别信息的丢失、局部判别器较难判别全局的空间信息，恢复出的无遮挡效果与真实图片有一定的差距。遮挡下人脸本身包含的人脸身份信息有限，外加无约束场景较多因素的限制，很难将复杂遮挡下的人脸图像恢复至无遮挡情况。）对抗场景下的遮挡问题考虑不够。普通无约束环境的人脸遮挡可能受光照、姿态、行人复杂运动等叠加因素影响，这些都可以通过限制目标主动配合或调节采集设备参数得到解决，但无法在对抗性场景下发挥作用。近年来对抗性方法发展迅速，一些专家打印出能隐藏身份或模仿假身份的针对性图片，这些图片作为一种新的遮挡能够欺骗人脸识别系统，导致人脸识别系统漏检、误检，给人脸识别内生安全带来巨大挑战。未来研究方向随着疫情常态化的不断深入，遮挡场景下的人脸识别应用也不断增加，遮挡人脸识别算法的研究更加迫切，亟待使用更好的模型和方法来解决遮挡带来的人脸关键性特征缺失的问题。针对以上的问题和挑战，可以通过多角度分析探索遮挡人脸识别未来可行的研究方向。）研究泛化性更好的识别算法。遮挡人脸识别算法需要大量的数据样本，目前的数据集大多通过算法合成制作，缺少自然场景下拍摄的有遮挡真实数据。很多新颖算法的性能取决于特定的专用合成数据集，造成现有模型在特定数据集上效果出色而在其他数据集上效果较差的问题，模型的泛化性不足。结合脑机制解析建模和类脑算法，模仿大脑在遮挡下的识别机制，设计算法强化现有模型对不同数据集的泛化能力是一个有价值的研究方向。）研究鲁棒性更好的识别算法。现有遮挡场景下人脸识别算法较少考虑未识别目标被噪声扰动的识别精度，近年来，基于手动梯度或自动梯度的方法可以给原始样本加上微小的噪声扰动形成身份信息与原始样本类似的对抗样本，这些对抗样本能够以肉眼可见或肉眼难辨的遮挡形式出现，轻易干扰基于深度学习的人脸识别系统。亟待研究鲁棒性更好的人脸识别算法应对日益迭代的对抗样本攻击技术。）研究基于 空间几何信息的算法。有遮挡人脸识别的研究集中在 图像上，利用 人脸空间信息强化身份信息的研究较少，缺乏 人脸识别数据集、缺乏针对遮挡问题的 人脸识别数据集。构建适应问题的 数据集、适合 人脸特征提取的模型方法，结合 算法的优势进一步解决遮挡的问题，是未来研究遮挡人脸识别的有价值研究方向之一。）研究基于红外热成像技术的算法。结合红外热成像技术的有遮挡人脸识别打破以往只利用可见光人脸特征的思维定势，不仅可以结合 人脸重建方法提供域不变人脸表示，也可以结合神经网络的方法实现人脸遮挡状态下的穴位定位，为遮挡人脸提供更多特征信息，被证实能够在遮挡率较高的实验设置下提高局部遮挡人脸的识别效果，为解决人脸识别下的遮挡问题提供一种新思路。）研究更适应轻量级应用的算法。人脸识别深度模型的卓越性能依赖较深的网络模型结构，其带来的模型参数多、计算量大等影响会加重现实场景人脸识别应用设备的负担。算法轻量化是遮挡人脸识别未来要解决的重要问题之一。对现有网络模型的改进和优化，设计轻量级网络模型，考虑模型的压缩，减少模型的复杂度以及计算资源的成本是一个有价值的研究方向。）研究更合适的算法评价标准。遮挡人脸识别的数据集种类较多，一些是利用合成的方法对现有常规人脸识别数据集进行遮挡构造，一些是根据特定设计的遮挡进行图片拍摄，一些是收集真实场景下的自然遮挡图片。不同数据集上的算法评价标准各有特点，导致无法快速有效地比对不同方法的识别性能，对于新提出方法的不易快速评估和对比分析，阻碍了人脸识别算法更新迭代。规范对算法的评价标准以及数据集的使用，是一个有价值的研究方向。结束语本文针对后疫情时代有遮挡人脸识别应用需求，综述用于抑制或消除遮挡对人脸识别影响的数据集及方法；重点介绍了一些新型的遮挡人脸数据集，对比分析了基于深度学习的人脸特征鲁棒性提取方法和针对有遮挡部位的人脸信息的有效恢复方法；指出了该领域研究难点和未来发展方向，旨在推动有遮挡人脸识别研究的进一步发展，为现实场景应用提供指导和参考。参考文献：，：，（）：，（）：，：，：，：谢郭蓉，曲毅，蒋圻 抗遮挡目标跟踪的模型学习综述 计算机工程与应用，（）：（，（）：）钟陈，王思翔，王文峰 面向疫情防控的人脸识别系统与标准研究 信息技术与标准化，（）：（，（）：）徐遐龄，刘涛，田国辉，等 有遮挡环境下的人脸识别方法综述 计算机工程与应用，（）：（，（）：），（）：刘倩颖，刘季 生物特征识别技术在身份验证领域发展趋势 电子世界，（）：（，（）：）李小薪，梁荣华 有遮挡人脸识别综述：从子空间回归到深度学习 计算机学报，（）：（，：，（）：）刘瑞明，徐春融，周韬 局部遮挡的人脸识别方法研究综述 江苏海洋大学学报：自然科学版，（）：（，：，（）：）谢郭蓉，曲毅，蒋圻 基于抗遮挡目标模型的跟踪算法综述 激光与光电子学进展，（）：（，第 期张庆辉，等：有遮挡人脸识别进展综述 ，（）：）连泽宇，田景文 基于掩膜生成网络的遮挡人脸检测方法 计算机工程，（）：，（，（）：，），（）：，：，：，：，：，：，：，：，：，：，：，：，（）：，：，：，：，：，（）：，：，：，（）：，：，（）：，：，：，：，：，：，：任安虎，王磊 人脸识别算法的优化 计算机与数字工程，（）：，（，（）：，），：，（）：赵雯，吴小俊 基于鉴别性低秩表示及字典学习的鲁棒人脸识别算法 计算机应用研究，（）：（，（）：）王慧星，黄勃，高永彬，等 部分遮挡人脸识别的方法综述 武汉大学学报：理学版，（）：（，：，（）：）王海 基于分块稀疏表示的部分遮挡人脸识别 信息与电脑，（）：（，（）：）孙雨浩，陶洋，胡昊 基于判别低秩矩阵恢复和协同表示的遮挡人脸识别 计算机工程与科学，（）：（，（）：）王明沂 局部遮挡下的人脸识别方法研究 重庆：重庆邮电大学，（：，），（）：，（）：，（）：岳震，陈凯勇 局部遮挡条件下的人脸识别 计算机应用与软件，（）：，（，（）：，），：，：，（）：），：，：，：，：，：，：，：（）：，计 算 机 应 用 研 究第 卷 ，：，：，：，：，：董艳花，张树美，赵俊莉 有遮挡人脸识别方法综述 计算机工程与应用，（）：（，（）：）刘颖，张艺轩，佘建初，等 人脸去遮挡新技术研究综述 计算机科学与探索，（）：（，（）：）孙方伟，李承阳，谢永强，等 深度学习应用于遮挡目标检测算法综述 计算机科学与探索，（）：（，（）：）张博，赵巍，段鹏松，等 具有遮挡鲁棒性的监控视频人脸再识别算法 信号处理，（）：（，（）：）唐娴，黄军伟 低秩鲁棒性主成分分析的遮挡人脸识别 南京理工大学学报，（）：（，（）：），（）：，：，：，：，（）：，（）：，：，：，：，：，：袁慧洁 基于深度学习的局部遮挡人脸识别方法研究 长沙：长沙理工大学，（：，）叶子勋，张红英，何昱均 融合注意力机制的轻量级戴口罩人脸识别算法 计算机工程与应用，（）：（，（）：），：（）：，：，：，：徐，史金光，郑子，等 融合图像修复的遮挡目标检测算法 电光与控制，（）：，（，（）：，），：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：武文杰，王红蕾 基于生成对抗网络的遮挡人脸图像修复的改进与实现 计算机应用与软件，（）：，（，（）：，）（下转第 页）第 期张庆辉，等：有遮挡人脸识别进展综述 ，：，：李佩丽，徐海霞，马添军，等 可更改区块链技术研究 密码学报，（）：（，（）：），：，：薛庆水，薛震，王晨阳，等 基于加法同态的可修改区块链方案 计算机应用研究，（）：（，（）：）高伟，陈利群，唐春明，等 一次变色龙哈希函数及其在可修正区块链中的应用 计算机研究与发展，（）：（，（）：）杨少杰，郑琨，张辉，等 基于博弈论与区块链融合的 匿名位置隐私保护方案 计算机应用研究，（）：（，（）：），：，：，：，：，（）：，：，：，（）：戴炳荣，姜胜明，李顿伟，等 基于改进 算法的跨链公证人机制评价模型 计算机工程，（）：（，（）：）何帅，黄襄念，刘谦博，等 区块链共识机制的改进研究 计算机应用研究，（）：（，（）：），（）：，（）：王梦楠，黄建华，邵兴辉，等 基于信誉的区块链分片共识方案 计算机科学，（）：（，（）：）何云华，刘昭阳，胡堰，等 基于区块链的分布式激励机制研究 计算机应用研究，（）：（，（）：）：，：，：（上接第 页）张典，汪海涛，姜瑛，等 基于轻量级网络的实时人脸识别算法研究 计算机科学与探索，（）：（，（）：），：，（）：，（）：姜艺，胥加洁，柳絮，等 边缘指导图像修复算法研究 计算机科学与探索，（）：（，（）：）刘微容，米彦春，杨帆，等 基于多级解码网络的图像修复 电子学报，（）：（，（）：），：，：徐润昊，程吉祥，李志丹，等 基于循环生成对抗网络的含遮挡人脸识别 计算机工程，（）：，（，（）：，）李琨剑 基于深度学习的遮挡人脸图像恢复方法研究 成都：四川大学，（：，）王晨博 基于深度学习的口罩遮挡人脸识别算法研究与实现 北京：北京交通大学，（：，），：（）：胡渲 非限制场景下人脸识别方法的研究 成都：四川大学，（：，），：，：，：第 期顾康，等：基于监督者组的区块链账本修正方案