基于自注意力的人脸表情识别算法研究.pdf

收稿日期:2023-12-13基金项目:本文系北京市自然基金项目-北京市教委科技计划重点项目(KZ202010015021)、专业学位研究生联合培养基地建设-电子信息(21090223001)研究成果。第 32 卷 第 3 期Vol.32 No.3北 京 印 刷 学 院 学 报Journal of Beijing Institute of Graphic Communication2024 年 3 月Mar.2024基于自注意力的人脸表情识别算法研究刘一楠1,王 佳1,简腾飞2,曹少中1(1.北京印刷学院 信息工程学院,北京 102600;2.贵州电网有限责任公司 遵义凤冈供电局,遵义 564200)摘 要:本文采用 Swin Transformer 和 Vision Transformer 网络,结合迁移学习的方法,对人脸表情识别任务进行了深入研究。为了验证不同网络的性能,选择了 RAF-DB、Fer2013、CK+和 JAFFE 这四个常用的人脸表情数据集进行研究。通过对不同网络的不同模型进行对比,实验结果表明,Swin Transformer 网络中的 WMSA 与 SWMS 自注意力结构更能够正确地关注表情特征,在数据集 CK+、JAFFE、RAF-DB 上分别达到了 99.48%,95.60%和86.73%的识别准确率。实验结果最终验证了,在人脸表情识别任务中,基于自注意力机制的 Transformer 网络具有很大的潜力。关键词:深度学习;表情识别;迁移学习;Transformer;自注意力中图分类号:TP391文献标识码:A文章编号:1004-8626(2024)03-0045-07 在沟通表达的过程中,人的面部表情也是传达信息的重要方式之一,人们甚至可以根据表情信息了解到许多细微的情感。人脸面部表情普遍可分为快乐、悲伤、惊讶、恐惧、愤怒和厌恶六种情绪。对于表情的识别,传统方法有局部二值模式、方向梯度直方图等。1-2然而传统方法,需要手工提取特征,并且很难提取到人脸表情的深层特征。随着技术的发展,深度学习、卷积网络被更多运用在了人脸识别领域,针对信息不足、光照强度不同、遮挡等情况对数据集质量及网络检测的影响,许多研究人员在网络中引入注意力机制以提升模型对人脸表情的识别准确度。Pecoraro 等3在自注意力机制的基础上提出了 LHC 局部多头自注意力机制,集成于 ResNet 中,提出了一种通用的计算机视觉模型 LHC-Net,该模型在 Fer2013 数据集上达到了74.42%的识别准确率。ViT(Vision Transformer)首先提出使用 Transformer 模型代替卷积网络模型来处理图像分类任务,4相比于卷积网络,Transform-er 具有上下文感知能力,结合自注意力机制,能够获取数据中的全局信息及特征。Aouayeb 等人在ViT(Vision Transformer)模型的基础上,通过在class Token 中加入通道注意力机制(SEBlock)的方法解决了 ViT 缺乏训练数据导致的一些问题,并在常用表情数据集上对模型进行验证,实验结果证明,该模型在 CK+与 SFEW 数据集上的识别准确率分别达到了 99.80%和 55.29%,表现 SOTA。5Zhang 等人使用 ResNet 模型,并采用相对不确定性学习(RUL)的方法来解决噪声样本对模型的影响,实验结果证明该模型在 RAF-DB 数据集上达到了 90.35%的识别准确率。6Shi 等提出一种多分支交叉卷积神经网络,该网络通过提高感受野的特征提取能力,有效地融合各个分支的特征,提高了网络的识别性能,在公开数据集 CK+上达到了98.48%的准确率。7综上所述,对于人脸表情识别方法的研究主要是基于卷积神经网络结构及 Transformer 模型展开,并通过融入注意力机制提升特征提取能力,同时对模型进行大量的调参优化,在公开数据集上对改进模型及相关模型的性能进行测试及横向对比。本文基于 Swin Transformer 与 ViT 网络结构,探究自注意力机制在人脸表情识别任务上的作用。(1)探究 MSA、WMAS 和 SWMSA 在不同模型中对人脸表情特征的关注度及有效性。本文分别以 Swin Transformer 和 Vision Transformer 网络为基准,与移除自注意力机制的 Mixer-Layer 网络进行识别准确率的横向对比,将识别后的特征图可视化,分析网络对图像特征的关注度。同时增加了不同公开数据集上表现良好的模型与调优后的模型识别准确率的对比,综合分析自注意力机制对图像分类任务在识别准确率、特征关注度等方面的影响。(2)使用迁移学习方式节省计算资源、提升模型性能。尽管 Swin Transformer 使用滑动窗口机制降低了模型计算量,但其与 ViT 的网络结构模型依旧十分庞大,使用预训练模型作为初始模型参数,能够进一步减少模型训练时间,且预训练模型能够提供已学习到的数据特征,增强模型的泛化能力。(3)使用数据增强对数据集进行处理,解决数据量较少、样本数量不均等问题,提升模型泛化能力。由于公开数据集中,部分数据集存在样本不均的情况(如 CK+等),对于此类数据集在训练前对其进行预处理十分必要。本文采用水平镜像翻转、增加噪声及平移剪切的方式对数据集进行预处理,既扩充了数据集数量,又解决了数据集样本不均的问题。1 人脸表情识别方法1.1 迁移学习迁移学习实际上是利用在一个任务中学到的知识和模型来改善另一相关任务性能的一种机器学习方法。在深度学习中,尤其是图像识别分类领域,传统的图像识别分类需要大量标注数据和计算资源,但在实际应用中获取大规模的标注数据往往是困难和昂贵的。而迁移学习可以利用预训练模型,为模型提供已经在大规模图像数据上学习到的丰富的特征表示及模式,将其作为初始模型参数,避免从零开始训练模型,节省计算资源并显著提高模型性能。迁移学习还可以解决数据不足的问题。当存在数据集数量不足、标注不完整等情况时,使用迁移学习可以有效将预训练模型的知识迁移到新任务上,从而弥补数据不足,提高模型的泛化能力。综上所述,迁移学习多被用于解决数据量少、训练样本不充分、模型计算量庞大等问题。由于基于自注意力机制的神经网络需要大量数据训练才能收敛,而公开数据集 CK+、JAFFE、RAF-DB 等数据集数据量较小,且存在样本分布不均的情况。因此,本文选择使用迁移学习方式来解决以上问题,其中,在 RAF-DB 数据集上的实验结果是网络载入 ImageNet 数据集上的预训练权重后再迁移到该数据集上训练得到的;在 CK+与 JAFFE 数据集上的实验结果是网络载入 Fer2013 数据集上的预训练权重后再迁移到这两个数据集上训练得到的。1.2 自注意力机制Vision Transformer 网络基于 MSA(multi-head Self-Attention)多头自注意力机制组成,8该网络首先将图像划分为一组大小相同的 Patch 图像块,并将它们作为序列输入 Transformer 中,每个图块通过一层线性映射得到查询(query)、键(key)和值(value)向量。然后,这些向量被输入多层 Trans-former 编码器中进行自注意力计算和前向传播。最后,通过全局平均池化或全局最大池化,将最后一层的输出转换为固定长度的特征表示,用于图像分类任务。相比于传统的卷积神经网络,MSA 计算有更大感受野,且能处理图像中长距离依赖关系,更有利于关注图片的全局特征。Vision Transformer 的网络结构如图 1 所示,其中,Patch Embedding 是图像分块和位置编码。Lay-er Norm 为归一化,MLP 为多层感知机。图 1 Vision Transformer 网络结构Swin Transformer 网络是基于 WMSA(Windows MSA)与 SW-MSA(Shift Windows MSA)两种注意力组成。9其中,WMSA 引入了卷积神经网络中的层次化构建方式,在不同层次不同大小的窗口内进行 MSA 多头注意力机制的计算,能有效降低 MSA的计算量。SW-MSA 注意力通过滑动窗口分割出不同的区域,再按规则进行移动组合,最后在指定区域进行 MSA 计算,能有效解决 WMSA 感受野固定的问题。Swin Transformer 网络结构图如图 2 所示。Patch Partition 表示切片分割,Linear Embedding 为线性嵌入层。MAS、WMSA 与 SW-MSA 计算原理64北 京 印 刷 学 院 学 报2024 年如图 3 所示。图中每一种颜色代表一个窗口对特征图的划分。MSA 将输入特征图划分为 1 个窗口,WMSA 划分为多个窗口,对每个窗口进行 MSA计算,SW-MSA 将特征图重新划分,按照规则移动窗口,再对移动后的窗口进行 MSA 计算。图 2 Swin Transformer 网络结构图 3 MSA、WMSA、SW-MSA 原理图 Vision Transformer 网络根据位置编码和 Trans-former Encoder 的个数分为不同的网络模型,模型名称、网络层、各维度及数量信息如表 1 所示,其中,ViT 为 Vision Transformer 的缩写,本文中 ViT-Base 模型简称为 ViT-B/16 模型,图像图块的大小为 1616 像素。表 1 Vision Transformer 网络结构网络模型网络层数隐藏层维度MLP 维度Head 数量ViT-Base12768307212ViT-Large241024409616ViT-Huge321280512016Swin Transformer 网 络 结 构 根 据 通 道 数 和Stage1Stage4 块的个数不同,分成了不同网络,如表 2 所示。表 2 Swin Transformer 网络网络模型参数Swin Transformer TinyC=96,stage number=2,2,6,2Swin Transformer SmallC=96,stage number=2,2,18,2Swin Transformer BaseC=128,stage number=2,2,18,2Swin Transformer LargeC=192,stage number=2,2,18,2其中 C 代表通道数,stage number 分别代表每个 stage 的个数。本文中 Swin Transformer Base 模型简称为 Swin-Base 模型。2 实验过程实验 运 行 环 境 如 表 3 所 示,Python 版 本为 3.8.0。表 3 实验运行环境设备型号操作系统Windows 10CPUInter Xeon Gold 6132GPUNVIDIA GeForce RTX 2080 Ti2.1 数据集为验证基于自注意力结构的 Transformer 网络在人脸表情识别任务上的有效性,本文采用 2 种实验室场景人脸表情数据集(JAFFE 与 CK+)与 2 种自然场景下人脸表情数据集(Fer2013 与 RAF-DB)进行实验对比,所采用的数据集样本分布如表4 所示。2.1.1 人脸表情数据集JAFFE 数据集是由 ATR 部门在实验室场景下组织收集的日本女性表情图片,共包含 213 张大小为 256256 的人脸正面图像,共分为如图4 所示的74第 3 期刘一楠,王 佳,简腾飞,等:基于自注意力的人脸表情识别算法研究7 种表情标签。经分析,该数据集样本分布均匀,标签准确。图 4 JAFFE 数据集样例图CK+数据集是由来自不同年龄段和种族的123 个对象在实验室场景下采集的人脸表情数据集,包含 327 个被标记的表情图片序列及 7 种标签,如图 5 所示。经分析,该数据集样本分布较为不均匀。图 5 CK+数据集样例图表 4 数据集样本数量分布数据集愤怒自然厌恶恐惧高兴悲伤惊讶蔑视JAFFR303029323131300CK+1350177752078424954Fer20134055618954651338758607439950RAF-DB 16153204877355595724068670RAF-DB 数据集是由互联网上采集的人脸表情图像组成,共有 15339 张不同大小的人脸图像,其中包含训练集 12271 张,测试集 3068 张,表情标签如图 6 所示。该数据集分布均匀,标签正确。图 6 RAF-DB 数据集样例图Fer2013 数据集是人脸识别项目中常被用到的数据集,其中包含了4848 的7 种表情标签的灰度图人脸图像共 35887 张,其中训练集 28708 张,包括公有验证集 3589 张、私有验证集 3589 张,该数据集虽然图像质量低,但是具有实际应用的现实性。数据集样例如图 7 所示。图 7 Fer2013 数据集样例图2.2 数据增强为解决人脸表情数据集样本少、样本不丰富的问题,本文采用了数据增强方式对数据集进行扩充,增强方式包括:水平和垂直移动图像大小的20%,水平镜像翻转,将图像旋转10 度,改变图像的亮度和对比度,在图像上加入噪声,将图像重新调整为 224224 像素大小。3 实验与分析为对比 MSA、WMAS 和 SWMSA 对人脸表情特征的关注程度,本文分别在 Vision Transformer、Swin Transformer 系列网络中,针对数据集 RAF-DB 调优后,选取识别准确率最高的网络模型进行对比。为探究自注意模块在网络中的有效性,使用移除自注意力模块的 Mixer Layer 结构搭建网络模型进行对比。103.1 训练设置网络的总共训练 300epochs,训练参数设置如表 5 所示。训练 Mixer Layer 搭建的网络时,先在样本丰富的人脸表情数据集上训练,再迁移到样本少的数据集上微调。由于实验条件限制,未使用ImageNet 预训练 Mixer Layer 网络。表 5 训练参数超参数参数值初始学习率0.01优化器SGD损失函数交叉熵损失Batch Size32Weight decay5e-4学习率衰减方式cos3.2 实验分析与对比首先,将 Vision Transformer、Swin Transformer与使用 Mixer Layer 搭建的 MLP Mixer 三种不同的网络的不同模型在 RAF-DB 数据集上进行实验对84北 京 印 刷 学 院 学 报2024 年比,各模型实验结果如表 6 所示。其中,Mixer Lay-er-8 表示深度为 8 的 MLP Mixer 网络。表 6 各模型识别准确率对比模型类别Swin TransformerVision TransformerMLP Mixer模型识别准确率/%Swin-Tiny85.72Swin-Small86.57Swin-Base86.73ViT-B/1684.10ViT-L/1674.69Mixer Layer-880.18Mixer Layer-1279.81Mixer Layer-1678.89由表可知 Swin-Base、ViT-B/16、Mixer Layer-8 在 RAF-DB 数据集上分别取得了最高的识别准确率。因此选取这 3 种网络在其余数据集上进行对比实验分析,实验结果如表 7 所示。表 7 各数据集识别准确率数据集网络Swin-Base/%ViT-B/16/%Mixer Layer-8/%CK+99.5398.5198.71JAFFE95.8388.1395.93RAF-DB86.7384.1065.40Fer201372.2172.1063.03CK+与 JAFFE 数据集是在实验室场景采集得到,由表 7 可知,在 JAFFE 数据集上移除自注意力机制的 Mixer Layer 网络的识别准确率高于基于自注意力结构的 Swin-Base、ViT-B/16 网络,但结果与 Swin-Base 网络非常相近,仅高出 0.1%;在 CK+数据集上,三种网络的识别准确率相差不大,其中Swin-Base 网络的识别准确率最高,比 ViT-B/16网络的识别准确率高出 1.02%,比 Mixer Layer 网络高出 0.82%。分析三种模型在 CK+和 JAFFE 数据集上得出以上结果的原因是实验室场景下采集的数据集样本数量少且单一,自注意力结构在该场景下很难发挥其优势。RAF-DB 与 Fer2013 数据集是自然场景下的人脸表情数据集,在自然场景数据集上,自注意力机制网络的识别准确率远高于移除注意力机制后的网络。其中 Swin-Base 网络的识别准确率最高,在 RAF-DB 数 据 集 上 的 识 别 准 确 率 达 到 了86.73%,比 ViT-B/16 网 络 的 识 别 准 确 率 高2.63%,比 Mixer Layer 网 络 的 识 别 准 确 率 高21.33%;在 Fer2013 数据集上的识别准确率达到了 72.21%,比 ViT-B/16 网络的识别准确率高0.11%,比 Mixer Layer 网络高 9.18%。由以上数据可知,自注意机制网络在自然场景中处理人脸表情识别任务更具优势,其识别准确率更高。通过观察表 7 可知,基于 WMSA 与 SWMSA 自注意力构建的 Swin-Base 网络在四种数据集上的识别准确率都高于 MSA 注意力构建的 ViT-B/16网络。通过 Grad-CAM 可视化算法得出 Swin-Base 和 ViT-B/16 网络模型在 RAF-DB 数据集上的热力图,其对比结果如表 8 所示。表 8 中,基于WMSA 与 SWMSA 自注意力的 Swin-Base 网络对人脸表情的特征关注区域更加连续,能够更加关注影响表情分类的部位(如,眼部、嘴角)。故 WMSA与 SWMSA 自注意力构建的网络识别准确度良好,更适合人脸表情识别任务。表 8 表情对比 Grad-CAM 图网络表情愤怒厌恶恐惧高兴自然悲伤惊讶原图ViT-B/16Swin-Base 实验还对比参考了国内外在 CK+、JAFFE、RAF-DB 与 Fer2013 数据集上优秀的人脸表情识94第 3 期刘一楠,王 佳,简腾飞,等:基于自注意力的人脸表情识别算法研究别算法,其对比结果如表 9表 12 所示。表 9 不同算法在 CK+上识别准确率模型识别准确率/%MBCC-CNN198.48Nonlinear eval on SL+SSL puzzling898.23DeepEmotion1298.00Swin-Base99.53表 10 不同算法在 JAFFE 数据集上识别准确率模型识别准确率/%ViT+Se494.83DeepEmotion1292.80Swin-Base95.83表 11 不同方法在 RAF-DB 数据集上识别准确率模型识别准确率/%VGG19+Involution 算子1385.00LDL-ALSG1485.33VGG+SE1583.28Swin-Base86.73表 12 不同方法在 Fer2013 数据集上的识别准确率模型识别准确率/%CNN1672.16RMFANet1770.29Ad-Corre1872.03Swin-Base72.21从表 9 表 12 对比结果表明,基于 MSA 与WMSA 自注意力 Swin-Base 网络的识别准确率超过了传统的 CNN 卷积神经网络。可以看出 Swin Transformer 在人脸表情数据集上表现良好,并且具有良好的学习能力和泛化能力。在 CK+数据集上准确率 0.5%1%的提升,在 JAFFE 数据集上有1%3%的提升。在 RAF-DB 数据集上有 1%3%的提升,在 Fer2013 数据集上有 0.1%1.9%的提升。综上所述,验证了自注意力机制网络在人脸表情识别任务上确实具有有效性。4 结语本文基于自注意力机制网络研究了人脸表情识别方法,使用迁移学习来解决对于 Transformer网络的训练需要大量数据集的问题,有效提高了识别方法的有效性。本文使用 Vision Transformer、Swin Trans former 和 Mixer Layer 三类网络分别在CK+、JAFFE、RAF-DB 和 Fer2013 数据集上进行实验,通过对比,Swin Transformer 网络对表情的识别正确率最高,且通过迁移学习能在样本少的数据集上收敛,实验结果表明基于自注意力机制的网络对7 种人脸表情也有很好的识别性。本文论证了使用自注意力机制的网络模型在人脸表情识别分类任务的处理中具有一定的适用性,如其更适用于自然环境下的人脸表情任务,更擅长于捕捉输入序列中的表情细节和整体特征等。但基于自注意力机制的网络模型仍然存在训练过程复杂、训练难度大,且对数据集的数量要求过多等问题,在后续的工作中,会在本文的基础上,综合考虑以上因素,并结合具体的任务和需求来降低模型训练复杂度,构建具有良好鲁棒性及泛化性的人脸表情分类模型。参考文献:1Shan C,Gong S,Mcowan P W.Facial expression recognition based on Local Binary Patterns:A comprehensive studyJ.Image and Vision Computing,2009(6):803-816.2Dalal N,Triggs B.Histograms of oriented gradients for human detection.IEEE Computer Society Conference on Computer Vi-sion and Pattern Recognition C.San Diego:IEEE,2005:886-893.3 Pecoraro R,Basile V,Bono V,et al.Local Multi-Head Channel Self-Attention for Facial Expression RecognitionJ.2021.4 Dosovitskiy A,Beyer L,Kolesnikov A,et al.An image is worth 16x16 words:transformers for image recognition at scale J.arXiv:2010.11929,2020.5 Aouayeb M,Hamidouche W,Soladie C,et al.Learning Vision Transformer with Squeeze and Excitation for Facial Expression Recognition:,10.48550/arXiv.2107.03107P.2021.6Yuhang Zhang,Chengrui Wang,Xu Ling,et al.Learn From All:Erasing Attention Consistency for Noisy Label Facial Ex-pression RecognitionJ.2022.7 Shi CP,Tan C,Wang LG.A facial expression recognition meth-od based on a multibranch cross-connection convolutional neural networkC.IEEE Access,2021,9:39255-392748 Dosovitskiy A,Beyer L,Kolesnikov A,et al.An Image is Worth 16x16 Words:Transformers for Image Recognition at ScaleJ.2020.9 Liu Z,Lin Y,Cao Y,et al.Swin Transformer:Hierarchical Vi-sion Transformer using Shifted WindowsJ.2021.10 Pourmirzaei M,Montazer G A,Esmaili F.Using Self-Supervised Auxiliary Tasks to Improve Fine-Grained Facial RepresentationJ.arXiv e-prints,2021.11 Tolstikhin I O,Houlsby N,Kolesnikov A,et al.Mlp-mixer:An all-mlp architecture for visionJ.Advances in neural informa-tion processing systems,2021(34):24261-24272.05北 京 印 刷 学 院 学 报2024 年12 Abdolrashidi A.Deep-Emotion:Facial Expression Reco-gnition Using Attentional Convolutional Network J.Sensors,2021,21.13 郭靖圆,董乙杉,刘晓文,等.注意力机制与 Involution 算子改进的人脸表情识别J/OL.计算机工程与应用:1-102022-12-06.14 Chen S,Wang J,Chen Y,et al.Label distribution learning on auxiliary label space graphs for facial expression recognitionCProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle.IEEE Press,2020:13984-13993.15 Gan Y,Chen J,Yang Z,et al.Multiple attention network for facial expression recognition J.IEEE Access,2020(8):7383-7393.16 Loussaief S,Abdelkrim A.Convolutional neural network hyper-parameters optimization based on genetic algorithmsJ.Inter-national Journal of Advanced Computer Science and Applica-tions,2018(10).17 郑浩,赵光哲.基于改进卷积的多尺度表情识别J/OL.计算机工程与应用:1-182023-04-12.18 Fard A P,Mahoor M H.Ad-corre:Adaptive correlation-based loss for facial expression recognition in the wildJ.IEEE Ac-cess,2022,10:26756-26768.Research on Face Expression Recognition Algorithm Based on Self-AttentionLIU Yinan1,WANG Jia1,JIAN Tengfei2,CAO Shaozhong1(1.School of Information and Engineering,Beijing Institute of Graphic Communication,Beijing 102600,China;2.Fenggang Power Supply Bureau,Guizhou Power Grid Limited Liability Company,Zunyi 564200,China)Abstract:This paper adopts Swin Transformer and Vision Transformer networks,combined with a migration learning approach,to conduct an in-depth study on the task of face expression recognition.In order to verify the performance of different networks,four commonly used face expression datasets,RAF-DB,Fer2013,CK+and JAFFE,are selected for the study.By comparing different models of different networks,the experimental results show that the WMSA and SWMS self-attentive structures in Swin Transformer network are more capable of focusing on the expression features correctly,and achieve 99.48%,95.60%,and 86.73%recognition accuracy rate on the datasets CK+,JAFFE,and RAF-DB,respectively.The experimental results finally verified that the Transformer network based on the self-attention mechanism has a great potential in the face expression recognition task.Key words:deep learning;facial expression recognition;Transformer;self-attention(责任编辑:周宇)15第 3 期刘一楠,王 佳,简腾飞,等:基于自注意力的人脸表情识别算法研究