基于ResNet18与胶囊网络结合的人脸表情识别.pdf

第4 4卷 第5期2 0 2 3年1 0月 青 岛 科 技 大 学 学 报(自然科学版)J o u r n a l o f Q i n g d a o U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y(N a t u r a l S c i e n c e E d i t i o n)V o l.4 4 N o.5O c t.2 0 2 3 文章编号:1 6 7 2-6 9 8 7(2 0 2 3)0 5-0 1 0 9-0 6;D O I:1 0.1 6 3 5 1/j.1 6 7 2-6 9 8 7.2 0 2 3.0 5.0 1 3基于R e s N e t 1 8与胶囊网络结合的人脸表情识别刘 宁1,孙 萍2,冯宇平1*,鞠伯伦3(1.青岛科技大学 自动化与电子工程学院,山东 青岛 2 6 6 0 6 1;2.青岛海湾化学股份有限公司,山东 青岛 2 6 6 4 0 9;3.中国船舶集团有限公司第七一六研究所,江苏 连云港 2 2 2 0 0 6)摘 要:为了避免C NN池化层丢失特征并解决胶囊网络自身卷积层特征提取不足的问题,提出一种改进的R e s N e t 1 8和胶囊网络结合的人脸表情识别方法。该方法仅保留R e s N e t 1 8的卷积层,对其中的3个残差块进行调整,然后融入C B AM注意力机制,替换胶囊网络的单卷积层来提取特征,最后将提取的特征送入胶囊网络进行训练和分类。所提出的方法在C K+、R A F-d b和F E R+数据集上进行了实验,识别准确率C K+9 7.9 7%、R A F-d b 8 4.1 1%、F E R+(单标签)8 6.2 4%、F E R+(双标签)9 4.1 4%。实验结果表明,该方法在人脸表情识别方面具有可行性和有效性。关键词:胶囊网络;R e s N e t 1 8;人脸表情识别;特征提取;C B AM注意力机制中图分类号:T P 3 9 1.4 文献标志码:A引用格式:刘宁,孙萍,冯宇平,等.基于R e s N e t 1 8与胶囊网络结合的人脸表情识别J.青岛科技大学学报(自然科学版),2 0 2 3,4 4(5):1 0 9-1 1 4.L I U N i n g,S UN P i n g,F E NG Y u p i n g,e t a l.F a c i a l e x p r e s s i o n r e c o g n i t i o n b a s e d o n t h e c o m b i n a t i o n o f R e s N e t 1 8 a n d c a p s u l e n e t w o r kJ.J o u r n a l o f Q i n g d a o U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y(N a t u r a l S c i e n c e E d i t i o n),2 0 2 3,4 4(5):1 0 9-1 1 4.收稿日期:2 0 2 2-1 0-2 8基金项目:国家自然科学基金项目(6 1 9 7 1 2 5 3);青岛科技大学2 0 2 1年大学生创新训练计划项目(S 2 0 2 1 1 0 4 2 6 0 0 6).作者简介:刘 宁(1 9 9 5),男,硕士研究生.*通信联系人.F a c i a l E x p r e s s i o n R e c o g n i t i o n B a s e d o n t h e C o m b i n a t i o n o f R e s N e t 1 8 a n d C a p s u l e N e t w o r kL I U N i n g1,S U N P i n g2,F E N G Y u p i n g1,J U B o l u n3(1.C o l l e g e o f A u t o m a t i o n a n d E l e c t r o n i c E n g i n e e r i n g,Q i n g d a o U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y,Q i n g d a o 2 6 6 0 6 1,C h i n a;2.Q i n g d a o H a i w a n C h e m i c a l C o.,L t d.,Q i n g d a o 2 6 6 4 0 9,C h i n a;3.T h e 7 1 6 t h I n s t i t u t e o f C S S C,L i a n y u n g a n g 2 2 2 0 0 6,C h i n a)A b s t r a c t:I n o r d e r t o a v o i d t h e p r o b l e m o f C NN p o o l i n g l a y e r m i s s i n g f e a t u r e s a n d s o l v e t h e p r o b l e m o f i n s u f f i c i e n t f e a t u r e e x t r a c t i o n o f t h e c o n v o l u t i o n a l l a y e r o f t h e c a p s u l e n e t w o r k i t-s e l f,a f a c i a l e x p r e s s i o n r e c o g n i t i o n m e t h o d c o m b i n i n g i m p r o v e d R e s N e t 1 8 a n d c a p s u l e n e t-w o r k i s p r o p o s e d.T h i s m e t h o d o n l y r e t a i n s t h e c o n v o l u t i o n a l l a y e r o f R e s N e t 1 8,a d j u s t s t h e t h r e e r e s i d u a l b l o c k s a n d i n c o r p o r a t e s t h e C B AM a t t e n t i o n m e c h a n i s m,t h e n r e p l a c e s t h e s i n g l e c o n v o l u t i o n a l l a y e r o f t h e c a p s u l e n e t w o r k t o e x t r a c t f e a t u r e s,a n d f i n a l l y s e n d s t h e e x t r a c t e d f e a t u r e s t o t h e c a p s u l e n e t w o r k f o r t r a i n i n g a n d c l a s s i f i c a t i o n.T h e p r o p o s e d m e t h-o d w a s t e s t e d o n t h e t h r e e d a t a s e t s w h i c h r e c o g n i t i o n a c c u r a c i e s a r e 9 7.9 7%o n t h e C K+,8 4.1 1%o n t h e R A F-d b,8 6.2 4%o n t h e F E R+(s i n g l e l a b e l),a n d 9 4.1 4%o n t h e F E R+(d o u b l e l a b e l).E x p e r i m e n t a l r e s u l t s s h o w t h a t t h e m e t h o d i s f e a s i b l e a n d e f f e c t i v e i n f a c i a l 青 岛 科 技 大 学 学 报(自然科学版)第4 4卷e x p r e s s i o n r e c o g n i t i o n.K e y w o r d s:c a p s u l e n e t w o r k;R e s N e t 1 8;f a c e e x p r e s s i o n r e c o g n i t i o n;f e a t u r e e x t r a c t i o n;C B AM a t t e n t i o n m e c h a n i s m 二 十 世 纪 七 十 年 代 初,著 名 心 理 学 家E K-MAN1提出人类6种基本情感的概念,分别是开心、惊讶、悲伤、生气、恐惧、憎恶,后来又加入中性表情,构成人脸表情识别的7种基本表情。人脸表情识别 可 以 分 为 两 类:传 统 方 法2-3和 基 于 深 度 学习4-1 3的方法。由于传统方法无法提取到人脸面部表情图片的深层特征,因此目前人脸表情识别主要是基于深度学习方法的研究。文献7 针对实际场景中人脸表情多为复合表情的问题,提出一种深度位置保留(D L P-C NN)的人脸表情识别方法解决这种模糊性情感问题;文献9 提出一种p a C NN方法,根据相关人脸位置标记,从最后的卷积特征图中裁剪出感兴趣的部分,学习并专注于局部具有区别性和代表性的部分;文献1 0 提出一种P AT-C NN方法,是以分层的方式学习和表达相关特征,从而减轻面部表情识别中由特定的人属性引入的变化。虽然C NN在很多方面都展现出它强大的性能,但也存在弊端,比如C NN中的池化层会丢失图片的部分特征,这限制了人脸表情识别技术的发展。2 0 1 7年,H I NTON提出胶囊网络1 4,完美保留了卷积模块提取到的图片特征。文献1 2 将VG GN e t 1 6网络和胶囊网络进行结合,并添加AU(A c t i o n U n i t)单元,在R A F-d b数据集(图片大小为2 2 42 2 4)上进行 实 验,识 别 率 达 到8 5.2 4%;文 献 1 3将D e n s e N e t网络与胶囊网络结合,针对多视角人脸表情进行 识 别,在 数 据 集F E R 2 0 1 7达 到 了 平 均 值 为5 3.9%的 F 1值。本研究将残差网络和胶囊网络结合进行人脸表情识别,并将所提到的方法在C K+、R A F-d b和F E R+1 5数据集上进行了实验分析。1 算法与数据1.1 R e s N e t 1 8网络R e s N e t 1 8网络的主要结构是4个堆叠的残差块,残差块结构如图1所示,它将输入的特征信息通过一个11的卷积连接到残差块的输出端,缓解了深层网络在训练的梯度消失和爆炸的情况。在实验过程 中,通 过 对 比R e s N e t 1 8与 胶 囊 网 络 结 合 和R e s N e t 3 4与胶囊网络结合的实验结果,发现网络更深的R e s N e t 3 4与胶囊网络结合后的优势并不大。分析这是由于本研究所采用的数据集尺寸较小,浅层的卷积神经网络就可以提取到丰富的特征信息,且在融入C B AM注意力机制1 6后特征提取能力进一步提高。图1 残差块结构图F i g.1 R e s i d u a l b l o c k s t r u c t u r e d i a g r a m1.2 胶囊网络胶囊的概念最早在2 0 1 1年被H I NTON提出,在文献1 7 中,H I NTON团队展示了神经网络如何被用来学习特征,输出整个矢量的实例化参数,并且认为该方法在旋转不变性、尺度不变性和光照变化等方面比目前神经网络中使用的方法更有优势。2 0 1 7年,H I NTON提出胶囊网络,并在MN I S T手写体数据集上进行了测试,获得业界最佳的效果,随后研究者证明胶囊网络在图像分类方面具有广泛的应用前景。1.2.1 胶囊网络的结构胶囊网络框架是一个浅层的框架,主要有3部分:卷积层、初级胶囊层、数字胶囊层,如图2所示。图2 胶囊网络结构图F i g.2 C a p s u l e n e t w o r k s t r u c t u r e d i a g r a m 其中,卷积层主要用来提取输入数据的特征,它是一个通道数为2 5 6,卷积核大小为99,步长为1的单卷积层,激活函数采用R e L U激活函数。初级胶囊层主要分为两个部分:第一部分是一个通道数为2 5 6,卷积核大小为99,步长为2的单011 第5期 刘 宁等:基于R e s N e t 1 8与胶囊网络结合的人脸表情识别卷积层;第二部分是一个r e s h a p e操作,将提取到的特征封装为3 2个胶囊,每个胶囊含有8个卷积单元。数字胶囊层是初级胶囊层经过路由机制得到的,数字胶囊层有7个胶囊,即将人脸面部表情分为7类。1.2.2 路由机制路由机制是胶囊网络的核心,低层特征与高层特征之间是通过路由机制来更新权重系数的,在H i n t o n提出的胶囊网络中采用的是动态路由机制(d y n a m i c r o u t i n g),其原理图如图3所示,图3是以路由机制迭代3次,任意个胶囊为例,展示胶囊网络的动态路由机制原理。其中V1Vi是输入胶囊,W1Wi是权重矩阵,C1 1Ci 3是耦合系数,V是输出胶囊,U1Ui、S1Si和A1Ai是 中 间 值,S q u a s h i n g是一个非线性的“挤压”操作,目的是为了在保持胶囊方向不变的前提下,将胶囊的长度收缩在01之间,其公式为Vi=Si21+Si2SiSi。(1)其中Si是向量Si的模,当Si2比较大时,Vi的值趋向于1,当Si2比较小时,Vi的值趋向于0。图3 动态路由机制F i g.3 D y n a m i c r o u t i n g m e c h a n i s m1.3 注意力机制当人进入到一个新场景或者看到某张图片时会有一个重点关注的区域,也就是注意力焦点,人们会分配更多的注意力在这些区域以获得更多的细节,这就是人类所具有的选择性注意力机制。深度学习的注意力机制1 8-1 9借鉴了人类的注意力机制,使得计算机可以像人类一样可以重点关注图片中的关键信息。目前,注意力机制从关注域方面可以分为3类:空间域注意力机制、通道域注意力机制和混合域注意力机制。图4 注意力机制F i g.4 A t t e n t i o n m e c h a n i s m 空间域注意力机制如图4(a)所示,它是将输入的数据经过一个空间转换器(s p a t i a l t r a n s f o r m e r)模型,该模型能够对输入图像中的空间域信息进行空间转换,从而提取出关键的特征信息,并赋予不同的权重。通道域注意力机制如图4(b)所示,它是先进行S q u e e z e操作,将空间维度进行特征压缩,即每个二维的特征图变成一个实数,也就是该通道的权重,这相当于具有全局感受野的池化操作,特征通道数不变。混合域注意力机制是将空间域和通道域注意力机制结合起来,这样就可以同时拥有这两种注意力机制的特性。1.4 本研究网络结构虽然H i n t o n提出的胶囊网络在手写体识别上取得业界最高的识别率,但是由于胶囊网络前面特征提取部分只有两个单卷积层,在对人脸面部表情特征提取时,特征提取不全,因此,本研究对胶囊网络前的卷积模块进行网络加深。首先对R e s N e t 1 8进行改进,然后用改进后的R e s N e t 1 8替换胶囊网络的单卷积模块,得到本研究的R e s C a p s N e t网络。具体的网络结构如下。首先,因人脸表情分类工作由胶囊网络中的数字胶囊层来完成,所以去掉R e s N e t 1 8的全连接层;然后为不损失卷积模块提取到的特征,剔除全局平均池化层;另外还调整原R e s N e t 1 8第1个卷积层的卷积核大小,原33的卷积核改为55的;最后,对残差模块(B a s i c B l o c k)进行改进,其中第1个残差块保持不变,将第2、第3个残差块的步长调整为1,第4个残差块的步长保持不变,但将其通道数改为2 5 6。除此之外,为进一步提升网络性能,在4个残差块中加入C B AM注意力机制,他是一种混合域的注意力机制,包含空间域和通道域两种注意力模块,其总体结构,如图5所示。111青 岛 科 技 大 学 学 报(自然科学版)第4 4卷图5 C B AM注意力机制F i g.5 C B AM a t t e n t i o n m e c h a n i s m 其中,通道域注意力模块如图6所示,它是在输入特征F1上分别进行全局最大池化和全局平均池化得到两个一维向量,经过共享的ML P层,然后相加再经过S i g m o i d激活函数,得到通道注意力权重Mc(F1),Mc(F1)与输入特征F1相乘后得到特征F2。图6 通道域注意力模块F i g.6 C h a n n e l d o m a i n a t t e n t i o n m e c h a n i s m 空间域注意力模块如图7所示,它是在特征F2上进行最大池化和平均池化,得到两个特征图,然后经过一个7 7的卷积,得到一个新的特征图,再经过B N层和S i g m o i d激活函数,得到空间注意力权重Mc(F2),Mc(F2)与特征F2相乘后得到输出特征F3。图7 空间域注意力模块F i g.7 S p a t i a l d o m a i n a t t e n t i o n m e c h a n i s m 最后将上述搭建的网络与胶囊网络进行结合。由改进后的R e s N e t 1 8来提取人脸面部表情的特征,再将提取到的特征图送入胶囊网络进行训练和分类,具体网络结构如图8所示。1.5 数据集本研究所用到的数据集有:C K+、R A F-d b和F E R+。C K+:该数据集是在实验室条件下建立的数据集,发布于2 0 1 0年,共有9 8 1张4 84 8大小的图片,该数据集共分为7类表情。R A F-d b:该数据集制作是目前最严苛的人脸表情数据集,该数据集中的每张图片都是通过4 0个标图8 改进的网络结构图F i g.8 I m p r o v e d n e t w o r k s t r u c t u r e d i a g r a m注者投票,然后取最高票数的那一类表情作为该图片的标签,图片大小是1 0 01 0 0。F E R+:该数据集是英特尔公司在2 0 1 7年时对F E R 2 0 1 3数据集重新标注而来,图片大小是4 84 8。它将数据分为1 0类,实验仅使用其中7类表情。2 结果与分析为验证本研究所提出的人脸表情识别方法的可行性和有效性,在C K+、R A F-d b和F E R+数据集上进行一系列实验。其中在使用F E R+数据集时,采用两种方法:一种是单标签,即选用最大概率的表情作为该图片的标签;二是考虑到数据集存在两种等概率表情的图片,如一张图片中性和悲伤表情的概率均为4 0%等,因此采用双标签来对数据进行标注。测试时,选择分类概率最高的作为识别结果,然后与标签进行对比,所有识别正确的图片数与总数相比算出识别率。2.1 改进的R e s N e t 1 8与胶囊网络结合实验分析表1是3个数据集在不同网络下的识别率,从中可以看出在C K+数据集上,单独的C a p s N e t对于人脸表情识别的准确率是非常低的。这是因为C a p s N e t只有单卷积层,对复杂的人脸表情特征提取不足,再加上该网络的鲁棒性要比卷积神经网络差一些,导致其在人脸表情识别方面比R e s N e t 1 8差很多,但是C a p s N e t在训练时收敛比较快,训练5 0代左右就可以达到最高准确率,而R e s N e t 1 8需要训练2 0 0代左右才能达到最高准确率。本研究将二者进行结合使其优势互补,R e s C a p s N e t网络仅需211 第5期 刘 宁等:基于R e s N e t 1 8与胶囊网络结合的人脸表情识别训练5 0代左右就可 以达到最高 准确率,而且 在C K+、R A F-d b和F E R+3个数据集上识别率分别提升了3.0 3%、6.3 0%、3.3 5%。表1 3个数据集在不同网络下的识别率T a b l e 1 T h e r e c o g n i t i o n r a t e o f t h r e e d a t a s e t s i n d i f f e r e n t n e t w o r k s 网络不同数据集的识别率/%C K+R A F-d bF E R+(单标签)C a p s N e t6 3.6 4R e s N e t 1 89 3.9 47 6.5 78 1.5 8R e s C a p s N e t(本研究)9 6.9 78 2.8 78 4.9 32.2 注意力机制对网络性能影响分析为进一步提高网络性能,本研究在R e s C a p s N e t中采用两种方式添加不同的注意力机制,如图9所示,并在R A F-d b、F E R+数据集上进行对比实验,具体实验结果如表2、3所示。图9 两种注意力机制添加方式F i g.9 A d d a t t e n t i o n m e c h a n i s m w i t h t w o w a y s表2 R A F-d b数据集上的实验结果T a b l e 2 E x p e r i m e n t a l r e s u l t s o f R A F-d b d a t a s e t 添加方式不同注意力机制下的识别率/%C AGAMC B AM方式一8 2.8 58 3.3 18 3.5 5方式二8 3.7 78 3.9 68 4.1 1表3 F E R+(单标签)数据集上的实验结果T a b l e 3 E x p e r i m e n t a l r e s u l t s o f F E R+(s i n g l e l a b e l)d a t a s e t 添加方式不同注意力机制下的识别率/%C AGAMC B AM方式一8 4.7 38 5.2 48 5.4 1方式二8 5.6 18 6.0 58 6.2 1 R e s C a p s N e t中共有4个残差块,图9中展示的是在一个残差块中如何添加C B AM注意力机制。从表2、3中的实验结果不难看出方式二的准确率普遍比方式一 高,而且在3种注意力 机制中,添加C B AM的效果最好。从表4中可以看出R e s C a p s-N e t在采用方式二添加C B AM注意力机制后,比未添加时,C K+数 据 集 识 别 准 确 率 提 升1.0 1%,R A F-d b数据集提升1.2 4%,F E R+数据集识别提升1.2 8%,由此可以说明在残差块中添加C B AM注意力机制是非常有效的。表4 有无C B AM注意力机制实验结果对比T a b l e 4 C o m p a r i s o n o f e x p e r i m e n t a l r e s u l t s w i t h o r w i t h o u t C B AM a t t e n t i o n m e c h a n i s m网络不同数据集的识别率/%C K+R A F-d bF E R+(单标签)R e s C a p s N e t9 6.9 78 2.8 78 4.9 3R e s C a p s N e t+C B AM(本研究)9 7.9 88 4.1 18 6.2 12.3 不同方法实验结果对比分析表5、6是加入C B AM注意力机制的R e s C a p s-N e t网络在R A F-d b和F E R+数据集上与其他文献中方法的实验结果对比。从2个表中可以看出与目前人脸表情识别方法相比,本研究所提出的方法是具有一定优势的。并且从表6中可以明显看出,F E R+数 据 集 采 用 双 标 签 识 别 准 确 率 达 到9 4.1 4%,远高于单标签准确率,由此在一定程度上说明生活中人脸面部表情并不是单一表情,而是多种表情复合而成。表5 R A F-d b数据集在不同方法下的实验结果T a b l e 5 E x p e r i m e n t a l r e s u l t s o f R A F-d b d a t a s e t u n d e r d i f f e r e n t m e t h o d s方法准确率/%D L P-C NN78 0.8 9GAN-I n p a i n t i n g88 1.8 7p a C NN98 3.0 5R e s C a p s N e t+C B AM(本研究)8 4.1 1311青 岛 科 技 大 学 学 报(自然科学版)第4 4卷表6 F E R+数据集在不同方法下的实验结果T a b l e 6 E x p e r i m e n t a l r e s u l t s o f F E R+d a t a s e t u n d e r d i f f e r e n t m e t h o d方法准确率/%P A T-C NN1 08 4.9 9O p t i m a l n e t w o r k s e t1 18 5.0 1R e s C a p s N e t+C B AM(本研究)8 6.2 1(单标签)R e s C a p s N e t+C B AM(本研究)9 4.1 4(双标签)3 结 语提出一种改进的R e s N e t 1 8与胶囊网络结合的方法,并应用于人脸表情识别。改进的方法与仅用卷积神经网络提取人脸表情特征相比,提取到的图像特征更丰富,并且训练迭代次数少,仅需要迭代五十几次就可以拟合,要远少于传统的卷积神经网络。在C K+、R A F-d b和F E R+数据集上进行实验后,实验结果表明该网络在人脸表情识别方面具有较高的准确率。本研究后续的工作将从如何优化网络模型,减少网络参数量,提高识别速度方面进行研究。参 考 文 献1 E KMAN P.C o n s t a n t s a c r o s s c u l t u r e s i n t h e f a c e a n d e m o t i o nJ.J o u r n a l o f P e r s o n a l i p y a n d S o c i a l P s y c h o l o g y,1 9 7 1,1 7(2):1 2 4-1 2 9.2 I Q T A I T M,MOHAMA D F S,MAMA T M.F e a t u r e e x t r a c-t i o n f o r f a c e r e c o g n i t i o n v i a a c t i v e s h a p e m o d e l(A S M)a n d a c-t i v e a p p e a r a n c e m o d e l(AAM)C/I O P C o n f e r e n c e S e r i e s:M a t e r i a l s S c i e n c e a n d E n g i n e e r i n g,3 3 2 0 1 2 0 3 2.3 C HE N T,Z HAN G H,J I N G H.A s u r v e y o f r e s e a r c h o n d e e p f a c e r e c o g n i t i o n b a s e d o n g a b o r f e a t u r e sJ.I n t e r n a t i o n a l C o r e J o u r n a l o f E n g i n e e r i n g,2 0 2 1,7(7):2 4 6-2 5 0.4 Z HAO K,C HU W S,Z HAN G H.D e e p r e g i o n a n d m u l t i-l a b e l l e a r n i n g f o r f a c i a l a c t i o n u n i t d e t e c t i o nC/P r o c e e d i n g s o f t h e I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n.2 0 1 6:3 3 9 1-3 3 9 9.5 D E N G J,P AN G G,Z HAN G Z,e t a l.c GAN b a s e d f a c i a l e x-p r e s s i o n r e c o g n i t i o n f o r h u m a n-r o b o t i n t e r a c t i o nJ.I E E E A c-c e s s,2 0 1 9,7:9 8 4 8-9 8 5 9.6 Z HE N G L,YA L,J I AN H T,e t a l.E x p r e s s i o n A n a l y s i s B a s e d o n F a c e R e g i o n i n R e a d-w o r l d C o n d i t i o n sE B/O L.2 0 2 2-0 2-0 1.h t t p:/a r x i v.o r g/a b s,1 9 1 1.0 5 1 8 8.7 Z HAO L,L I X,Z HUAN G Y,e t a l.D e e p l y-l e a r n e d p a r t-a-l i g n e d r e p r e s e n t a t i o n s f o r p e r s o n r e-i d e n t i f i-c a t i o nC/P r o-c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i-s i o n.2 0 1 7:3 2 1 9-3 2 2 8.8 YU J,L I N Z,YANG J,e t a l.G e n e r a t i v e i m a g e i n p a i n t i n g w i t h c o n t e x t u a l a t t e n t i o nC/P r o c e e d i n g s o f t h e I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n.2 0 1 8:5 5 0 5-5 5 1 4.9 L I Y,Z E N G J,S HAN S,e t a l.O c c l u s i o n a w a r e f a c i a l e x p r e s-s i o n r e c o g n i t i o n u s i n g c n n w i t h a t t e n t i o n m e c h a n i s mJ.I E E E T r a n s a c t i o n s o n I m a g e P r o c e s s i n g,2 0 1 8,2 8(5):2 4 3 9-2 4 5 0.1 0 C A I J,ME N G Z,KHAN A S,e t a l.P r o b a b i l i s t i c a t t r i b u t e t r e e i n c o n v o l u t i o n a l n e u r a l n e t w o r k s f o r f a c i a l e x p r e s s i o n r e c-o g n i t i o nE B/O L.2 0 2 2-0 2-0 1.h t t p:/a r x i v.o r g/a b s/1 8 1 2.0 7 0 6 7.1 1 Z HAN G X,MA Y.L e a r n i n g o f c o m p l i c a t e f a c i a l e x p r e s s i o n c a t e g o r i e sC/P r o c e e d i n g s o f t h e 2 0 1 9 I n t e r n a t i o n a l C o n f e r-e n c e o n I m a g e,V i d e o a n d S i g n a l P r o c e s s i n g.2 0 1 9:7 3-8 0.1 2 S A B OUR S,F RO S S T N,H I N T ON G E.D y n a m i c R o u t i n g B e t w e e n C a p s u l e sE B/O L.2 0 2 2-0 2-0 1.h t t p:/a r x i v.o r g/a b s/1 7 1 0.0 9 8 2 9.1 3 姚玉倩.基于胶囊网络的人脸表情特征提取与识别算法研究D.北京:北京交通大学,2 0 1 9.YAO Y u q i a n.R e s e a r c h o n F a c i a l E x p r e s s i o n F e a t u r e E x t r a c-t i o n a n d R e c o g n i t i o n A l g o r i t h m B a s e d o n C a p s u l e N e t w o r k D.B e i j i n g:B e i j i n g J i a o t o n g U n i v e r s i t y,2 0 1 9.1 4 韩雨.基于密集胶囊网络的多视角人脸表情识别D.武汉:华中科技大学,2 0 1 9.HAN Y u.M u l t i-v i e w F a c i a l E x p r e s s i o n R e c o g n i t i o n B a s e d o n D e n s e C a p s u l e N e t w o r k D.W u h a n:H u a z h o n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y,2 0 1 9.1 5 WOO S,P A R K J,L E E J Y,e t a l.C b a m:C o n v o l u t i o n a l b l o c k a t t e n t i o n m o d u l eC/P r o c e e d i n g s o f t h e E u r o p e a n C o