基于PCA与深度学习的表情识别算法.pdf

第 卷第 期计算机应用与软件 年 月 基于 与深度学习的表情识别算法区健冯开平罗立宏（广东工业大学计算机学院广东 广州 ）（广东工业大学艺术与设计学院广东 广州 ）收稿日期：。教育部人文社科项目（）。区健，硕士生，主研领域：图像处理。冯开平，教授。罗立宏，副教授。摘要针对传统特征提取主观性强、识别率不高，而现有卷积神经网络层数较多、规模过大、结构不够轻量化等问题，提出一种结合主成分分析（）和卷积神经网络的人脸表情识别方法。使用主成分分析对数据集原始图片进行降维重构，去除与面部表情无关的冗余信息，将图像进行数据增强之后作为输入图像输入到改进神经网络模型进行识别。该网络在输入层加入一层非线性表示层，并在全连接层前采用全局平均池化保留局部信息，结构较为轻量，参数量少。在公开的数据集 、中进行实验，并且对实验结果进行分析。实验结果表明，该方法在 和 数据集的准确率达到了 和 。所提方法有效地提高人脸识别的性能，为人脸表情识别领域改进识别率方向提供了一个思路。关键词计算机图像处理人脸表情识别主成分分析深度学习卷积神经网络中图分类号 文献标志码 ：（，）（，），（），引言今天，由于技术的进步和无处不在的传播，我们大部分时间都花在了与计算机和手机的交互上。它们在我们的生活中起着至关重要的作用，并且现有的大量软件接口都是非语言的、原始的和简洁的。通过人脸表情识别期望用户的感受和情感状态可以大大改善人 计算机应用与软件 年机交互（）体验 。在面部表情识别中，表情一般分为 类 ，包括生气、厌恶、害怕、高兴、悲伤、惊讶和中性。现在的表情识别任务集中在图像预处理、特征提取和分类三大块，从原始数据中抽离特征用于分类这一步骤有着至关重要的作用，它直接影响了表情识别的性能。传统的特征提取方法主要有局部特征二值模式（）、主成分分析（）、尺度不变特征变换（）等。等 提出了一种基于块 ，以接收过完备字典。通过稀疏表示，从每个最小子块中的残差值中获取类别残差向量。通过残差向量类别中的大量最小残值来测试表情类别。蔡则苏等 提出了一种基于 的特征提取算法，通过 提取人脸特征并将特征加入哈希表中进行分类，对复杂数据集进行降维并揭示了数据集中某些潜在的隐含信息。传统方法大多采用手工提取，虽然具有较高的准确率，但是过程中会包含对分类没有作用的特征，或者忽略了对分类具有重大作用的特征。随着近些年来深度学习的不断发展，将卷积神经网络应用到表情识别分类的问题引发了众多学者的研究和探讨。深度学习方法与传统方法最大的不同就是深度学习将特征提取和分类两大块结合在了一起，这极大地减少了因人工干预而导致的误差，并且通过局部感知的方法提取特征可以细化提取出人工提取难以提取到的关键点和特征。等 提出了 架构，卷积神经网络结构深度高达 层，是 分类挑战赛冠军，将 的错误率降低至 。等 提出了 架构，在 中获得优胜，在其内部残差块使用了内部跳跃连接，缓解了在深度网络中增加深度带来的梯度消失问题。深度学习的方法取得了比传统方法更高的识别率，但也带来了一些无法忽视的问题：图像预处理过于耗时、网络深度和宽度过高导致计算复杂度过大、梯度弥散（梯度越到后面越容易消失），难以优化模型、训练数据集有限容易产生过拟合。针对以上问题，本文提出了一种以主成分分析特征图作为输入的改进的轻量卷积神经网络结构。首先通过主成分分析方法对图像进行降维重构，摒弃了自然采集图像下出现的许多与面部表情无关的冗余信息，降低预处理成本；然后本文设计了一种轻量卷积网络结构，降低由于网络深度宽度导致的高计算成本和梯度弥散问题；最后与现有的人脸表情识别方法进行对比，在与现实环境相符合的 公开数据集上进行实验。结果表明，本文方法有效地提高了人脸表情的识别率。基本理论 主成分分析法 通过线性变换将训练图像变为一组各维度都线性无关的数据，使得这一组数据尽可能多地反映训练图像的信息 。的目标是找到数据中最主要的信息，去除噪声和冗余，并将复杂的数据降维，发掘出隐藏在复杂数据背后的简易结构。训练图像可看作一个复杂的高维数据矩阵，可用 对该图像进行降维重构，得出降维后的样本图像。的处理步骤如下：）把每幅图像看作一个矩阵 ，表达式如下：，（）式中：代表图像样本矩阵；表示图像矩阵的列向量；代表图像样本矩阵列向量的个数；代表图像样本矩阵的平均值。）求取图像样本矩阵的协方差矩阵 ，如下：（）（）（）求协方差矩阵的特征值和特征向量：解特征方程 或采用 方法（本文采用 ），求特征值 以及对应的特征向量，其中 表示特征向量的个数，协方差矩阵的特征向量表示为 （，）。）将协方差矩阵的特征向量按特征值的大小进行排列组合，并取前 个向量作为投影到 维空间的投影矩阵。）投影矩阵与图像样本矩阵的点积生成最终的主成分矩阵，训练图像的主成分矩阵为 。卷积神经网络前馈式网络（，）是一种简单的神经网络，神经元按照各层分布排列，各层神经元只和前一层的神经元相连。单通道且各层间没有反馈，是目前发展最快、应用最广的神经网络之一。卷积神经网络（，）是一种特殊的前馈式网络，它具有深度结构并包含卷积计算，是深度学习的代表算法之一，它包含了卷积层、池化层、全连接层、输出层等多个结构。卷积神经网络通过端对端的方式，对图像进行特征提取和分类，极大减第 期区健，等：基于 与深度学习的表情识别算法 少了人工干预，适用于大规模的数据训练。以下是卷积神经网络结构详解。卷积层卷积层由若干个卷积单元组成，卷积单元通过反向传播算法得到最佳化参数，用于提取特征图。将用可训练的卷积核应用到上一层的表情特征图的所有点上，通过将卷积核在输入特征图上滑动，生成经过滤波处理的特征图，并经过激活函数激活后输出给下一层。表情特征图的处理公式为：（）（）式中：为第 层输出的特征图；为激活函数；为第 层与第 层对应的卷积核；为偏置向量。池化层池化层主要是对参数进行压缩，是图像的下采样层 。池化层一方面能对特征图进行降维，减少网络计算量，另一方面可以提取主要特征，放弃次要特征，防止网络过拟合，提高模型泛化能力。本文采用最大池化与平均池化两种方式，最大池化是选择池化区域中最大的数作为该池化区域的输出，平均池化则是对池化区域的所有数求和取平均值。池化公式为：（）（）式中：为第 层输出的特征图；为激活函数；为池化方式；为下采样函数；为偏置向量。全连接层全连接层将自身的每一个神经元与上一层的神经元进行连接，将所有特征排列成一个向量，作为神经网络的“分类器”。基于这个特性，全连接层的参数是整个卷积神经网络最多的一层，占比高达 以上。其计算公式为：（）（）式中：为输入的元素，为输出元素；为激活函数；为全连接层的卷积核；为偏置向量。输出层本文采用 函数进行输出层的表情分类，函数，又称归一化函数。它是逻辑二分类器 函数的扩展，适用于多分类问题。函数接收全连接层输出的向量作为输入，把每一维的数转换为（，）区间的某一实数，进行分类。对于输入图像 ，其是类别 的概率公式为：（）（）（）式中：表示 是类别 的概率；表示权重值；表示总的类别数，。算法描述 图像预处理人脸表情图像在采集的过程中，会存在采光过高、背景复杂、无用冗余信息过多等问题。因为在用卷积神经网络训练之前，需要对图像进行补光、人脸定位等预处理。数据集 人脸表情数据集由 幅人脸表情图片组成，其中，测试图包含了 幅图片，验证图和测试图各为 幅。每幅图的尺寸固定为 像素，且均为灰度图像。共有 种表情，分别对应 的数字标签，具体表情对应的标签如下：，生气；，厌恶；，害怕；，高兴；，悲伤；，惊讶；，中性。该数据集的图像具有不同的角度、光照、姿势、遮挡物，并且分辨率较低，使得 对比其他公开数据集数据更加齐全，同时也更加符合生活场景。图 为 数据集中的 种表情图像例子。图 数据集的 种表情类别图例 数据集 数据集包含 幅图像，是十位日本女性的 种面部表情（与 数据集中的表情标签相同），每个人每种表情大约有 到 幅图像 。图像源自于实验室采集，是像素为 的静态灰度图。图 为 数据集中的 种表情图像样例。图 数据集的 种表情类别图例在数据集中的预处理如下：）将数据集的原始图像进行 降维重构，获取表情识别的关键部分：鼻子、眼睛、嘴巴。忽略掉与表情识别无关的面部区域，去除多余信息，降低模型训练成本。效果如图 所示。图 降维重构图像 计算机应用与软件 年）数据增强。为了保证训练模型的精度，防止神经网络过拟合，加强神经网络的泛化能力，需要对数据进行数据增强处理。本文采用的数据增强方式是旋转变换、上下左右移动、随机水平翻转、倾斜、缩放的方式，将数据集图片扩充到近十倍，具体参数如表 所示。表 数据增强参数参数参数值 改进的轻量卷积神经网络架构卢官明等 设计的 层 模型在用于人脸表情识别上要优于一般的传统方法，但识别率与其他深层的卷积模型相比依然达不到一个理想的效果，而在 与 等分别具有 层与 层，在数据量小的数据集中会导致特征图分辨率降低，出现梯度弥散、学习特征不够鲁棒等问题，而且深度过高导致计算成本过大，实时性不足。为此，本文提出了一种改进的轻量卷积神经模型：）在输入层加一层步长为 的 卷积。）层和 层的卷积核为 个，和 层的卷积核尺寸为 ；层和 层 的 卷 积 核 为 个，层 和 层层的卷积核尺寸为 。）池化层不包含学习参数，层采用最大值池化（），层采用平均池化（），池化核大小均为（，），池化步长为 。）在每个卷积层的后边均加入 激活函数 。全连接层 和 后均添加 函数，参数设置为 。轻量神经网络结构如图 所示。图 轻量神经网络结构示意图该网络结构一共含有 层，包括 层卷积层、层池化层和 层全连接层，受文献 的启发，网络在输入层中加入一层 的卷积层增加非线性表示，增加网络深度，提高模型特征表达能力；该模型在初始层较大的堆叠卷积层使用 卷积核，在后两层堆叠卷积层使用 卷积核，可有效降低参数量并保证模型空间特征信息的提取能力；在堆叠卷积层中加入 函数，在 激活函数的基础上加入参数，参数由模型训练得出，可提高网络的非线性表征，解决梯度弥散问题，加快模型收敛速度。对最后一层卷积得出的深度卷积采用平均全局池化操作（），最大程度保留局部信息，替代一层 的全连接层，减少参数量，降低计算成本；剩余两层连接层神经元个数分别为 、。全连接层中加入一层参数为 的 层 。全连接层神经元经过 之后，一半的神经元个数置 ，可有效防止过拟合现象，加快训练速度，增强神经网络模型的泛化能力，最后输入到输出层，实现人脸表情的分类。该网络结构参数设置如表 所示。表 卷积神经网络结构参数层名称核数目核尺寸步长 填充 丢弃 特征图尺寸 （，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）实验与结果 实验环境本文方法使用硬件信息如下：是 ，为 （）（），内存为 ；实验基于 下的 深度学习框架来进行，操作系统为 。为了保证实验的严谨性，实验采用的是十折交叉验证法，将经过扩充的公开数据集分为 份，组作为训练集，组作为测试集，进行 次实验，将 次实验结果取平第 期区健，等：基于 与深度学习的表情识别算法 均值。这样既保证了实验结果的有效性，也可以让每份样本都可以作为测试集和训练集，避免某些数据噪声过大而影响最终的识别效果。作为 中的超参数设置如表 所示。表 超参数初始学习率 学习率衰减指数 动量 正则化系数 实验结果与分析经过 个 的训练后，计算十折交叉验证后，数据集上的准确率为 ，得到的识别率曲线图 所示，数据集上的准确率为 ，得到的识别率曲线如图 所示。图 数据集的准确率曲线图图 数据集的准确率曲线图由图 、图 可以看出，经过大概 个 之后，模型就达到了一个比较好的识别效果。经过 个 之后，识别率保持一个稳定的状态，不再发生太大的波动，说明此时模型得到了充分的收敛。由图中改进 与轻量 的曲线对比可知，经过结构改进的 识别率上优于轻量 。而经过 和数据增强的预处理之后，本文方法识别率要高于改进的纯轻量 方法。为了比较本文所提出的方法性能，与其他现有的主流模型和方法进行了对比实验。数据集的对比结果如表 所示。表 不同算法在 数据集的识别率结果对比算法识别率 本文算法 在 数据集中，文献 采用的是类 结构网络，通过不断堆叠卷积层和池化层构建深度网络，但因其结构只有 层，未达到 的深度和宽度，导致难以精确地提取人脸表情特征，识别率较低。文献 是采用了 的卷积核的深度网络结构，达到了肉眼识别 的效果，但选用的卷积核过大导致提取空间特征信息能力下降，识别率不够理想。文献 采用的均是多网络融合的深度网络框架，与单网络相比，性能并没有提升。说明针对 数据集，多网络融合并不是一个很好的选择，使用单网络反而能取得较好的识别率。文献 提出了一种紧凑型的深度学习框架，使用了更少的参数情况下达到了较好的识别效果，达到 。为了进一步验证模型的有效性和泛化能力，本文给出了 数据集中与其他现有模型的对比，如表所示。表 不同算法在 数据集的识别率结果对比算法识别率 本文算法 在 数据集中，主流方法文献中大多采用的是特征融合的深度网络结构，文献 采用的是多分辨率特征融合的方法，文献 采用的是局部特征融合的方法，文献 采用的是 特征与 卷积层融合的方法，文献 和文献 的方法原理上相似，均为通过摈弃与表情特征无关的一些特征向量以达到提高表情识别率的目的，而通过调整分辨率的方 计算机应用与软件 年法则无法去除这些冗余的信息，因此文献 和文献 的识别率提升明显，达到了 。从表、表的识别率对比可以看出，本文提出的通过 降维重构获得主成分特征图像作为输入，并通过轻量 训练实现特征提取与分类的表情识别算法，具有更好的表情识别能力，一定程度上提高了表情识别率，在 数据集和 数据集上达到了 和 的识别率。表 、表 分别为本文方法在 数据集和 数据集上的混淆矩阵。表 数据集混淆矩阵表情生气厌恶害怕高兴悲伤惊讶中性生气 厌恶 害怕 高兴 悲伤 惊讶 中性 表 数据集混淆矩阵表情生气厌恶害怕高兴悲伤惊讶中性生气 厌恶 害怕 高兴 悲伤 惊讶 中性 表 、表 的混淆矩阵显示了害怕、生气、悲伤这三类表情的识别率明显比其他四类表情低。轻微的生气脸部会有轻微变动，无表情易于中性混淆；过分的生气则会伴随嘴巴张大、眉毛紧锁和鼻子皱起等现象，与害怕和悲伤产生混淆。而害怕与悲伤最容易混淆，亦是两表情中具有相同的眉毛特性、嘴角向两边拉伸以及眼睛紧紧闭起等特征。高兴和惊讶最具识别率是因为它们各自具有独特的标识：高兴表情大部分嘴角翘起，眼睑收缩；惊讶表情则会眼睛睁大，嘴巴张开。由于 数据集是在实验室的环境中进行，所以高兴、惊讶这两类非常具有辨识度的表情达到了最高识别率，而 数据集是竞赛数据集，数据来源复杂，并不能达到实验数据集的精度，而且数据集中一些复杂的表情图像亦带来了一些混淆，如惊讶般的高兴、害怕般的厌恶等，增大了表情识别的难度。结语本文方法在图像预处理上采用了 降维重构法，去除与表情无关的冗余特征，降低了深度模型在特征提取上的预处理时间成本，并用数据增强的方法扩充了数据集，加强了模型的泛化能力并防止过拟合。设计了改进的轻量级神经网络，降低深度模型的深度和宽度，在 、公开数据集上进行了实验，分别取得了 和 的识别率，一定程度上提高了表情识别率，并与其他主流方法进行对比，证明了其有效性。后续将用本方法在不同数据集中应用，并进一步调整网络的内部框架和参数，提高神经网络的泛化能力。参考文献 ，（）：，：，：，（）：，（）：蔡则苏，祝丁丁，何健 基于 特征提取和距离哈希 近邻分类的人脸表情识别 智能计算机与应用，（）：，：，：江明阳，封举富 基于鲁棒主成分分析的人脸子空间重构方法 计算机辅助设计与图形学学报，（）：，：第 期区健，等：基于 与深度学习的表情识别算法 ，（）：卢官明，何嘉利，闫静杰，等 一种用于人脸表情识别的卷积神经网络 南京邮电大学学报（自然科学版），（）：，：，：，：，?，：，：，：徐琳琳，张树美，赵俊莉 构建并行卷积神经网络的表情识别算法 中国图象图形学报 ，（）：产文涛 基于卷积神经网络的人脸表情和性别识别 合肥：安徽大学，：，：，：，：，：，（）：姚丽莎，徐国明，赵凤 基于卷积神经网络局部特征融合的人脸表情识别 激光与光电子学进展，（）：李校林，钮海涛 基于 的特征融合面部表情识别 计算机工程与科学，（）：（上接第 页），（）：王鑫，侯志强，余旺盛，等 基于多层卷积特征融合的目标尺度自适应稳健跟踪 光学学报，（）：，（）：，（）：，（），（）：，：，吴仁彪，赵婷，屈景怡 基于深度 的航班延误预测模型 电子与信息学报，（）：，（），（）：，：，（）：，：，（）：，（），