基于复杂环境下卷积神经网络的人脸表情识别_陈春玮.pdf

2023.7电脑编程技巧与维护1概述人脸表情是一种非语言形式下的交流方式，准确识别表情可以提高某些场景的信息获取与分析能力。心理教师在心理疏导治疗中及时捕捉关键的表情信息，可以给予心理获得更多帮助信息，在传统的课堂教学中，教师教学管理任务较多，未能及时掌握学生的表情和行为信息，如果表情识别技术融入课堂，则可以改变目前普遍存在的课堂管理问题1。针对这个问题，通过搭建3层卷积网络+3层全连接层+1层软化层模型结构，使用Tensorflow+OpenCV的技术手段使模型作用于经典的Fer-2013数据集，解决不同光照亮度、遮挡程度、拍摄角度等复杂环境下的问题。2相关技术研究2.1基于机器学习的人脸表情识别传统的机器学习人脸表情识别一般情况分为3个步骤来解决问题：第1步是识别图像的预处理问题；第2步是识别图像的特征提取问题；第3步是识别图像的分类问题2。预处理问题常常用到图像色彩信息处理，包括图像灰度归一化、尺寸大小、自适应中值滤波、维纳滤波法等处理手段。特征提取重点借助小波核函数，更好地描述人脸表情纹理特征，局部使用二值法加强，按照实际需要在其特征提取中重点关注轮廓、光流法、特征点追踪法，确保特征提取有效。为了得到更好的分类效果，需要优化KNN算法，一般情况下该算法的分类效果不是特别显著，需要根据实际情况调优，同时可以根据需求对不同的机器学习算法例如，贝叶斯、SVM等进行融入使用，确保特征分类的准确率。2.2基于深度学习的人脸表情识别基于机器学习的人脸表情识别更多是在知识和统计模型的基础上实现，随着深度学习在人工智能领域的高度发展，基于卷积神经网络的计算机视觉领域在近些年取得突破性进展。例如，经典表情识别模型VGGNet、GoogleNet3，同时一些成熟的人脸检测网络模型也被提出Faster R-CNN、YOLOv5和SSD4。为了解决小样本复杂环境下的人脸表情识别问题，构建卷积神经网络模型框架，不仅作用于经典的人脸表情数据集Fer-2013，还在真实场景实时人脸图像识别时表现出很好的识别效果。3数据描述与处理3.1数据描述Fer-20135数据集由微软研究员负责采集后公开，并成为比较人脸表情识别模型性能的基准之一，同时也作为Kaggle人脸识别比赛的数据集。Fer-2013数据集由35 887张4848像素大小的图片数据构成，其中包含训练集28 709张图片数据、公有测试集3 589张图片数据和私有测试集3 589张图片数据，数据集包括生气（angry）、厌恶（disgust）、恐惧（fear）、开心（happy）、伤心（sad）、惊讶（surprised）、中性（normal）7种表情类别。数据集整体的数据样本量分布并不均匀，7种表情类别所包含的数据样本数量存在明显的差距，其中，happy类别数据样本数量最多，disgust类别数据样本数量最少，angry、fear、sad、surprised及normal 5个表情类别的数据样本数量较为均匀，但与happy开心和disgust厌恶两个表情类别的数据样本数量存在着较大的差距。在Fer-2013人脸表情数据集中选取部分数据样本进行展示，Fer-2013数据集中部分样本数据为漫画人基金项目：广东职业技术学院校级科研项目-融合专注力机制的表情识别课堂诊断研究（XJKY202225）。作者简介：陈春玮（1990），男，硕士，研究方向为人工智能；张建明（1977），男，博士，研究方向为物联网应用技术。基于复杂环境下卷积神经网络的人脸表情识别陈春玮，张建明，郑韶俊，李楚均（广东职业技术学院，广东 佛山528000）摘要：基于多特征融合的卷积神经网络人脸表情识别模型实现，在部署过程中结合使用 OpenCV 第三方库提供的人脸检测模型，实现可实时预测的人脸表情识别模型。该模型在优化过程中解决了小样本、不同光照亮度、遮挡程度、拍摄角度等复杂环境下的问题，同时可以部署在微型嵌入式设备中，拓展了使用场景。构建出的网络模型不仅能作用于经典的人脸表情数据集 Fer-2013，还能在真实场景实时人脸图像识别时表现出很好的识别效果。关键词：表情识别；卷积神经网络；OpenCV 技术；Fer-2013 数据库124DOI:10.16184/prg.2023.07.0452023.7电脑编程技巧与维护surprisedsadnormalhappyfeardisgustangrysurprised27210141839322sad541212016713174normal101424694617839happy452667846182058fear5013647152192377disgust033033210angry128669145035318表1人脸表情识别模型在面对测试集取得的混淆矩阵像；同时，存在部分样本数据识别度低，难以人工判断这部分识别度低的数据样本是否分类准确。3.2数据处理解压后的Fer-2013数据集中每个样本大小都已被统一规范为4848像素且每个数据样本都有对应的类别标注，数据集并没有直接给出图片，而是将整个数据集基于类别、数据、用法存储到csv文件当中。为使数据更加直观，对解压后的csv文件进行数据格式转换，提取解压后的csv文件中的pixels数据列，将Fer-2013数据集转换成更加直观的图片数据集并将所转换后的数据集根据每条数据所属的表情类别与用法进行划分存储。将准备好的图像数据进行灰度处理，再输入卷积神经网络模型中进行分析判断，进而在一定程度上使面部表情识别易受光感、色彩影响的问题得到缓解。4模型实现与分析4.1模型构建思路在正式构建模型之前，考虑到卷积神经网络（CNN）在图像识别领域中被广泛应用且其代码实现相对简单，使用tensorflow 2.0框架构建卷积神经网络模型来实现人脸表情识别。在构建卷积神经网络模型的过程中，配置了3个卷积段、3个全连接层、1个软化层组成，每个卷积段中包含具有相同卷积操作的两个卷积层。同时，在构建模型过程中，选择了更加高效的激活函数，初始结构中使用sigmod激活函数，sigmod激活函数在饱和区梯度趋于零或显著减缓梯度下降速度甚至导致梯度消失，因此改用rule激活函数可以避免上述问题。rule激活函数在非负输入实际中并不需要进行数值计算，只要判断阙值，判断是否输入为零即可，可加快神经网络的运算速度，并且规避sigmod、arctanx激活函数所引起的梯度消失问题。如图1所示。4.2模型实现效果模型搭建完成后，将经过灰度处理后的数据集导入模型中进行训练。通过日志可以发现，经过训练后的卷积神经网络模型准确率最后稳定在66%左右。随后将训练好的模型应用于事先准备好的测试集中，通过对该模型在面对测试集时取得的混淆矩阵进行分析发现，模型在面对测试集时表现出来的整体效果良好，该模型对“surprised”“normal”“happy”“angry”4种表情所表现出来的识别水平较高，对于“disgust”这一表情准确性良好，但标签样本数量相对较低，该模型对于“disgust”这一表情的识别能力仍需在后续的实际应用中做进一步的评估，仅凭模型在训练集和测试集上的表现不足以评估模型对于样本量过少的标签的识别能力。将训练好的人脸表情识别模型与OpenCV第三方库自带的人脸检测模型相结合，应用于静态图片及实时摄像头中的人脸表情识别系统。随后在实际应用中，该模型表现出来的 效 果 还 不 错，在happy、sad、normal、surprised、angry 5种表情类别的实际应用中，对于dis-gust和fear两种表情在实际摄像头实时预测应用中预测准确率较低、识别水平存在明显不足。在摄像头实时预测应用时，同样的表情在经过转动角度或调节周围环境的光照亮度后容易对模型的预测效果产生影响。同时，在实时预测应用中，融入OpenCV第三方库提供的人脸检测算法作为预处理部分以缓解易受光照、拍摄角度影响存在的人脸检测错误或检测不到人脸问题。在实际应用于课堂监测表情识别的过程中，重点采取surprised、happy、sad、normal及angry 5种表情作为分析的指标，将模型应用于测试集后，该模型在这5种表情类别数据集上呈现出良好的识别效果，在不同光照强度及拍摄角度因素的影响下，该模型在应用于happy这一表情类别的数据上，达到了78.33%的预测准确率，将这个表情作为课堂的气氛活跃程度评价重点指标之一。该模型在各表情类别数据上的预测准确率如图1修改后的网络结构Grayscale Images(48*48*1)ConvBatchNormalizationConvBatchNormalizationMax PoolFullyConnectedFullyConnectedFullyConnectedFullyConnectedClass LabelsMax PoolConvBatchNormalizationConvBatchNormalizationMax PoolConvBatchNormalizationConvBatchNormalization1252023.7电脑编程技巧与维护数据处理系统设计J.现代电子技术,2020,43(18):4.2董庆贺,何倩,江炳城,等.面向云数据库的多租户属性基安全隔离与数据保护方案J.信息网络安全,2018(7):9.3周舟,袁余俊明,李方敏.云数据中心服务器能耗建模及量化计算J.湖南大学学报（自然科学版）,2021,48(4):36-44.4符晓.云计算中基于共享机制和群体智能优化算法的任务调度方案J.计算机科学,2018,45(B6):5.5沈华峰.一种云计算环境下的虚拟机动态迁移策略J.计算机测量与控制,2019,27(3):5.6侯守明,张玉珍.基于时间负载均衡蚁群算法的云任务调度优化J.测控技术,2018,37(7):5.表2所示。将该模型应用于真实动态拍摄场景，模拟课堂表情识别过程取得了很好的效果。真实人脸实时表情测试如图2所示。5结语基于多特征的卷积神经网络的人脸表情识别模型实现，在部署过程中结合使用OpencV第三方库提供的人脸检测模型，实现了可实时预测的人脸表情识别模型。综合部署过程及完成模型部署后的模型效果评估发现，人脸表情识别对于数据集的要求相对较高，数据集的精确程度及分布情况会对模型的训练效果产生很大的影响，使用的Fer-2013人脸表情数据集存在部分数据精确程度不高且各分类包含的数据样本量分布不均匀的问题，整个部署流程针对数据集进行系统的数据增强处理，使用该数据集进行训练且在调参过程中进行严谨、合理的选择，促使模型使用效果有了明显提升空间。同时，针对人脸表情识别受光照、色彩等外界因素影响较大、个体间差异过大等问题，在融合了OpenCV6人脸检测算法进行预测之后有了明显改善，后续模型可应用智慧课堂人脸检测和人脸表情识别嵌入系统部署7，拓展AI+教育的使用场景。参考文献1华春杰,于雅楠,李慧苹,等.基于端到端表情识别方法的课堂教学分析J.天津职业技术师范大学学报,2021,31(2):26-31.2郭媛.微表情识别技术发展分析J.长江信息通信,2023,36(1):24-26.3于明,钟元想,王岩.人脸微表情分析方法综述J.计算机工程,2023,49(2):1-14.4徐洋.基于困惑表情识别的学习者听课状态诊断及推荐J.微型电脑应用,2023,39(3):165-168.5邹翔翔.基于深度卷积神经网络的面部表情识别研究D.南京:南京邮电大学,2022.6胡北辰.基于OpenCV的人脸图像识别系统设计与实现J.佳木斯大学学报（自然科学版）,2022,40(2):123-126.7洪政,吕南斌,谭尧.基于树莓派车载平台网页实时动态表情识别系统J.电脑知识与技术,2022,18(5):94-97.类别surprisedsadnormalhappyangry准确率71.9666.5164.1578.3364.45表2模型在各表情类别测试数据集上的预测准确率单位：%图2真实人脸实时表情测试(上接第91页)126