基于面部特征识别的表情识别系统.pdf

Journal of Image and Signal Processing 图像与信号处理图像与信号处理,2023,12(3),260-269 Published Online July 2023 in Hans.https:/www.hanspub.org/journal/jisp https:/doi.org/10.12677/jisp.2023.123026 文章引用文章引用:邵骏,顾豪杰,孙天凯.基于面部特征识别的表情识别系统J.图像与信号处理,2023,12(3):260-269.DOI:10.12677/jisp.2023.123026 基于面部特征识别的表情识别系统基于面部特征识别的表情识别系统 邵邵 骏，顾豪杰，孙天凯骏，顾豪杰，孙天凯 徐州工程学院信息工程学院(大数据学院)，江苏 徐州 收稿日期：2023年6月12日；录用日期：2023年7月3日；发布日期：2023年7月14日 摘摘 要要 随着计算机技术和人工智能研究的不断进步，表情识别随着计算机技术和人工智能研究的不断进步，表情识别(Facial Expression Recognition,FER)是人工心是人工心理和情感研究的核心问题，也是人机交互技术的重要方向。本文深入探讨了表情识别系统的设计，特别理和情感研究的核心问题，也是人机交互技术的重要方向。本文深入探讨了表情识别系统的设计，特别是对特征提取相关算法进行了改进，目的是提高表情识别的精度，并最终实现表情识别系统的目标。本是对特征提取相关算法进行了改进，目的是提高表情识别的精度，并最终实现表情识别系统的目标。本文使用一种基于改进的文使用一种基于改进的AdaBoost算法和算法和Haar特征的方法，用于提高人脸检测的准确率性特征的方法，用于提高人脸检测的准确率性，并且提高速并且提高速度度。对比改进前后算法训练时长和准确率，梳理新旧算法在人脸检测的实验结果，证实了新算法保证准对比改进前后算法训练时长和准确率，梳理新旧算法在人脸检测的实验结果，证实了新算法保证准确率的基础上，缩短训练时间，具有一定的优越性确率的基础上，缩短训练时间，具有一定的优越性。关键词关键词 人脸识别人脸识别，表情识别表情识别，机器学习机器学习，辅助系统辅助系统 Facial Feature-based Expression Recognition System Jun Shao,Haojie Gu,Tiankai Sun College of Information Engineering(Big Data College),Xuzhou University of Technology,Xuzhou Jiangsu Received:Jun.12th,2023;accepted:Jul.3rd,2023;published:Jul.14th,2023 Abstract With the continuous progress of computer technology and artificial intelligence research,Facial Expression Recognition(FER)is the core problem of artificial psychology and emotion research,and it is also an important direction of human-computer interaction technology.This paper dis-cusses the design of the expression recognition system in depth,especially the improvement of the feature extraction-related algorithm,in order to improve the accuracy of expression recognition and ultimately achieve the goal of the expression recognition system.This paper uses a method based on the improved AdaBoost algorithm and Haar features to improve the accuracy and speed of face detection.Comparing the training time and accuracy rate of the algorithm before and after 邵骏 等 DOI:10.12677/jisp.2023.123026 261 图像与信号处理 improvement,and combing the experimental results of the new and old algorithms in face detec-tion,it is confirmed that the new algorithm has certain advantages in shortening the training time on the basis of ensuring accuracy.Keywords Face Recognition,Facial Expression Recognition,Machine Learning,Auxiliary Systems Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 计算机可以通过看人脸或视频来知道人们的心情，这叫做面部表情识别。这是一种让计算机能够感受和表达情绪的技术，也是一种让计算机和人类更好地沟通的技术。心理学家 Mehrabian 认为，情感表达主要是通过面部表情来传递的，其中面部表情的影响因素占到情感表达的 55%，而语言和声音的影响因素分别只有 7%和 38%。在 2000 年以后，计算机和人工智能以及其他相关技术取得了飞跃式的进步，人类对计算机的认识和需求也日益提高。人们不仅希望计算机能够像人类一样听、说、看，更迫切地希望计算机能够更好地理解和表达一些属于人类的思想，更加智能，从而帮助人们更快、更方便地完成工作1。面部表情是人类最常用的非语言沟通手段之一，它能够反映出人的内心感受和心理状态。如果计算机能够识别和理解人的面部表情，就可以实现更加人性化和亲切的人机交互模式。目前，面部表情识别技术已广泛应用于刑侦、医疗系统、电子商务等领域2。但是如今的人脸识别会因为设备限制或外界干扰因素导致识别不准确或失败。也存在识别速度慢、识别精确度低等问题，通过改进后的haar特征提取的算法和Adaboost级联分类器可以尽可能解决速度慢、精确度低的问题。2.设计制作设计制作 2.1.视频素材预处理视频素材预处理 2.1.1.信息采集信息采集 人脸识别技术的核心环节包括以下两个方面：首先定位图像中人脸的区域和尺寸。然后提取人脸的特征向量并与数据库中的特征向量进行匹配，以确定身份3。通过本地摄像头对被测者实时采集信息。在摄像头下，会存在如人脸角度偏移、光线分布不均匀、曝光度过曝欠曝、人脸模糊、人脸有遮挡物、背景阻碍内容采集等因素，因此需要确保其在一个合适的环境下，进行表情识别的测试。2.1.2.视频处理视频处理 对于视频质量较低的测试项，若直接进行对其进行测试，会出现较为明显的错误情况，大大增大错误率，因此需要进行预处理，提高视频质量，增强人脸的面部特征，以此来更好的获取面部信息，提高表情识别的成功率。Open AccessOpen Access邵骏 等 DOI:10.12677/jisp.2023.123026 262 图像与信号处理 2.1.3.外部因素外部因素 预处理的内容主要通过人脸对齐以及图像增强。其中视频中人脸的方向尤为重要，他将决定计算机是否能识别到面部信息，要确保正对摄像头，使摄像头完全识别到脸的轮廓和眼睛，鼻子，嘴巴等特征项，其将作为人脸识别中的关键点，依据此信息建立人脸坐标系。视频读取时提高其分辨率，以此增加面部细节，同时进行高斯降噪，自动补帧，保证视频的流畅性以及清晰度。调整色偏，ISO，光圈大小以保证源视频的信息可靠度。最后还有背景内容，要确保被测试者有且仅有一个，没有其余的干扰项出现从而减少误差。2.2.设计思路设计思路 本软件调取摄像头权限，实时监控被测者的表情，分析被测者情绪，并将得到的数据进行处理，大致分为自然、高兴、厌恶、生气、疑惑、伤心、惊讶七种状态，并将数据发送给监测者。设计思路如图1 所示：Figure 1.Design ideas 图图 1.设计思路 2.3.软件设计模块软件设计模块 系统模块结构 系统架构如图 2：Figure 2.System architecture 图图 2.系统架构 1)监控模块：监控被测者表情，将表情与配对模块进行匹配，若数据与配对模块中的内容相同，将内容发给处理模块。2)配对模块：模块中存放七种表情的数据，随时与监控模块中的数据匹配。邵骏 等 DOI:10.12677/jisp.2023.123026 263 图像与信号处理 3)处理模块：对监控模块发送过来的数据进行处理，根据数据内容，具体到是哪一种情绪，并将内容发送给显示模块。4)显示模块：监测者端的模块，负责接受处理模块的数据。并显示到屏幕之上。使得监测者能清楚被测者的情绪。2.4.人工检测人工检测 检测流程如图 3 所示：Figure 3.Manual inspection process 图图 3.人工检测流程 邵骏 等 DOI:10.12677/jisp.2023.123026 264 图像与信号处理 3.采用技术采用技术 根据被测者眼睛、眉毛、嘴巴等特征的变化来研究分析被测者状态，并以此为基础设计研发了基于表情识别技术的面部表情识别系统。该系统基本的工作流程是：开放摄像头权限，来实时监控被测者情绪，通过脸上各个部位的变化，将其分为自然、高兴、厌恶、生气、疑惑、伤心、惊讶七种状态，实时发送给监测者。3.1.人脸识别人脸识别 3.1.1.使用基于使用基于 OpenCV 库的库的 Haar 分类器方法分类器方法 OpenCV 是一款开源计算机视觉库，可跨平台使用，被广泛应用于多个领域涉及人脸识别、物体检测、图像分割、机器人视觉、增强现实、视频分析等4。Haar 分类器，它建立了 boost 筛选式级联分类器。它与 ML 库中其他部分相比，有不同的格局，因为它是在早期开发的，并完全可用于人脸检测。Haar 特征是一种图像特征，它可以看出图像中哪些地方颜色变化大，哪些地方颜色变化小。Haar 特征有四种类型，每种类型都是用两个矩形来表示，一个白色的，一个黑色的，然后看白色的矩形里的颜色和黑色的矩形里的颜色的差别有多大。Haar 特征可以用来找出人脸的一些特点，比如眼睛比脸颊黑，鼻梁比鼻梁旁边白，嘴巴比嘴巴周围黑。Haar 特征最主要的优势是它的计算非常快速，其中主要是因为它使用积分图的结构，如图 4。积分图的计算就是把每个点的值变成它左上角的所有点的值加起来。比如说，你想知道右下角的那个点的积分图的值，你就要把它左边的那个点的积分图的值，加上它上面的那个点的积分图的值，然后减去它左上角的那个点的积分图的值，再加上它自己的原来的值。这样就可以快速地算出任意一个区域里面所有点的值加起来是多少。但是要注意，第一行和第一列的点要特殊处理，因为它们没有左边或者上面的点。积分图的公式可以表示为：()()()()(),1,11,1ii x yii xyi x yii x yii xy=+这个公式就是说，要算一个点的积分图的值，你就要把它左边的那个点的积分图的值，加上它上面的那个点的积分图的值，然后减去它左上角的那个点的积分图的值，再加上它自己的原来的值，如图 5。这样就可以用积分图来算出任意一个方块里面所有点的值加起来是多少，只要看看方块的四个角的积分图的值，然后做一些简单的加减法就行了。其中积分图的构建如图 6，哈尔特征模板如图 7。Figure 4.Integration diagram 图图 4.积分图 Figure 5.Integral graph algorithm 图图 5.积分图算法 邵骏 等 DOI:10.12677/jisp.2023.123026 265 图像与信号处理 Figure 6.Integral diagram construction 图图 6.积分图构建 Figure 7.HAL feature template 图图 7.哈尔特征模板 3.1.2.采用改进的采用改进的 Adaboost 算法算法 Freund 和 Schapire 于 1996 年前后提出了一个实际可用的自适应 Boosting 算法 AdaBoost 5。Ada Boost 算法是一种自适应增长算法和迭代算法，它向每轮添加新的弱分类器，直到达到预定的足够小的错误率。第一次分类后，重新调整错误分类样本的权重，增加错误分类样本的权重，使算法关注样本，在下一次分类中可以向误分类样本倾斜。每次训练都会得到一个弱分类器，在下一次训练中调整样本权重，直到总训练达到设定参数，所有得到的分类器都会线性组合，得到最终的强分类器6。Adaboost 的每一次训练都会生成一个分类器，如图 8 所示。其中，f 表示特征的数值，表示划分点，p 表示不等式的方向。这样的分类器是基于特征的弱分类器。Figure 8.Adaboost classifier algorithm 图图 8.Adaboost 分类器算法 而改进后的 AdaBoost 算法7 8 9 10使用多分辨率搜索提高效率的主要思路如下：首先简单扫描图像，估计人脸区域的大致位置，并进行一次或多次粗略扫描；其次，找到面部最可能的区域，并做出有效的精确定位。算法流程为：先用相同分辨率的检测器扫描图片，标记所有可能的人脸位置 U0，有特殊情况下没有检测到人脸，然后将结果记录为 R0=0。人脸检测以与第一次不同的粗略分辨率执行，并标记所有可能的人脸位置 U1。如果未检测到人脸，则结果写为 R1=0。第三，如果 R0=0 和 R1=0，则图像中没有人脸，结果直接输出。相反，以精细分辨率再次检测人脸位置 U0 和 U1，并将其标记为 U2。第四，由于相同的图像，人脸区域可能会被多次检测，因此在处理时，处理方法 U0 U2，U1 U2，如果相交，则取四个顶点的平均值作为新顶点，整合到新顶点中，结果记录为 U3，大大提高了识别效率。3.2.实验实验对对比比 通过不同的Haar特征算子对人脸图片进行不同尺度、不同步长的特征提取，将提取的特征作为输入，邵骏 等 DOI:10.12677/jisp.2023.123026 266 图像与信号处理 根据已标定的正负结果，进行模型自主学习训练，其实现的步骤大致分为几步：1)样本准备 人脸样本主要下载一些国际上出版的人脸图库，以及一些在线采集的常规人脸图片，其中必须包含彩色、黑白。由于尺寸不同，请使它们成为统一的尺寸。同时，收集非人脸的照片必须是多样化的。因为负样本的种类越多，算法的准确率就越高，正负样本应该包含不同角度的人脸照片，这样经过训练后，算法的准确率会很高。本文中的正样本量约为 1000 张人脸图片，负样本约为 3000 张。2)分类器训练 对于训练使用，设置分类器迭代次数和停止迭代的样本误差，正样本数应小于样本总数，否则会发生错误。让阳性样本库的每个图像单独取出进行训练，这样更详细，检测结果也会更准确。3)测试性能 重复 2 的操作来训练改进的分类器。分析了两个分类器的性能，为了准确测量数据，在比较实验中进行了多次实验和平均。研究发现，改进算法的训练时间明显缩短，准确率略有提高。本文对两个分类器进行了多组实验，发现经过改进的算法时间上大大缩减，且人脸检测准确率也有所上升，达到预期的目标，如图 9 所示。Figure 9.Algorithm comparison 图图 9.算法对比 4.作品演示作品演示 1)开启软件，效果如图 10。Figure 10.Software interface 图图 10.软件界面 2)软件调用摄像头权限，加载人脸库，开始人脸识别，特征定位，效果如图 11。邵骏 等 DOI:10.12677/jisp.2023.123026 267 图像与信号处理 Figure 11.Get camera permissions 图图 11.获取摄像头权限 3)监测对象的表情匹配度，并实时显示，在显示当前状态时，同时显示与其他表情的相似度。测试结果如下，分别是惊讶表情如图 12、开心表情如图 13、伤心表情如图 14、厌恶表情如图 15。Figure 12.Expression surprised 图图 12.表情惊讶 邵骏 等 DOI:10.12677/jisp.2023.123026 268 图像与信号处理 Figure 13.Happy expression 图图 13.表情开心 Figure 14.Sad-looking expression 图图 14.表情伤心 邵骏 等 DOI:10.12677/jisp.2023.123026 269 图像与信号处理 Figure 15.Disgusted expression 图图 15.表情厌恶 4)退出软件。5.结论结论 本文设计并实现了一个基于 harr 分类器的人脸表情识别系统。系统通过摄像头获取视频数据，对数据进行处理，处理后的数据用基于 Haar 特征的级联分类器识别，识别后呈现在屏幕上。因此，我们的系统是一种有用的技术，可以在多种场景中应用，如检测患者状态、互动娱乐、安防监控等。本文介绍了人脸表情识别系统的原理和方法。人脸表情识别系统还有很多改进和优化的空间，需要进一步的研究和探索。参考文献参考文献 1 李飞.基于深度学习的面部表情识别技术研究D:硕士学位论文.大连:大连海事大学,2020.2 贾雪菲.基于局部特征的人脸表情识别算法研究D:硕士学位论文.南京:南京邮电大学,2020.3 李有乘.一种基于视频的人脸检测及识别方法J.河南科技,2020(20):27-29.4 孙凯旋.应用 Camshift 跟踪算法提高视频中人脸检测速度J.计算机系统应用,2020,29(9):231-236.5 傅红普,邹北骥,朱承璋,戴玉兰,姜灵子,昌喆.基于朋辈 AdaBoost 分类器级联的行人检测J.中南大学学报(英文版),2020,27(8):2269-2279.6 姜海波,孙洋.一种基于 Haar 特征的人脸检测改进算法J.电子技术与软件工程,2022(13):178-181.7 贺瑜飞.基于 Haar 特征和改进的 AdaBoost 算法的人脸图像识别J.榆林学院学报,2019,29(6):69-70+75.https:/doi.org/10.16752/ki.jylu.2019.06.017 8 张苗燕,王登飞,魏宗寿.一种改进的 AdaBoost 快速训练算法J.西北工业大学学报,2017,35(6):1119-1124.9 邱仁博,娄震.一种改进的带参数 AdaBoost 算法J.计算机工程,2016,42(7):199-202+208.10 李斌,王紫石,汪卫,施伯乐.AdaBoost 算法的一种改进方法J.小型微型计算机系统,2004(5):869-871.