基于面部表情分析的抑郁症识别研究.pdf

Computer Era No.10 20230 引言近些年来，抑郁症逐渐走进人们的视野，该疾病是一种患病率高、临床治愈率高的精神障碍疾病。然而大多数人对于此病的认知较低，导致坚持接受正规治疗的患者较少，另一方面，对于该类疾病的诊断仍处于简单的初级阶段。据世界卫生组织1数据显示，全球抑郁症患者数量超过3.5亿，预计在2030年将成为常见疾病之一。抑郁症对于个人、家庭以及社会都产生了巨大的困扰，因此，结合当前计算机技术提升抑郁症的诊断水平成为了研究的重点/热点问题之一。对于抑郁症的识别，众多研究者做了相关的研究。余涛2等提出了一种基于机器学习检测抑郁症患者自杀意图的方法，通过 K 最近邻(KNN)、一般线性模型(GLM)、随机森林(RF)等传统机器学习方法构建模型，预测以及预防抑郁症患者自杀等不良行为。辛逸男3等人提出了一种基于语音特征的抑郁症诊断方法，该方法根据语音信号作为特征区分抑郁症患者和正常人群。王萌4等结合深度学习技术设计了一种抑郁症患者表情识别系统，利用卷积神经网络(CNN)，构建模型，提取患者表情特征，实现表情识别。深度学习作为当今热门技术之一，在计算机视觉领域和自然语言处理领域都发挥着重要的作用，因此，将该类技术应用于抑郁症预防具有良好的可行性。抑郁症患者常有失望等负面面部表情且长期处于负面情绪阶段，而对患者面部表情的数据采集具有成本低、效率高等优点。故本文提出一种基于面部表情DOI:10.16644/33-1094/tp.2023.10.015基于面部表情分析的抑郁症识别研究陈坤林，胡德锋，陈楠楠(南京审计大学计算机学院，江苏 南京 211815)摘要：为了更好的预测和诊断抑郁症，提出一种基于面部表情分析的抑郁症识别方法。使用卷积神经网络（CNN）算法构建模型，采用Python对中文抑郁库数据集EATD进行神经网络训练，从愤怒、厌恶、恐惧、开心等情绪来分析测试者规定时间内的情绪变化，预测测试者患抑郁症的概率。实验结果表明，本文方法在测试集中正确率为71.3%，准确率较高，识别出的面部表情占比符合抑郁症患者的自身情况，方法具有良好的可行性和合理性。关键词：抑郁症识别；面部表情；卷积神经网络；情绪变化中图分类号：TP183文献标识码：A文章编号：1006-8228(2023)10-70-04Research on depression identification based on facial expression analysisChen Kunlin,Hu Defeng,Chen Nannan（School of Computer Science,Nanjing Audit University,Nanjing,Jiangsu 211815,China）Abstract：To better predict and diagnose depression,a depression identification method based on facial expression analysis isproposed.A model is constructed using CNN algorithm,and Python is used to train the neural network on the Chinese depressiondatabase dataset EATD.The mood changes of the tester within a specified period of time are analyzed in terms of anger,disgust,fear,and happiness to predict the probability of the tester suffering from depression.The experimental results show that theproposed method achieves a high accuracy of 71.3%in the test set,and the identified facial expressions correspond to the personalconditions of depression patients,demonstrating good feasibility and rationality.Key words：depression identification;facial expressions;Convolutional Neural Network(CNN);mood change收稿日期：2023-06-13作者简介：陈坤林(1998-)，女，山东临沂人，硕士，主要研究方向：大数据审计。70计算机时代 2023年 第10期分析的抑郁症识别方法。通过卷积神经网络(CNN)建立模型并训练得到抑郁症患者的各类表情参数，其中表情参数包括愤怒、厌恶、恐惧、开心、伤心、惊讶、中性、蔑视，最后从数据集中选取百分之三十的数据作为测试集并检测其正确率。1 准备工作本文所采用的数据集是包含抑郁症患者的音频和面部扫描视频的中文抑郁库数据集EATD，该数据集由接受咨询的212名志愿者的视频组成，其中包含80名抑郁症患者。卷积神经网络(CNN)5是一种带有卷积结构的前馈神经网络，如图1所示，其主要结构包含输入层、卷积层、池化层、全连接层和输出层，其中输入层接受输入的训练数据，卷积层可以为多层且主要作用为使用卷积核进行特征提取和特征映射，池化层与卷积层可任意搭配并同样存在多层，其作用是下采样降维，最后由全连接层在尾部进行拟合，减少特征信息的损失，由输出层输出数据。图1抑郁症识别模型结构图在训练数据之前，由于获取的数据集是以视频的形式存在，我们需要对该数据集进行一定的预处理，过程如下。图片截取：我们对于数据集中每个视频按10秒间隔截取一张照片且大小为320240，处理完的图片格式统一为.png。滤波去噪：采用Pyhton中blur函数对于图片进行滤波去噪处理，该函数使用归一化框过滤器模糊图像，计算每个像素中对应核的平均值，对输入的图像进行均值滤波后用目标图像输出。特征点标定：特征点是指在其他相似的图像或目标中，以相同或相似的不变形式表示的点，我们可以在不同图像之间建立几何或统计关系，实现输入人脸图片的识别。在本文中采用HOG特征基础，通过寻找数据集中人脸照片的68个标定点，遍历所有点，打印出其坐标作为特征点标定。2 神经网络模型搭建2.1 网络初始化如图1所示，本文所搭建网络结构包含5层卷积层和2层池化层，我们从高斯分布中随机采样权重且这些随机初始化的权重将在网络的训练过程中逐渐调整以适应任务，除了权重，每个卷积层和全连接层还包含一个偏置（bias）项，偏置的初始化为随机最小值。其中卷积层的卷积核大小和池化层大小、向量维度、步长和填充参数如表 1 所示，在卷积层中我们使用Relu函数取代Sigmoid函数，其作为激活函数，能够有效地避免饱和问题且对抗梯度消失等情况。另一方面，该函数使用了简单的阈值化，具有很高的计算效率，能够降低本文实验对算力的要求。71Computer Era No.10 2023表1网络初始化参数表网络层卷积层1卷积层2卷积层3池化层1卷积层4卷积层5池化层2卷积核大小/池化层大小(1,1,32)(3,3,64)(5,5,64)(2,2)(3,3,64)(5,5,64)(2,2)向量维度3332332步长1112112填充参数samesamesame-samesame-Relu函数和Sigmoid函数定义为公式和公式，在全连接层中的激活函数，我们仍使用Relu函数。Relu=max()0,xSigmoid=11+e-x2.2 输入层本文中输入层采用三维张量(H,W,C)，其中H表示图像的垂直维度大小，即图像的行数；W表示图像的水平维度大小，即图像的列数。C指的是图像的颜色通道数量。本文数据集图片为彩色图像，因此采用三原色通道(RGB通道)。经过数据预处理后，我们将每张图片转换为(48,48,3)的三维张量作为输入层的输入。2.3 卷积层在卷积过程中，卷积核的权重起到了特征提取的作用，通过多次训练学习得到适合任务的卷积核权重，从而帮助模型提取数据中有效特征。卷积计算公式如公式，其中l-1为卷积层，采样大小为a*a，g(x)将x中a*a的大小中像素值进行求和并乘以权重系数w，然后加上偏置项b，最后做Sigmoid函数运算。公式、公式为每一层卷积层的长度与宽度的计算法则，Hi、Wi分别为上一层长度和宽度，F为卷积核大小，S为步长，P为边界填充参数。xlj=Sigmoid(wljg(xl-1j)+blj)Hi+1=Hi-FH+2PS+1Wi+1=Wi-Fw+2PS+12.4 池化层池化层用于减小特征图尺寸从而实现降维作用并且有效缓解过拟合问题，在该层中卷积核个数不给予改变。如图1所示，池化层特征提取维度为(2,2)，我们采用图2中最大汇聚(Max Pooling)，从每个2*2的特征数据中提取最大的数作为新的特征数据，公式、公式为池化层中长度与宽度的计算公式。图2Max PoolingHp=Hi-HjS+1Wp=Wi-WjS+12.5 全连接层在经过卷积层和池化层处理之后，我们通过全连接层将数据转换为一维张量，本文中使用Flatten层和两层Dense层构建全连接层。在该层中，如图3所示，采用Dropout机制降低过拟合能力，该机制随机选取部分神经元不参与计算，这样一来可以减少神经元之间的依赖，权值的更新不再依赖固有关系的隐含节点的共同作用，从而提高模型学习的鲁棒性。图3Dropout机制2.6 输出层从图1可以看出，从界面中输入测试图片后，图片经训练过的抑郁症检测模型处理，输出每个表情的得分概率值，将该数据与抑郁症患者数据进行对比，从而预测测试者患抑郁症的几率。在输出层，softmax函数计算各表情的概率值，公式如下：Pj=eajk=1Neak其中，P表示每个表情的概率值，eak表示所有表情的得分值。3 实验与结果分析3.1 实验环境本文采用 64位操作系统 Windows 10，处理器为AMDRyzen5-4500UwithRadeonGraphics2.38GHz，RAM 16.00GB，程 序 编 写 以 及 运 行 环 境 为Python 3.10。3.2 GUI界面为了方便观察抑郁症患者各个表情元素的占比，72计算机时代 2023年 第10期本文通过 Python中 PyQt5设计了可视化界面，如图 4所示，我们在该界面中输入一张抑郁症患者的图片，并通过直方图显示了各类表情的概率值，其中伤心和中性情绪占比最高，其次是害怕和愤怒。总体而言，该患者的负面情绪占比较高，本文所采用模型识别效果符合患者情况。图4基于面部表情分析的抑郁症识别系统3.3 检测结果以及结论我们将数据集划分为训练集和测试集，比例为7：3，通过训练集中训练出抑郁症识别的模型并并将测试集进行检测。由于数据集是以视频的形式，因此我们按照上述10秒间隔截取一张患者照片，每个视频各截取15张照片。我们从中随机抽取了5个抑郁症患者进行检测并给出了每个患者各类感情因素的平均占比率，如表2所示。表2患者各类情绪因素的平均占比表患者序号12345愤怒12.4%6.5%7.6%3.2%21.5%厌恶5.4%5.6%0%0%0.8%恐惧9.6%16.9%12%0.6%17.3%开心1.5%0.6%1.3%0.1%1.7%伤心39.9%52.9%56.1%75.2%52.6%惊讶0%9.8%0%0%1.7%中性30.9%7.6%22.8%20.7%4.3%蔑视0%0%0%0%0%从表2中数据可以得出检测的5名患者伤心情绪比例最大，其次是中性表情，总体上来看，这些检测者的负面情绪比较多，抑郁症者个人很难保持开心的状态，因此我们对于患者应该着重关注他们的情绪心态等问题。另一方面，抑郁症是一种长期困扰患者的精神类疾病，因此单次对于患者的检测并不能完全体现其准确性，为提高实验有效性，我们对于检测者进行了持续一周的不定期检测，并抽取了一名患者一周内情绪的变化，其数据如表3所示。表3某患者一周内各类情绪因素的平局占比表时间周一周二周三周四周五周六周日愤怒0.7%6.4%1.7%29%3.5%4%14%厌恶0%0%0%0%0%0.1%0%恐惧18.9%7.3%11.6%3.8%6%24.3%35.9%开心0.8%2.6%0%0.3%3.2%0.9%0.8%伤心67.2%66.8%55.5%43.7%51.9%51.9%43.4%惊讶0%0.5%0%0%0%0%0%中性12.1%16.3%31%23.1%35.7%16.5%5.8%蔑视0%0%0%0%0%0%0%从表3可以看出，该患者长期处于低落状态，这很符合抑郁症患者的情绪状态；他们偶尔会出现恐惧的心态，这说明患者个人情绪不仅长期处于负面情绪状态，而且会出现情绪变化幅度大且不稳定的情况。最后，我们采用抑郁库数据集EATD中30%数据作为测试数据，采用本文模型进行检测，当检测出负面情绪占比大的测试者符合患者自身情况，则视为正确的数据，反之则视为错误数据。本文检测的正确率为71.3%，该方案对于识别抑郁症具有较高的准确性，并且详细的分析了这些患者情绪变化情况。4 结论本文结合深度学习技术提出了一种基于人脸面部表情分析的抑郁症识别方法，该方法通过循环神经网络建立模型，以面部表情为分析因素，实现抑郁症识别。根据上述实验结果可知，该方案能够较好的识别出测试者的个人情绪变化是否符合抑郁症的症状，且测试集检测的正确率良好。通过分析面部表情，我们能够更好地预测和诊断抑郁症，为患者提供早期干预和治疗的机会。此外，该方案还具有良好的可行性和合理性，可为抑郁症的诊断提供一种新的非侵入性方法。本方案可应用于辅助抑郁症的诊断和预防。对于方案的改进与完善有以下考虑：患者的日常行为和言语也会影响到抑郁症识别，应考虑这部分因素；随着深度学习技术的快速发展，研究者对于神经网络的研究可以更全面和深入，可以继续探讨将其他模型应用到该问题上，进一步提升识别效率。参考文献(References):1 重大公共卫生事件(新型冠状病毒肺炎)防控期间精神科互联网诊疗专家建议J.中华精神科杂志,2020(3).2 余涛,刘修燕,许春园,等.机器学习算法对抑郁症患者自杀企图的识别J.临床精神医学杂志,2023,33(2):99-102.3 辛逸男,张莉,吴鹏飞,等.一种基于语音信号的抑郁症智能诊断方法J.北京生物医学工程,2023,42(1):38-44.73Computer Era No.10 20234 王萌,弭博岩,郑奋.抑郁症患者表情实时识别系统研究与设计J.现代电子技术,2023,46(10):149-153.5 李翠花,梁敬梅.改进CNN的采煤机截割部轴承故障自动检测技术J.煤炭技术,2023,42(5):219-222.6 宋煜青,陈红光,邓兆华,等.稳定期抑郁症患者的面部表情识别特点J.中国心理卫生杂志,2019,33(3):177-181.7SuparatpinyoS,SoonthornphisajN.SmartvoicerecognitionbasedondeeplearningfordepressiondiagnosisJ.Artificial Life and Robotics,2023:1-11.8 Yu Y,Ding S,Li X,et al.Cloud-edge collaborativedepression detection using negative emotion recogni-tionandcross-scalefacialfeatureanalysisJ.IEEETransactions on Industrial Informatics,2022.9 He L,Chan J C W,Wang Z.Automatic depressionrecognition using CNN with attention mechanism fromvideosJ.Neurocomputing,2021,422:165-175.10 杜铭浩,刘爽,刘潇雅,等.面部视觉特征在抑郁症诊断中的研究进展J.小型微型计算机系统,2022,43(3):483-489.11 王萌,弭博岩,郑奋.抑郁症患者表情实时识别系统研究与设计J.现代电子技术,2023,46(10):149-153.12 HOWARD A G,ZHU M,CHEN B,et al.MobileNets:efficientconvolutionalneuralnetworksformobilevisionapplicationsEB/OL.2022-11-15.https：/arxiv.org/pdf/1704.04861.pdf.征稿启事一、本刊简介1、计算机时代 期刊（月刊），由浙江省计算技术研究所（现已整体转制为浙江天正信息科技有限公司）和浙江省计算机学会主办。国内刊号：CN33-1094/TP，国际标准刊号：ISSN1006-8228。全国邮局发行，邮发代号32-81。2、主要栏目有：技术广角、网络技术、信息安全、算法研究与应用、大数据、人工智能、经验技巧、计算机教育、信息化建设、多媒体技术、物联网、基础研究、应用研究、数据库应用等。欢迎高质量来稿。3、本刊已被 中国期刊网、中国学术期刊（光盘版）和 中国核心期刊（遴选）数据库、中国学术期刊网络出版总库 等数据库收录，是RCCSE(B+)核心期刊、SCD期刊。本刊已许可 中国学术期刊（光盘版）电子杂志社在中国知网及其系列数据库产品中以数字化方式复制、汇编、发行、信息网络传播本刊全文。本刊一次性付给作者的报酬已包含稿酬及著作权使用费。作者向本刊提交文章发表的行为视为同意我刊上述声明。二、稿件要求1、文章应依次包含以下信息和内容：中、英文题目名（中文一般不超过20个字）中英文作者姓名中英文作者所在单位（部门）及邮编中英文摘要（目的、方法、结果、结论，技术思路；200字以内）中英文关键词（4个以上，尽量出现在摘要中）正文（引言、论述、结论。其中：引言应包括研究背景、内容、工作意义和难点）结束语（正文结论所揭示的原理和普遍性、尚存问题、与其他论文的同异、理论与应用价值、深入研究的设想或建议等）参考文献（数量3篇至30篇；应包括编著者、题目名或书名、出版社或期刊或论文集或网址名称、出版或发布年月）。全文字数控制在40006000字符。2、论文章节编号采用三级标题顶格排序：一级标题如1，2，3，；二级标题如1.1，1.2，1.3，；引言用0。3、外文字母须注意区分大小写和上下角标识等，字母和符号的含义明确且在全文前后统一。正文中的标点符号应在全角状态下输入（程序及特殊符号除外）。4、参考文献须是文中直接引用的公开出版物，应在文中引用处以右上角标（“文献序号”）的形式、顺序标注文献序号。5、插图和表格应随文出现并在文中有引用，字迹清晰，须有图（表）号、图（表）题，附图采用黑白灰度图片。三、注意事项1、本刊不设第三方中介机构，凡由第三方机构代收的稿子不予录用，并保留对第三方机构追责的权利。论文电子稿请发到本刊编辑部投稿邮箱（请注明作者详细地址、邮编、E-mail、手机号码和固定电话），录用与否，我们都将在10个工作日内作出答复，逾期作者可电话[phone]查询。稿件一经录用酌收审稿服务费。6个月内刊出。2、来稿必须是未公开发表过的，要求论点明确、文笔简练、语言流畅。来稿不得一稿多投。3、投稿应包括“中图分类号”（查询网站：http:/）、文献标识码”、作者简介（姓名、性别、出生年月、籍贯、学历学位、职称和主要研究方向）和联系方式等信息。4、如果是基金项目，请在标题的末尾加上“*”，并注明项目名称、编号等。5、联系地址：浙江省杭州市余杭区五常街道五常港路121号西溪创智中心4号楼804室 计算机时代 编辑部，邮政编码：310030，电话：[phone]，网址：puterera.org，投稿邮箱：computer_。6、缴费方式：银行汇款（或者通过手机银行转账）。银行户名：浙江天正信息科技有限公司，开户银行：交行杭州分行华浙广场支行，银行账户：331066090010141052921。汇款成功后请发送截图至编辑部邮箱。CE74