基于人体关键点与迁移学习的口罩佩戴检测研究.pdf

234第40 卷第6 期2023年6 月真机仿算文章编号：10 0 6-9348（2 0 2 3)0 6-0 2 34-0 6基于人体关键点与迁移学习的口罩佩戴检测研究叶永雪，马鸿雁*1,2,3（1.北京建筑大学电气与信息工程学院，北京10 0 0 44；2.建筑大数据智能处理方法研究北京市重点实验室，北京10 0 0 44；3.智慧城市国家级虚拟仿真实验教学中心，北京10 0 0 44）摘要：为解决口罩佩戴检测精度低、部署情况差等问题，提出基于人体关键点检测技术结合领域自适应迁移学习的口罩佩戴检测算法。将人脸图像进行关键点检测后进行图像分割，并对分割后的图像进行预处理；处理后使用数据增强技术并建立基于迁移学习的口罩佩戴检测模型；最终将训练好的模型嵌人至可移动设备中，实现口罩佩戴检测算法的部署。仿真结果表明，未经过人体关键点检测并人脸分割的口罩检测模型准确率为92.8 4%，经过人体关键点检测并分割图像的模型准确率为98.8 6%。实际硬件部署使用结果显示，经过人体关键点检测并分割图像的口罩佩戴检测精度超过95%。提出的算法在口罩佩戴检测中检测精度高，硬件部署情况好。关键词：人体关键点检测；数据增强；迁移学习；口罩佩戴检测；硬件部署中图分类号：TP391文献标识码：BResearch on Mask Wearing Detection Based onHuman Key Points and Transfer LearningYE Yong-xue,MA Hong-yan*1,2,3(1.School of Electrical and Information Engineering,Beijing University of Civil Engineeringand Architecture,Beijing 100044,China;2.Beijing Key Laboratory of Intelligent Processing for Building Big Data,Beijing 100044,China;3.National Virtual Simulation Experimental Center for Smart City Education,Beijing 100044,China)ABSTRACT:To solve the problems of low detection accuracy and poor deployment of masks,this paper presents amask wearing detection algorithm based on human key point detection technology combined with domain adaptive mi-gration learning.Face image was segmented after key point detection,and the segmented image was preprocessed.Af-ter processing,data enhancement technology was used and a mask wearing detection model based on migrationlearning was established.Finally,the trained model was,embedded in the removable device to implement the maskwearing detection algorithm deployment.The simulation results show that the accuracy of the mask detection modelwithout human key point detection and face segmentation is 92.84%,and that of the model with human key point de-tection and image segmentation is 98.86%.The actual hardware deployment usage results show that the wearing de-tection accuracy of the mask after human key point detection and image segmentation exceeds 95%.The proposed al-gorithm has high detection accuracy and good hardware deployment in mask wearing detection.KEYWORDS:Human key point detection;Data Enhancement;Transfer learning;Mask wear detection;Hardware Deployment1引言自2 0 19年末新型冠状病毒肺炎以来，疫情飞速蔓延至收稿日期：2 0 2 1-0 8-31修回日期：2 0 2 1-0 9-12全球。在疫情常态化的当下，正确佩戴口罩可以简单并有效的减少飞沫传播，切断病毒传播途径,减缓疫情 。但在某些场合,存在口罩佩戴不严谨且无法检测的问题2 。随着计算机视觉技术的快速发展，目标检测在近几十年得到了高速发展。有效的口罩佩戴检测系统对于公众防范新型冠状病235毒感染，降低感染风险具有十分重要的意义2 。时下针对口罩等小目标的检测算法主要包含两类：基于机器学习的算法以及基于迁移学习的算法3。基于机器学习的算法包含单阶段检测算法与双阶段检测算法5，有检测精度高，检测速度快等优势，但需要大量的数据作为算法支撑。而基于迁移学习的算法则可以弥补基于大数据和深度学习的物体检测方法的不足4。机器学习的单阶段口罩检测算法以YOLO系列为主5JR等基于YOLO算法，设计出高检测速度的YOLO目标检测系统。但是该系统存在检测边框不稳定等问题6 。在此之上JR通过扩展数据类型，提出YOLOv2算法。该算法可以检测多达90 0 0 个目标类别，但对口罩等小物体检测敏感度低7 。AK等人对YOLO的各类变种算法进行实验,实验结果显示，YOLOv3在口罩等小目标检测中有较高的精确性，但是该算法需大量的算力，不适合嵌入式或移动设备推广8 。叶子勋等通过替换YOLOv4算法的主干特征提取网络,有效的提高了该算法的鲁棒性，该算法考虑到光照的影响。但该算法的泛化能力较差，时效性也较低10 。谈世磊通过将YOLOv5网络模型用于口罩佩戴检测，在保证较高的准确率的同时，大幅度的提高了顿频速度，解决了口罩佩戴检测速度较低下的问题。但该研究仅完成前期算法测试，后期算法部署仍存有局限性迁移学习在农业病理图像识别中取得了不错的应用成果。张德军等人基于GoogLeNet网络进行迁移学习,采用图像增强，区域填充等图像处理手段，有效的检测出芒果的各类病状12 。赵立新等利用迁移学习算法并辅以数据增强技术,将PlantVillage领域的知识迁移到棉花病虫害领域，解决了棉花叶部病虫害图像识别问题13。许景辉等提出基于迁移学习的卷积神经网络玉米病害识别模型，并开发图形用户界面，可实现田间玉米大斑病与锈病图像的智能识别14。黎振等针对番茄病理叶片存在背景干扰问题，提出基于迁移学习和k-means分割的方法对番茄病害叶片进行识别。可以有效的辨别出白粉病、早疫病、叶霉病、斑点病、黄花曲叶病等15在新冠疫情的大环境下，口罩正确佩戴检测研究是计算机视觉和模式识别中备受青睐的热点16 。许德刚认为，如何在不影响检测速度的前提下提高口罩佩戴检测精度是未来发展的趋势17 。而基于机器学习的单阶段口罩佩戴检测精度低，双阶段口罩佩戴检测速度慢，使其难以产品化18 。迁移学习拥有低数据基础、高检出率等优点19,使得其产品化较为容易。本文基于领域自适应迁移学习建立口罩佩戴检测模型，并将该模型嵌人到手持摄像头中。2基于迁移学习的口罩佩戴检测研究理论2.1迁移学习理论迁移学习（Transferlearning）是将已训练好的模型即预训练模型的参数迁移到新的模型来帮助新模型进行训练2 0 。具体的迁移学习过程见图1所示。常见的迁移学习包括在领域自适应迁移学习、线迁移学习、终身迁移学习、异构迁移学习、深度迁移学习、强化迁移学习、对抗迁移学习等。本源领域迁移方法目标领域数据知识目标领域数据源任务1目标任务1模型知识OO数据知识O目标任务2源任务2正解决模型知识送移尚题V迁移学习方法基于特征表示的迁移数据知识基于参数的迁移源任务X基于关系型的迁移目标任务Y模型知识基于实例的迁移图1迁移学习过程2.2领域自适应迁移学习的口罩佩戴检测模型领域自适应迁移学习是目前较为实用的迁移学习。领域自适应迁移学习将不同源领域的数据及特征映射到相同特征空间,增强目标领域的训练，可以达到更好的训练效果。综上本文基于领域自适应迁移学习建立口罩佩戴检测模型图2 为基于领域自适应迁移学习口罩佩戴检测流程图，该流程主要由三大部分组成。1)数据处理：将采集的数据集进行人体关键点检测-人脸分割，去除图像背景及人体姿态的影响；然后对分割后的图像进行预处理；最后利用数据增强技术扩充数据样本的数量。2)模型建立：将处理后的图像数据按照8:2 的比例分为训练集和测试集。利用训练级的图像数据训练基于领域自适应迁移学习口罩模型，并以混淆矩阵的方式检测模型的精准率与召回率。3)模型输出与重利用：将输出的模型嵌入到手持摄像头中，以实现口罩佩戴检测的硬件部署部署。原始口罩数据人体关键点检基于图像数据集和验证集测-人脸分割的DSP预处理混淆矩阵验证迁移学习口罩数据增强技术模型准确率识别模型构建嵌人式口罩检移动手持口罩测试集验证测模型构成检测硬件图2领域自适应迁移学习口罩佩戴检测流程2.3口罩佩戴检测模型评价指标2.3.1精准率与召回率精准率与召回率是口罩佩戴检测模型好坏的重要的判断标准。精确率表示检测为正的样本中有多少是真正的正236样本。召回率表示样本中的正类有多少被检测正确。本文正确佩戴口罩（mask）为正类，未佩戴口罩（face）、错误佩戴口罩（mistake）为负类。则精准率P与召回率R如式（1)所示P=TP/(TP+FP)(1)R=TP/(TP+FN)式中：TP一正类检测为正类数；FN一正类检测为负类数；FP一负类检测为正类数；TN一负类检测为负类数。2.3.2混淆矩阵混淆矩阵用于描绘样本数据的真实属性与识别结果类型之间的关系。表1显示口罩佩戴检测模型中各个类别检测的结果。表1口罩佩戴检测模型混淆矩阵maskfacemistakemaskX,%Z2%Y,%faceY,%X2%Z.%mistakeZ,%Y2%X;%在表1口罩佩戴检测模型混淆矩阵中，X，%表示正确佩戴口罩（mask）数据中模型检测正确的百分比。Y，%表示正确佩戴口罩（mask）数据中模型检测错误，即检测为未佩戴口罩（face）的百分比。同理，Y,%表示不正确佩戴口罩（mi s t a k e）数据中模型检测错误，即检测为正确佩戴口罩（m a s k）的百分比。该模型希望X,%，X,%，X,%趋近于10 0%。2.3.3基于混淆矩阵的模型准确率基于混淆矩阵的分类准确率用于反映模型对不同类别目标检测的准确性。该模型的数据集类别分为3类：正确佩戴口罩（mask）类，未佩戴口罩（face）类、错误佩戴口罩（mis-take)类。在口罩佩戴检测的混淆矩阵中,模型准确率H计算见式（2）。3H=X,%h:%(2)1式中:X,一表1中的X,%,X,%,X,%;h，一类别数据对应数据集中的占比。3口罩佩戴检测模型研究进展3.1数据图像样本采集3.1.1数据图像采集装置本文通过悬挂式摄像头采集人脸是否佩戴口罩图像数据。摄像头具体参数如下：支持Windows操作系统，有效像素为2 10 万，信噪比大于50 dB，镜头焦距为3.6 mm，采用标准USB2.0接口，兼容USB3.0接口，最大分辨率为12 8 0 7 2 0，视频输出格式为AVI,图片输出格式为JPG。视频输出大小为YUY2（6 40 x 48 0），输出图像质量满足Skype&Lynx要求。摄像头如图3所示图3数据图像采集摄像头3.1.2数据图像采集类别采集的数据图像包括三大类：正确佩戴口罩（mask）类，共采集数据图像3548 张；未佩戴口罩（face）类，共采集数据图像1156 张；错误佩戴口罩（mistake）类，共采集数据图像1352张。采集的数据图像总计超6 0 0 0 张。正确佩戴口罩（mask）类数据为正类，该数据在采集过程中考虑到人脸配饰的遮挡与否的情况，即考虑到被采集人员的性别，是否佩戴帽子，是否佩戴眼镜以及佩戴口罩的颜色等情况。详见表2 正确佩戴口罩类采集情况。表2正确佩戴口罩类采集情况性别戴帽子戴眼镜罩颜色图像数女是是白色否否黑色3548张男是是蓝色否否其它错误佩戴口罩（mistake）类为负类，主要包含三大类别：mis1-口罩佩戴未遮住鼻腔类，mis2-口罩佩戴未遮住口鼻类，mis3-口罩未完全佩戴类。详见图4错误佩戴口罩（mis-take)类示例图。(1)mis1(2)mis2(3)mis3图4错误佩戴口罩（mistake）类示例图3.2基于人体关键点检测技术的图像分割人体关键点检测技术有两种较为准确的方案，即自下而上检测和自上而下检测。本文采用的OpenPose算法属于典型的自下而上的检测算法。具有大幅缩短检测周期的优势。OpenPose将输人的图像样本，经过VGG19卷积网络提取相关特征；使用CNN网络通过两个方向上分别提取置信度和237关联度；将上述两个信息使用偶匹配的方法求出其关联，将同人的关键点连接起来，合并成整体骨架。原理见图5人体关键点检测OpenPose实现原理。(1)输人图像(2）部分置信图(3)偶匹配(4)骨架图像图5人体关键点检测OpenPose实现原理人体面部包含6 个关键点，即右耳、右目、鼻、左目、左耳以及颈。基于人体关键点的人脸面部分割：以颈为基点，以平行于原始图像下边的为分割图片的下边；以左耳为基点，以平行原始图像左边为分割图像左边；以右耳为基点，以平行原始图像右边为分割图像右边；以左、右目中较高的一个为基点，以平行原始图像上边为分割图像上边。详见图6 基于人体关键点的图像分割原理。分割后的图像包含所有面部信息，可以有效的排除背景及人姿态的影响。将分割完后的图像进行人体关键点去除，构造数据集。图像分割关键点去除图6基于人体关键点的图像分割原理3.3图像预处理及数据增强3.3.1图像预处理为平滑人脸图像，并提高图像数字化的视感质量。本文通过加人高斯噪声，以空间域滤波法去除噪声。去除噪声后，将图片数字化，数字化后数据集的类别特征如图7 所示。Featureexplorer(1,916samples)XAxIsYAxisZAxdsVisualization layer1Visualization layer2Visuallzation layer3facemaskmistakeVisuafization layer3ay图7图像预处理后类别特征3.3.2图像数据增强基于领域自适应迁移学习可能存在过拟合问题，过拟合会导致口罩佩戴检测模型泛化能力变差，在新的图像数据集上不能检测，会导致后期硬件部署后，出现无法检测的问题为了防止出现过拟合问题，本研究采取数据增强的方法来防止模型过拟合。通过对图像的随机垂直翻转、随机水平转、随机缩放等操作，扩充原始口罩图像数据集，可以使训练更多的轮数，提高模型的准确度。对扩充后的人脸图像数据集样本以8：2 的比例划分为训练集和测试集。3.4仿真结果及结果分析将6 0 0 0 张采集的图像平均分为三组，每组数据集分别进行带有人脸图像分割、不带人脸图像分割的口罩佩戴检测试验。基于人脸图像分割口罩佩戴检测模型测试集结果如图8 所示。Featureexplorerface-correctmask-correctmistakecorrectface-incorrectmask.incorrectmistakes-incorrectizataton0.6图8基于图像分割口罩佩戴检测模型测试结果图8 为基于图像分割口罩佩戴检测模型第二次实验测试集结果3D显示图。从图8 可以看出，测试集总计395张图像。其中face类图像总计10 3张，mask类图像总计18 4张，mistake类图像总计10 8 张；而face类识别错误1张，mask类识别错误3张，mistake类识别错误2 张。该模型的具体准确率见表3。表3基于图像分割口罩佩戴检测模型第二次实验测试集混淆矩阵maskfacemistakemask98.37%0.00%1.85%face0.53%99.02%0.00%mistake1.09%0.97%98.15%图像数据占比为：mask;face:mistake=184:103：10 8。则该模型基于混淆矩阵的模型准确率H为98.48%，具体的计算如下所示184103108H98.37%99.02%98.15%395十395395=98.48%三次仿真结果见表4。从表4可以看出，带有人脸图像分割口罩佩戴检测模型的平均准确率比不带人脸图像分割口罩佩戴检测模型平均准确率高6%。238表4三次实验不同模型准确率对比带有图像分割口罩不带图像分割口罩试验次数佩戴检测准确率佩戴检测准确率199.34%93.98%298.48%95.60%398.76%88.94%平均准确率98.86%92.84%4基于口罩检测模型的硬件开发将训练好的模型嵌人至OpenMv设备中，该设备如图9所示。该设备的摄像头焦距为2.8 mm，光圈为F2.0。该设备的处理器主芯片型号为STM32H743I，芯片架构为ARMM7。图9OpenMv手持设备OpenMv设备采用Python语言，该硬件在处理嵌人式模型的具体情况见图10 硬件处理情况。从图10 中可以看出该设备在处理该模型时可达到4fps的顿率，且连续3次识别口罩未正确佩戴的概率均超过95%，这说明该嵌人式模型可以完成口罩佩戴检测。图10嵌入式程序硬件处理情况基于图像分割口罩佩戴检测模型的准确率超98%，但在不同类别的检测上，该模型的检测的准确率也不相同。此外，模型在嵌人至硬件设备在，由于硬件摄像头，主芯片处理情况等各类原因，导致模型的准确率下降。因此，在嵌人至移动端后，为防止误判，采用连续检测正确逻辑增加判断准确率。具体的逻辑见图11所示。通过连续检测这一系统，口罩正确佩戴检测不会产生误检测。开始类别检测次数=1检测类别为检测类别为mask检测类别为facemistake杏杏杏检测次数m=m+1检测次数m=m+1检测次数m=m+1类别为mitake类别为mak类别为face杏香香是是是m3m3m3是是是输出类别为输出类别为mk输出类别为facemistake图11口罩佩戴连续检测系统5结论本文提出基于人体关键点检测的人脸图像分割与迁移学习的口罩佩戴检测算法，通过实验对比并分析发现，不带人脸图像分割口罩佩戴检测模型仿真平均准确率比带人脸图像分割口罩佩戴检测模型仿真平均准确率低6%。这说明基于人体关键点检测的人脸图像分割技术在口罩佩戴检测技术中有了较大的提升。将基于人体关键点检测与迁移学习的口罩佩戴检测系统部署于OpenMv硬件中，在该硬件设备处理顿数快，模型识别率高。通过设计的口罩佩戴连续检测系统，使得该模型在进行口罩佩戴检测中表现良好。参考文献：1 朱杰.基于YOLOv4-tiny改进的口罩检测算法D.中国科学院大学（中国科学院长春光学精密机械与物理研究所）,2 0 2 1.2Prusty Manas Ranjan,Tripathi Vaibhav,Dubey Anmol.A noveldata augmentation approach for mask detection using deep transferlearningJ.Intelligence-Based Medicine,2021,5(5).3张雪松，庄严，闫飞，王伟。基于迁移学习的类别级物体识别与检测研究与进展J.自动化学报，2 0 19,45（7）：12 2 4-12 43.4向志华，贺艳芳.深度迁移学习的相干斑噪声图像标注算法研究J.计算机仿真，2 0 2 0,37（4）：397-40 1.5Shan Jia,Guodong Guo,Zhengquan Xu.A survey on 3D mask pres-entation attack detection and countermeasures J.Pattern Recog-nition,2020,98.6Redmon J,Divala S,Girshick R,et al.You only look once:Unified,real-time object detection C.Proceedings of the IEEEconference on computer vision and pattern recognition.2016:779239上接第155页）-788.7Redmon J,Farhadi A.YOLO9000:better,faster,stronger C.Pro-ceedings of the IEEE conference on computer vision and patternrecognition,2017:7263-7271.8Kumar Akhil,Kalia Arvind,Verma Kinshuk,Sharma A kashdeep,Kaushal Manisha.Scaling up face masks detection with YOLO on anovel datasetJ.Optik,2021,239.9曾成，蒋瑜，张尹人.基于改进YOLOv3的口罩佩戴检测方法J.计算机工程与设计，2 0 2 1,42（5)：1455-146 2.10叶子勋，张红英.YOLOv4口罩检测算法的轻量化改进J/OL.计算机工程与应用，2 0 2 1-0 7-11:1-19.11谈世磊，别雄波，卢功林，谈小虎.基于YOLOv5网络模型的人员口罩佩戴实时检测J.激光杂志，2 0 2 1,42(2）：147-150.12张德军，周学成，杨旭东.基于图像处理和深度迁移学习的芒果果实病状识别J.华南农业大学报,2 0 2 1，（4)：1-16.13赵立新，侯发东，吕正超，朱慧超，丁筱玲.基于迁移学习的棉花叶部病虫害图像识别J.农业工程学报,2 0 2 0,36（7）：18 4-191.14许景辉，邵明烨，王一琛，韩文霆。基于迁移学习的卷积神经网络玉米病害图像识别J.农业机械学报，2 0 2 0,51(2）：2 30-236,253.4华路捷，谢谦，刘宠，等.城市轨道交通车辆实时监测与分析系统研究J.都市快轨交通，2 0 2 0,33（1）：134-138.5戴嘉栋，徐晓滨，常雷雷，等.基于C-BRB模型的发动机运行状态监测方法J.控制工程，2 0 2 2,2 9(2)：2 14-2 2 2.6龚利，赵延杰，朱明辉，一种基于北斗和5G技术融合的复杂环境下机车定位方法J.北京交通大学学报,2 0 2 1,45（2：44-51,70.7季高，张峰，张士文.基于多功能车辆总线的地铁车辆远程监测系统研究J.城市轨道交通研究,2 0 19,2 2（6)：99-10 3.8廖娟，陈民慧，汪，等.基于双重Gamma校正的秧苗图像增强算法J.江苏农业学报，2 0 2 0,36（6)：1411-1418.9吴正平，岑帅红.基于自适应gamma校正估计的图像去雾算法J.液晶与显示,2 0 2 2,37(1)：10 6-115.10郑志强，胡鑫，翁智，等.于改进DenseNet的牛眼图像特征提取方法J.计算机应用，2 0 2 1,41（9）：2 7 8 0-2 7 8 4.11陈志坤，江俊君，姜鑫维，等.一种基于改进双边滤波的鲁棒高光谱遥感图像特征提取方法J.武汉大学学报（信息科学版）,2 0 2 0,45（4）：50 4-510.12王晓丹，李京泰，宋亚飞.DDAC：面向卷积神经网络图像隐写分析模型的特征提取方法J.通信学报，2 0 2 2，43（5）：6 8-81.15黎振,陆玲,熊方康。基于k-means分割和迁移学习的番茄病理识别J.江苏农业科学,2 0 2 1,49（12：156-16 1.16赵永强，饶元，董世鹏，张君毅.深度学习目标检测方法综述J.中国图象图形学报,2 0 2 0,2 5（4)：6 2 9-6 54.17许德刚，王露，李凡。深度学习的典型目标检测算法研究综述J.计算机工程与应用,2 0 2 1,57(8)：10-2 5.18Nhat-Duy Nguyen,Tien Do,Thanh Duc Ngo,Duy-Dinh Le,Cesare F Valenti.An Evaluation of Deep Learning Methods forSmall Object Detection J.Journal of Electrical and ComputerEngineering,2020.19吴雪，宋晓茹，高嵩，陈超波.基于深度学习的目标检测算法综述J.传感器与微系统，2 0 2 1,40（0 2）：4-7,18.20梁立媛，吉晓东，李文华.基于迁移学习的胶囊内镜图像分类J.计算机仿真,2 0 2 1,38（6）：36 2-36 6.作者简介叶永雪（1996-），男（汉族），辽宁省大连人，硕士研究生，主要研究计算机视觉。马鸿雁（197 1-），女（汉族），陕西人，教授，硕士研究生导师，主要研究领域为电力电子与电力传动、建筑设备节能控制（通讯作者）。13 唐传茵，赵懿峰，赵亚峰，等.智能车辆轨迹跟踪控制方法研究J.东北大学学报（自然科学版），2 0 2 0，41（9）：12 97-1303.14徐彬，张大鹏，杨海洋，等.基于转向响应特性的智能车辆轨迹跟踪双闭环控制J.北京理工大学学报，2 0 2 2，42（7）：7 0 6-712.15田苗，王军方，黄健畅，等。唐山市柴油车远程监控综合管控平台的开发及应用J.环境科学研究，2 0 2 1,34（1）：132-140.作者简介李铭（198 5-），男（汉族），湖南省怀化市人，工程师，主要研究方向：数据库开发、信息系统建设、网络安全、模式识别。杨威（198 5-），男（汉族），湖北省安陆市人，副教授，主要研究方向：数据库开发、信息系统。谢抢来（198 4-），男（汉族），湖南省邵阳市人，副教授，主要研究方向：数据库开发、信息系统。喻佳（198 1-）,女（汉族），江西南昌人,硕士研究生，副教授,研究方向：计算机应用技术、数据库技术、传感器网络。