基于FaceNet网络的口罩人脸识别人流监测系统.pdf

现代电子技术Modern Electronics Technique2023年10月1日第46卷第19期Oct.2023Vol.46 No.190 引 言2019年 12月，中国武汉以及世界各地都爆发了新型冠状病毒肺炎（COVID19）。2020 年 1 月，世界卫生组织宣布将新型冠状病毒疫情（简称“新冠疫情”）列为国际关注的突发公共卫生事件。新冠疫情的爆发对于各大高校的正常生活、教学造成很大的影响。2022年11月，根据新冠病毒变异情况，我国实际医疗资源、地区发展、经济形势等情况，通过各方面论证，我国发布 关于进一步优化新冠肺炎疫情防控措施，科基于FaceNet网络的口罩人脸识别人流监测系统龙 慧1，2，张雅璐1，罗觉灵1，李世杰1，何伟杰1（1.长沙师范学院 信息科学与工程学院，湖南 长沙 400100；2.远大空调有限公司，湖南 长沙 410137）摘 要：随着新冠疫情面向全球的放开，为排查新型冠状病毒肺炎感染者的时空交集人员，对各大高校场景中人员感染、二次感染等情况进行预防，以及对人员流动做有效监测，提出基于 FaceNet 网络改进的口罩人脸识别技术。采用MobilenetV2替换 FaceNet原有的主干网络，实现戴口罩下人脸身份识别，并将社交距离算法、非接触群体测温技术进行整合，将算法技术融入树莓派 4B中。通过对网络模型进行实验以及训练，相比于现有的 FaceNet网络极大程度优化了识别精度、推理速度，准确率显著提升，在识别群体人脸时的召回率显著提高。使用较高配置的物联网系统，对开放后的各大高校可精确检测个体人员流动、人员体温、违反社交距离人员、个体时空交集、楼栋中各通道的人流密集度等情况，能够很好预防感染或二次感染。关键词：新冠疫情；二次感染；人流追踪；群体测温；口罩人脸识别；机器学习；人工智能；物联网技术中图分类号：TN911.7334；TS958 文献标识码：A 文章编号：1004373X（2023）19006505Face mask recognition flow monitoring system based on FaceNet networksLONG Hui1,2,ZHANG Yalu1,LUO Jueling1,LI Shijie1,HE Weijie1(1.School of Information Science&Engineering,Changsha Normal University,Changsha 400100,China;2.Broad Airconditioning Co.,Ltd.,Changsha 410137,China)Abstract：As the COVID19 epidemic is globally liberalized to the world,an improved face mask recognition technology based on FaceNet networks is proposed to find out persons who are infected by COVID19 due to spatiotemporal intersection,prevent the infection and secondary infection in the scenes of major universities,and effectively monitor the flow of people.In this paper,an improved face mask recognition technology based on FaceNet networks is proposed.The MobilenetV2 is used to replace the original backbone networks of FaceNet to achieve the recognition of face with masks,and the social distance algorithm and noncontact group temperature measurement technology are integrated into Raspberry Pi 4B.By the experiment and training of the network model,the recognition accuracy and inference speed are optimized greatly in comparison with the existing FaceNet networks,its accuracy is improved significantly,and its recall rate is increased significantly when recognizing group faces.By the Internet of Things system with high configuration,the proposed model can accurately detect the individual flow,body temperature of personnel,personnel who violate social distance,the spatial and temporal intersection of individuals,and the crowd density of each channel in the buildings for major universities after deregulation,and can prevent infection or secondary infection well.Keywords：COVID 19 epidemic;secondary infection;flow tracking;group temperature measurement;face mask recognition;machine learning;artificial intelligence;IoT technologyDOI：10.16652/j.issn.1004373x.2023.19.013引用格式：龙慧，张雅璐，罗觉灵，等.基于FaceNet网络的口罩人脸识别人流监测系统J.现代电子技术，2023，46（19）：6569.收稿日期：20230113 修回日期：20230220基金项目：2022年湖南省大学生创新创业训练计划项目（S202213806009）；2020年湖南省教育厅科学研究重点项目（2020A036）；2019年湖南省教育普通高等学校教学改革研究项目：智能玩具设计与开发人才的跨专业协同培养研究（20191141）6565现代电子技术2023年第46卷学精准做好防控工作的通知。随之12月，取消集体核酸检测，各大车站、高速路口取消核酸证明查询等各种政策的放开，也意味着新冠疫情走向放开。在新冠疫情放开后，多数人员已被感染的情况下，二次感染的情况也有发生。目前欧美国家二次感染率最高在 2.4%3%，这也说明二次感染的问题还是要重视1。当 2023 年春节过后，各大高校开启线下教学模式，学生、教职工将长期处于人员密集、流动性强且较为封闭的环境中，校园中一旦出现新冠感染者，将会出现多数学生感染或二次、多次感染的情况。通过感染者的运动轨迹排查出可能与感染者进行空间接触的人群，从而避免二次传播变得越发重要。对于传统的基站人流追踪监测方式，只能初筛较大范围内的时空接触，并具有较大的错判性。在人工智能、机器学习飞速发展的时代下，拥有了对于群体人脸识别的技术和基本案例支撑。本文提出一种基于 FaceNet网络的口罩人脸识别人流监测系统，如图 1所示。通过优化改进现有的 FaceNet网络，深入探究时空交集的人员追溯问题。以人脸作为信号特征进行数据分析的方式，提高了时空伴随检测精度。对人脸模型识别，核验是否佩戴口罩，对校园人员进行人流监测，能够及时进行数据反馈。让校园人员对于感染或者再次感染能够采取有效预防措施。图1 基于FaceNet网络的口罩人脸识别人流监测系统框架在现今科技算力的支撑下，在口罩人脸识别模型基础上，融合社交距离算法对人与人之间的接触距离进行分析，对是否被感染进行数据分析，同时加入非接触群体测温技术，在分析数据的同时实现体温同步及异常通知。1 相关文献机器学习是人工智能中最重要的部分，人工智能区别于普通的大数据分析在于具备了机器学习的特点2。文献3研究了 FaceNet 可进行戴口罩时的人脸识别。作为经典的深度学习、人脸识别网络案例，其依然采用主流的深度神经网络来提取特征，并采用 Triplet_Loss衡量训练过程中样本之间的距离误差。FaceNet系统直接学习从人脸图像到紧凑的欧几里德空间的映射，其中距离直接对应于人脸相似性的度量。在识别准确率方面，FaceNet在 LFW 数据集上达到99.63%的准确率3。与传统人脸识别算法相比，识别准确度更高。在新冠疫情的第二年，文献4提出使用卷积神经网络检测人脸，并使用红外温度传感器进行非接触式温度检测。行人进入场合需进入隧道，实现口罩是否佩戴监测、无接触红外测温，同时融合自动喷洒消毒水等功能。随着神经网络的广泛应用，现今多数人脸识别依靠于神经网络。文献5通过比较 FaceNet 和 OpenFace 深度学习架构模型，将人脸图像数据集中处理，在数据集中通过检测、裁剪和调整人脸大小来执行人脸预处理，获得的 FaceNet 精度结果更高，完美精度为 100%，而OpenFace 的准确率仅为 93.33%，从而得出在人脸应用中FaceNet更为合适。也有研究者提出了一种新的单镜头多级人脸定位方法，称为RetinaFace，该方法将人脸框预测、2D面部地标定位和 3D顶点回归统一在一个共同目标下，即图像平面上的点回归6。文献7提出了一个剩余学习框架，一个用来简化网络深度的网络训练。文献8研究了卷积网络深度对其在大规模图像识别设置中的准确性的影响。在当今开放的疫情防控中，感染者在生活中比比皆是，相比于 2020年的毒株，从临床实践中也看到，目前奥密克戎毒株感染后死亡的主要原因还是基础病，真正直接死于新冠病毒感染导致的呼吸衰竭很少9。但是对于感染者的症状也会因个人体质的不同而出现不同的临床表现。而对于年后复学的各大高校学生、教职工，做好一定的预防措施，能够大大提升学习、工作效率。是否与感染者在同一时空内（即是否与感染者产生时空交集）是判断人员是否感染的重要指标，而社交距离与口罩佩戴是抗击COVID19传播的关键。疫情爆发后，有人就开始结合深度学习、深度卷积神经网络，实施实时摄像头监控，以检测公共空间中违反社交距离的行为，但它们并不适用于低功耗系统。紧接着，文献10提出 SocialNet 这一设计，更方便地检测公共空间中人群社交距离的违反行为。同时，文献11以社会力模型为基础，设立时空伴随指标，通过构建校园通勤人员流动模型，以本校（西南交通大学）为例，量化人与人之间的接触，从而得出导致疫情传播风险程度。文献12将物联网与智能手机应用程序结合，充分66第19期利用智能手机中许多功能强大的传感器、摄像头、GPS、蓝牙等设备，实现以集中式、分散和混合等三种系统架构的智能手机联系人追踪应用程序，并广泛使用。以上成果对于新冠疫情防控起到了很大的作用，但其并没有解决疫情传播中的时空伴随人员追踪不完整、时空伴随人员的确定有延迟、误判时空伴随人员等问题。随着当前物联网应用的兴起，对研究一定区域范围内人群流动有了一定的技术支撑。本文围绕高校校园内人流相对固定的环境，对时空交集的人员追踪、人流监测问题进行深度研究。以行人是否被新冠感染，感染前后时间与空间的交集过程此人是否佩戴口罩、是否违反社交距离等信息的获取作为主要目标，对于数据异常人员及时将信息反馈给当事人，做好预防措施，同时对校园防疫工作中人流监测提供了更高精度的数据支持。2 核心技术2.1 FaceNet网络本 文 将 FaceNet 网 络 主 干 卷 积 网 络 更 改 成MobilenetV213作为主特征提取网络，并且使用了倒残差（Inverted Residuals）结构，如图 2 所示。倒置残差相比于原本的残差块，对角孵出的层不使用非线性，将降维和升维的顺序进行了调换，并且将 33 卷积换为 33 DW卷积，即两头小中间大，以及采用 Linear Bottlenecks可以防止非线性破坏太多信息。两者结合既可以减少大量模型参数，并且能够大大地提升模型推理速度。图2 倒残差结构及残差块结构对于 MobilenetV2整体体系结构如图 3所示。采用Depthwise 卷积构建块，可在高维度特征空间上学习更多样的特征。图3 MobilenetV2框架2.2 测量人员社交距离及体温2.2.1 社交距离疫情传播的重要原因在于人员之间存在时间和空间的接触11。在空间内根据已有的时空伴随指标及相关算法模型公式，考虑到硬件系统图像采集节点过程中的偏差，最终推算出在空间范围内，行人A和行人B的距离为：dAB=w1|xA-xB2+w2|yA-yB2（1）式中：xA为行人A的x轴坐标；xB为行人B的x轴坐标；yA为行人A的y轴坐标；yB为行人B的y轴坐标；w1、w2为图像采集点设定造成的偏差权重，根据物联网图像采集节点部署位置产生偏差而定。2.2.2 群体测温非接触式群体测温核心是通过红外成像进行测温。对于红外成像测温相关原理，进行以下分析：凡是温度高于绝对零度（0 K 或-273.15）的物体，均会自表面向外发出电磁辐射，且该辐射与物体的固有温度成比例，借助专用镜头便能将其聚集在探测器上，随后，探测器会生成与该辐射成比例的电信号，该信号得到放大，并通过接收连续的数字信号处理而转化为与物体温度成比例的输出信号。如此一来，在显示器上便会显示出温度的测量值，或为信号形式输出，即红外测温仪可以通过测量目标表面所辐射的红外能量来确定表面温度。测温公式如下：Tobj=nU-CTnobj+CTnobj+CTnpyrC（2）式中：指数n取决于辐射波长；为目标表面的发射率；U为探测器信号；Tobj为物体温度；Tpyr为设备温度；C为器件比常数。3 硬件技术本系统硬件以树莓派 4B 作为数据采集核心板，由USB1080超高清高帧率摄像头、MLX90640红外测温传感器、气压传感器等硬件设备组成。树莓派 4B模块和上一代 3B+相比，处理器速度、图像处理性能等有很大提升，同时保留了向下兼容性和低功耗的特点，值得一提的是，树莓派4B能够进行神经网络运算，在发生网络拥堵时树莓派能够在单点进行图像处理运算，并具备存储大量图像数据的能力。当红外测温传感器感应范围内有人员活动时，摄像头实时提取人员面部图像，温度传感器筛查人员体温，通过 WiFi协议向数据服务器发送经过人员面部图像、人员间距离信息、人员体温信息、是否佩戴口罩、空气流速数据，通过 FaceNet人脸识别技术得到该人员信息并计算出人员间距离信息。后台管理人员还可以通过物联网系统的后台界面准确掌握人员流通信息和各通道空气流通信息，进行数据分析与存储。龙 慧，等：基于FaceNet网络的口罩人脸识别人流监测系统67现代电子技术2023年第46卷4 实验训练实验采用的深度学习框架为 Pytorch，CPU 型号为Intel CoreTM i99900k，GPU型号为 Nvidia GTX 2080Ti，操作系统为Ubuntu 20.04，开发软件使用PyCharm。训练过程严格遵守机器学习实验准则开展，评价指标的设定、数据集的划分等遵循自然规律、社会规律。对于实验数据严格进行随机重复实验，对数据进行均方、差方等处理，并对最终结果进行检验，保证数据的有效性。4.1 数据采集本文所使用的数据集源自 CASIAWebFace、CSSFFaceset。CASIAWebFace 是免费开源用于人脸识别的数据集，其中包含 689 686 张具有 10 575 个身份的图像。CSSFFaceset 是长沙师范学院人脸门禁系统的数据集。CASIAMASK 作为 FaceNet 人脸识别图像训练集，CSSF20作为FaceNet人脸识别图像测试集。CASIAMASK 是基于 CASIAWebFace 的自建数据集，该数据集来自 CASIAWebFace，可分为生成戴口罩数据集与初始不戴口罩数据集。第一个子类别原始不戴口罩数据集包含来自 CASIAWebFace数据集的正常人脸图像，它包含453 525张人脸图像，大约是MCASIA数据集的2 3。CSSF20 是基于长沙师范学院人脸数据集创建的自定义数据集，包括超过20张人脸图片的人员。CSSF20 是用作测试的自定义数据集，其中包括戴口罩数据与不戴口罩数据。不戴口罩数据由包含 41 名人员的170 张人脸图像组成，戴口罩数据集由包含 41 名人员392 张生成口罩人脸数据组成。生成口罩人脸数据包含 4 种常见口罩，分别是：N95 口罩、医用外科口罩、CN95、防毒面罩。4.2 数据处理对于源图片数据进行预处理，利用 MaskTheFace生成戴口罩人脸图像数据，用于数据训练和模型评估，数据集预处理中使用了两个步骤：第 1步：使用一个开源工具 MaskTheFace创建模拟的面具脸图像。然后，利用多任务级联卷积神经网络模型对人脸图像进行裁剪。这个过程用于创建戴口罩面部数据集的不同口罩变体。创建戴口罩人脸数据集的流程如图1所示。第 2步：将数据集分成两个子集，80%用作训练集，20%用作验证集。训练集包含用于训练模型对个体进行分类的样本。然后在调优模型的超参数时，使用验证集提供对拟合模型的无偏评估。这两个子过程是可重复的，因此该过程可以迭代的工作，以创建数据集和测试用例的各种场景。4.3 数据训练在训练步骤中，采用优化后的 FaceNet模型为人脸识别任务创建了基于卷积神经网络的方法。在每个训练阶段，每个训练样本都被向前解析，用于拟合和改进模型的权重。然后，反向传播以获得误差函数在权值空间中的最小值。训练过的模型通过特征提取器验证来自验证数据集结果。此外，还设置了回调函数来监控验证损失。因此，如果验证损失开始增加或仍然与上一个时代相同，则训练过程停止。4.4 模型测试每秒可处理 29帧的 1 080 p中的图像数据，可得出人脸身份、是否佩戴口罩、行人社交距离，并且可以根据场景的实际情况、人流数量调整模型参数（张量大小），调整模型每帧可识别的人脸数量。当然这也同样可以部署在算力较弱的树莓派节点上，仅需调低张量大小或将特征提取网络改为 MobilenetV2，便可在离线情况下在树莓派4B上进行FaceNet模型的运算，当然将会有较大的精度丢失，树莓派进行图片识别时平均每秒可处理3帧640 p图像数据。详细数据见表1。表1 模型测试结果设备desktop树莓派4B帧尺寸（W H）6404801 2807201 9201 0806404801 280720帧率/（f/s）113.859293.81.8准确率/%899774825 训练结果为了验证本文系统的有效性，将本校学生与教职工人脸图像数据纳入了 FaceNet人脸识别库中，在长沙师范学院北校区笃行楼、博学楼分别部署了以树莓派为核心版的人流监测节点，经一周测试，系统表现稳定，但在人脸捕捉上角度的误差与光线的明暗影响了人脸识别的精度，各楼道未识别人脸数平均占比12%。人脸识别的算法有待提升，采集群体人脸摄像头位置需要进一步进行思考。相对于之前的研究来说，本文使用了 FaceNet人脸识别模型获取行人身份信息，进一步提升了人流监控精度，将违反社交距离人员身份进行记录，为制定疫情防控方案提供了数据支撑。在突发疫情时，可提供更加精确的疫情感染者溯源分析依据。根据人流监控系统所收集的数据，将本校中人流密68第19期作者简介：龙 慧（1979），女，湖南凤凰人，博士，副教授，研究方向为信号处理、人工智能。张雅璐（2001），女，湖南永州人，研究方向为嵌入式电子设计。罗觉灵（2000），男，湖南湘潭人，研究方向为嵌入式电子设计。李世杰（2002），男，河北石家庄人，研究方向为嵌入式电子设计。何伟杰（2001），男，湖南常德人，研究方向为嵌入式电子设计。集度最高的 4项与人流密集程度最低的 4项筛出，数据如表2、表3所示。表2 人流密度最高通道序号1234唯一标识符404327403216403455404119最高人流密集度/%63.457.151.247.8日均通道人流量314286241207违反社交距离12310880113未戴口罩人次59283087窗口处最大风压差/Pa116100100106未识别身份数量2391715表3 人流密度最低通道序号1234唯一标识符401353402160401511401133最高人流密集度/%2.24.95.310.8通道人流量15232636违反社交距离1437未戴口罩人次1216320窗口处最大风压差/Pa100100131105未识别身份数量0031本文将数据进行分析得出最大人流密度通道、违反社交距离的人数以及违反者身份，能够将数据异常的人员信息及时反馈到人，及时做好预防工作，避免感染或再次感染的情况发生。6 结 论本文介绍了一种基于FaceNet网络的口罩人脸识别人流监测系统，能够同时将通道区域内行人接触的时间与空间、行人之间的距离、行人体温以及空气流速进行记录。本文所用方法可以部署到走廊与教室甚至是电梯内，以机器学习为核心，融合判距、测温等算法，结合物联网技术提高了检测疫情防控中时空接触者的精度，可提供具体违反社交距离、未佩戴口罩人员身份，为筛查出新冠确诊患者的时空伴随者提供了更有力的数据支撑，为疫情防控的数据科学研究者提供了新的获取更高精度数据的方法。参考文献1 陶婷婷.新冠有一定的二次感染率，要坚持做好防护N.上海科技报，20221228（1）.2 余涛，贾如春.基于机器学习算法人工智能技术的发展与应用J.数学学习与研究，2019（13）：149.3 SCHROFF F,KALENICHENKO D,PHILBIN J.FaceNet:A unified embedding for face recognition and clustering C/IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE,2015:815823.4 BHOGAL R K,POTHARAJU S,KANAGALA C,et al.Corona virus disinfectant tunnel using face mask detection and temperature monitoring C/2021 5th International Conference on Intelligent Computing and Control Systems(ICICCS).New York:IEEE,2021:17041709.5 CAHYONO F,WIRAWAN W,RACHMADI R F.Face recognition system using FaceNet algorithm for employee presence C/2020 4th International Conference on Vocational Education and Training(ICOVET).New York:IEEE,2020:5762.6 DENG J,GUO J,VERVERAS E,et al.RetinaFace:Singleshot multilevel face localization in the wild C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE,2020:52025211.7 HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition EB/OL.2015 12 10.https:/arxiv.org/abs/1512.03385.8 SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for largescale image recognition EB/OL.20150410.https:/arxiv.org/abs/1409.1556.9 佚名.国家卫健委明确新冠死亡判断标准N.每日经济新闻，20221221（1）.10 ELBISHLAWI S,ABDELPAKEY M H,SHEHATA M S.SocialNet:Detecting social distancing violations in crowd scene on IoT devices C/2021 IEEE 7th World Forum on Internet of Things(WFIoT).New York:IEEE,2021:801806.11 马剑，李慧文，宋丹丹，等.校园通勤行人流时空伴随分析与疫情防控策略J.中国安全科学学报，2022，32（9）：8693.12 SINGH P K,NANDI S,GHAFOOR K Z,et al.Preventing COVID19 spread using information and communication technology J.IEEE consumer electronics magazine,2021,10(4):1827.13 SANDLER M,HOWARD A G,ZHU M,et al.MobilenetV2:Inverted residuals and linear bottlenecks C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE,2018:45104520.龙 慧，等：基于FaceNet网络的口罩人脸识别人流监测系统69