基于深度学习的人脸识别技术在机房监控中的应用.pdf

2023 年第 11 期213智能技术信息技术与信息化基于深度学习的人脸识别技术在机房监控中的应用刘 杰1 姜 鑫1 丁艳青1 吴 峥1LIU Jie JIANG Xin DING Yanqing WU Zheng 摘要 随着信息化的发展，机房的视频监控正在快速普及，传统的刷卡、登记等方式进出核心机房繁琐、程序复杂以及无法及时确定人员信息，迫切需要一种非接触、用户非配合状态下的快速身份识别技术，以快速确认人员身份，实现自动化识别、实时确定进出机房的人员信息，人脸识别技术无疑是最佳选择。采用快速人脸检测技术可以从监控视频图像中实时查找人脸，并与人脸数据库进行实时比对，从而实现快速身份识别。基于深度学习人脸识别技术设计了一套实时监控系统，系统每隔一定时间间隔就会利用安装在机房内的云台摄像机获取室内的监控视频片段，之后将视频片段处理成每一帧图像由人脸识别服务端对图像进行处理和识别。基于人脸识别技术的机房监控系统能够自动识别并确认人员信息，节省了取卡、刷门禁卡时间，疫情期间减少了指纹的接触，解决了传统手动开门禁锁、刷门禁卡以及指纹解锁等方式的不足，具有强大的应用前景。关键词 人脸识别；深度学习；监控系统 doi：10.3969/j.issn.1672-9528.2023.11.0481.中国地震台网中心 北京 1000450 引言当下，机房监控系统是一个综合利用网络技术、数据库技术、通信技术、自动控制技术、新型传感技术等构成的计算机网络，系统监控对象主要是机房动力和环境设备等1（如：配电、UPS、空调、温湿度、漏水、烟雾、视频、门禁、防雷、消防系统等）。目前很多机房管理人员 24 h 值班，定期巡检机房环境设备，不仅增加了管理人员的负担，而且无法及时发现和排除故障，尤其是进出机房人员身份的不确定性，如果非专业人员或是非机房设备管理进入核心机房无疑是机房安全运行的又一不利因素2。因此，一个智能的自动化识别人员信息的监控系统是非常必要的。出入机房的门禁是机房监控一个重要组成部分，它的效率能够影响到机房监控的整体效果。传统的门禁主要通过刷门禁卡的方式来实现3-5，但这种方式往往会浪费大量的时间，效率较低，代替传统人工刷卡的是指纹解锁，这种方式比传统的手动刷卡更加自动化，但是，在疫情期间，指纹接触会增大疫情传播的可能。本项目应用人脸检测和人脸识别技术，系统每隔一定时间间隔就会利用安装在会议室内的云台摄像机获取室内的监控视频片段，之后将视频片段处理成每一帧图像，由人脸识别服务端对图像进行处理和识别，实现了出入机房门禁人员信息的确认。本章从机房监控门禁的需求入手，首先进行了系统的需求分析和功能模块的划分，然后进行详细设计并实现，最后对整个系统的功能模块进行测试。1 系统分析与设计1.1 需求分析该系统主要的用户有：进入机房人员、所有员工和系统管理员。员工初次登录系统，系统会调用设备的摄像头采集员工的人脸图像信息，作为员工的人脸库。系统管理员具有最高的权限。系统主要负责处理视频流信息，从视频流中提取出人脸，进行人脸的身份验证，然后生成机房出入记录，形成日志。进入机房时，由机房里的摄像机捕捉进入人员的图像，并将其发送给后台人脸识别系统进行处理和识别。首先，在后台，服务端按照一定的时间间隔从会议室监控视频中捕获与会人员的图像，并对图像进行预处理。其次，对图像中的人脸进行人脸检测。然后，由系统的人脸识别模块做人脸特征的提取并与数据库中存储的人脸信息做匹配，根据匹配结果验证员工身份，生成进出记录。最后，在数据库中录入人员出入机房情况，形成日志。该系统主要由图 1 所示的 4 个模块组成：人脸图像信息采集模块、人脸检测模块、人脸识别模块和机房监控管理模块。2023 年第 11 期214智能技术信息技术与信息化系统功能模块人脸图像信息采集模块人脸检测模块人脸识别模块机房监控管理模块图 1 系统功能图在员工入职时需要采集员工信息，包括员工的工号以及人脸图像等，然后将采集到的人脸图像预处理后保存至员工人脸特征数据库中。当员工出入机房时，将机房摄像头捕获到的监控视频上传至人脸识别系统，利用 OpenCV 将视频处理成每一帧图像，并对处理后的图像做人脸检测和人脸识别，将识别结果记录在数据库中，以此来统计出入机房信息。在系统启动后，整个系统将自动进行人脸识别，自动获取出入记录，减少了传统刷卡开锁等方式所浪费的时间，准确识别进入机房人员信息。1.2 技术方案人脸识别是一种提取人脸图像特征信息进行分类识别的生物特征识别技术。由于其方便、友好的特性，随着信息技术的发展，在安全、航天、医疗等领域得到了广泛的应用。Viola 等人6-7提出的结合 AdaBoost 级联分类器的 Haar 特征可以快速检测人脸。从那时起，许多研究者致力于使用更高级的特征来提高人脸检测的准确性，如局部二进制模式（LBP）8、方向梯度直方图（HOG）、尺度不变特征变换（SIFT）9。人脸识别已成为计算机视觉领域的研究热点。深度学习主要是神经网络算法的扩展。神经网络的层是由深度来描述的，利用深度学习多层感知器可以解决线性不可分的问题10，针对浅层学习的弊端可以得到有效的弥补。深度学习的常见类型有循环神经网络、卷积神经网络和受限玻尔兹曼机11-12。整个系统通过 YOLO 算法进行人脸检测，用 GoogLeNet网络对检测到的人脸图像进行特征提取，并通过 SVM 分类器获得单次识别结果13-14。1.3 架构设计系统整体采用 B/S 结构设计，系统管理人员通过浏览器登录系统查看人员的进出机房信息，相比较 C/S，这种设计更具安全性且方便升级和维护。系统的网络架构设计，如图 2 所示。人脸图像采集模块是系统的数据采集层，这一模块的主要功能是采集人脸信息，并将每一张人脸图像做标签后存入本地数据库中。人脸检测和人脸识别模块共同构成了整个系统的服务层，这一层的设计包括对处理后的每一帧图像使用 YOLO人脸检测算法，用 FaceNet 网络对检测到的人脸区域进行特征提取等。机房监控管理模块是系统的呈现展示层，这一层的主要功能是将服务层的识别结果通过浏览器显示到 web 界面，管理员可以通过登录该系统实时查看出入机房的人员情况。系统的数据层的功能主要是存储人脸图像信息以及部分监控视频信息，可以起到存储备份、生成日志等作用。图 2 系统的网络架构设计2 系统详细设计2.1 人脸图像信息采集模块当员工入职时都会在公司或者单位录入个人信息，包括工号、姓名以及人脸图像等，本系统将这些采集好的人脸图像存储到人脸图像特征库中，根据个人工号给采集到的人脸图像做手动标注，从而实现机房监控门禁的人脸特征识别库。2.2 人脸检测模块机房中的智能云台摄像机可以全景采集和周期性地巡航，实现对室内环境的全方位的覆盖，从而实现对进入机房人员的人脸图像抓取。系统每隔一定时间间隔将通过云台摄像机捕获一段实时视频上传至人脸识别服务端，通过这种方式，系统可以实时地进行识别，从而实现较为真实的出入记录。在这一部分，采用了基于 Python 和 TensorFlow 框架实现 YOLO 目标检测。本系统首先以 帧/s 的速度进行视频图像的获取，检测的类别只是区分人脸和背景，因此对于截取的每一帧图像，非常适合选用一个网络结构较浅的 YOLO模型对其进行检测，具体学习网络结构如图 3 所示。图 3 YOLO 网络结构 2023 年第 11 期215智能技术信息技术与信息化2.3 人脸识别模块本模块是整个系统的核心部分。该模块主要功能是识别人脸检测模块中检测到的人脸图像。首先对上一模块检测到的人脸图像做归一化处理。然后提取这些人脸图像的特征。最后，将这些特征逐一与考勤人脸图像特征库进行比较，就可以识别出他们的身份，同时在会议考勤管理系统中记录下他们的出勤情况。本文人脸特征提取采用的是 FaceNet 网络，将提取的人脸特征与人脸库中的人脸特征进行比对，得到识别结果。FaceNet 模型是 Google 团队在 2015 年提出的人脸特征提取的算法，它是基于卷积神经网络的人脸识别模型。FaceNet模型如图 4 所示，FaceNet 模型直接学习一个从图像到欧氏空间的映射，欧氏空间的距离关联着人脸相似度。图 4 FaceNet 模型FaceNet 最大的创新在于提出了 Triplet Loss 损失函数。图5 为 Triplet Loss 示意图，现在有（Anchor、Positive、Nega-tive）三组样本，其中 Anchor 表示为从数据集中随机选取的目标样本，Positive 表示为与 Anchor 属于同一类别的样本，Negative 表示为与 Anchor 不属于同一类别的样本。模型训练时，计算 Anchor 与正负样本之间的欧式距离，三元组损失的作用就是通过训练不断增大 Anchor 与负样本之间距离，同时减小 Anchor 与正样本的距离，通过这种方式实现类间距离大于类内距离的目的，最后得到有区分度的人脸特征。图 5 Triplet Loss 示意图具体实现步骤如下：（1）构建了一个数据库用于训练FaceNet 模型：选择 casia webface 和 youtobeface 共同构建了人脸数据库的数据集；（2）数据清洗：清洗掉标注类别有误的一部分图像；（3）删除长尾数据：删除那些拥有样本数量较少的个体，本文将长尾数据的阈值设为 10，删除样本数目为 10 以下的数据，训练集中的个体每人至少包含 10 张训练样本；（4）视频序列化：首先读取 YTF 视频的图像序列，并将读取到的图像归纳至不同对象的文件夹中。但每个对象文件夹中的图像数量严重不均衡，容易导致网络训练过拟合等问题，因此，受到 CASIA_Webface 数据集中对象样本数量均衡分布的启发，构造出样本均衡的 YTF 数据集。将YTF 文件夹下的图像每隔 5 张保留一张，若某个文件夹下图像数量低于 10，则舍弃不用。最终构造的 YTF 数据集共包含 1593 个对象具有均衡的样本。在这里对 FaceNet 网络从头开始训练，整个训练过程是在 TensorFlow 深度学习框架下完成的，本次训练使用的服务器的型号为 GTX 1080(Ti)。第一步：训练 FaceNet 网络所用的数据集搭建的人脸数据库。按照 8：2 的比例划分训练集和验证集。第二步：将图像做剪裁和归一化，由于 FaceNet 的输入图像大小为 160160，所以将图像处理成 160160 作为网络的输入。第三步：初始化网络权重。第四步：网络每次从训练集中取 200 个样本进行训练，即batch size的大小为200，通过自适应时刻估计算法（adaptive moment estimation，ADAM）对模型进行优化，模型通过drop out 和权重衰减对权重进行正则化，防止网络过拟合，drop out 的比率为 0.7，权重衰减设为 410 4，学习率初始化为 0.1，网络输出特征维度设置为 128。第五步：当网络训练达到一定的次数时，会在验证集上通过欧氏距离对模型进行验证。验证过程为：从验证集中选择两张人脸，并且使用训练后的模型对其进行提取特征，并计算其欧氏距离，判断其相似性，若欧氏距离的值小于设定的阈值，则可以证明两张图为同一人，阈值不是随意给出的，而是通过不断训练学习得到的。通过 Tensorboard 可以对网络的训练过程进行监控，图 6为训练过程中损失的变化过程，可以看到网络的损失是在不断下降的，说明网络在不断地收敛。网络的训练参数设置是合理的。由图 7 可以看到，随着训练的进行，准确率在上升，说明训练的模型的泛化性能正在不断上升。图 6 损失的变化 图 7 准确率的变化2023 年第 11 期216智能技术信息技术与信息化人脸识别的具体流程如图 8 所示。图 8 人脸识别流程图2.4 机房监控管理模块本模块是整个系统的最后一个部分。在使用人脸识别进行出入机房时，系统自动将检测到的人脸图像特征与对应的人脸图像特征库特征逐个进行比较验证，并在服务器上登记进入机房人员的出入情况。把所有人员的出入情况记录到表格中以 web 界面展现给监控系统管理人员，方便工作人员及时掌握机房的出入情况，更好地对机房进行管理维护。3 系统整体测试与结果人脸识别系统准确性测试结果如表 1 所示。表 1 人脸识别测试结果测试序号样本容量正确识别人数准确率1181688.89%2171588.24%3151493.33%4151493.33%5181688.89%总计837590.36%4 总结本文基于人脸识别技术构建了机房监控门禁系统，相对于传统刷门禁卡、指纹解锁等方式，本系统实现了自动识别、自动生成出入机房记录日志等功能，具有实时性、稳定性等优势，解决了传统进出机房流程复杂、耗费时间、不能准确地自动化识别等问题。此外，整个系统是基于 B/S 架构设计，与 C/S 架构相比较，它在系统维护方面具备开销小、方便升级等优势，这能够极大降低维护成本。基于浏览器的 B/S 架构设计还具备业务扩展简单方便、通过增加网页即可增加服务器功能等优势。通过进一步实验研究分析，人脸图像在采集过程中还会发生抖动、光照以及表情变化等情况，导致图像模糊或者图像不完整造成误识别，解决此类现象的发生、提高整个系统在非限制条件下人脸识别的准确率将会是下一步研究工作的重点。参考文献：1 谢波.机房监控系统的设计与实现 J.自动化与仪表,2008,23(11):51-53.2 夏利民,李世骏,金玉.广电机房监控系统的设计与开发J.电视技术,2010,34(4):86-89.3 金波.基于自然图像信息统计的无参考图像质量评估研究D.无锡:江南大学,2012.4 张其帆.基于人脸识别的课堂考勤系统的设计与实现 D.重庆:重庆师范大学,2019.5 周飞燕,金林鹏,董军.卷积神经网络研究综述 J.计算机学报,2017,40(6):1229-1251.6 CHEUNG K H,KONG A,YOU J,et al.A new approach to ap-pearance-based face recognitionC/2005 International Con-ference on Systems.Piscataway:IEEE,2005:1686-1691.7 HAN E H F,YOUNG AY,NEWCOMBE F.Face recognition without awarenessJ.Cognitive neuropsychology,1987,4(4):385-415.8 BELHUMEUR P N,HESPANHA J P.Eigenfaces vs.fi sh-erfaces:Recognition using class specifi c linear projectionJ.IEEE transactions on pattern analysis and machine intelli-gence,1997,19(7):711-720.9 BELHUMEUR P N,HESPANHA J P,KRIEGMAN D J.Eigenfaces vs.fisherfaces:recognition using class specific linear projectionC/4th European conference on computer vision(ECCV96).Berlin:Springer-Verlag,1996:45-58.10 丁绪星,朱日宏,李建欣.一种基于人眼视觉特性的图像质量评价 J.中国图象图形学报,2004,(2):65-69.11 WU C,WEN W,AFZAL,et al.A compact DNN:approaching googlenet-level accuracy of classifi cation and domain adap-tationC/IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2017:761-770.12ZHANG X,FANG Z,WEN Y,et al.Range loss for deep face recognition with long-tailed training dataC/Proceedings of the IEEE International Conference on Computer Vision.Pisca-taway:IEEE,2017:5409-5418.13 景晨凯,宋涛,庄雷,等.基于深度卷积神经网络的人脸识别技术综述 J.计算机应用与软件,2018,35(1):223-231.14 李昆仑,熊婷,张炘,等.基于级联 SVM 的无参考人脸图像质量评价系统 J.现代电子技术,2018,41(24):98-100+105.【作者简介】刘杰（1993），男，山东淄博人，硕士研究生，研究方向：人工智能和企业信息化。（收稿日期：2023-06-24 修回日期：2023-07-20）