基于人脸识别技术的公共图书馆用户行为自动监控方法.pdf

控制理论与应用Control Theory and Applications自动化技术与应用2023 年第 42 卷第 8 期Techniques ofAutomation&Applications基于人脸识别技术的公共图书馆用户行为自动监控方法薛 鑫1,杨自勉2（1.陕西交通职业技术学院，陕西 西安 710018；2.西安市公共交通集团有限公司保修分公司，陕西 西安 710018）摘要:传统的用户行为监控方法判断误差率较大，为此，提出以人脸识别技术为基础，对公共图书馆用户行为自动监控的方法，通过计算分析图像多维空间数据，得到人脸识别所需要的核函数与密度梯度，对比面部帧和背景模型，得到面部矩形区域划分结果，凭借特征计算构建弱分类器，将多组弱分类器组合构成强分类器，再将几组强分类器组合成级联分类器，同时通过精确定位算法对用户图像内眼睛与嘴巴位置定位，完成对公共图书馆用户行为的监控。实验结果证明，所提方法能够提升行为监测结果的精准度。关键词:人脸识别技术；公共图书馆；用户行为监控；矩形特征；运动目标检测中图分类号：TP391.4文献标识码:A文章编号:1003-7241(2023)08-0028-06Automatic Monitoring Method of Public Library User BehaviorBased on Face Recognition TechnologyXUE Xin1,YANG Zi-mian2(1.Shaanxi College of Communication Technology,Xian 710018 China;2.Warranty Branch of Xian Public Transportation Group Co.,Ltd.,Xian 710018 China)Abstract:The error rate judge of the traditional user behavior monitoring method is large.Therefore,based on face recognition technology,the method of automatic monitoring of user behavior in public library is proposed.The kernel function and density gradient of facerecognition are obtained by computing and analyzing multi-dimensional space data.The background and foreground of public li-brary images are distinguished by foreground detection,facial frame and background model are compared,the result of rectangularregion division is obtained,rectangular region integral map is obtained by feature calculation,and weak classifier is constructed,and multiple groups of weak classifiers are combined to form strong classification.Then several groups of strong classifiers arecombined into cascaded classifiers,and the position of eyes and mouth in user image is located to monitor the user behavior ofpublic library.The experimental results show that the proposed method can improve the accuracy of behavior monitoring results.Keywords:face recognition technology;public libraries;user behavior monitoring;rectangle features;moving object detection收稿日期:2021-05-07DOI:10.20033/j.1003-7241.（2023）08-0028-06.1引言为了改善图书馆学习氛围，给用户提供更好的学习体验，有必要精确掌握图书馆的用户行为。人脸识别技术即一种以人脸识别方法为核心的生物特征识别技术，结合计算机图像处理技术和生物统计学原理于一体，通过计算机图像处理技术从视频内对人物特征点进行提取，凭借生物统计学的原理进行分析，构建数学模型与电脑内存储，继而对用户的行为进行识别。随着大数据、云计算等算法的逐渐成熟，人脸识别技术也开始慢慢适应到各个行业内。比如，人脸识别应用在考勤系统、住宅安全管理与用户行为特征识别中。在用户行为监控领域的国内外研究中，研究者更多地研究了如何提升行为监控系统的实时性和行为异常检测问题，基于 YOLO(you onlylook once:unified,real-time object detection)的人体行为识别算法LC-YOLO1，结合LSTM(long short-term memory)建模处理时间序列，对监控视频中的行为动作序列做出最终的行为判别。该行为监控的实时性较高。通过正则表达式和模式匹配技术解决了通用目标的识别和行为异常检测问题2。在前人研究的基础上，本文在用户行为监控中增加了人脸识别技术，其创新之处在于在得到核函数与密度梯度的基础上，通过计算多维空间数据，联合矩形特征与积分图对人脸进行识别，最后依靠精确定位算法对面部表情进行定位，进而提高了用户行为监控的准确率，为图书馆用户营造良好的学习氛围。28自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications2人脸识别技术下公共图书馆用户行为自动监控2.1核函数计算人脸识别技术即计算机领域内的一种，能够分析多维空间中的数据，并进行无参密度计算，如果想要对多维空间中的数据进行计算，就需要得到空间中多变量参数的核函数3。多变量核函数的基础原理如下所示：核密度4计算：已知一组n种一维空间的数据点集合，f(x)代表其位置的密度函数，使核函数转换成Kh(x)，因此在x点处的几率密度能够经过公式(1)进行计算。(1)依旧多变量核函数的生成法，并凭借式(1)，得出在hd空间中点x的计算密度几率值是：(2)此刻在x处的多变量核函数密度计算公式能够描述成：(3)本文把公式(3)中密度计算描述式转换成轮廓函数，那么轮廓函数如公式(4)所示。(4)该描述式即人脸识别方法的几率密度计算方程，其中c为轮廓面积。如果计算出标准的密度梯度，就可以获取数据几何中密度最大数据的分布位置。鉴于核函数的可微性，对应于式(4)，核密度计算的梯度就能够拟定成fh,K(x)，其恒等于密度梯度计算，针对式(3)计算梯度，就存在：(5)使g(x)=-k(x)，拟定除了存在有限个数的点之外，针对轮廓函数k(x)，梯度对x0,都是存在的。把g(x)引入式(5)内，存在：(6)式(6)能够分成两项，这两项都存在不同的意义，通过式(4)计算，能够获得第一项即在X点坐标处基于核函数的无参数G(x)密度5计算：(7)Mean shifit第二项能够简易描述成mh,G(x)：(8)如果拟定式(8)的g(x)=1，那么式(8)能够描述成：(9)图1表明了meanshift原理图，其证明了式(9)的意义，中心的矩形框即x点，其也能够描述成式(8)内核函数g(x)的中心，样本点xi代表临近的黑色点。样本点相对于核函数中心点x的偏移方向点来表示，样本点密集的方向通过平均的偏移数值进行指向，其也能够被描述为梯度方向，所以mh,G(x)需要漂移到样本对应点x变化最大的坐标处，密度梯度的方向就是该方向，然而式(9)内的每一种样本点xi对m(x)的贡献都是同等的。图1mean shift原理通过以往的测试数据，密度的梯度方向就是出现最大变化的密度方向，对式(7)与(8)进行重写能够获得：(10)因此就存在：(11)经过式(10)与(11)能够看出，点x处，基于核函数K(x)的标准化密度梯度运算与基于核函数G(x)的meanshift只具有一种比例系数常量。式(7)里分母项即标准化式，密度梯度运算就是分子项，出现最大变化的密度方向就是一度，因此，密度提升的最大方向就是meanshift所指的方向，通过结果评定核函数的具体数值，以便后续的人脸识别计算能够更为简便。2.2基于前景检测的用户人脸提取2.2.1人脸识别模型的初始化前景检测算法凭借相邻像素点存在相近像素值的时空分布特性，只通过一帧人体面部图像就能够完成背景29控制理论与应用Control Theory and Applications自动化技术与应用2023 年第 42 卷第 8 期Techniques ofAutomation&Applications模型的初始化6。在产生光照突变问题时，前景检测算法只需要剔除原有的模型，而重新通过光照改变后的第一帧图像，就能够构建一种新的背景模型。前景检测方法的一大特点就是，在进行背景模型初始化的过程内，凭借邻居点的像素值当作中心点的背景样本，进而快速实现初始化工作。初始化方法即遍历视频序列内第一帧面部图像的像素段x，N次随机从其K邻域内挑选邻居点的像素值当做模型样本值，从而获得像素点x初始化的背景模型M0(x)，其具体设定如式(12)所示。(12)式中，M0(x)代表像素点x的初始模型，NG(x)代表像素点x的邻域空间7。该模型内N的取值为20，领域尺寸K的取值为8。这种初始化方法对噪声的响应是非常灵敏的，计算量小同时存在较高的计算速度，能够开始完成对运动物体的检测。2.2.2运动目标检测将运动目标检测问题转换成一种分类问题，把目前的面部帧和背景模型进行比对，以此来确定一个像素点时候属于背景点8，在前景检测模型内，所有像素点都存在对应的样本集，这种样本集具有的是这个像素点过去的像素值与其周围相邻点的像素值。经过把待检测像素值和背景模型进行比对，继而评测该像素点属于背景还是前景。使M(x)=v1,v2,vN代表像素点x的背景样本集，样本集尺寸即N，v(x)代表x的像素值。如图2所示，在欧氏空间内，vi(i=1,2,6)代表像素点样本集x内的采样点，SR(v(x)代表以x为中心，以R代表半径的区域。运算SR(v(x)和M(x)的重合点，假如重合数满足拟定的阈值#min，即：图2前景点检测(13)那么评定这个像素点x属于背景点，反之，评定像素点x即前景点。本文拟定R的取值是20，#min的取值是2时。2.2.3运动目标提取本文通过前景检测算法对公共图书馆监控区域中的运动目标进行检测，同时运算目标的最大外界矩形，然后在矩形区域中对人脸进行识别。相较于对整幅图像进行人脸识别，如果只处理检测到的目标区域图像，就能够大幅度降低计算量，确保人脸识别的实时性。经过以往的实验发现，在大多情况下，只有人的身体部位处于外界矩形区域中，脸部被排除在外时，就会致使后续无法对人脸进行识别与监控。因为人脸即相对处于矩形图像的上部位置，凭借这一特性，本文采集矩形的上部区域，当作最后需要进行人脸识别的图像区域。这一方法能够提高人脸所处区域的定位性能，同时还可以进一步缩小人脸识别的图像面积，提升了监控的实时性。2.3基于AdaBoost的用户人脸行为监控2.3.1矩形特征与积分图特征的挑选与特征值的运算对AdaBoost算法的实时性存在重要的影响。AdaBoost算法使用输入图像的矩形特征对人脸进行监控，矩形特征又能够被描述成Harr-like特征，这种特征通过两种或多种黑白矩形组合而成。其大致能够分成三类即：两矩形特征、三矩形特征与四矩形特征。在截取矩形特征以后，需要对矩形特征值进行计算。矩形特征值的计算会凭借白色矩形内的像素值总和减去黑色像素值的和获得。为了提升特征值的运算效率，设定了一种积分图的理念，提升了矩形特征值的运算效率，如图3所示，坐标A(x,y)的积分图即所有像素值的总和。图3积分图定义针对图3内的点A(x,y)，其积分图ii(x,y)凭借表达式能够描述成：(14)式中，ii(x,y)代表积分图，i(x,y)代表点(x,y)所处的像素值。通过公式(14)能够得出，假如需要运算两个区域的像素值差，即计算矩形模板的特征值，只需要通过矩形区域端点的积分图简单进行加减法计算就可以了。2.3.2用户眼睛特征提取首先对眼睛区域进行定位。眼睛定位方法即眼睛的精确定位。30自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications根据上述人脸识别的结果，对图像进行二值化处理，随后进行膨胀腐蚀计算，继而填充眼睛中部的白点。在该二值图内，在定位的眼睛区域内使用搜索算法找到连通域。二值图像内，链接即像素间的基本关系。通过4邻域算法确定像素的水平与处置方向上的自然邻点和其相邻点。通过4种邻点构成的邻域即4邻域，某坐标是(a,b)像素的4种邻点分别是(a-1,b)(a,b-1),(a+1,b),(a,b+1)。对搜索得到的连通域，凭借眼睛特征进行评测，随后对人脸生理结构的特征进行分析，证明眼睛存在如(15)所示特征。(15)因为眼睛和眉毛较为接近，同时眉毛与眼睛的灰度值都是最小的。因此搜索出的连通区域，可能是眼睛、也可能是眉毛。而眼睛在眉毛的下方，所以为了分辨面部眼睛的表情或行为，需要增添一个限定条件，即：如果候选区域超过两种，那么比较候选眼睛区域中心点纵坐标的大小，取纵坐标小的两种眼睛行为作为评定表情。2.3.3嘴巴特征提取和眼睛特征提取使用相似方式，对灰度图像进行边缘检测后，对其进行水平投影，就是在确定嘴巴的上下边缘位置，随后对该区域垂直投影，就能够确定嘴巴左右嘴角的位置，进而确定嘴巴中心处理左右嘴角的那个点。2.3.4强分类器针对上述得到的嘴巴与眼睛的特征，通过分类器对其进行分类：如果用户眼睛特征提取和嘴巴特征提取的特征完美匹配即被监控目标的眼睛和左右嘴角的垂直投影是一致的，那么其评定表情符合学习状态特征，则评定该公共图书馆用户处于学习状态，反之，为非学习状态。首先通过矩形特征构建弱分类器，随后对所有特征f，训练其相应的一个弱分类器h(v,f,p,)。弱分类器拟定成：(16)式中，f代表矩形特征，代表弱分类器阈值，p代表指示不等号的方位，其取值为+1或-1，代表一种检测子窗口。训练弱分类器h(v,f,p,)，即确准f的最佳阈值，使得到的弱分类器对训练样本的分类误差达到最低。如果只通过一种最优弱分类器进行分类工作，其分类性能就会受到较大的限制，所以需要把弱分类器级联为强分类器。构建强分类器的流程能够描述成：在进行T次迭代之后，搜索存在最小误差率的分类器，随后重新校准权重分布，提升被错分样本的权值，缩减被正确分类样本的权值。同时重新训练弱分类器。最后将获得的T弱分类器进行加权组合，这样就能够获得最终的强分类器。2.3.5级联分类器通过以往的实验能够证明，在分类器的T=200时，组成的非级联强分类器可以得到较好的监控效果，然而假如只通过这样的一种强分类器，对面部图像的所有尺寸的每一个窗口进行分类，会消耗大量的时间。所以，本文设定了一种级联分类器的理念，通过数量较少的弱分类器，10至20个左右，形成强分类器。随后把几种强分类器，通常在10个左右，形成级联分类器。级联分类器存在较好的拒错性能，经过把数量较少的关键特征组成的简单强分类器排在前面，首先剔除大量的非人脸窗口。随后，排在后面的强分类器对非人脸关键区域进行进一步排除，直到后面待识别窗口达到最少，需要计算分类的窗口也就越少，因此能够缩减的计算时间，也能提升对人脸监控的效率。通过上述拟定的级联分类器对面部特征进行分类，拟定分类阈值，根据嘴巴与眼睛的初始设定结果，例如拟定眼白处正常状态、眼中心的方向拟定成向下、而眼睛与眼眉的距离不能超过脸高度的2/9、嘴巴的中心需要处于正中心、左右偏差不能超过1/4等，结合以上设定作为正在学习的基础阈值，若超出则判定为非学习状态。也就是说，图书馆内用户学习时处于不同的姿态，但是其无非处于低头、抬头、侧头三种状态(其他状态直接判定为非专注学习行为)，此时，其嘴部、眼部或者其他部位的特征点提取是不完整的，那么此时，结合正在学习状态下的基础阈值分析结果与级联分类器，即可判定用户行为。需要注意的是，如果采集到的面部图像不能完成各项特征提取，例如，当不满足嘴巴的中心需要处于正中心，左右偏差不能超过1/4时，其判断过程中断，直接判定为非专注学习状态。3实验证明图4公共图书馆用户图像31控制理论与应用Control Theory and Applications自动化技术与应用2023 年第 42 卷第 8 期Techniques ofAutomation&Applications为了证明本方法的实用性，进行仿真实验，实验图像选自某互联网图库内的公共图书馆用户行为图像，如图4所示。对图4使用本方法、文献1方法和文献2方法进行人脸识别，识别结果如图5所示。通过图5能够看出，与其他方法相比，本文方法可以精确地识别出每一个人脸行为特征的关键区域(仅识别正向人脸)，同时不会因为人脸识别的区域较多，而产生识别出现误差的问题。这是因为，本文方法会通过矩形特征完成对人脸面部的识别，矩形特征只会检测出人脸面部区域，同时剔除非人脸面部区域，这样就能够最大限度地缩减识别误差。基于上述人脸识别结果，进行行为判定，其结果如图6所示。图6内，以灰色矩形框选的人脸识别结果为专注读书或学习的用户，以白色矩形框选的用户即非专注读书或学习的用户。通过上述实验能够看出，与其他文献方法相比，本文方法能够精确地识别出公共图书馆用户的面部表情，同时能够根据人脸识别的结果评定该公共图书馆用户是否处于正在学习的状态，其中，由于本次判定的行为结果只设定了两个，即专注学习行为与非专注学习行为，所以尽管绿框内的同学保持低头学习的行为，也不能直接确定为专注学习(图片中该用户部分特征被遮挡)，只有满足全部判定结果后，才做出最终判断即专注学习或非专注学习。4结束语为了提升公共图书馆内的用户素质，提出基于人脸识别技术的公共图书馆用户行为自动监控方法，依靠矩形特征与积分图完成对用户的人脸识别，并对用户的面部行为进行评定。虽然所提方法在用户行为监控中取得了较为理想的效果，但随着研究的不断推进，依旧发现了弊端，即：由于并没有对图像进行较为精细的去噪，直接使用噪声存在最少的二值图进行监控，这就导致虽然剩余噪声并未对识别结果造成干扰，但由于少量噪声会降低图像的视觉表达，因此下一步要在所提方法的基础上增添滤波器或去噪算法，用以对图像内的噪声进行剔除，并尽力优化受到遮挡后的用户行为判断提取结果。参考文献:1 马钰锡,谭励,董旭,等.面向智能监控的行为识别J.中国图象图形学报,2019,24(2):282-290.2 Shin H S,Turchi D,He S,et al.Behavior MonitoringUsing Learning Techniques and Regular-Expressions-BasedPattern MatchingJ.IEEE Transactions on Intelligent Trans-portation Systems,2018(4):1-14.3 龚晗义,苏赋文,高汉军.基于改进遗传算法和BP神经网络图5不同方法人脸识别结果(a)本文方法识别结果(b)文献1方法识别结果(c)文献2方法识别结果图6不同方法公共图书馆用户行为评定结果(a)本文方法判定结果(b)文献1方法判定结果(c)文献2方法判定结果32自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications的人脸识别方法J.武汉理工大学学报(信息与管理工程版),2018,40(5):22-26.4 王琮,韩骁.基于百度云AI的自动售检票系统人脸识别应用可行性分析J.城市轨道交通研究,2020,23(3):148-151.5 何云,吴怀宇,钟锐.基于多种LBP特征集成学习的人脸识别J.计算机应用研究,2018,35(1):292-295.6 秦鸿,李泰峰,郭亨艺,等.人脸识别技术在图书馆的应用研究J.大学图书馆学报,2018,36(6):49-54.7 亢琦,陈芝荣.人脸识别技术在图书馆的应用实践与发展思考J.图书与情报,2018(6):97-100.8 阮有兵,徐海黎,万旭,等.基于人脸识别的智慧小区门禁系统J.电视技术,2019,43(1):95-98,125.作者简介:薛鑫（1984-），女，硕士，中级馆员，研究方向：图书管理。溯源结果的输出时间，要求系统的响应延迟不得高于10 s。通过多组实验结果数据的统计与整合，得出最终的系统性能测试结果。4.4系统测试过程与结果分析4.4.1系统功能测试系统测试实验分别在有攻击和无攻击两种情况下进行。编写用户的攻击程序，攻击内容为篡改认责溯源结果，同时启动编写的攻击程序以及系统软件程序，将编写的系统测试用例逐一输入到系统前端界面中，得出有攻击环境下的系统溯源输出结果。而无攻击就是在系统程序运行之前关闭攻击程序，并按照上述流程得出最终的系统输出结果。第一个系统测试用例输出结果如图7所示。图7电网企业认责溯源系统运行界面同理可得出实验中编写的所有测试用例对应的输出结果，将图7表示的输出数据与测试用例编写内容进行比对，综合有攻击和无攻击两种情况，发现设计系统得出的认责溯源结果与设置的责任人完全一致，即系统功能执行精准度为100%，满足系统对功能的设计要求。4.4.2系统性能测试调取系统后台运行数据，并将时间数据代入到公式4中，得出系统性能的测试结果，如表3所示。从表3中可看出，相比之下本系统在无攻击环境下的响应速度更快。经过对表3数据的计算，在两种实验环境下系统平均响应时延分别为8.15 s和2.83 s，均小于10 s，满足系统对响应速度的要求。5结束语电网企业认责溯源系统作为重要的事故定责工具，对于电力事故处理工作而言具有较高的应用价值。通过电力大数据技术的应用，使得系统从功能和性能两个方面得到不同程度的优化。然而由于系统测试实验中设置的测试用例较少，因此得出的实验结果存在一定的偶然性，需要在今后的工作中进一步补充。表3系统性能测试结果系统测试用例编号12345678有攻击环境下的系统时延/s8.919.1011.227.716.387.416.348.13无攻击环境下的系统时延/s3.684.723.341.452.063.122.551.72参考文献:1 邓楚然,江疆,杨秋勇,等.基于大数据的电力多维度分析系统设计J.微型电脑应用,2020,36(2):106-108,131.2 招景明,张捷,宋鹏,等.一种高效的基于云边端协同的电力数据采集系统J.电网与清洁能源,2022,38(5):49-55.3 南貌.基于ARM核心处理器的电力变压器风冷控制装置J.工业加热,2022,51(5):51-53.4 杨婧,辛明勇,欧家祥,等.基于大数据的配电网线损定位与评估方法研究J.中国测试,2019,45(7):19-24.5 孟庆东,李满坡,安天瑜,等.电力监控系统网络安全管理平台设计与实现J.实验技术与管理,2020,37(7):53-57,62.6 张秀丽,徐利美,朱星伟.基于云计算访问控制安全模型的电力监控系统多重可靠冗余配置设计J.国外电子测量技术,2019,38(8):74-79.7 李俊鹏,张继伟,余艳稳.基于电网行业巡检无人机智能地面监控系统研究J.信息技术,2020,44(6):134-138.8 陈志鹏,谢宁,王承民,等.基于图像处理的配电网差异性网格划分方法研究J.陕西电力,2020,48(1):49-54,62.作者简介:窦琛琛（1991-），女，硕士，中级工程师，研究方向：通信调度及通信检修管理。(上接第23页)33