边缘环境下的视频行为识别.pdf

2 0 2 4年1期1 6 9 2 0 2 4年第4 6卷第1期边缘环境下的视频行为识别林志诚 马永航作者简介:林志诚(2 0 0 2-),本科生,研究方向为人工神经网络、深度学习、机器学习,E-m a i l:l z c 2 5 4 7 3 7 6 1 3 0s t u.x j u.e d u.c n(通信作者)。(新疆大学 乌鲁木齐8 3 0 0 4 6)摘 要 边缘智能是一种新兴的智能计算模式,其将人工智能技术和边缘嵌入式设备结合,被广泛应用于物联网系统。智能摄像机是典型的边缘设备之一,它能提供低延迟的视频处理能力,适用于智能家居、智能交通、智能监控等领域。然而,由于摄像机的计算资源有限,传统的行为识别模型难以在本地完成计算任务。为解决这一问题,文中提出了一种基于边缘计算的架构,利用深度学习目标检测算法YO L Ov 3对视频行为进行识别。在该架构中,智能移动终端负责数据采集和压缩,边缘服务器承担大部分目标检测任务,而检测困难的目标和模型训练则由云服务器负责。为更好地适应边缘设备,本文采用轻量化的神经网络M o b i l e N e t替换YO L Ov 3模型的特征提取模块。经过测试,该架构能有效提取和识别视频中的静态和动态行为,为实现边缘计算环境下低成本、大规模的行为识别提供了有益的参考。关键词:视频行为识别;边缘智能;YO L O;人工智能;目标检测任务中图分类号 T P 1 8 3L i g h t w e i g h tV i d e oB e h a v i o rR e c o g n i t i o nM e t h o dB a s e do nR e s n e tL I NZ h i c h e n ga n dMAY o n g h a n g(X i n j i a n gU n i v e r s i t y,U r u m q i 8 3 0 0 4 6,C h i n a)A b s t r a c t E d g e i n t e l l i g e n c e i sa ne m e r g i n g i n t e l l i g e n t c o m p u t i n gm o d e l,w h i c hc o m b i n e sa r t i f i c i a l i n t e l l i g e n c e t e c h n o l o g ya n de d g ee m b e d d e dd e v i c e s,a n d i sw i d e l yu s e d i nI n t e r n e to fT h i n g ss y s t e m s.S m a r tc a m e r a sa r eo n eo f t h et y p i c a l e d g ed e v i c e s,w h i c hc a np r o v i d e l o w-l a t e n c yv i d e op r o c e s s i n gc a p a b i l i t i e s,w h i c h i s s u i t a b l e f o r s m a r th o m e s,i n t e l l i g e n t t r a n s-p o r t a t i o n,i n t e l l i g e n t s u r v e i l l a n c ea n do t h e rf i e l d s.H o w e v e r,d u et ot h el i m i t e dc o m p u t i n gr e s o u r c e so fc a m e r a s,t r a d i-t i o n a lb e h a v i o r r e c o g n i t i o nm o d e l s a r ed i f f i c u l t t o c o m p l e t e c o m p u t i n g t a s k s l o c a l l y.T o s o l v e t h i sp r o b l e m,t h i sp a p e r p r o-p o s e sa na r c h i t e c t u r eb a s e do ne d g e c o m p u t i n g,w h i c hu s e s d e e p l e a r n i n go b j e c t d e t e c t i o na l g o r i t h mYO L Ov 3 t o r e c o g n i z ev i d e ob e h a v i o r s.I nt h i sa r c h i t e c t u r e,i n t e l l i g e n tm o b i l ee n dp o i n t sa r er e s p o n s i b l ef o rd a t ac o l l e c t i o na n dc o m p r e s s i o n,e d g es e r v e r su n d e r t a k em o s to f t h eo b j e c td e t e c t i o nt a s k s,w h i l et h ed e t e c t i o no fd i f f i c u l t t a r g e t sa n dm o d e l t r a i n i n ga r eh a n d l e db yC l o u da saS e r v i c e.I no r d e r t ob e t t e ra d a p t t oe d g ed e v i c e s,t h i sp a p e ru s e s l i g h t w e i g h tn e u r a ln e t w o r k sM o-b i l e N e t t o r e p l a c e t h e f e a t u r ee x t r a c t i o nm o d u l eo fYO L Ov 3m o d e l.A f t e r t e s t i n g,t h ea r c h i t e c t u r e c a ne f f e c t i v e l ye x t r a c ta n d i d e n t i f y s t a t i c a n dd y n a m i cb e h a v i o r s i nv i d e o,p r o v i d i n gau s e f u l r e f e r e n c e f o r r e a l i z i n g l o w-c o s t a n d l a r g e-s c a l eb e h a v-i o r r e c o g n i t i o n i ne d g ec o m p u t i n ge n v i r o n m e n t.K e y w o r d s V i d e ob e h a v i o r r e c o g n i t i o n,E d g e i n t e l l i g e n c e,Y O L O,A r t i f i c i a l I n t e l l i g e n c eT e c h n o l o g y,T a r g e tD e t e c t i o nT a s k s0 引言随着人类社会进入信息时代,逐渐实现了万物互联,收集周围数据变得非常便捷。这要归功于众多设备接入物联网,并提供了大量数据,如手机、传感器、智能摄像头等1。这些物联网设备使得数据源逐步从云数据中心转向边缘设备。得益于边缘设备的发展及深度学习等人工智能技术的日益成熟,边缘设备上的视频等时空数据的计算和分析成为可能2。近年来,行为识别在安防、医疗、人机交互等领域得到了广泛应用3。基于视频的行为识别由于数据信息丰富,成为业界的研究热点。然而,复杂的视频数据也给行为识别服务的开发和部署带来了诸多挑战。通常情况下,基于视频的行为识别可以通过传统方法和深度学习方法实现。如今,经过多年发展,基于深度学习的行为识别方法在识别性能上取得了惊人的成果,但大部分方法仍存在计算复杂度高、模型过大等问题。因此,大多数深度学习模型通常选择部署在云数据处理中心。然而,大量视频不断传输到云中心执行相关任务,可能会导致较为严重的带宽消耗、意外延迟、数据丢失等问题。在这种情况下,云中心不再适合完1 7 0 2 0 2 4年1期成相关的行为识别任务4。鉴于边缘计算技术5的快速发展,为解决这些问题,基于深度学习的各类模型正加速部署到靠近数据源的边缘设备之中6。一方面,边缘设备靠近数据源,具有低延迟、快速响应等优势,可提高传输和计算效率7。这有助于降低实时分析应用由于远距离传输而产生的各种风险。另一方面,由于减少了远程通信,本地化处理使视频数据得到了更好的保护,降低了数据泄露的风险。这些优点对实时行为识别服务等尤为重要。因此,研究适用于边缘环境的轻量级行为识别方法是必要的。本文针对边缘设备资源受限的问题,探讨了边缘环境下的轻量视频行为识别方法,并在深度学习的基础上,研究了如何在边缘计算环境下将检测精度较高的端到端算法YO L Ov 3应用于智能 移 动 终 端 视 频 中 进 行 行 为 识 别,并 分 析 了 其 准确度8。1 基本原理1.1 边缘计算边缘计算(E d g eC o m p u t i n g)是一种分布式计算模型,它将数据处理和计算能力推向了离数据源和终端设备更近的边缘节点。在边缘计算中,数据的处理和分析在接近数据源的边缘设备或边缘服务器上进行,并不依赖于远程的云服务器9。边缘计算与物联网(I o T)应用密切相关,因为物联网设备通常会产生大量数据,并需要实时处理和分析这些数据1 0。边缘计算的关键特点有以下几点。(1)低延迟。边缘计算将计算任务放置在接近数据源的位置,减少了数据传输的时间延迟,使实时响应成为可能。这对需要快速决策和即时反馈的应用非常重要。(2)数据隐私和安全性。边缘计算可以在本地处理和储存敏感数据,减少了将数据传输到云端的需求。这有助于提高数据的隐私性和安全性,减少潜在的风险。(3)网络带宽利用率。边缘计算可以在本地处理数据,只将关键的结果传输到云端,减少了对网络带宽的需求。这对于避免网络拥塞和节省成本具有重要意义。(4)离线操作能力。边缘计算可以在断网或有限网络连接的环境下运行,因为它依赖于本地的计算资源。这对于一些关键任务和边缘设备的自主操作至关重要。1.2 Y O L OV 3模型原理YO L O(Y o uO n l yL o o kO n c e)是一种实时目标检测算法,它通过单个神经网络模型在一次前向传递中同时预测图像中的多个目标框和类别。YO L O V 3是YO L O系列的第三个版本,它在检测性能和速度方面得到了改进1 1。以下是YO L OV 3模型的主要原理。(1)网络结构。YO L OV 3模型以卷积神经网络(C o n v-o l u t i o n a lN e u r a lN e t w o r k,C NN)为基础网络。它由多个卷积层和连接的残差块组成,用于从输入图像中提取特征。(2)特征提取。YO L O V 3使用D a r k n e t-5 3为主干网络,该网络具有5 3个卷积层。D a r k n e t-5 3能提取不同尺度的特征信息,从而更好地捕捉目标的上下文和细节信息。(3)多尺度特征融合。YO L OV 3引入了多尺度特征融合机制,通过在不同层次的特征图上进行检测,可以检测到不同大小的目标。这种多尺度特征融合能力使得模型能处理不同尺度的目标,并提高了检测的准确性。(4)预测层。YO L OV 3通过在网络的最后几个层上添加预测层来预测目标框和类别。这些预测层分别负责检测不同尺度的目标,并输出相应的边界框坐标、置信度及类别概率。(5)A n c h o rB o x e s。为提高对不同形状目标的检测的准确性,YO L OV 3使用了锚框(A n c h o rB o x e s)的概念。每个预测层都关联了一组预定义的锚框,这些锚框可以覆盖不同形状和尺度的目标。模型通过预测锚框的偏移量来得到最终的目标框。(6)非极大值抑制(N o n-M a x i m u mS u p p r e s s i o n)。在输出的目标框中,可能存在多个重叠的框,为消除冗余的检测结果,YO L OV 3使用非极大值抑制算法进行后处理。该算法会根据框的置信度和重叠程度来筛选最终的目标框。相对于以前的版本,Y O L OV 3具有更高的检测精度,且能处理不同尺度的目标。其主要优势在于具备极快的检测速度,适用于对实时性或高效性要求较高的目标检测任务。2 基于边缘计算的行为识别模型设计一般情况下,动作识别任务是对经过剪辑的视频进行行为分类。在这类任务中,视频数据通常只包含一个已经分割好的完整动作实例。其主要任务是提取动作特征并进行分类。本文提出的行为识别方法可以分为4个阶段,分别是数据源、视频预处理、行为特征提取和行为分类,如图1所示。图1 行为识别方法流程其中,数据源模块负责从边缘环境中(如智能家居、智能交通等)获取R G B视频信息,并对视频帧进行预处理。然后将预处理后的视频数据带入YO L O V 3模型,进行行为识别。3 实验结果及分析实验从性能和效果两方面对模型进行了评估。表1展示了传统C NN网络和YO L Ov 3模型的参数个数和推理时间。与C NN相比,YO L Ov 3的参数个数增加了约3倍,识别准确率提升了约1 0%。表1 数据评估结果网络模型参数个数/k B准确率/%C NN7 1 6 2 38 3.2 1Y o l ov 31 6 3 5 4 29 3.6 6移动信息2 0 2 4年1期1 7 1 为评估边缘计算下的视频识别的优势,还需与传统云计算模式进行对比。对比涉及两个重要指标,即网络带宽占用和网络时延。在传统云计算模式下,需要将视频数据全部回传至中心服务器,因此此处选择使用直接传输至云服务器的数据进行计算。对比结果如表2所列。表2 对比结果网络模型平均网络带宽占用/MB平均网络时延/m s云计算5 5 0.6 21 0 0.3 5边缘计算2 0 0.9 66 3.4 54 结语针对边缘环境下计算设备资源有限的问题,本文进行了轻量化视频行为识别方法的研究。为在不增加边缘环境计算时延的前提下,提高行为识别的准确率,本文采用YO-L Ov 3网络进行行为识别。实验结果表明,该方法具有良好的轻量化效果,可使行为识别模型在保持较高识别精度的同时,降低资源占用率。本方法存在的不足之处在于,预处理方法仍需消耗大量时间和计算资源从视频中提取特征图。未来的研究工作将关注预处理优化技术,以进一步提高行为识别的实时性,并降低资源消耗。参考文献1S E Z E ROB,D OG D UE,O Z B AYOG L UA M.C o n t e x t-a w a r ec o m p u t i n g,l e a r n i n g,a n db i gd a t a i n i n t e r n e t o f t h i n g s:as u r-v e yJ.I E E EI n t e r n e to fT h i n g sJ o u r n a l,2 0 1 7,5(1):1-2 7.2C UNY,B E N G I OY,H I N T ONG.D e e p l e a r n i n gJ.N a t u r e,2 0 1 5,5 2 1(7 5 5 3):4 3 6-4 4 4.3Z HAN GHB,Z HAN GYX,Z HON GB,e t a l.Ac o m p r e h e n-s i v es u r v e yo fv i s i o n-b a s e dh u m a na c t i o nr e c o g n i t i o nm e t h-o d sJ.S e n s o r s,2 0 1 9,1 9(5):1 0 0 5.4HU W,GAOY,HAK,e t a l.Q u a n t i f y i n gt h e i m p a c t o f e d g ec o m p u t i n go n m o b i l ea p p l i c a t i o n sCP r o c e e d i n g so ft h e7 t hA CMS I G O P SA s i a-P a c i f i cW o r k s h o po nS y s t e m s.2 0 1 6:1-8.5B ONOM IF,M I L I TOR,Z HUJ,e t a l.F o gc o m p u t i n ga n d i t sr o l e i nt h e i n t e r n e to ft h i n g sC P r o c e e d i n g so ft h ef i r s te d i t i o no f t h eM C Cw o r k s h o po nM o b i l e c l o u dc o m p u t i n g.2 0 1 2:1 3-1 6.6施巍松,张星州,王一帆,等.边缘计算:现状与展望J.计算机研究与发展,2 0 1 9,5 6(1):6 9-8 9.7思雨.一种基于YO L O的交通目标实时检测方法J.计算机与数字工程,2 0 2 0,4 8(9):2 1 6 2-2 1 6 6.8周悦 芝,张 迪.近 端云 计 算:后云 计算 时 代的 机遇 与 挑 战J.计算机学报,2 0 1 9,4 2(4):6 7 7-7 0 0.9G K I OX A R IG,G I R S H I C K R,MA L I KJ.C o n t e x t u a la c t i o nr e c o g n i t i o nw i t hr*c n nC P r o c e e d i n g so f t h eI E E Ei n-t e r n a t i o n a l c o n f e r e n c eo nc o m p u t e rv i s i o n.2 0 1 5:1 0 8 0-1 0 8 8.1 0S HOUZ,WAN GD,CHAN GSF.T e m p o r a l a c t i o nl o c a l i-z a t i o n i nu n t r i mm e dv i d e o sv i am u l t i-s t a g ec n n sC P r o-c e e d i n g so ft h eI E E Ec o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n.2 0 1 6:1 0 4 9-1 0 5 8.1 1MON T E SA,S A L VA D O R A,P A S C UA LS,e ta l.T e m p o-r a la c t i v i t yd e t e c t i o ni nu n t r i mm e dv i d e o sw i t hr e c u r r e n tn e u r a ln e t w o r k sJ.a r X i v p r e p r i n ta r X i v:1 6 0 8.0 8 1 2 8,2 0 1 6.移动信息