基于多模拓扑信息的步态行为识别应用与研究综述.pdf

Dec.2022Research on Modern Vocational Education in Western China2022年12 月Vol.1No.4第4期西部现代职业教育研究基于多模拓扑信息的步态行为识别应用与研究综述姚远（1.河南科技大学应用工程学院，河南三门峡47 2 0 0 0；2.三门峡职业技术学院，河南三门峡47 2 0 0 0）摘要：生物信息身份识别技术是一种先进的现代技术，步态作为生物特征的突出优势在于，它实现在远距离进行人体识别。每个人都有区别于其他人物的步态特征可以用来区分不同人物的身份。人体行走过程中，不同模态不同传感节点的时间序列中记录了步态信息的时空特性。图被用作网络拓扑的数学描述，而数据可以被视为该图顶部的信号。拓扑方法对具有非线性的时间序列进行复杂网络构建和其网络表征进行分析，不但能够准确描述行走过程中步态空间中的波动特性，还能够通过有效直观的表达工具将产生的空间特征表达出来，是一种有潜力的步态识别和身份鉴证的方法。关键字：步态识别；多模信息；拓扑中图分类号：0 18文献标识码：A文章编号：SY032-2022（4）-0 0 6 0-0 0 6 4Application and Research of gait behavior recognitionbased on multimodal informationYao Yuan(1.College of Applied Engineering,Henan University of Science and Technology,Henan Sanmenxia 472000;2.Sanmenxia Vocational and Technical College,Henan Sanmenxia 472000)Abstract:Biometric information identification technology is an advanced modern technology.The outstanding ad-vantage of gait as a biometric feature is that it can realize human body recognition at a distance.Each person hasgait characteristics that can be used to distinguish the identities of dfferent people.In the process of human walk-ing,the temporal and spatial characteristics of gait information are recorded in the time series of dfferent sensingnodes in different modes.so Topology by calculation method of nonlinear time series of complex network is built andits characterization are analyzed,not only can accurately describe the walking gait in the process of the wave featurespace,also can through effective visual expression of the tool to express the spatial characteristics,is a potentialmethod of gait recognition and identity authentication.Keywords:gait recognition;multimodal information;graph convolution,topology收稿日期：2 0 2 2-0 9-12基金项目：国家重点研发计划项目（项目编号：2 0 2 0 YFC2007200）。作者简介：姚远（19 8 3一），女，河南三门峡人，在读博士，副教授。主要研究方向：深度学习下的人体行为识别基于多模拓扑信只别应用与研究综述610引言我国“十四五”规划纲要指出，要加快推进数字化转型，建设数字中国。建设数字中国的首要任务即为基础数据库的建设与使用，而作为识别公民身份的最佳方式，生物特征识别技术的重要地位日益凸显。快速、准确识别和认证个人身份，是实现国家治理能力现代化的重要基础性能力。中国具有发展人工智能技术的良好基础，经过多年持续积累，语音识别、视觉识别等生物特征识别技术达到世界领先水平并逐步进入实际应用。同时，国家也高度重视生物特征识别技术，在2 0 17年国务院发布的新一代人工智能发展规划中将发展生物特征识别技术列为重要内容。生物信息身份识别技术是一种先进的现代技术，通过对人体相关行为特征或相关生物特征进行鉴别实现身份认证。可用来进行身份识别的生物信息主要包括人的脸部信息、手指指纹信息、行走步态信息、声纹信息、掌纹信息等，生物信息身份识别技术通过对这些信息进行处理，提取出生物特征进而实现身份识别，该技术在疫情防控、智能安防、身份鉴证等领域表现出广阔的应用前景目前比较成熟的几种身份识别技术如图1所示图1常见的身份识别技术如今指纹识别、人脸识别和虹膜识别等生物身份识别技术已日渐成熟，在人体身份信息认证中取得了良好的表现。但其在案件侦破、安全监控等领域却表现出能力不足，原因在于这些技术在获取相关特征信息时需要受试者的积极配合，存在较大的局限性。例如，指纹识别技术已趋于成熟，在各大应用领域都取得了较理想的识别效果，但指纹信息的采集不仅需要被识别人的积极配合，还需要近距离接触设备采集指纹信息，无法做到远距离识别；人脸识别需要获取人的面部信息，但若是因光线或遮挡而导致面部特征获取困难，将大大增加模型的识别难度；虹膜识别对距离要求较为苟刻，当人眼与设备的距离超过5 m时，识别精度下降明显，同样无法实现远距离识别。许多生理研究证明，每个人都有区别于其他人的属于自己的步态，很难复制。区别于其他人物的步态特征可以用来区分不同人物的身份，其主要通过移动身体部位作为视频的主要信息来源，将个人的识别信息纳人视频中 1。因此，一个人是可以通过他的步态被识别的。步态作为生物特征的突出优势在于，它实现在远距离进行人体识别。换句话说，步态可以在低分辨率下使用。此外，步态识别受试者的另一个优势是它需要较少的合作，不需要目标人物的配合，而其他生物特征识别严重依赖于主动合作。与其他生物识别应用程序（例如面部，虹膜，掌纹和指纹）相反，步态识别过程甚至可以在黑暗的环境中从远处识别人员，且不需要目标人物在识别过程中的协调 7 。需要特别说明的是，当前社会受到新冠病毒的影响，全国人民日常都佩戴着口罩，这使得生物识别技术变得十分不可靠，准确率降低。而此时步态识别的优势就显现了出来，步态识别不需要用户进行任何的配合，就可以从超远距离进行识别，同时它能够克服公共场所门禁系统在识别人脸时必须直视前方的这一弊端，为公民的健康提供了保障，避免了病毒的再次传播总之，步态识别在案件侦破、智能监控、门禁系统、身份认证等方面的应用，不仅摆脱了识别距离的局限性，还克服了外界光照及人体衣着的影响，对未来安全领域的发展起到了重要作用。然而，在拍摄角度、携带物、服饰等协变量因素的影响下，步态识别模型的准确性和泛化性依然面临着严峻的挑战。因此，本研究旨在克服不利因素的影响，研究步态感知信息的特征分析及身份鉴证方法，对识别率的提高和身份鉴证的模型推广，及提升信息系统的安全水平具有重要意义。1国内外研究现状根据工作方式不同，生物识别系统可以分为认证（Verification）和鉴证（Identification）。其中认证方式，是一对一的匹配，它通过输人用户的生物特征数据与数据库中所储的生物特征数据进行对比，以验证该输人用户是否为系统的注册用户；而鉴证方式，是一对多的匹配，它主要通过遍寻数据中所有用户信息以确定输人数据为哪位用户。本研62西部现代职业教育研究究将基于鉴证的方式进行步态识别。步态是唯一种可以在较远距离间感知的生物行为特征。它通过区分人的行走方式来鉴别个人身份。人体步态的视觉信息获取及身份识别中，大量的研究是通过对视频或深度视频信息进行人体模型的关键点建模的方式来实现运动行为的描述。RGB数据的优势在于其丰富的外观信息，深度图像数据可以实现人体运动行为特征的更准确描述。基于视觉信息的运动行为分析近年来得到了广泛关注，如文献 2 提出了基于视频RGB特征和骨架特征融合的多模态步态识别算法；文献 3 提出的时空图卷积方法，有效地结合了骨架信息在运动表达中的优势和图像在场景表达中的优势。通过提取视频序列中的关节和骨骼信息形成骨架序列顿，进而构建具备运动学依赖的有向无环图来实现对人体的描述和特征分析在近年来得到了广泛的关注 4.5 。这些研究表明，基于身体模型关键点构建而成的网络模型和图数据，可以有效地表征人体步态过程的时空特性。ABBBrBBITRBTRBIFDSCFDSITZEDrLDrSMAEDIPMAYSMAYPPMAILOrOLOIEOrEOIALALBFGMtBFRFRFSOLOGMSOLTAITA图2功能网络与解剖学网络10 而另外一方面，采用穿戴式的人体传感器网络研究步态特性也是可行的。如文献 6 首先采用了基于身体多个穿戴磁感应装置的传感信息，通过深度递归网络提取其人体步态和运动过程的时空特性；文献 7 提出了一种惯性传感器网络构建的身体拓扑信息表征方法来实现步态分析；文献 8 提出了一种基于元学习的图模型及注意机制来实现惯性传感器网络的的人类活动分析。文献 9 采用全身肌电图的多元信号的动态特性分析来实现步态描述和行为分析。这些研究表明，采用人体传感器网络进行人体运动和步态的的动态特性分析，同样能有效地实现时空特性的描述。从生理特性角度而言，步态行走过程是人体运动相关子系统的非线性作用，源于中枢系统控制下的肌肉骨骼系统施加的，位于解剖学约束下协调的肌肉活动 10 。文献 10 通过构建肌电生理功能网络来研究人体物理连接的解剖形态学网络，揭示了在运动行为中控制身体姿势的肌肉的相互作用模式（如图2 所示）。由此可见，不同模态的传感信息虽然测量方式和物理原理存在差异，但是都源自于相同的生理过程。无论步态过程的采集模态如何变化，其本质还是对人体运动复杂系统的描述。为此，基于多模态人体传感的多节点信息构建步态运动网络，能够有效表征身体系统步态中各个子系统的相互非线性作用及自组织特性。为此，分析多模态步态复杂网络的动态特征，分析网络的时空特性分析进行步态对象的区分，是步态识别模型构建的有效手段。传感信息的网络化表示，使得图相关的理论和方法成为多传感通道数据关系的结构和功能连接的有效工具，能有效地表达出运动行为的动力学特性。复杂网络理论在社会组织网络、食物链网络、因特网等领域都得到了较好的发展，通过分析网络的本身结构属性，提出了不同的网络特征分析方法。如文献 提出的基于连接边删除过程中，计算边的参与算法过程频率的介数（Betweeness）的计算方法，来实现网络中社团结构检测。文献 12 等中的网络模块度最大化算法，通过衡量网络区块划分为模块的能力来实现对网络特性的描述。文献 13.14.15 等提出的图谱论研究了图的属性，如特征多项式、特征值与邻接矩阵或拉普拉斯矩阵相关的特征向量等。近年来的图神经网络相关的研究，结合了图谱论及深度学习也在研究网络表示的数据中取得了广泛的应用 16,17,18 。然而，在运动行为的多模态分析中，由于所采用的传感器、传感信号内容的不一致，导致了构造出的网络在节点个数、边缘连接等结构参数方面存在较大差异，传统的基于结构参数分析的网络建模方法缺乏对不同模态异质网络的统一表征能力。尽管现有的基于深度图神经网络的方式，已经实现对基于骨架关键点的网络数据的有效时空特性提取 19 。但是在惯性传感、肌电信息模态中，从有限的数据训练中提取的神经网络表征，缺乏对生理关联性的考虑。为此，研究不同模态生理网络的时空特性统一表征，对构63基于多模拓扑信言息的步态行为识别应用与研究综述建跨模态取证方法，实现数字身份的运动行为防伪检测，具有重要的意义。拓扑数据分析是通过研究人体网络这种图数据的连接体和孔洞的高阶拓扑结构结构来提取有效信息，为多模态的时空特性表征提供了有力的计算工具。近几十年，面向多元信号分析拓扑分析方法已经得到了广泛的关注，拓扑分析理论最早由GunnarCarlsson等人提出并将其应用到数据分析中，基于单纯复形和持续同调工具也随之被广泛应用，它们能够获取基于点云数据、图数据建模过程中拓扑空间在不同空间分辨率中的拓扑结构，以及空间分辨率变化产生的波动信息。当前对于单纯复形和持续同调工具的描述都是抽象的，为了更加直观的了解状态空间的变化，Bubenik等人将持久性态势函数用来描述时间序列改变时的状态复杂度，Seversky等人提取时间序列中的拓扑印记用来描述特征，实现常见信号中的分类问题。Emrani等人则通过对时间序列中不同状态的孔洞持续时间进行生理信号异常的检测拓扑数据分析是一种基于多维状态空间的特征分析方法，且所提取的特征具有非线性的特点。且在人体行走过程中，不同模态不同传感节点的时间序列中记录了步态信息的时空特性。因此通过计算拓扑方法对具有非线性的时间序列进行复杂网络构建和其网络表征进行分析，不但能够准确描述行走过程中步态空间中的波动特性，还能够通过有效直观的表达工具将产生的空间特征表达出来，是一种有潜力的步态识别方法。2步态识别的效益步态识别是伴随着深度学习的发展而逐渐兴起的新型生物特征识别技术，克服了人脸、指纹和虹膜等生物识别技术的局限性，仅使用摄像机便能够捕获远距离目标完成特征信息的采集。通过分析监控视频中人物的步态快速锁定目标，经过相关数据库的信息比对获取目标的相关信息。当前步态识别技术的快速发展，对相关数据库的完善和算法改进起到积极的推进作用，未来还需与其他领域相结合以借鉴更多的新思路。由此带来不仅可以开发相关系列产品，获得巨大的经济效益，还可以带动图像处理、模式识别、光学、电子、生理和计算机应用等相关学科的发展，产生巨大的社会效益。2.1步态识别技术在智能视频监控领域的应用和效益步态识别技术属于新兴技术，技术水平在快速进步，且其在远距离识别方面优势明显，未来随着辨辩识精度不断提高，其在视频监控领域可以配合人脸识别技术，为智能视频监控领域提供更为优秀的监控质量。随着人工智能技术的不断发展，监控系统越来越智能化，可以借助计算机强大的数据处理和计算能力对视频中的人体行为进行实时地分析和处理，大大提高了监控的效率和准确性。如图3（a）和（b）所示，通过对打架、偷窃等行为的监控与自动识别，可以有效地预防和阻止犯罪。再如图3（c）所示，当老年人跌倒时，系统可以自动识别并及时向家人发出告警信息。另外，步态识别技术还可用于工业生产领域，对正在发生的危险行为进行识别和告警(a）打架(b）偷窃(c）跌倒图3步态识别在智能监控系统中的应用2.2步态识别技术在智能医疗领域的应用和效益步态识别由于具有远距离、全视角的特点，在智能医疗领域有着明显的应用优势。病人的行为信息可以为医护人员在病人病情的诊断、治疗和康复等过程中提供更多的先验知识，方便他们制订出更加科学的诊疗方案。步态识别在临床方面主要应用于对正常步态和异常步态的辨识。此处的异常步态通常指的是病理性的异常步态，如帕金森（Parkinsons dis-ease，PD）步态、脑卒中（中风）步态，而不包括非病理性的异常步态，如醉酒步态。有时，异常步态中也包含疾病的病程信息，如轻度帕金森步态、重度帕金森步态。也可被用于辅助诊疗、医学研究与科研分析等方面。应用步态识别技术联合骨伤科、神经科、康复科、体检中心共同推动步态诊疗产品与解决方案的研发与应用，从而提升医疗行业智能化水平，维护人类健康 2 0 2.3步态识别技术在公安刑侦领域的应用和效益在公安刑侦领域，利用目标人员的身高体态、下转第7 4页64西部现代职业教育研究运动模式等特征，从海量视频中快速搜索出与样本高度相似的目标或视频片段，从而达到在换装、跨场景、面部遮挡的情况下，亦可以快速识别出嫌疑人的目的，很好地弥补了同等条件下人脸识别技术的应用盲点2.4步态识别技术在智能家居领域的应用和效益采用智能家居系统是为了更好的呵护和关怀家中的老人、小孩及宠物。目前市场上的智能家居系统为了增强和用户的智能交互，很多采用的都是基本的人体检测传感器，或是人脸识别感知模块，但这两种方式都有一定的局限性。人体传感器没有办法智能区分是老人、小孩还是宠物，人脸识别又需要强调配合，夜视环境下基本无法作用。而步态识别对光照环境不敏感、无需配合的特点则可以很好的补齐这些应用缺陷，真正做到个性化服务。3结论除了在以上领域的应用，步态识别技术还可以与更多的行业进行深度融合，拥有广阔的商业化应用场景。比如在康养方面，有老人的家庭可以备一款阿尔兹海默症监测产品，就像老人每天量血压一样，这款产品可以通过步态识别发现老人是否患有阿尔兹海默症的前兆。再比如儿童舞蹈培训，学生的动作是否规范专业，可通过可视化具体分析。还有体育竞技领域，通过调整跑步投篮的姿势，用更专业、更健康的方式提升体育成绩。综合来看，步态识别技术在社会发展领域和科学研究领域的普及率不断提升，能够取得良好的经济、社会和环境效益。参考文献1 Zhang Z Y,Tran L,Liu F,et al.On learning disentangledrepresentations for gait recognition J.IEEE Transactionson Pattern Analysis and Machine Intelligence,2020,doi:10.1109/TPAMI.2020.2998790.【2 周雪雪，雷景，卓佳宁.基于多模态特征学习的体为识别法.计算机系统应，2 0 2 1，30（4）：146-15 2.3 Xu,Qingyang,Wanqiang Zheng,Yong Song,ChengjinZhang,Xianfeng Yuan,and Yibin Li.“Scene image andhuman skeleton-based dual-stream human action recogni-tion.Pattern Recognition Letters 148(2021):136-145.4 Shi,Lei,Yifan Zhang,Jian Cheng,and Hanqing Lu.Skeleton-based action recognition with directed graphneural networks.In Proceedings of the IEEE/CVF Con-ference on Computer Vision and Pattern Recognition(CVPR),Pp.7912-7921.2019.5 Li,Maosen,Siheng Chen,Xu Chen,Ya Zhang,YanfengWang,and Qi Tian.“Symbiotic graph neural networks for3d skeleton-based human action recognition and motionprediction.IEEE Transactions on Pattern Analysis andMachine Intelligence(2021).6 Golestani,Negar,and Mahta Moghaddam.“Human activi-ty recognition using magnetic inductionbased motion signalsand deep recurrent neural networks.Nature Communica-tions 11,no.1(2020):1-11.7 Shi,Ling-Feng,Hong Liu,Gong-Xu Liu,and Fan Zheng.“Body topology recognition and gait detection algorithmswith nine-axial IMMU.IEEE Transactions on Instrumenta-tion and Measurement 69,no.3(2019):721-728.8 Zheng,Wenbo,Lan Yan,Chao Gou,and Fei-Yue Wang.“Meta-learning meets the Internet of Things:Graph proto-typical models for sensor-based human activity recogni-tion.Information Fusion 80(2022):1-22.9 Nurhanim,Ku,I.Elamvazuthi,L.I.Izhar,Genci Capi,and Steven Su.“EMG Signals Classification on Human Ac-tivity Recognition using Machine Learning Algorithm.In2021 8th NAFOSTED Conference on Information and Com-puter Science（NICS),p p.36 9-37 3.IEEE,2 0 2 1.10 Kerkman,Jennifer N.,Andreas Daffertshofer,LeonardoL.Gollo,Michael Breakspear,and Tjeerd W.Boonstra.Network structure of the human musculoskeletal systemshapes neural interactions on multiple time scales.Sci-ence Advances 4,no.6(2018):eaat0497.1l Kirkley，A le c,H u g o Ba r b o s a,M a r c Ba r t h e le m y,a n dGourab Ghoshal.“From the betweenness centrality instreet networks to structural invariants in random planargraphs.Nature communications 9,no.1(2018):1-1213 Magelinski,Thomas,Mihovil Bartulovic,and Kathleen M.Carley.“Measuring node contribution to community struc-ture with modularity vitality.IEEE Transactions on Net-work Science and Engineering 8,no.1(2021):707-723.14 Erb,Wolfgang.“Shapes of uncertainty in spectral graphtheory.IEEE Transactions on Information Theory 67,no.2(2020):1291-1307.15 Gao,Bin,Tie-Yan Liu,Guang Feng,Tao Qin,Qian-ShengCheng,and Wei-Ying Ma.“Hierarchical taxonomy prepara-tion for text categorization using consistent bipartite spectralgraph copartitioning.IEEE Transactions on Knowledge andData Engineering 17,no.9(2005):1263-1273.上接第6 4页）74西部现代职业教育研究在教学过程中，线上实验环境平台应处于开机正常运行状态。当线下授课时，学生可以利用实训机房已经部署好的操作主机来访问线上实验环境资源完成操作实验。当采用线上授课的方式时，学生可以将工具部署到个人电脑或通过远程访问到实训机房操作主机的方式来控制操作机，再通过访问线上实验环境资源来完成课程知识模块对应的操作实验。4结语线上线下混合教学模式背景下的课程资源建设应针对不同院校、不同课程的特点出发，循序渐进、不断完善 8 。线上线下混合式教学模式对于很多习惯了传统线下教学的专业课程教师，以及每一位学生都是一次全新的体验。教师应转变教学观念，合理运用现代化教育技术，充分利用线上和线下教学资源，形成优势互补。对于学生来说，在体验全新的学习模式之余，需要充分发挥学习主动性，真切高效地吸收课程内容。本文主要是针对W e b 网络安全这门课程的情况展开分析和探讨，会存在一定的片面性，同时随着课程以及新的教学技术的发展，相关内容也需要不断更新和完善，对于一些不足之处将会在后续的教学和研究过16 Gera,Ralucca,Lazaro Alonso,Brian Crawford,JeffreyHouse,J.A.Mendez-Bermudez,Thomas Knuth,andRyan Miller.“Identifying network structure similarity u-sing spectral graph theory.Applied network science 3,no.1(2018):1-15.17 Shi,Weijing,and Raj Rajkumar.“Point-gnn:Graphneural network for 3d object detection in a point cloud.In Proceedings of the IEEE/CVF conference on computervision and pattern recognition,pp.1711-1719.2020.18 Bouritsas,Giorgos,Fabrizio Frasca,Stefanos P.Zafeiri-程中继续总结改进参考文献1刁一峰，何荣誉，陈灿，郑珏慕课在信息化教学中的应用研究J湖北开放职业学院学报.2 0 2 1(15):19-21.【2】龚利英基于混合式教学的高职课程资源建设研究与实践J科技资讯2 0 19（0 6）：137-140.3王彩梅.高职Web安全攻防课程教学设计J.电脑知识与技术2 0 2 1（0 5）：16 5-16 6+18 2.【4李晓敏在线开放课程背景下高职”实用有机技术课程建设探究J新课程研究。2 0 2 0（0 9）：38-40.5闫实，刘占波，石莉，王晓丽，付佳。防火墙技术及其在高校信息系统安全中的应用研究【J网络安全技术与应用.2 0 2 1（0 2）：8 2-8 3.6】刘翠玲。网络信息安全虚拟实训室构建与实践【J.网络安全和信息化.2 0 2 0（10）：12 7-12 9.7 沈晓萍，谷广兵，张厚君.基于DVWA平台实现Web应用安全教学的探索与实践【J中国信息技术教育.2021(10):87-91.【8 王辉，葛聪.线上线下混合式”金课”教学模式的构建与实践成果分析一一以”财务管理学”课程为例J牡丹江教育学院学报.2 0 2 0（0 7）：112-114.ou,and Michael Bronstein.“proving graph neural networkexpressivity via subgraph isomorphism counting.IEEETransactions on Pattern Analysis and Machine Intelligence(2022).19 Gao,Difei,Ke Li,Ruiping Wang,Shiguang Shan,and Xi-lin Chen.“Iti-modal graph neural network for joint reasoningon vision and scene text.In Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition,pp.12746-12756.2020.20李凡甲.基于骨架序列的人体行为识别模型研究.2021.中国矿业大学，PhDdissertation.