多特征融合的无人机控制系统设计与实现.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第16期No.162023年8月Aug.2023收稿日期：2022-04-20稿件编号：202204141基金项目：装备预研中国电科联合基金项目（6141B08090204）作者简介：周俊宇（1991），男，江苏镇江人，硕士，工程师。研究方向：系统工程。近年来，随着电子技术、人工智能等学科的不断发展，无人机在诸多领域得到了广泛应用1-6。如何高效、便捷地控制无人机，已成为当前的研究热点7-9。脑-机接口作为一种直接通过脑电活动传递思维信息的人-机交互技术10-11，已被广泛应用于机器人控制领域12-15，可帮助用户更好地实现人-机协同。然而，在大多数的脑-机接口研究中，用户大脑意图的解析效果容易受到背景环境及用户生理状态的影响，其控制指令的数目往往较为有限。在一般的无多特征融合的无人机控制系统设计与实现周俊宇，刘亚群，章学良，王 众（中国电子科技集团公司 第十四研究所，江苏 南京 210039）摘要：针对无人机多维度飞行控制的应用需求，设计了一种融合多类别脑-机接口特征、面部表情特征以及头部动作特征的无人机控制系统。在该系统中，同步采集用户的脑电信号、面部表情相关信号以及头部动作信号并送入地面站，经系统软件处理后识别出用户的控制意图，进而将其映射为无人机的飞行控制指令并通过无线通信发送给无人机。相比于传统的基于单一特征模式的脑-机接口控制系统，该系统实现了脑电、面部表情以及头部动作对无人机的联合控制，具有更多的指令数目以及更高的识别准确率。经过试验验证表明，该系统应用于无人机控制的可行性，可为未来无人机在军民领域的应用提供一种全新的技术支持。关键词：无人机；多特征融合；联合控制；脑-机接口；面部表情；头部动作中图分类号：TN99文献标识码：A文章编号：1674-6236（2023）16-0001-05DOI：10.14022/j.issn1674-6236.2023.16.001Design and implementation of UAV control system based on multifeature fusionZHOU Junyu，LIU Yaqun，ZHANG Xueliang，WANG Zhong（The 14th Research Institute of China Electronics Technology Group Corporation，Nanjing 210039，China）Abstract:According to the application requirements of Unmanned Aerial Vehicle(UAV)which with thedemand for multidimensional flight，a new UAV control system integrating multicategory BrainComputer Interface(BCI)features，facial expression features and head movement features is designed.In this system，the electroencephalogram(EEG)signals，facial expression related signals and headmovement signals of user are synchronously collected and sent to the ground station.After beingprocessed by system software，the user s control intention is recognized，which was then mapped intoflight control command of UAV and sent to UAV through wireless communication.Compared with thetraditional BCI control system based on single feature mode，this system realizes the joint control ofEEG，facial expression and head movement on UAV，which with more instructions and higherrecognition accuracy.The experimental verification shows that the system is feasible for UAV control，which can provide a new technical support for the future application of UAV in military and civilianfields.Keywords:UAV；multifeature fusion；joint control；BCI；facial expression；head movement-1电子设计工程 2023年第16期人机控制系统中，飞行控制指令应包括起飞、降落、上升、下降、左移、右移、前进、后退、左旋、右旋、悬停等多个维度，因此在控制指令数目充足的基础上，提高指令识别的准确率成为了将脑-机接口技术应用于无人机飞行控制的主要难题。针对以上问题，文中设计了一种融合多类别脑-机接口特征、面部表情特征以及头部动作特征的无人机控制系统,实现了通过多种特征对无人机的联合控制，有效提高了无人机飞行控制的指令数目和识别准确率。1系统整体设计提出的多特征融合的无人机控制系统总体架构如图 1 所示。用户的脑电信号、面部表情相关信号以及头部动作信号被信号采集系统（含脑电信号传感器和陀螺仪传感器）采集并送入地面站，经地面站系统软件分析处理后识别出用户状态，包括大脑意识（注意力水平、稳态视觉诱发电位、运动想象电位）、面部表情和头部动作，地面站软件进而将这些用户状态映射为无人机的飞行控制指令并通过遥控器传至无人机；无人机根据接收到的飞行控制指令完成相应飞行动作，并在飞行过程中将机载摄相机拍摄的视频信息以无线通信方式传至图像接收系统，最后由图像接收系统传入地面站并显示；用户根据显示的图像信息产生新的控制意图，通过脑电信号、面部表情相关信号或头部动作信号再次经信号采集系统送入地面站，经解析后产生下一步的无人机飞行控制指令。图1多特征融合的无人机控制系统总体架构在多特征融合的情况下，地面站软件可能同时解析出多种飞行控制指令，例如用户在利用头部动作进行指令控制时，可能会伴随运动想象过程。因此，为了避免不同指令间的竞争而造成控制混乱，根据不同特征的解码特点及长期试验的结果分析，系统中对用户的控制意图进行了优先级设置，由高到低分别为注意力水平、头部动作、面部表情、运动想象、稳态视觉诱发。地面站系统通过优先级检测选择优先级较高的用户控制意图并发送给无人机。2系统详细设计提出的多特征融合无人机控制系统的关键部分主要体现在信号采集系统设计、地面站控制软件设计、注意力水平检测、稳态视觉诱发电位解析、运动想象电位解析、面部表情解析以及头部动作检测等内容。2.1信号采集系统设计该系统基于八通道脑电采集设备进行脑电信号与面部表情相关信号采集，并将陀螺仪传感器（MPU6050）固定在脑电帽表面，用于采集用户的头部动作信号。脑电极放置位置采用国际 10-20 标准，如图 2所示。其中，注意力水平相关的脑电信号采集通道为 Fp1、Fp2，运动想象电位相关的脑电信号采集通道为 C3、C4，稳态视觉诱发电位相关的脑电信号采集通道为 P3、P4、O1、O2，面部表情相关的特征信号采集通道为 Fp1、Fp2、C3、C4，Cz为参考电极，Fz为接地信号。2.2地面站控制软件设计地面站控制软件的系统功能如图 3所示。地面站接收信号采集系统的用户控制信息并进行解析，从数据库中选择对应的飞行控制指令，通过遥控器接口传送给无人机以完成无人机飞行控制。同时，地面站软件通过遥控器以及图像接收系统接收无人-2机回传的飞行状态及图像信息，在用户界面中进行显示。该系统中地面站软件界面主要包含七个分区，其相应的功能分别为：标题区，显示系统标题文字；状态显示区，显示无人机飞行状态及相关参数；菜单栏，放置菜单操作控件；调试区，显示运行过程中的调试信息；飞行控制区，放置飞行控制操作控件及相关变量设置；视频监控区，视频监控控制及显示播放的视频；特征显示区，稳态视觉诱发电位特征频谱、运动想象电位特征和面部表情特征等实时显示。图2脑电极放置区域示意图图3地面站软件系统功能图2.3注意力水平检测该系统首先对用户注意力水平进行准确而快速的测量，解析出用户实时的注意力指数。归一化后注意力指数的取值范围为0,1，如图 4所示，且用户的注意力水平越集中，对应的注意力指数越高。在用户控制无人机飞行的过程中，系统根据实时变化的注意力指数区分用户专注和放松两种精神状态。当注意力指数不小于0.8时，认为用户处于注意力集中状态，其产生的飞行控制指令为有效指令，可以实现对无人机的飞行控制；当用户注意力指数小于0.8时，如图 4 中方框圈出的部分所示，认为此时用户处于放松状态，产生的飞行控制指令为无效指令，无人机将进行自主巡航控制。2.4稳态视觉诱发电位解析该系统在融合多个脑电通道的稳态视觉诱发电位信号特征以后，能够有效识别出用户根据实验范式所诱发出的刺激信号的频率成分，处理后的频率特征曲线如图 5所示。在图 5中，f1、f2、f3、f4分别对应四种不同特征频率的刺激源，对应线段所示数值代表该特征频率的判断阈值。当用户脑电信号中某一特征频率的幅度超过对应的判断阈值时，即输出相应的分类结果。在稳态视觉诱发电位分类试验中，分类的准确率随着分类数目的减少而显著提高。当刺激源数目为四类时，分类准确率为87%；当刺激源数目为三类时，分类准确率为94%；当刺激源数目仅为两类时，分类准确率为99%。2.5运动想象电位解析该系统在用户进行运动想象的过程中，可对其脑电信号中的运动想象特征进行可靠的提取和分图4实时提取的注意力指数周俊宇，等多特征融合的无人机控制系统设计与实现-3电子设计工程 2023年第16期类。当用户分别进行左手运动想象和右手运动想象时，在脑电通道中提取的运动想象电位典型特征如图6所示，图6中方框部分分别对应左手运动想象和右手运动想象模式下的特征幅度范围。当运动想象的识别维度为 2时，识别准确率为 82%；当仅进行单个维度识别时（例如仅需识别左手运动想象），识别准确率为98%。图6运动想象电位特征范围2.6面部表情解析该系统通过脑电传感器采集与面部表情相关的特征信号，实现了面部表情的高精度分类，详细说明可参考文献16。当面部表情的识别维度为 5时，识别准确率为 96%；当面部表情的识别维度为 4时，识别准确率为98%。2.7头部动作检测该系统通过陀螺仪芯片检测用户的头部动作并通过无线传输发送给地面站软件进行解析。系统中采用的陀螺仪芯片型号为 MPU6050，该芯片采集头部动作并转化为 XYZ三轴的角度输出，经地面站解析后的分类结果如图 7所示。当识别四类头部动作时（抬头、低头、左转头、右转头），分类识别准确率为99%。图7头部动作分类结果显示3试验研究为了验证提出的多特征融合的无人机控制系统的有效性，文中开展了无人机飞行控制试验研究。试验中采用了大疆公司的M-100型无人机作为飞行平台，主要包括飞行控制、视觉导航传感器和云台 相 机 等 部 分。同 时，该 型 无 人 机 具 有 对 外 的UART接口，可支持添加机载设备，并提供用于二次开发的套件和通信协议，便于针对系统需求开发控制软件控制其飞行。为了获取较高的识别准确率，根据脑电信号、面部表情相关信号以及头部动作信号的解码特点，该系统对这多种特征模式进行了择优搭配使用，构造了基于多种特征联合控制无人机飞行的方法。系统中选用的特征模式与无人机飞行控制指令的映射关系如表 1所示（选用的头部动作特征为四种，稳态视觉诱发电位特征为两种，面部表情特征为四种，运动想象电位特征为一种）。无人机飞行控制试验在较为空旷的场地上进行，测试者根据表 1 所定义的映射关系。通过大脑意图、面部表情、头部动作等控制模式依次对无人机发送起飞、降落、左移、右移、前进、后退、上升、下降、左旋、右旋、悬停 11 种控制指令，观察无人机是否正确执行相应的飞行控制指令，并记录数据。累计测试 50组数据后（所有指令循环一次为一组），得到的飞行控制指令准确率如表 1所示。通过计算可以得出，在满足无人机 11个飞行维度的条件下，文中试验的综合控制准确率为 96.4%，表明了提出的多特征融合无人机控制系统可以实现对无人机高效而准确的控制。4结束语文中设计了一种融合脑电信号、面部表情相关信号、头部动作信号等多类特征实现对无人机联合控制的系统，介绍了该系统的总体设计方案及关键部分设计，开展试验研究验证了该系统在无人机飞行控制方面具有可靠性。该系统通过对不同模式特图5稳态视觉诱发电位特征频率曲线-4征的择优选取与组合使用，有效实现了飞行控制指令数目的增加和识别准确率的提升。该系统可为未来机器人控制技术提供一种全新的技术支持，具有较为广阔的应用前景。参考文献：1 Schemer D,Moeini M,Wendt O.A branch-and-cutapproach and alternative formulations for the trav-eling salesman problem with droneJ.Networks,2020(76):164-186.2 Mario M,Leonardo C,Michele O,et al.En route truck-drone parcel delivery for optimal vehicle routingstrategiesJ.IETIntelligentTransportSystems,2017,12(4):253-261.3 孙钰,周焱,袁明帅,等.基于深度学习的森林虫害无人机实时监测方法J.农业工程学报,2018,34(21):74-81.4 胡健波,张健.无人机遥感在生态学中的研究进展J.生态学报,2018,38(1)：20-30.5 陆成龙,刘忠德,张皖军,等.无人机智能巡检在检测风电光伏故障中的应用研究J.电子设计工程,2021,29(6):130-134.6 陈科羽,石书山.一种红外图像增强算法在无人机巡检输电线路上的应用J.电子设计工程,2020,28(16):174-178.7 Kanellakis C,Nikolakopoulos G.Survey on comp-uter vision for UAVs:current develops and trendsJ.Journal of Intelligent and Robotic Systems,2017,87(1):141-168.8 Gao X J,Jia H X,Chen Z L,et al.UAV securitysituation awareness method based on semanticanalysisC.2020 IEEE International Conference onPower,IntelligentComputingandSystems.ShenYang:IEEE,2020:272-276.9 樊宝安,曾桂根.四旋翼无人机巡航飞行模式下的自主避障方案设计J.电子设计工程,2020,28(2):180-184.10Ramadan R A,Vasilakos A V.Brain computer in-terface:controlsignalsreviewJ.Neurocomputing,2017(223):26-44.11Zhang W C,Tan C Q,Sun F C,et al.A review ofEEG-based brain-computer interface systems des-ignJ.Brain Science Advances,2018,4(2):156-167.12张坤,庄伟超,顾文杰,等.基于脑电波传感器的智能轮椅控制系统J.测控技术,2018,37(1):55-58.13伏云发,郭衍龙,李松,等.基于SSVEP直接脑控机器人方向和速度研究J.自动化学报,2016,42(11)：1630-1640.14郭倩,冯奇,屈萍鸽,等.轮椅脑控算法研究与实验验证J.计算机测量与控制,2021,29(2):229-234.15尹锐,曹勇,姜劲,等.基于运动想象脑机接口的外骨骼控制系统研究J.航天医学与医学工程，2020,33(3)：208-213.16王众,章学良,刘亚群,等.基于脑电传感器的面部动作识别研究J.计算机工程与应用,2020,56(12)：182-186.表1无人机飞行控制指令映射关系及控制准确率飞控指令起飞降落左移右移前进后退上升下降左旋右旋悬停映射模式头部动作1头部动作2头部动作3头部动作4稳态视觉诱发1稳态视觉诱发2面部表情1面部表情2面部表情3面部表情4运动想象1准确率（%）9898969498949896949896欢迎投稿！欢迎订阅！欢迎刊登广告！国内刊号：CN61-1477/TN国际刊号：ISSN 1674-6236在线投稿系统：http：/（广告）地址：西安市劳动南路210号5-1-3信箱邮政编码：710082周俊宇，等多特征融合的无人机控制系统设计与实现-5