多模态交互智能轮椅控制系统的研究.pdf

井冈山大学学报（自然科学版）90文章编号：1674-8085（2023）03-0090-07多模态交互智能轮椅控制系统的研究华谦，*吴全玉，张 煜，孙玉彬，潘玲佼，陶为戈（江苏理工学院 电气信息工程学院，江苏，常州213001）摘要：多模态交互智能轮椅是在现有的摇杆电动轮椅基础上，新增触摸屏和语音控制方式，提高了轮椅的控制便捷性和智能性。整个系统采用模块化思想，将驱动电路、主控电路和保护电路进行有机结合，对轮椅电机驱动器进行设计和改进，实现了轮椅调速和变向功能。交互系统采用双主控芯片，触屏交互采用STM32F103ZET6主控芯片，在移植C/OS-实时操作系统和emWin图形界面库的基础上进行交互界面设计，并以4.3寸电容屏为显示和触摸终端。语音交互采用LD3320模块，通过串口与STM32F103ZET6通信。摇杆控制模块通过与驱动器主控相连接完成交互。电机驱动器以STM32F103RCT6为主控，主要任务是摇杆ADC的采集、电机调速PWM的产生和电机电流的检测。两个主控之间通过串口通信，经验证，系统显示界面友好、性能可靠、运行稳定且实时性好。关键词：智能轮椅；语音交互；电机驱动器；触屏控制；交互系统中图分类号：TP368.1文献标志码：ADOI：10.3969/j.issn.1674-8085.2023.03.014RESEARCH ON THE CONTROLSYSTEM OF MULTIMODALINTERACTIVE INTELLIGENT WHEELCHAIRHUAQian，*WU Quan-yu，ZHANG Yu,SUN Yu-bing,PAN Ling-jiao,TAO Wei-ge（School of Electrical and Information Engineering,Jiangsu University of Technology,Changzhou,Jiangsu 213001,China）Abstract:Basing on the existing rocker electric wheelchair,touch screen and voice control methods are added toimprove the control convenience and intelligence of the multi-mode interactive intelligent wheelchair.Adoptingthe idea of modularization,the drive circuit,the main control circuit and the protection circuit are organicallycombined,and the motor driver of the wheelchair are designed and improved,which realize the function of speedregulation and direction change of the wheelchair.This interactive system adopts dual main control chips,and thetouch screen interaction adopts STM32F103ZET6 main control chip.The interactive interface is designed on thebasis of transplanting the C/OS-real-time operating system and emWin graphical interface library,and the4.3-inch capacitive screen is used as the display and touch terminal to complete the interaction task.The voiceinteraction adopts the LD3320 module,which communicates with the STM32F103ZET6 through the serial port tocomplete the interaction.The joystick control module completes the interaction by connecting with the drivermaster.The motor driver is controlled by STM32F103RCT6,and the main tasks are the acquisition of the joystickADC,the generation of the motor speed regulation PWM and the detection of the motor current combined withthe motor drive circuit.The two main controllers communicate through serial ports.It is proved that the systemhas friendly interface,reliable performance,stable operation and good real-time response.Key words:intelligent wheelchair;voice interaction;motor drive;touch screen control;interactive system收稿日期：2022-09-18；修改日期：2022-11-30基金项目：国家自然科学基金青年项目(62001196)；江苏省重点研发计划项目(SBE2020648)；常州市社会发展项目(CE20225045)；江苏理工学院研究生实践创新计划项目（XSJCX21-24）作者简介：*吴全玉(1977-)，男，安徽宿州人，副教授，博士，硕士生导师，主要从事嵌入式系统装置开发、医学信号的智能检测和血流动力学仿真研究(E-mail:).第44卷第4期Vol.44 No.4井冈山大学学报(自然科学版)2023年7月Jul.2023Journal of Jinggangshan University(Natural Science)90井冈山大学学报（自然科学版）910引言人口老龄化已成为全球普遍现象，根据老龄化研究报告：我国老年人口的数量在2020年已突破1.91亿，中国老年人口规模庞大，老龄化速度快，老年人的养老和日常照理问题日益严峻。轮椅对于高龄人和下肢残疾人来说是日常生活中必不可少的出行工具，而一款性价比高、功能全面、性能可靠的智能轮椅不仅能提高残疾人和老年人的生活质量，还能减少照看者的负担。智能轮椅的研究对于我国助老工程的发展有着重大作用1。从20世纪80年代英国研发出首台智能轮椅开始，美国、日本、法国等国家也开展了对智能轮椅的研究2-6。我国开展智能轮椅的研究起步较晚，但近年来也取得了一定的研究成果。基于视觉跟踪7、自动驾驶8、肌电9、头部10、多传感器融合11和语音12等交互方式的智能轮椅的研究也不断进步，但目前这些轮椅还停留于实验室阶段，价格昂贵，安全性和实时性还不能满足需求。所以本研究从以上问题为出发点，在目前已有的轮椅机械基础之上进行系统的改进设计，来满足当前的需求。研究首先对轮椅电机驱动器进行设计和改进，采用主控单元和功率单元分开布局，H桥功率13-15输出电路采用开窗布线，增大电路载流和散热能力。在保证驱动器安全稳定的前提下，进行多交互设计。使用者不仅可以直接转动摇杆，还可通过触屏和语音来完成对轮椅的控制。触屏控制是以STM32F103ZET6为主控，移植实时操作系统C/OS-和emWin图形界面库设计交互界面，界面简洁易操作，方便残疾人的使用。语音交互是通过LD3320模块通过串口与STM32F103ZET6主控相连，触屏控制界面中有语音控制的启动按钮，打开语音控制的按钮之后可以进行人机交互。三种控制方式可以任意切换而互不干扰。其操作简单，适用于老年人和残疾人使用，同时也提升了使用者的体验。1多模态交互系统整体结构文中设计的多模态交互智能轮椅控制系统分成为轮椅电机驱动器的设计和人机交互平台的搭建。驱动器和交互平台都有各自的主控单元，他们通过串口通信。系统结构框图如图1所示，交互平台是由语音模块、摇杆模块和触屏模块组成，两个直流有刷电机的驱动器是由电源电路、主控电路、隔离电路、驱动电路和过流保护电路组成。驱动器通过接收串口发送过来的指令，完成轮椅控制。触摸屏语音模块PWMSTM32F103ZET6主控驱动器主控PWM左PWM右PWMOUT+OUT-隔离电路驱动电路两路电机限流保护电源电路摇杆模块驱动器交互平台指令 串口并口图1系统整体框图Fig.1 Overall block diagram of the system2多模态交互系统硬件设计2.1交互平台的搭建人机交互平台的主控为STM32F103ZET6，由触屏、语音、摇杆三个部分组成，摇杆控制采用霍尔摇杆模块，连接驱动器主控的ADC采集通道。语音控制模块选用LD3320语音芯片来接收语音信息并通过串口和STM32F103ZET6主控的串口2通信。LD3320是一款专用的语音识别芯片，集成了语音识别处理器和外围电路。触屏选用4.3寸触摸电容屏，通过16位80并口驱动，采用STM32F103ZET6的可变静态存储控制器（Flexible Static Memory Controller，FSMC）来控制LCD触摸屏。2.2轮椅电机驱动器设计对于当前普通电动轮椅驱动器，只有摇杆单一控制模式，无法进行二次开发和功能升级，所井冈山大学学报（自然科学版）92以从智能性和安全性出发对轮椅驱动器进行设计和升级来满足开发者需求。驱动器承担着指令接收和解析，传感器数据的采集和处理，程序任务的运行以及控制电机转动，是整个系统的核心部件。2.2.1驱动器主控电路考虑到成本和需求，选用STM32F013RCT6为主控芯片，它拥有最高72 MHz工作频率、较高的实时性和丰富的功能外设。主控系统包括由供电电路、系统复位电路、晶振电路、程序下载电路。2.2.2驱动器电源电路本智能轮椅采用24 V蓄电池供电，但主控芯片需要3.3 V电压供电，隔离电路需要5 V电压供电，电机驱动芯片需要15 V供电，所以电源转换电路的稳定工作是整个驱动器正常运行的关键保证。本驱动器电源电路如图2所示，24 V转5 V电路选用MC34063降压芯片，其输出电压值可通过R60和R61的阻值来调整，改变后的电压值符合：Vout=（1+R61/R60）*1.25 V。通过计算选定R61和R60的阻值分别为2.7 K和0.9 K，可以输出Vout为5 V。电路中R50、R53、R54组成限流电阻，通过改变限流电阻的大小来改变限流值。Switch Collector1Switch Emitte2Timing Capacitor3GND4Comparator Inverting Input5VCC6Ipk7Driver Collector8U12MC34063D29M7R50R53C43D30S14C52C53R6112F1FL1C39IN3OUT2GND1OUT4U15ASM117-3.3R54GNDR60C55C56GNDVCC24-2VVCC5VGNDC47GNDVCC3.3VGNDGNDR44C38GNDVin1GND2Vout3GH16DU10GNDR49R52GNDGNDR45R48C44GND213Q1312Q2C37VCC-15VC42GNDD23M7I/O11TAP12I/O13I/O24TAP25I/O26K2PB1412H6DCVCC24-2VGND图2驱动器电源电路图Fig.2 Driver power circuit diagram2.2.3电机驱动电路本系统采用了两个24 V直流供电的250 W大功率直流有刷电机，改变直流有刷电机速度的最有效方式是采用脉宽调制（Pulse Width Modulation，PWM）技术，但主控输出的PWM信号无法直接驱动电机转动，电机驱动电路就是将功率比较小的PWM信号经过电路设计能够输出驱动电机的大功率信号。相当于主控和电机之间的桥梁，主控通过改变PWM通过驱动电路便可以获得电机不同的转速。左右两电机驱动电路原理相同，可以互用。电机驱动电路主要由光耦隔离电路、H桥式驱动电路和电流采集电路3部分构成如图3所示。光耦隔离电路在图3中由两部分组成，分别是U8和U14，U8选用高速光耦，输入端连接单片机主控，接收PWM信号，经过U8内部光耦隔离电路之后输出与PWM电平相反的信号。因为隔井冈山大学学报（自然科学版）93离芯片内部电路是通过发光二极管来控制导通和关断，所以输出信号和输入信号不直接连接，从而起到保护主控电路的作用。另外一个隔离元器件U14选用PC817，用来隔离IR2104S芯片的控制引脚。其中U8和U14采用接入不同的地端，GND和DGND之间通过0电阻连接，保护电路的安全性。H桥驱动电路中采用IR2104S驱动MOSFETIRF3607形成全桥驱动电路，由电机驱动原理可知，一个完整的H桥驱动电路需要两片MOS驱动芯片。图3中U9和U11为IR2104MOS管驱动芯片，两个半桥高端MOS管的源极和低端MOS管的漏极共同连接电机的两端，低端MOS管的源极连接采样电阻，行成完整的H桥。D31TR8TR7D28D25D20TR6TR5D18D17VCC1IN2SD3COM4LO5VS6HO7VB8U9VCC1IN2SD3COM4LO5VS6HO7VB8U1112J4JD26LED1D19D21D24D32D22LED1R30R51R59R42R43R47C33C48Vin1+1Vin1-2Vin2-3Vin2+4GND5Vout26Vout17VCC8U8R40R41DGNDPWML1PWML22143PC817U14R35R36R46VCC5VGNDC34C35C51R57DGNDVCC-15VVCC-15VR67R64R68C58R65R69R62+3-2184U13AMAX44248+5-67U13BMAX44248R70R66C59GND231D33BAS70-04LT1GNDVCC3.3VR55R58GNDVCC3.3VGNDC46C41VCC5VGNDVCC-0.8VVCC-0.8VIcoterLC28C29GNDSHUNTDOWNLVCC24-1VSDLZ2GNDC50GND图3电机驱动电路图Fig.3 Motor drive circuit diagram由H桥控制原理可知：采用单极控制模式，电机转动的速度和方向是由PWML1和PWML2两个信号一起控制的，一次只有一个信号为PWM信号，当同时为0或1时电机为制动状态，控制逻辑表如表1所示。表 1控制引脚对应电机状态表Table 1 Control pins correspond to the motor state tableSDLPWML1PWML2电机状态0任意任意自由状态1PWM信号1正转11PWM信号反转100刹车111刹车电流采集电路如上图3，R67为采样电阻，R64、R68、C58、R69和R70组合成差分滤波电路。在R62电阻上接了一个为0.8 V的抬升电压，该电压由R55和R58经分压电路配合电压跟随器得到。这样采样电路输出计算公式为：VIcoterL=0.8+7.5K/（1K+68）*V，驱动器主控通过采集VIcoterL电压求出电路电流，另外R66和C59组成输出一阶滤波，D33为输出电压钳位做IO保护。2.2.4过流保护电路过流保护电路的原理是将采集的IcoterL电压与U16的1脚电压进行比较，当电压超过1脚电压时U16的4脚SHUNTDOWN输出低电平，IR2104S停止工作，整个驱动电路无电压输出，电机停止旋转，从而实现过流保护，其电路图如图4所示。井冈山大学学报（自然科学版）94+1-3452U16R63R73R72R71C57C60VCC3.3VVCC3.3VGNDGNDR74GNDSHUNTDOWNLIcoterL图4过流保护电路图Fig.4 Overcurrent protection circuit diagram3多模态交互智能轮椅程序分析根据智能轮椅的硬件设计要求，系统的程序分为串口通信协议程序、交互平台指令处理程序和电机驱动器驱动程序。3.1串口通信协议通信协议是指在嵌入式开发中，不同的硬件体或操作系统之间进行数据交换的方式，是一种数据通信的规约16。本设计有两个串口通信，一是实现交互平台和驱动器之间的控制指令的传输，二是实现语音模块和交互平台主控之间的数据传输。串口是单片机最常见的外设，硬件上对应串口 的 发 送 端 和 接 收 端 相 连。交 互 平 台 主 控STM32F103ZET6的串口2与语音模块连接，当接收到语音模块的指定数据时，在将信息发送至交互平台的串口1。交互平台主控的串口1和驱动器主控串口1相连，协议程序为STM32F103ZET6通过串口1向驱动器主控STM32F103RCT6串口1发送0XAA，0X54作为帧头，然后发送两个字节，第一个字节代表方向，第二个字节代表速度，最后发送0XA4、0XA4这两个字节作为帧尾。当驱动器接收数据完毕之后进行解析，取出控制电机的速度和方向值，并将它赋值给驱动函数，轮椅便执行相应动作。3.2交互平台的程序分析为实现三种控制模式可以任意切换，在上位机主控中移植C/OS-实时操作系统，实时操作系统的核心在于实时内核，具有任务管理、调度、时间和内存的管理等功能17。在移植好的操作系统中，创建一个触屏控制任务，在触屏任务中创建交互界面，在控制界面内可以实现控制语音控制模式的切换。摇杆控制是以霍尔摇杆传感器为输入，由驱动器主控AD转换成数字量，并换算成电压值，经过均值化处理之后输出X-Y值18-19。改变摇杆的位置，即可得到变化的X-Y值，实验得出摇杆处于原点位置时X和Y电压值为2.5 V，当摇杆位置上下移动时X值不变，Y值在最顶端时为3.3 V，最低端时为1.45 V。当摇杆位置左右移动时Y值不变，X值在最左端时为1.6 V，最右端时3.3 V。根据这一变化，在驱动器主控程序中通过设置合适的阈值进行判断，即可实现摇杆控制轮椅动作。语音控制主要是通过语音交互模块来完成的，语音识别是语音交互的关键过程，识别结果的好坏直接决定了交互的成功率。触屏控制是在STM32F103ZET6上移植实时操作系统和emWin，设计触摸界面，编写按钮点击回调函数，当使用者点击控制按钮时，通过串口1向驱动器发送控制指令。语音和触屏控制工作流程图如图5所示。语音指令降噪处理特征提取模式匹配模型库识别结果交互平台主控串口2选择语音交互模式驱动器选择触屏交互模式记录速度档位和方向创建触摸任务触摸结果交互平台主控串口1执行点击回调函数前进，后退.轮椅触摸界面前进，后退.图5语音和触屏控制工作流程图Fig.5 Voice and touch screen control workflow chart井冈山大学学报（自然科学版）953.3驱动器程序驱动器驱动程序包括LED、蜂鸣器、定时器、串口、ADC初始化等，打开15V电源，继电器闭合后，进入主循环程序，循环程序会一直检测摇杆的位置，如果摇杆处于原点则开始检测串口是否有数据，若有数据程序分析指令将数据送入电机驱动函数中，如果此时摇杆位置发生变化则优先执行摇杆控制，最后驱动主控输出相应的PWM控制信号，经过驱动电路实现电机旋转。电路中也会自动检测电流大小，当电流经过电阻形成的电压超过比较器电压时会自动失能驱动芯片控制引脚，从而保护整个系统的安全。总体程序流程如图6所示。轮椅启动交互平台主控工作C/OS-、emWin触摸屏等初始化触摸屏控制选择模式语音控制数据处理并向串口1发送指令驱动器主控工作I/O口、定时器、ADC等初始化继电器闭合判断摇杆位置处于原点摇杆数据处理电机控制函数电流过大电机驱动失能电机旋转 串口接收数据并解析YNYN图6程序控制流程图Fig.6 Program control flow chart4交互系统的实现方式本交互系统有三种交互方式，具体交互控制系统界面如图7所示：当用户打开主电源开关时，触摸屏点亮，交互平台主控板和电机驱动板开始工作。驱动器程序中会一直检测摇杆的位置是否处于原点，当用户旋转霍尔摇杆来控制轮椅时，程序可以将摇杆的转动角度值转化为电压值，根据电压的变化范围执行相应的电机驱动函数，经过电机驱动器完成对轮椅的控制。当用户使用触屏或者语音控制时，驱动器程序检测到摇杆位置处于原点，用户可以在图7中1号界面内选择控制方式，当点击了触屏控制，会弹出2界面然后在界面内选择速度档位和控制方向按钮，交互平台主控会根据用户的选择将控制轮椅的方向和速度档位信息根据串口协议通过串口1发送至驱动器主控的串口，驱动器串口解析指令，执行相应的驱动函数。当用户选择了语音控制模式时，则弹出3号 界 面，同 时 交 互 平 台 主 控 程 序 使 能STM32F103ZET6主控串口2的接收，用户根据屏幕上面的提示词条来说出控制指令，LD3320将识别用户指令的结果发送至交互平台主控的串口2，然后再由串口1发送至驱动器，驱动器驱动电机完成轮椅动作。当退出语音控制模式时，则失能交互平台的串口2，不再接收语音识别的结果。在触屏或语音控制时，用户可以通过摇杆随时接管对轮椅的控制，三种控制方式互不干扰，同时交互界面简洁方便。2号界面1号界面3号界面图7交互界面图Fig.7 Interactive interface diagram根据系统的设计，实现了多模态交互的控制系统，改进了单一的摇杆控制轮椅。为测试交互平台的稳定性、安全性以及系统响应时间，其中系统响应的时间是测试者说出语音控制指令或者触摸屏幕按键开始到电机执行动作的时间，做了以下实验：在安静环境（20 30 dB），进行语井冈山大学学报（自然科学版）96音控制识别率、触摸成功率、摇杆控制成功率以及响应时间的测试。在较安静（30 40 dB）下和嘈杂环境（50 dB）下测试语音控制的成功率和响应时间，测试结果如表2所示。表2交互识别成功率结果Table 2 Interaction recognition success rate results控制环境 控制方式控制次数（次）识别成功次数（次）识别率（%）响应时间（次/s）安静触屏10097970.9安静摇杆10099990.7安静语音10098981.1较安静语音10090901.2嘈杂语音10075751.5由实验结果分析，对于语音控制模块受环境噪音影响较大，噪音较大的环境会使交互识别率下降至75%左右，同时响应时间也增加0.2 0.3 s，在安静环境下交互成功率在98%以上，可以应用于实际控制。同时多种交互方式的选择大大提高了轮椅的智能性和使用者的便捷性。5结语本设计主要在轮椅电机驱动器和交互平台两个方面对目前轮椅进行改进和优化。驱动器将控制电路和驱动电路进行集成，预留功能接口，方便功能升级。在功率电压为24 V、稳态输出电流为6 A，峰值电流为10 A的情况下，电机能够实现启动、换向、停止，且具有输出功率大、可靠性高的特点。同时在摇杆控制方式的基础上，进行触屏交互界面设计并加入语音交互功能，构建了一个安全可靠、易于维护的多模态交互智能轮椅控制系统。参考文献：1张震,刘新妹,殷俊龄,等.基于ARM的智能轮椅安全监控系统的设计J.国外电子测量技术,2021,40(6):138-143.2 Lamia B,Noureddine E.Implementation of a biometricinterface in voice controlled wheelchairsJ.Sound andVibration,2020,54(1):1-15.3 Pawu D,Paszkiel S.BCI wheelchair control using expertsystem classifying EEG signals based on power spectrumestimation and nervous tics detectionJ.Applied Sciences,2022,12(20):1-22.4 Rosero P,Peluffo D,Batista V,et al.Intelligent system foridentification of wheelchair users posture using machinelearningtechniquesJ.IEEESensorsJournal,2019,19(5):1-8.5 Abolfazl M.Human-robot interaction in rehabilitation andassistance:a reviewJ.Current robotics reports,2020,1(3):131-144.6 Timofei I V,Eugene V C,Gleb A U.The control systembased on extended BCI for a robotic wheelchairJ.Procedia Computer Science,2018,123:522-527.7李艳,唐达明,周莹亮,等.基于计算机视觉的轮椅跟随系统设计J.计算机工程与应用,2021,57(10):163-172.8白崇岳,王建军,程霄霄,等.融合激光SLAM实现无人驾驶轮椅空间定位优化J.激光与光电子学进展,2022,59(2):485-493.9杨伟健,佘青山,张启忠,等.一种肩颈部肌电信号识别的智能轮椅控制方法J.上海交通大学学报,2016,50(6):949-956,962.10吴聪,张坤,杨立才.基于惯性传感器的老年人姿态监测装置设计J.生物医学工程研究,2018,37(2):210-214.11韩志昕,隋修武.基于多源信息融合的肌电轮椅智能控制技术研究J.现代制造工程,2020(9):136-144.12胡杰,喻洪流,石萍,等.一种多功能智能轮椅的控制系统设计J.中国康复医学杂志,2016,31(11):1246-1249.13潘泽浩,狄伟翔,李民飞.功率MOSFET半桥驱动电机电路研究与分析J.工业控制计算机,2018,31(5):154-156.14陈华彬,张兴华.基于IR2136与MOSFET的无刷直流电机驱动电路设计J.现代电子技术,2019,42(4):53-56.15张文正.基于MATLAB的受控PWM电压H桥直流电机控制与仿真J.浙江水利水电学院学报,2022,34(3):79-84.16赖成瑜.基于智能开关柜的数据通讯研究与实现J.井冈山大学学报:自然科学版,2020,41(6):56-60.17吴尧辉,冯冲,吴昊珍.基于C/OS-和emWin的供电综合保护器设计J.传感器与微系统,2021,40(12):101-104.18吕浩,吕世公,钱焕裕,等.用于直流电机驱动的控制算法设计J.电子测量技术,2010,33(7):46-50.19马朝骥,冯雯雯,庞佑兵,等.一种有刷直流电机驱动器的设计J.微电子学,2019,49(3):351-355.