基于手势识别控制的两轮平衡小车研究.pdf

Artificial Intelligence and Robotics Research 人工智能与机器人研究人工智能与机器人研究,2023,12(3),189-198 Published Online August 2023 in Hans.https:/www.hanspub.org/journal/airr https:/doi.org/10.12677/airr.2023.123022 文章引用文章引用:刘名扬,陈敏,吴志刚.基于手势识别控制的两轮平衡小车研究J.人工智能与机器人研究,2023,12(3):189-198.DOI:10.12677/airr.2023.123022 基于手势识别控制的两轮平衡小车基于手势识别控制的两轮平衡小车 研究研究 刘名扬刘名扬，陈陈 敏敏*，吴志刚，吴志刚 江西理工大学，能源与机械工程学院，江西 南昌 收稿日期：2023年4月27日；录用日期：2023年7月28日；发布日期：2023年8月7日 摘摘 要要 本文本文提出了一种基于手势控制的两轮平衡小车的控制系统设计和实现方案。首先研究了平衡小车的平衡提出了一种基于手势控制的两轮平衡小车的控制系统设计和实现方案。首先研究了平衡小车的平衡学原理和机械结构学原理和机械结构，得到平衡得到平衡小车系统传递函数，然后通过电机转动反馈回的速度，利用小车系统传递函数，然后通过电机转动反馈回的速度，利用PID来控制平来控制平衡小车的倾倒角速度。根据设计思路及其原理设计了具有手势识别功能的平衡小车，在此基础上研究了衡小车的倾倒角速度。根据设计思路及其原理设计了具有手势识别功能的平衡小车，在此基础上研究了姿态检测、手势识别，并进行了系统测试和优化。姿态检测、手势识别，并进行了系统测试和优化。关键词关键词 平衡小车，手势识别，平衡小车，手势识别，IIC通信，通信，PID Study of Two-Wheel Balance Trolley Based on Gesture-Controlled Mingyang Liu,Min Chen*,Zhigang Wu School of Energy and Mechanical Engineering,Jiangxi University of Science and Technology,Nanchang Jiangxi Received:Apr.27th,2023;accepted:Jul.28th,2023;published:Aug.7th,2023 Abstract The design and implementation scheme of the control system of a two-wheel balance trolley based on gesture control is proposed.Firstly,the balance principle and mechanical structure of the bal-ance trolley are studied,and the transfer function of the balance trolley system is obtained,and then the tilting angular velocity of the trolley is indirectly balanced by the speed of the motor feedback back combined with PID control.According to the design ideas and principles,the bal-*通讯作者。刘名扬 等 DOI:10.12677/airr.2023.123022 190 人工智能与机器人研究 ance trolley with a gesture recognition function was designed,and on this basis,attitude detection and gesture recognition were studied,and the system was tested and optimized.Keywords Balancing Trolley,Gesture Recognition,IIC Communications,PID Control Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 随着科技的不断进步和创新，平衡小车作为一种新型代步工具得到了越来越广泛的应用。然而，现有的平衡小车控制系统仍然存在一些不足之处。现有的两轮平衡小车控制系统在控制精度方面存在一定的问题，主要表现为平衡小车在高速行驶或转弯时容易出现晃动或失去平衡的情况。这主要是由于现有控制系统采用的传感器的精度和控制算法的限制所导致的。如何提高传感器的精度和优化控制算法，以及保持系统一个稳定的系统，将是未来研究的重点之一1。主要是由于控制算法的复杂度和计算能力的限制导致现有的两轮平衡小车控制系统响应速度较慢，不能很好地适应高速行驶或急转弯等情况2而且现有的两轮平衡小车控制系统功能单一，结构上不稳定，因此小车的自稳定是一项重大挑战3。本文采用了 STM32F4ZGT6 主控芯片和 PID 控制算法，实现了平衡小车的高精度控制，应用了 ATK-PAJ7620U2手势识别传感器和 MG513 直流减速电机，可以快速响应用户手势和指令，实现更快速的平衡小车运动，通过结合手势识别传感器和 MPU6050 内置 DMP 所处理的数据，实现了平衡小车的向前、向后、顺时针移动、逆时针移动等多种动作，提高了平衡小车的实用性和趣味性。2.整体设计与基本原理整体设计与基本原理 2.1.整体设计整体设计 系统整体框架如图 1 所示，整个系统有三个部分组成：外部底座结构，硬件系统和软件系统。外部底座结构设计如图 2 所示，由两个编码电机带动车轮转动。此外，主控芯片选择 STM32F4ZGT6，搭载 ATK-PAJ7620U2 手势识别传感器通过 IIC 通信方式与主控芯片进行通信，向主控芯片发送手势识别结果，并通过 OLED 显示屏显示手势识别的结果。编码电机选用带有霍尔传感器的 MG513 直流减速电机，通过主控芯片的内置时钟 TIM2 和 TIM4 采集霍尔传感器回传的数值，进行状态分析。通过判别手势方向，结合 MPU6050 内置 DMP 所处理的数据，再通过 PID控制实现平衡小车的向前，向后，顺时针移动，逆时针移动等动作。电源部分则是选择竞赛常用航模锂电池。容量 2200 mah，3 个电池包，标称电压 11.1 V，满电压约12.8 V，放电倍率 25 C，即理论最大输出电流能达到 55 A 4。同时通过 LM2596 得到 5 V 供电电压，同时选用 AMS1117-3.3 V 作为二级降压电路的降压芯片。其稳压误差在 1.5%以内可得到噪音低、纹波小的3.3 V 供电电压。整体结构上采用亚克力板作为小车的结构材料，选用铜质，内孔直径为 3 mm 的六棱柱作为 PCB 主控板的固定材料。直流电机使用角钢与核心钢板连接，整体的设计是一个上中下结构(图 3)，电机在下，控制系统在中部，手势识别传感器在上部，三者通过导线连接。Open AccessOpen Access刘名扬 等 DOI:10.12677/airr.2023.123022 191 人工智能与机器人研究 Figure 1.System block diagram 图图 1.系统框图 1.霍尔传感器型编码电机 2.亚克力板 3.车轮 Figure 2.Schematic diagram of the base structure 图图 2.底座结构示意图 Figure 3.Schematic diagram of the structural plan 图图 3.结构平面示意图 刘名扬 等 DOI:10.12677/airr.2023.123022 192 人工智能与机器人研究 2.2.基本原理基本原理 2.2.1.平衡小车直立理论实现平衡小车直立理论实现 直流减速电机转轴输出的力矩将为小车提供平衡所需的阻尼力。其原理是，当系统运行时，姿态传感器会捕捉到小车的倾角变化，当小车 MCU 通过姿态传感器判断小车出现倾倒时，MCU 会向电机发送控制信号，使小车有一个与倾倒方向相同的加速度。根据牛顿第二定律，在短时间内可以将小车整体假设为处于静止状态，从而得到受力图 4。Figure 4.Force analysis diagram of the trolley 图图 4.小车受力分析图 从图 4 中可以看到，当cossinmamg时，小车车身会受到一个反向斜向上的恢复力，使其倾角变小，当cossinmamg=时，小车倾角保持不变。为了使小车姿态恢复更稳定，添加一个模拟阻尼力1mk，整理分析得加速度 12 1akk=+(1)其中：为车倾斜角；1为角速度；1k，2k为比例系数；1k决定了车是否能够稳定到垂直平衡位置，2k决定了车回到垂直位置的阻尼系数。设小车重心距离小车车轮重心L，小车质量m，车倾角为，小车加速度a，则可求得原系统的传递函数为()()()1sH sgX ss sL=(2)得该系统两个极点 pgsL=(3)由于有一个极点在 s 平面的右半平面，系统为开环系统时，小车不稳定。引入比例，反馈环节，设计得到图 5 所示的反馈控制结构框图。根据控制述理论知识可知，其改进系统的闭环传递函数为()212LSLSgkk S=+(4)此时若要满足系统稳定性要求，根据劳斯赫尔维茨判据可知，1kg，20k。又由于小车的姿态检测和反馈控制时间非常短暂，直流电机从静止到恒定速度过程会有一个加速度 a，故在反馈控制过程刘名扬 等 DOI:10.12677/airr.2023.123022 193 人工智能与机器人研究 中，小车处于加速状态，其加速度与电机参数，电压参数有关。Figure 5.Feedback control structure diagram 图图 5.反馈控制结构图 对比例系数1k，2k分别取值为 10，g 取 9.8，对上述计算结果进行验证，对反馈控制使用 Matlab 进行仿真测试并绘制 Bode 图和 Nyquist 图，结果如图 6 和图 7 所示，符合上述推理。Figure 6.System Bode diagram 图图 6.系统 Bode 图 Figure 7.System Nyquist diagram 图图 7.系统 Nyquist 图 刘名扬 等 DOI:10.12677/airr.2023.123022 194 人工智能与机器人研究 2.2.2.电机转速检测电机转速检测 选用带有霍尔传感器的 MG513 直流减速电机，主控芯片通过检测霍尔编码器输出的脉冲，通过程序换算为电机的转速，如图 8 所示，编码器为 AB 相输出，不仅可测速，还可辨别转向。只给编码器电源5V 供电，在电机转动时编码随电机同步转动即可通过 AB 相输出存在相位差的方波信号。编码器自带上拉电阻，所以无需外部上拉，可直接连接单片机 IO 进行读取，这样就可判断电机实时转速和转动方向5。实时采集到的数据有电机的转速，从而计算出小车车轮的速度。依据小车自平衡功能要求，小车底部并排的两个车轮是保持车体直立前后移动的控制目标，而小车轮胎的转动受电机控制，因此从控制思维看，受控对象是小车车体，车体底部两个电机转动速度作为控制输入量6，结合 PID 控制算法从而实现小车平衡。Figure 8.Hall sensor velocimetry waveform 图图 8.霍尔传感器测速波形图 2.2.3.MPU6050 姿态检测姿态检测 使用 MPU6050 姿态传感器(图 9)检测出空间直角坐标系三轴的角度以及角加速度等姿态初始数据。MPU6050 是一种集成了 3 轴陀螺仪和 3 轴加速度计的运动传感器。它的工作原理是通过检测运动和重力加速度来测量物体的方向和运动。陀螺仪可以检测物体的旋转运动，而加速度计则可以检测物体的线性运动和重力加速度。通过结合陀螺仪和加速度计的数据，MPU6050 可以提供物体的姿态和运动信息7。Figure 9.Schematic diagram of the three axes of the attitude sensor 图图 9.姿态传感器三轴示意图 MPU6050 模块由 ARM 主控制器进行初始化配置，主机先将命令写入相关寄存器，从机采集的数据将存入寄存器，主机通过读取寄存器的值来获取姿态测量的原始数据8。芯片集成了 DMP 数字动态处理器(实现平衡小车姿体平衡)，从陀螺仪、加速度计及外接传感器接收并处理数据，处理结果可从 DMP寄存器读出或通过 FIFO 缓冲9，分别采集 X、Y、Z 方向的电压值，将其测量的模拟量转换成数字量输出，最后通过 IIC 总线传送到 STM32，但此时得到的值并不是实际的角度和角速度值，还需经过一定的比例关系进行转换，才能得到实际的角度和角速度值10，从而得到平衡机器人的倾角，平衡小车的倾角变化量，也能得到倾角变化率，即角加速度。2.2.4.手势识别手势识别 本设计中选择的手势识别方式的基本原理是飞行时间测距法(TOF)，通过集成的多个发光 LED 作为刘名扬 等 DOI:10.12677/airr.2023.123022 195 人工智能与机器人研究 信号源，同时得到多个飞行时间，以特定的算法来获得物体在检测空间中的运动轨迹。手势识别传感器选择 ATK-PAJ7620U2。其工作原理是：PAJ7620 内部自带 LED 驱动器、传感器感应阵列、目标信息提取阵列和手势识别阵列等，工作时通过内部 LED 驱动器驱动红外 LED，向外发射红外线信号，当传感器阵列在有效的距离中探测到物体时，目标信息提取阵列会对探测目标进行特征原始数据获取，获取的数据存在寄存器中，同时手势识别阵列对原始数据进行识别信息处理，将结果存到寄存器中11，通过使能通用定时器 TIM5，在固定一段时间内触发一次定时器中断，来读取手势模块寄存器中的手势识别结果。本系统共设定了四种模式：向前“Go”，向后“Back”，向左“Left”，向右“Right”。手势识别模块对动作分别也对应向前、向后、向左、向右的四种手势做出判别。传感器阵列检测到物体时，目标检测模块对检测到的物体读取相应的数据，该数据保存在寄存器中，同时手势识别模块也会对数据进行处理并把数据存储到寄存器中，用户可通过 IIC 把寄存器内需要的数据读取出来，即可得到手势数据12。针对获得的数据匹配相应的控制指令，控制系统根据这些指令再进行运动控制，从而实现平衡小车的向前、向后、向左、向右运动。3.系统软件设计和测试系统软件设计和测试 3.1.整体结构整体结构 平衡小车的实物整体装配结构如图 10 所示，整体是一个上中下三层结构，手势识别模块在最上层，使得更好地捕捉手势姿态，主控部分和驱动部分使用铜柱在小车上层，电源部分放置在小车中部，编码电机放置在下层，合理地利用空间，整体结构紧凑。1.手势识别模块；2.姿态检测传感器；3.驱动板；4.OLED；5.STM32F4 主控板；6.电源；7.霍尔传感器编码电机 Figure 10.The finished upper,middle and lower structure bal-ance trolley 图图 10.完成后的上中下结构平衡小车 主程序联合各个模块整体流程图如图 11 所示。平衡小车上电运行，首先对 STM32 内部的各定时器和 GPIO 引脚等进行初始化，通过 MPU6050 和电机对自身姿态进行判断，若手势识别模块检测到手势将识别到的结果发回主控进行处理，主控板处理手势识别的结果来改变小车的运动方向，在小车运动的过程中通过霍尔传感器采集并传输回的数据再判断小车是否倒下，若小车未倒下，则继续保持原运动状态；若小车倒下，则停止运行并回到初始化进程。刘名扬 等 DOI:10.12677/airr.2023.123022 196 人工智能与机器人研究 Figure 11.Main block diagram 图图 11.主程序框图 3.2.手势识别测试手势识别测试 通过平衡机器人上安装的 OLED 显示屏，来查看 PAJ7620 手势识别模块是否成功唤醒并初始化。如图 12 所示，若初始化成功，则会显示“GestureReady”字样。若成功检测出向前，向后，顺逆时针转动的手势指令，则会在“GestureReady”上方显示相应识别结果。向前“Go”，向后“Back”，向左“Left”，向右“Right”。3.3.不同环境场景测试不同环境场景测试 本设计采用的是基于“光飞时间”的手势识别模块，自带发光 LED，但其在不同光环境下的灵敏度是否有差别，还需要进一步的测试。通过 OLED 将手势识别结果显示出来。选择不同的场景测试环境，(a)识别到向左的手势 (b)识别到向右的手势 刘名扬 等 DOI:10.12677/airr.2023.123022 197 人工智能与机器人研究 (c)识别到向前的手势 (d)识别到向后的手势 Figure 12.Gesture recognition test results 图图 12.手势识别测试结果 测试环境将包括，晴天室外，阴天室外，夜晚室内暖光灯近照，阴天室内，黑暗环境四种。对每种环境进行前后左右各超过 400 实验，得出实验结果如表 1 所示。从表中可以看到，环境场景光线越强，其准确率越低，在无光环境中测试准确率最高，其准确率在 96%以上。因此可以发现，其手势传感器受光照影响较大，需要自带补光或采取其它有效措施，使得其在室外能够有效的进行识别和完成一些有意义的任务。Table 1.Test results for different environmental scenarios 表表 1.不同环境场景测试结果 环境 挥动方向 正确次数 准确率 晴天室外 前 420 84%后 408 82%左 416 83%右 422 84%室内光照 前 446 89%后 460 92%左 456 91%右 432 86%阴天室外 前 435 87%后 448 90%左 432 96%右 440 88%阴天室内 前 454 91%后 468 94%左 443 89%右 460 92%无光环境 前 488 98%后 490 98%左 486 97%右 480 96%刘名扬 等 DOI:10.12677/airr.2023.123022 198 人工智能与机器人研究 3.4.讨论讨论 在测试时发现有时手势检测不灵敏，故从结构，程序，外部环境上，分析存在的问题。结构上，手势识别模块直接由杜邦线支撑，导致模块位置出现旋转，弯曲。正确的模块安装应该传感器面朝上。程序上，由于使用 TIM5 作为手势检测的中断输出，TIM5 的中断间隔过长，导致手势检测在连续挥动手势时不太灵敏。故而减少中断发生间隔时间，使得手势检测状态刷新频率增加，来提高灵敏度。通过分析表格各项对比发现，在无光环境下，手势识别正确率达到了 96%以上的正确率，而阴天时，室内室外的正确率差别不大，而在晴天时阳光直射下，手势识别正确率低，在室内光照直射与阴天室内室外的识别正确率差别不大。4.结语结语 本文通过研发制作基于手势识别技术的二轮平衡小车，并经过软件和硬件方面的设计和制造，通过前后左右的测试，取得了较为理想的结果。可以发现，采用非接触式方法便能够控制平衡机器人的运动状态，因此这种人机交互方法还带有一定的意义和实用性。通过这种人机交互方法还能够拓展娱乐型的智能机器人，服务型机器人与人的交互，使机器人更加的智能化。基金项目基金项目 江西省教育厅科学基金项目资助(GJJ200833)。参考文献参考文献 1 Ali,A.T.,Mohamedy,A.M.O.,Salimz,A.S.A.,El-Aminx E.A.O.M.and Ahmed,O.M.K.(2021)Design and Imple-mentation of Two-Wheeled Self-Balancing Robot Using PID Controller.2020 International Conference on Computer,Control,Electrical,and Electronics Engineering(ICCCEEE),Khartoum,Sudan,pp.1-5,https:/doi.org/10.1109/ICCCEEE49695.2021.9429579 2 Dong,J.,He,B.,Zhang,C.,et al.(2019)Open-Closed-Loop PD Iterative Learning Control with a Variable Forgetting Factor for a Two-Wheeled Self-Balancing Mobile Robot.Complexity,2019,Article ID 5705126.https:/doi.org/10.1155/2019/5705126 3 Aldhalemi,A.A.,Chlaihawi,A.A.and Al-Ghanimi,A.(2020)Design and Implementation of a Remotely Controlled Two-Wheel Self-Balancing Robot.IOP conference series:Materials science and engineering,Kerbala,5-6 December 2020.https:/doi.org/10.1088/1757-899X/1067/1/012132 4 李艳,胡杨,刘庆国.放电倍率对锂离子蓄电池循环性能的影响J.电源技术,2006,30(6):488-491.5 陈昱,沈林涛,王凯.基于 STM32 控制的平衡小车系统设计J.软件导刊,2020,19(8):117-121.6 王宇坤,陈沃源.基于 PI 控制器的两轮平衡小车设计J.信息记录材料,2018,19(7):215-216.7 Ahmed,H.E.,Sahandabadi,S.and Ahamed,M.J.(2023)Application of MEMS Accelerometers in Dynamic Vibration Monitoring of a Vehicle.Micromachines,14,Article No.923.https:/doi.org/10.3390/mi14050923 8 李冠奎,秦云翔.基于 STM32 的自平衡小车结构和系统设计J.信息与电脑(理论版),2021,33(9):84-86.9 熊跃军,史明政,林金勇,等.一种两轮自平衡小车的设计与实现J.长沙大学学报,2016,30(2):39-42.10 赖义汉,王凯.基于 MPU6050 的双轮平衡车控制系统设计J.河南工程学院学报(自然科学版),2014,26(1):53-57.11 贾书香.基于 STM32 的手势识别控制系统的设计J.黑龙江科学,2023,14(2):78-81.12 钟静,卢洪斌.动态手势识别系统的设计与实现J.山西电子技术,2021(5):25-26.