适用于手语采集与输入的智能手套及翻译系统.pdf

2023.8电子产品世界设计应用Design&Application智能应用适用于手语采集与输入的智能手套及翻译系统Intelligent glove and translation system suitable for sign language acquisition and input程 杰，陈建华，许舒涵摘 要：设计并实现了一款以ESP32-C3-WROOM-02为核心，基于物联网、UDP协议、姿态传感器和弯曲传感器的适用于手语采集与输入的智能手套及翻译系统。该系统通过在手套上绑定姿态传感器MPU6050，配合弯曲传感器动态监测手的运动和姿态，通过ESP32芯片采集传感器数据并做初步处理，经单片机上的Wi-Fi 模块通过 UDP 协议传输给云端采用 SVM 算法识别静态手势，此外，本设计还搭建了基于Python的Web应用程序框架Streamlit实现在网页上实时呈现处理结果和全平台兼容，方便用户使用。关键词：手势识别；ESP32；弯曲传感器；SVM；神经网络*本项目在2022年广东省大学生电子设计竞赛获得一等奖，相关成果正在申请专利。据中国残疾人人口数据库有关数据，我国持残疾证人口中听力残疾和言语残疾共计 249.2 万人，且多为农村人口。由于工作和生活中大多数人不熟悉手语，造成了聋哑人难以融入社会生活的问题。因此，迫切需要一款低价、便携的手语翻译系统来辅助聋哑人与普通人沟通。鉴于手语翻译系统在辅助聋哑人融入社会中起到的重要作用，本文通过设计一款适用于手语采集与输入的智能手套及翻译系统采集手势，形成数据库并训练机器学习模型。使用者佩戴手套以后做出不同手势，手套将采集到的手指弯曲程度、加速度等信息在单片机进行预处理以后，通过 UDP 协议经 Wi-Fi 传递至云端处理，云端接收数据报后通过分辨通过分辨静态手势与动态活动，将数据二次处理后放入已经训练好的模型中进行预测，并在网页界面实时显示结果，实现全平台兼容。该方案稳定性较高，可拓展性及可维护性极强，人机交互友好，解决了当前非接触式手势识别精度低、易受干扰、处理速度慢等痛点。经过测试该方案识别准确性高达 91.02%，方差0.0012，硬件成本仅为 296 元且可拓展性高，人机交互友好，具备广泛普及的条件，能有效辅助聋哑人士进行简单交流，更好的参与社会生活，并且还可以作为教学用具进行手语培训。1 手势识别方案选择表1 方案对比方案方案1方案21方案32处理数据弯曲度、姿态传感器图像SEMG信号、姿态传感器成本低高低数据量低高低处理难度低高高方案 1 基于传感器和 MPU6050 姿态传感器的手势识别数据手套上的传感器能识别手指弯曲以及手部的运动，识别率较高，并且成本低有利于推广，数据量低传输速度快，处理难度低。方案 2 基于计算机视觉的手语识别通常采用摄像头作为传感设备，无须穿戴，体验感较好，但是感受与识别技术容易受到周围环境因素的影响，如光照等。同时需要处理的数据量巨大，识别的实时性较低，并且不适用于日常环境。62ELECTRONIC ENGINEERING&PRODUCT WORLD 2023.8$电子产品世界Design设计应用&Application智能应用2 系统设计2.1 系统组成图1 系统总体设计框图本系统总体设计框图如图 1 所示，包括弯曲传感器、姿态传感器 MPU6050、ESP32、服务器、网页端五部分。2.2 系统工作过程弯曲传感器和姿态传感器分别采集手指弯曲数据和手掌朝向、运动数据。采集到的数据在 ESP32 进行滑动滤波和归一化处理后以 UDP 报文发送给服务器进行分类和识别最终将识别结果呈现在网页端。3 系统功能实现3.1 硬件部分系统的硬件部分将五根弯曲传感器通过几段在手指关节处的软管固定使其可以在软管中自由滑动，从而实现良好的佩戴体验并提高数据采集的准确性。将陀螺仪、单片机通过排母固定于主板上，并将主板通过手环固定于手腕上，从而尽可能降低了佩戴该装置对手部活动的影响，单片机和弯曲传感器之间通过杜邦线连接，采用电池供电形式，实现了舒适的穿戴体验。3.1.1 弯曲传感器弯曲传感器采集五根手指的弯曲数据，如图2所示，R1为弯曲传感器等效电阻，R2为可变电阻，用于分压使得输出电压不高于ADC最大可分辨的电压2 450 mV。由于拇指与另外四指采用的弯曲传感器不同，因此对于拇指，R1的范围为 25 k135 k，R224.04 k；对于 其它四指，R1的范围为 9 k22 k，R2 8.64k。图2 弯曲传感器工作等效原理图3 弯曲传感器电路3.1.2 姿态传感器姿态传感器采用 MPU6050，用于识别手掌朝向和手部的运动数据。姿态传感器 MPU6050 可以测定 x、y、z 三个坐标轴的加速度，当传感器静止时加速度分量的绝对值最大的坐标轴所对应的平面向上，若该最大加速度为正值则该坐标轴负方向所对应的平面向上，反之则该坐标轴正方向对应的平面向上。基于这个原理实现了对手掌朝向的判断。另外，通过航向角、横滚角、俯仰角的变化识别手部的运动情况。3.1.3 ESP32ESP32-C3-WROOM-02 对弯曲传感器的数据进行归一化和滤波处理，同时将弯曲传感器和姿态传感器输 2023.8电子产品世界设计应用Design&Application智能应用出以 UDP 报文形式发送到服务器。3.1.4 主板设计如图 4 所示，主板电路由 ESP32、MPU6050 模块、自动下载电路组成，具备 WiFi 连接、六轴运动数据采集与处理、自动复位等功能。传感器电路由弯曲传感器、可变电阻及运放构成，实现将手指弯曲程度的变化转换成电压变化的过程。由于 ESP32 单片机中，可设置的最大 ADC 采样范围为 150 2 450 mV，因此可变电阻和弯曲传感器电阻对 Vcc进行分压使得电路输出电压不超过阈值电压。通过调整可变电阻的大小实现可变电阻与弯曲传感器电阻对电源电压分压，电压信号通过运放增强驱动能力，避免长距离传输造成的损耗，从运放输出端输出，实现对手指弯曲程度的采集。该电路的设计应该 注意在运放输出端与地之间接一个 100 nF 的电容进行滤波，并且传感器电路应该尽可能离单片机近一些，以避免长距离传输造成的损耗。3.2 软件部分3.2.1 手套端程序设计如图 5 所示，本项目的程序设计基于 ESP32 的RTOS，在此基础上，单片机任务主要分为三部分：串口任务、ADC 任务、UDP 任务。1）串口任务设计 初始化后读取缓冲区中存储的弯曲传感器数据，然后对数据进行处理，处理结束后判断缓冲区是否有数据，若有则重复读取数据、处理数据、判断缓冲区有无数据步骤，反之则延时 10 ms 切换其他任务。2）ADC 任务设计 初始化后进行 ADC 采样，采样完成后进行数据处理及存储，然后延时 30 ms 并返回 ADC 采样步骤进行循环。3）UDP 任务设计初始化后连接 Wi-Fi，连接完成后处理 ADC 数据，之后判断 ADC 滑动滤波窗口是否已满，若已满则发送数据并延时 10 ms 然后判断发送是否出错，若出错则返回连接 Wi-Fi 步骤重新执行以后步骤，若未出错则返回处理 ADC 数据步骤重新进行。如果 ADC 滑动滤波窗口未满则直接跳转至延时 10 ms 阶段并执行后续步骤。4）滤波程序设计 在数据处理过程中，源信号往往受到多种因素的干扰，使得采集到的信号包含多种类别的噪声。如图 6 是通过 ADC 直接采集到的弯曲传感器上的电压，可以看到，数据有明显的波动。本子程序采用滑动滤波方式，图4 主板电路图64ELECTRONIC ENGINEERING&PRODUCT WORLD 2023.8$电子产品世界Design设计应用&Application智能应用控制窗口大小为450 ms，能较好地平衡抖动与细微动作。同时使用归一化处理使手套具备更强的鲁棒性，适配多用户情况下的手势识别。如图 7 是经过滤波和归一化处理后的数据。图6 滤波前的手指弯曲数据图7 滤波后的手指弯曲数据3.2.2 服务端程序设计图8 服务端程序设计服务端程序设计如图 8 所示，初始化时，加载训练好的 SVM 模型和 ANN 模型并且初始化套接字，等待图5 手套端程序 2023.8电子产品世界设计应用Design&Application智能应用数据报。接收数据报后，对数据进行预处理，判断数据是否来自动态手势，若不是，则将数据放入线性分类器进行处理，显示结果；若数据来自动态手势，则放入列表，循环“采集-堆栈”该操作，直至动作结束，将数据缩放后放入 ANN 模型，得出结果。服务端基于 Python 的 Web 应用程序框架 Streamlit搭建，如图 9 所示，数据处理的结果可以实时呈现。3 测试方案与测试结果为了测试设计的识别准确率和可靠性，我们邀请200 位受试者以 20 人为一组分为 AJ 共计 10 组进行测试，得出每组的平均正确率如表 2 所示。表格 2 测试分组正确率受试者ABCDE平均正确率PxCi()89.6%92.1%91.2%90.5%91.4%受试者FGHIJ平均正确率PxCi()91.1%92.0%90.8%91.7%89.8%测试者平均识别正确率：PC=Px10Ci()91.02%（1）方差：S=PxPxCiC()()1020.0012（2）可见本设计具有良好的识别准确率和可靠性。但测试者所做手势准确与否、数据库数据量等会对测试结果造成一定影响。4 结束语本文设计并实现了一种适用于手语采集与输入的智能手套及翻译系统，硬件和软件经测试均可正常运行并达到良好的准确性和稳定性，实现了识别准确率高达 91.02%方差仅为 0.0012.手套功耗仅为 0.32 W，资源利用率为 59.3%，采集速率达到模块理论上线，硬件成本可以控制在 296 元。本设计能很好的解决聋哑人的日常沟通问题帮助他们更多的参与社会生活，并且可用于教学用途，辅助学习者更快、更规范地学好手语。参考文献：1 张军,张孔,杨正瓴.基于计算机视觉的多特征手势识别J.计算机应用与软件,2016,33(6):151-154+189.2 鲍磊,罗志增,席旭刚,等.融合表面肌电和加速度的手势动作识别J.传感技术学报,2019,32(12):1843-1848+1863.3 张仁永,王小红,卢瑛.基于STM32的手语翻译手套设计J.现代工业经济和信息化,2020,10(3):46-47+54.4 白旭,郭豆豆,杨学康,等.基于低纬度SVM决策树算法的智能手语翻译手套J.科技视界,2020(17):33-36.5 吴桐.基于弹性传感器的手势识别技术研究D.哈尔滨:哈尔滨工业大学,2021.6 张维.基于神经网络的手语翻译系统研究D.南昌:江西财经大学,2018.7 余永乐,闫文山,林雨凡,等.基于单片机的多功能智慧型手语翻译手套研究J.电子世界,2018(8):61-62.8 许亭亭.基于卷积神经网络的手势估计的研究与应用D.扬州:扬州大学,2022.9 闫世洋.基于计算机视觉的动态手势识别方法D.南京:南京邮电大学,2018.10 罗扬镖.基于计算机视觉的手势识别技术研究D.北京:北京邮电大学,2021.图9 服务端页面