基于多模态深度学习算法的帕金森辅助诊断系统.pdf

物联网技术 2023年/第8期 iCAN论坛 iCAN Forum2山东大学潘煜东，施政良，马志远，徐 颖，黄思瑜，贾智平摘 要：本项目针对帕金森病诊断过程中存在的临床诊断难、诊断率低的难题，开发基于多模态深度学习的帕金森辅助分级诊断系统。利用各类传感器和多模态深度学习算法，将从被测试者处采集到的步态视频信息、发音信息以及四肢传感器信息进行特征提取；经多模态深度学习训练得到帕金森辅助诊断模型，实现对受试者的自动诊断。本项目不仅能为专业医生诊断提供受试者特征信息，还可以为社区、养老院提供低成本、多频次的帕金森早期筛查，帮助患者早发现、早治疗。关键词：多模态深度学习；帕金森；辅助诊断；智慧医疗基于多模态深度学习算法的 帕金森辅助诊断系统1 作品简介本项目综合利用各类传感器和多模态深度学习算法，对采集到的步态视频信息、发音信息以及静止和行进状态下的四肢摆动信息进行特征提取等预处理；此后将这些完成预处理的数据作为 3 个模态的信息（步态视频、发声音频、惯性传感器运动学数据）输入到经多模态深度学习训练得到的帕金森辅助诊断模型中，即可得到对该被检测者的诊断结果。诊断结果包含以下内容：（1）判断待测者是否为高风险疑似患者；（2）分级判断疑似患者的病情严重程度；（3）对疑似患者给出推荐，匹配相应综合医院进行进一步检测。本项目针对当前帕金森病诊断难的痛点，综合考虑帕金森临床症状的多个方面，使用多模态深度学习算法得到模型，同时兼顾多项临床症状，当被检测者只有部分特征符合帕金森临床症状时，模型也能得到相对正确的诊断结果。产品采用可穿戴式传感器及跟随机器人采集多模态数据，以非侵入式模式采集病人数据，方便快捷，病人只须往返行走 10 m 左右并发声，产品即可收集到全部所需数据。实物及穿戴展示如图 1 所示。模型基于深度学习的帕金森病辅助诊断技术，将病理学原理融入到时下发展日渐成熟的深度学习算法，充分利用已确诊患者的各种数据，提取出帕金森病患者的行为特征，进而对患者做出鉴别和诊断。这种辅助诊断技术可以提供给医生量化的指标，帮助医生区分各种相似疾病的细微差别，做出更加合理的诊断。图 1 实物及穿戴展示产品不仅可用于社区医院初步筛查，更可装备于家庭复健辅助设备，降低操作者对于专业生理知识的要求，内嵌生理医学知识，可以直接给出量化诊断结果，操作简单，结果明了。2023年/第8期 物联网技术iCAN论坛 iCAN Forum32 技术原理本系统基本运行流程如图 2 所示。系统主要由三轴陀螺仪传感器、传声器、摄像头、客户机（树莓派）、自跟随小车、云平台、交互系统等组成。其中三轴陀螺仪传感器用于采集被检测者的手部和四肢的振动幅度、振动频率等信息，包括静止过程和行进过程两种状态；传声器用于收集被检测者阅读某些特定音节的音频信息；摄像头用于收集被检测者在行进过程中的步态、步频、手臂摆动等特征信息。三类传感器收集到不同场景下的数据后，将数据传输到客户机，由客户机首先对传入的音频、视频等数据进行预处理，例如去除音频信息中与研究目的不相关的无用数据（噪音），对语音信号进行滤波、采样和量化、加窗等处理；对于音频、视频数据，提取出后续训练需要的特征。最后将数据通过 4G/5G 模块上传到云平台，根据多模态深度学习构建的模型进行诊断结果的预测，生成检测报告，检测报告可以包括该被检测者是否患有帕金森的预测，如果预测患有帕金森，可以预测其属于帕金森的何种阶段，例如帕金森一期、帕金森二期等。此外，我们也可以将原始的音频、视频等数据直接由客户机上传到云平台，在云平台进行特征的提取，进而通过使用训练得到的模型生成诊断结果。3 创新点及应用前景本产品的创新点如下：（1）中老年人群的低成本检测手段帕金森病作为一种中老年期常见的神经退行性疾病，误诊率高，治疗费用昂贵，长期监测和护理需求成为消耗国家医疗资源的“黑洞”。从患者个人分析，我国人均医疗卫生费用不高，无法与发达国家相提并论，现行的帕金森病诊断方式会给患者的家庭造成沉重的经济负担，成为患者治疗道路上的一大阻碍。本项目提出的基于多模态深度学习的帕金森辅助诊疗技术，通过采集被测者的步态视频信息、发音信息以及静止和行进状态下的四肢摆动信息，可以在无专业医师的干预下做出初步判断。相比于传统的就诊模式，可以有效减少患者检测的开销，减轻相应医疗资源压力。（2）社区、养老院等机构大范围、高频率排查的有效工具本项目提出的帕金森病辅助诊疗技术，诊断周期短，将复杂的病理学原理封装起来，提供给使用者简单易懂的操作流程，降低了对专业医护人员的依赖性。本项目产品的使用成本低，适合于大范围内的高频率筛查，在老年人口密集的地区做到有效筛查。（3）医院诊断的参考依据基于深度学习的帕金森病辅助诊断技术，将病理学原理融入到时下发展日渐成熟的深度学习算法，通过充分利用已确诊患者的各种数据，提取出帕金森病患者的行为特征，进而对患者做出鉴别和诊断。这种辅助诊断技术可以提供给医生量化的指标，帮助医生区分各种相似疾病的细微差别，做出更加合理的诊断。综合上述创新点，进行了项目产品的市场分析，如图 3所示。图 3 产品的市场分析在本产品的市场开发过程中，可直接对接社区、养老院、医院、软硬件厂商以及相关政府部门作为重要的合作伙伴，通过在社区和养老院宣传，吸引中老年群体客户；与医院合作，为医生提供数字化支持；与政府共建惠民工程，以此打通销售渠道。本产品作为智能化的帕金森病检测手段，能够为患者、医生等用户提供极大的便利，市场前景较好。图 2 系统基本运行流程