基于多传感器融合的人体跌倒检测系统.pdf

收稿日期：2023-04-30基金项目：国家自然科学基金项目(61901514)作者简介：周乐(1982-)，男，讲师，主要从事光电传感与微波技术研究通信作者：陈一畅(1988-)，男，讲师，博士，主要从事雷达成像与目标识别研究E-mail:cyc_第37卷 第2期2023年4月空 天 预 警 研 究 学 报Journal of Air&Space Early Warning ResearchVol.37 No.2Apr.2023基于多传感器融合的人体跌倒检测系统周乐1，陈一畅1，刘铭哲2，朱超3（1.空军预警学院，武汉 430019；2.93277部队，沈阳 110141；3.93498部队，石家庄 050000）摘要：针对单一光学传感器或毫米波雷达传感器在人体跌倒检测应用中准确率受环境影响的问题，研制了一种基于电荷耦合元件(CCD)光学传感器和毫米波雷达传感器融合的人体跌倒检测系统该系统采用CCD光学传感器和毫米波雷达传感器同时对目标进行检测，得到的多传感器数据实现决策级融合检测实验结果表明，与单一光学传感器或毫米波雷达传感器检测相比，所研制的多传感器融合人体跌倒检测系统具有更好的环境适应性关键词：CCD光学传感器；毫米波雷达传感器；卷积神经网络；多传感器融合中图分类号：TN957.52；TP212文献标识码：A文章编号：2097-180X(2023)02-0129-07我国社会已进入老龄化，每年有三千万的老人出现跌倒情况1，跌倒在我国总体伤害死亡原因中排名第四，在 65 岁及以上的老年人中则居于首位，它已经成为老年人受伤的一个重要原因2跌倒检测可采用电荷耦合元件(CCD)光学传感器检测、毫米波雷达传感器检测等多种检测方法基于光学传感器的人体跌倒检测可以通过摄像头进行实时监控，对人体的姿态进行识别，利用设定的阈值或深度学习的方法来判断人体是否跌倒，具有成本低、扩展性强、方便快捷等特点3，但容易受到环境光线和室外天气等因素的影响毫米波雷达具有非接触、全天候等优点，既不会影响人们日常活动，也可以将人们的隐私保护起来4-5，但其检测精度易受到目标周围金属反射物的干扰多传感器信息融合(MSF)是指计算机利用来自多种不同种类传感器的信息和数据，通过某种特定的数据处理方法进行数据分析，为了达到一定目的而进行的信息处理过程6采用 MSF检测的方案，可以提高复杂环境下的检测准确率，因此研制了一种基于 CCD 光学传感器和毫米波雷达传感器融合的人体跌倒检测系统首先给出系统的硬件平台，然后分别阐述了其各子系统的检测算法及工作流程、融合检测加权算法及工作流程，最后就单一传感器检测和融合检测进行实验和对比分析1系统硬件平台人体跌倒检测系统硬件平台组成框图如图1 所示该系统包含 CCD 光学传感器和雷达毫米波传感器 2 个子系统光学传感器采用塔菲克 USB 外接 CCD 摄像头进行图像采集，该传感器支持 25921944 分辨率，具有视场范围广、透光率高等优点其工作过程如下：采用塔菲克CCD 摄像头对目标跌倒动作和姿态进行样本采样检测，检测到的图像由人工标注后送到笔记本电脑进行数据存储；制作训练集和测试集，通过GPU 计算得到人体跌倒检测的训练模型；最后采用训练模型进行目标跌倒的实时检测 塔菲克C C D 光学传感器光学检测算法模块人体跌倒识别输出I WR 6 8 4 3毫米波雷达传感器毫米波雷达检测算法模块数据采集模块融合检测模块数据采集模块多传感器融合检测系统图 1人体跌倒检测系统硬件平台组成框图毫米波雷达传感器为采用 TI 公司毫米波雷达 IWR6843 的四创智能雷达技术实验系统，包括雷达半实物系统、毫米波宽带雷达平台、雷达目标数据管理与智能处理算法支撑软件平台，配套导轨平台作为支架，同时配套设备支架等环境其工作过程如下：根据目标距离和方位设置毫米波雷达采样参数(包括工作频率、采样频率、调制带宽及采样时长等参数)，对目标进行探测并经快速傅里叶变化得到时频图，将时频图送至卷积DOI:10.3969/j.issn.2097-180X.2023.02.010空 天 预 警 研 究 学 报2023年130神经网络(CNN)进行特征提取，然后训练获得毫米波雷达人体跌倒预测模型，最后实时采集目标姿态数据并处理获取时频图后进行跌倒判别2系统的人体跌倒检测算法及工作流程多传感器融合人体跌倒检测系统包括光学传感器和毫米波雷达传感器 2 个子系统，分别采用了 YOLOv5 算法和 7 层 CNN 进行人体跌倒检测，然后再采用决策级的线性加权融合算法进行融合检测2.1CCD光学传感器子系统人体跌倒检测CCD 光学传感器人体跌倒检测子系统所采用的目标检测算法是一种基于 CNN 的 YOLOv5算法YOLOv5 算法的网络结构主要由输入端、Backbone、Neck、输出端 4 个部分组成7-9，各部分功能如下：输入端利用马赛克拼图算法(Mosaic)进行数据增强来提高检测速度以及检测精度，然后利用自适锚框以及自适应图片缩放；Backbone主要包含 Focus 切片处理、跨阶段对等(cross stageparity,CSP)结构，具有切片下采样的功能；Neck模块通常被用于将不同层级的人体动作姿态特征图结合起来，生成具有多尺度信息的人体动作姿态特征图，以提高目标检测的准确率；输出端由预测框、分类损失函数和非极大抑制组成，用来评判加测效果，主要负责对骨干网络提取的特征图进行多尺度目标检测其检测过程如图2 所示利用 CCD 光学传感器进行人体跌倒检测主(a)未处理的原图(b)Mosaic 数据增强后的图片(c)输出检测结果与实际框比较图 2YOLOv5 算法人体跌倒的检测过程要步骤为：搭建 YOLOv5 算法模型环境框架，制作数据集；使用标注软件开始标注数据集，打上标签；选择 YOLOv5 作为权重对标注好的数据集进行训练，设置迭代次数开始训练；得到人体跌倒检测权重模型，进行测试验证2.2毫米波雷达传感器子系统人体跌倒检测毫米波雷达传感器子系统收集到目标的回波信息后，对回波信息进行动目标显示(MTI)、脉冲压缩、时频变换等处理后得到时频图，将时频图输入到 CNN 检测网络中进行检测，判断人体是否跌倒10-11图 3 为 3 种跌倒动作的毫米波雷达回波时频图(a)面向雷达(b)背向雷达(c)目标周围有金属反射物图 33 种跌倒动作的毫米波雷达回波时频图采用一个 7 层 CNN 对跌倒动作进行检测识别网络输入数据为雷达回波处理后的时频图，网络结构图如图 4 所示其中 CNN 包含 3 个卷积层、2个最大池化层、2个全连接层，在每一个卷积层和全连接层后面加入 ReLu 函数作为激活函数12经过训练后的 CNN 可以对检测数据做出2 5 0输入层卷积核2 5 0552 4 62 4 66221 2 31 2 36卷积层池化核池化层卷积核551 1 91 1 91 6卷积层22池化核5 95 91 6池化层全连接层8 42输出层5 55 56 455卷积层卷积核图 47 层 CNN 结构第2期周乐，等：基于多传感器融合的人体跌倒检测系统131跌倒判断利用毫米波雷达进行人体跌倒检测的主要步骤为：根据标注的人体跌倒时频图制作训练数据集，训练检测模型；毫米波雷达检测回波信号后经过处理获得时频图；时频图输入到CNN检测网络中进行推理，并进行检测判断；输出人体是否跌倒的判断结果2.3多传感器决策级融合检测多传感器融合可分为 3 种层次的融合：数据级融合、特征级融合和决策级融合13系统采用的是决策级层次的融合决策级融合的层级位于高层级，CCD 光学传感器和毫米波雷达传感器分别在识别到人体跌倒后进行特征提取得到特征向量，最后进行决策决策级融合框图如图5 所示目标光学传感器特征提取识别特征提取毫米波雷达特征提取识别决策图 5决策级融合框图1)多传感器线性加权融合算法把 CCD 光学传感器和毫米波雷达传感器融合后的系统看作为线性系统14，采用加权平均法将多个传感器的检测数据进行线性组合，不同传感器得到的结果乘以一个赋予它的权重系数再将它们相加得到融合后的检测结果设有 n 个传感器，其输出信号为xi(i=1n)，分配权重系数为wi(i=1n)，且i=1nwi=1，则n 个不同传感器融合后的检测结果 y 为y=x1w1+x2w2+xnwn=i=1nxiwi(1)使用 CCD 光学传感器和毫米波雷达传感器进行融合，所以n=2假设w1为光学传感器权重，x1为光学传感器检测结果；w2为毫米波雷达传感器权重，x2为毫米波雷达传感器检测结果，故融合后的检测结果为y=x1w1+x2w2(2)融合后的分配权重系数关系满足w1+w2=1，代入到融合后的检测结果 y 中，并经过合并同类项后，得到检测结果为y=(x1-x2)w1+x2(3)2)多传感器加权融合参数选取由式(3)可知，融合检测加权算法即确定各传感器的权重参数一般亮光环境下，CCD 光学传感器权重w1的取值范围为 0.51.0，而暗光环境中 CCD 光学传感器的检测准确率会受到影响，但毫米波雷达传感器几乎没有影响，因此权重赋值时需要提高毫米雷达传感器的权重值如果暗光环境中目标周围又存在金属反射杂物，此时毫米波雷达传感器的检测准确率也会下降，需要相应地调整权重赋值因此，权重w1的确定要根据实际环境和检测准确度的要求综合确定检测门限阈值 G 作为是否发生人体跌倒事件的门限阈值，当检测结果yG时，即判断跌倒若 G 设置较低，则样本质量较差，检测结果的置信度则较低；若 G 设置较高，检测结果的置信度提高，但会导致召回率降低，检测不到部分目标样本，影响检测准确度15因而需根据实验采集的实际跌倒数据样本来确定 G3)多传感器融合系统工作流程多传感器融合系统工作流程如图 6 所示，主要步骤如下：Step 1 同一时刻下，2 种传感器通道同时开始检测，CCD 光学传感器进行数据采集获得光学图像，毫米波雷达传感器进行数据采集并处理得到时频图；Step 2 光学传感器通道利用 YOLOv5 算法进行图像检测，毫米波雷达传感器利用对应的 CNN算法进行时频图的检测；Step 3 设置各自的检测门限；Step 4 采用各自 CNN 算法训练模型分别作为跌倒姿态识别器和跌倒时频图识别器进行检测(光学传感器训练模型为 CNN-1，毫米波雷达传感器训练模型为 CNN-2)；Step 5 将光学传感器和毫米波雷达传感器的检测结果进行决策级平均加权得到融合后的检测结果 y，将检测结果与设置的检测门限阈值G 进行比较判断当前目标是否跌倒摄像头数据采集获得光学图像利用Y O L O v 5 算法检测跌倒图像设置检测门限跌倒姿态识别器C N N-1训练毫米波雷达数据采集得到时频图利用C N N 进行时频图检测跌倒时频图识别器C N N-2训练2 种传感器的检测结果进行决策级平均加权当前目标跌倒加权结果y 大于检测门限G下一张图像下一张时频图设置检测门限图 6多传感器融合系统工作流程3实验结果分析系统硬件平台实物如图7所示CNN模型训练采用英伟达GPU(NVIDIA GERORCE GTX 1660-Ti)，版本为 NVIDIA CUDA 11.6.134实验内容有空 天 预 警 研 究 学 报2023年132CCD 光学传感器子系统人体跌倒检测实验、雷达毫米波传感器子系统人体跌倒检测实验和多传感器融合实验图 7系统硬件平台实物3.1CCD光学传感器子系统人体跌倒检测实验利用开源数据集 fall-detection-dataset，标注工具为 labelimg，并将标注的 xml 格式转化成 txt 格式，将数据集划分为 7 3 的训练集和测试集该数据集包含 191 个视频，帧速率为 25 帧/s，分辨率为 320240 像素，可以检测跌倒、坐姿和站姿3 种人体姿态，如图 8 所示(a)跌倒(b)坐姿(c)站姿图 8跌倒、坐姿和站姿及其标注1)不同姿态识别准确度为了检测训练模型对不同动作的检测准确度，收集并制作了一个 300 张图片的数据集，其中跌倒、坐姿、站姿图片各 100 张测试模型对 3种不同的动作姿态进行检测，结果为跌倒、坐姿和站姿的准确度分别可达到 90%、95%和 98%2)不同光线环境对人体跌倒识别检测在不同程度光线照明环境下对目标动作识别检测结果比较分析如图 9、图 10 所示由图9、图 10 可知，充足光线环境时检测结果的置信度(分别为 0.92 和 0.92)高于昏暗环境时检测结果(分别为 0.85 和 0.77)，置信度越高表明模型判定为跌倒的情况越为准确，即检测的准确度越高因此，实验结果表明不同程度的光线环境会对目标人物跌倒检测造成一定影响，导致检测准确率下降(a)置信度为 0.92(b)置信度为 0.92图 9光线充足环境下的检测结果(a)置信度为 0.85(b)置信度为 0.77图 10昏暗环境下的检测结果3.2雷达毫米波传感器子系统人体跌倒检测实验毫米波雷达传感器子系统进行人体跌倒回波数据采集时，设置参数如下：工作频率为 77GHz，带宽为 1500 MHz，调频斜率为 30 MHz/s，调频周期为 0.06ms，单帧持续时间为 1ms，每周期发射采样点数为 256，每次采集时间为 10 s实验中采用单名测试者随机方向、随机姿势跌倒，共获得 460 组数据，进行信号处理后得到 460 张跌倒时频图1)不同跌倒方向检测实验为了测试毫米波雷达人体跌倒检测子系统的性能，设定面向雷达跌倒、背向雷达跌倒和目标人体周围有金属反射杂物时的 3 种情境下跌倒实景，3 种情境各 100 张，如图 11 所示(a)面向雷达(b)背向雷达(c)杂物 1(d)杂物 2图 11毫米波雷达子系统测试实景由图 11 可知：面向雷达和背向雷达的跌倒检测准确率分别为 97%和 98%(此时检测置信度均大于 0.90，取G=0.90)在目标周围没有第2期周乐，等：基于多传感器融合的人体跌倒检测系统133金属反射杂物时，其检测准确率较高，检测的准确率与跌倒方向相关性较小2)反射杂物环境条件下检测实验当人体周围有金属反射杂物时，雷达接收机接收到的回波中含有较多杂波，最后呈现在时频图上，会造成像素分布不均匀且杂波分布没有规律，导致 CNN 难以提取特征向量，造成检测准确率下降目标周围有金属反射杂物环境下，毫米波雷达传感器子系统进行多次跌倒检测的结果如图 12 所示由图 12 可看到，置信度分布在0.70 0.85 之间，相较于没有杂物时已经显著降低经过多次实验，设置G=0.75，即置信度大于0.75 则判定为跌倒，得到检测的准确率为 77%01 0 00.20.40.60.8置信度检测序号8 06 04 02 0图 12有杂物时置信度结果3.3多传感器融合实验1)光线昏暗环境在环境光线较昏暗时，采用毫米波雷达传感器对 CCD 光学传感器的人体跌倒检测进行补充，进行双传感器融合检测实验实验的变量为不同环境光线场景：室内有灯光和室内无灯光两种场景每一种场景收集 100 组数据，检测结果如图 13 所示单一传感器检测条件下，光线昏暗环境中毫米波雷达传感检测的置信度和稳定性要优于光学传感器检测01 0 00.20.40.60.8置信度检测序号8 06 04 02 01.0C C D 光学传感器毫米波雷达传感器(a)室内有光01 0 00.20.40.60.8置信度检测序号8 06 04 02 01.0C C D 光学传感器毫米波雷达传感器(b)室内无光图 13不同传感器跌倒检测结果融合检测即根据具体环境和检测实验数据确定各传感器权重参数设置光学传感器权重w1的赋值范围为 0.01.0，步长为 0.2，根据检测门限与融合结果进行投票，大于等于 G 的用 1 表示，小于 G 的用 0 表示由于光线昏暗条件下光学传感器的检测置信度迅速下降，综合比较取G=0.70为该场景下的检测门限阈值检测结果如图 14 所示，投票结果如表 1 所示01 0 00.7 80.8 20.8 60.9 0y检测序号8 06 04 02 00.9 40.9 801 0 00.20.40.60.8y检测序号8 06 04 02 01.0(a)w1=0.0(b)w1=0.201 0 00.20.40.60.8y检测序号8 06 04 02 01.001 0 00.20.40.60.8y检测序号8 06 04 02 01.0(c)w1=0.4(d)w1=0.601 0 00.20.40.60.8y检测序号8 06 04 02 01.001 0 00.20.40.60.8y检测序号8 06 04 02 01.0(e)w1=0.8(f)w1=1.0图 14不同权重融合结果表 1室内无光融合投票结果权重w10.00.20.40.60.81.0投票结果/次V=1(跌倒)1009952464140V=0(非跌倒)0148545960比较各权重值下检测投票结果：w1=0.0时，考虑到毫米波雷达在有金属反射杂物条件下存在检测置信度下降的问题，w1取值在 0.2 附近因而，初步选取w1的权重取值范围在 0.120.32之间下面以步长为 0.04 对 0.120.32 进行权重再细分，仍取G=0.70为检测门限阈值并对融合结果进行投票，以获得昏暗光线环境下融合检测的最佳权重参数检测结果如图 15 所示，投票结果如表 2 所示由表 2 可知，光线昏暗条件下光学传感器的权重赋值越小越好，但综合考虑到毫米波雷达在空 天 预 警 研 究 学 报2023年13401 0 00.20.40.60.8y检测序号8 06 04 02 01.001 0 00.20.40.60.8y检测序号8 06 04 02 01.0(a)w1=0.12(b)w1=0.1601 0 00.20.40.60.8y检测序号8 06 04 02 01.001 0 00.20.40.60.8y检测序号8 06 04 02 01.0(c)w1=0.20(d)w1=0.2401 0 00.20.40.60.8y检测序号8 06 04 02 01.001 0 00.20.40.60.8y检测序号8 06 04 02 01.0(e)w1=0.28(f)w1=0.32图 15细化权重融合结果表 2细化权重投票结果权重w10.120.160.200.240.280.32投票结果/次V=1(跌倒)10010099875454V=0(非跌倒)001134646有金属反射杂物条件下存在检测置信度下降的问题，选取w1=0.20作为光线昏暗条件下光学传感器权重赋值，此时毫米波雷达传感器权重w2=0.802)目标周围存在金属反射杂物当目标周边存在金属反射杂物时，采用 CCD光学传感器对毫米波雷达传感器的人体跌倒检测进行补充，进行双传感器决策级融合检测实验不同光线环境中毫米波雷达传感检测的置信度和稳定性要优于光学传感器检测，因此毫米波雷达权重w2的赋值范围取 0.51.0设置权重步长为 0.1，G=0.75，得到检测结果，如表 3 所示由表3可知，w2=0.6时对应的检测准确率最高进一步细分步长，以获得最佳的融合检测权重赋值w2设置步长为 0.02，得到检测结果如表 4 所示由表 4 可知，目标周围存在金属反射杂物条件下多传感器融合检测时的w2最佳值约为 0.62，对应的检测准确率为 94%；相较于单一毫米波雷达传感器检测，融合检测的准确率为77%，较大提高了检测准确度表 3目标周围存在金属反射杂物条件下不同权重w2下融合检测结果权重w2准确度/%0.5920.6930.7910.8880.983表 4目标周围存在金属反射杂物条件下细化权重后融合检测结果权重w2准确度/%0.52920.54920.56920.58920.60930.62940.64930.66924结论1)基于 CCD 光学传感器与毫米波雷达传感器的多传感器融合人体跌倒检测系统硬件平台，阐述了检测算法及其工作流程在实现传感器融合的过程中，对不同传感器得到的跌倒检测数据进行决策级加权平均融合，并通过融合检测实验找到最符合实际环境要求的融合权重参数2)实验结果表明，相比于单一光学传感器检测，与毫米波雷达传感器融合后减小了不同光线环境对人体跌倒检测的影响，提高了在昏暗环境下的跌倒检测概率；相比于单一毫米波传感器检测，与 CCD 光学传感器融合后提高了目标周围存在金属反射杂物条件下人体跌倒检测准确率通过多传感器融合检测，提高了人体跌倒检测的准确率和环境适应性3)系统主要针对单人跌倒的情景进行融合检测，后续将对多人跌倒情景下的多目标融合检测进行实验研究参考文献：1谷应雯,尚越.中国失能老人照护模式选择及其影响因素分析:基于非正式照护与正式照护的关系J.卫生经济研究,2021,38(1):54-57.2宋振兴,姚俊明.基于智能手表的跌倒检测系统在养老院应用J.医学信息杂志,2019,40(5):15-18.3杨雪琪,唐旭,章国宝,等.基于YOLO网络的人体跌倒检测方法J扬州大学学报(自然科学版),2019,22(2):61-64.4张格菲,李春宇,刘金坤,等.基于YOLOv5的毫米波图像目标检测方法研究J.宇航计测技术,2021,41(5):41-45.5孙济舟,于大泳.基于毫米波雷达的跌倒方式实时检测方法研究J.软件导刊,2022,21(2):101-108.6简小刚,贾鸿盛,石来德.多传感器信息融合技术的研究进展J.中国工程机械学报,2009,7(2):227-232.7武历展,王夏黎,张倩,等.基于优化YOLOv5s的跌倒人物目标检测方法J.图学学报,2022,43(5):791-802.8周洪成,杨娟,徐志国.基于YOLOv5算法的人体跌倒检测系统设计J.金陵科技学院学报,2022,38(2):22-29.9闫颢月,王伟,田泽.复杂环境下基于改进YOLOv5的手第2期周乐，等：基于多传感器融合的人体跌倒检测系统135势识别方法J.计算机工程与应用,2023,59(4):224-234.10 元志安,周笑宇,刘心溥,等.基于RDSNet的毫米波雷达人体跌倒检测方法J.雷达学报,2021,10(4):656-664.11 姚泽鹏,汤子跃,孙永健,等.基于卷积神经网络的人体动作识别方法J.空军预警学院学报,2020,34(5):360-364.12 CHEN Yichang,WANG Wantian,LIU Qiyong,et al.Humanactivityclassificationwithradarbasedonmulti-CNNinfor-mation fusionC/Proceedings of IET International RadarConference.Chongqing,2020:538-543.13 徐伟华,黄旭东,蔡可.基于粒计算的多源信息融合方法综述J.数据采集与处理,2023,38(2):245-261.14 路谦.基于投票方式的模板法传感器融合策略的研究与应用D.天津:河北工业大学,2009:10-14.15 付琳.基于雷达与红外传感器数据融合技术研究与仿真实现D.南京:南京航空航天大学,2015:41-43.Human fall detection system based on multi-sensor fusionZHOU Le1,CHEN Yichang1,LIU Mingzhe2,ZHU Chao3(1.Air Force Early WarningAcademy,Wuhan 430019,China；2.No.93277 Unit,the PLA,Shenyang 110141,China；3.No.93498 Unit,the PLA,Shijiazhuang 050000,China)Abstract：Aimed at the problem that the accuracy of single optical sensor or millimeter wave radar sensor inthe application of human fall detection is affected by the environment,a human fall detection system based oncharge-coupled device(CCD)optical sensor and millimeter wave radar sensor is developed.The system usesCCD optical sensor and millimeter wave radar sensor to detect the target at the same time,and the obtainedmulti-sensor data realizes decision-level fusion detection.The experimental results show that compared with thesingle optical sensor or millimeter wave radar sensor,the developed multi-sensor fusion human fall detection sys-tem has better environmental adaptability.Key words：CCDopticalsensor；millimeterwaveradarsensor；convolutionalneuralnetwork(CNN)；multi-sen-sor空天预警研究学报 声明近期有不法分子利用伪造网站和私人邮箱冒充我刊和编辑人员收取作者审稿费、版面费等相关论文发表费用特此郑重声明，本刊目前没有官方网站，不收取作者任何费用(包括审稿费、版面费等)，敬请广大作者通过我刊公布的邮箱投稿，如有问题及时电话联系，谨防受骗为强化学术诚信意识，维护学术期刊的严肃性和科学性，并向广大读者负责，本刊一直以来都利用“科技期刊学术不端文献检测系统(AMLC)”对所有来稿进行学术不端检测，论文复制比应不超过 20%空天预警研究学报 编辑部