1、-53-CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2024中国科技信息 2024 年第 3 期航空航天随着航空航天安全管控技术的高速发展,机场跑道小目标 FOD(外来物体碎片,即异物)的检测及清理是航空安全领域的最关键问题之一,这一环节对于维护机场的安全运行至关重要。当前,大部分国内外军用和民用机场仍然依赖于传统的人工巡检方式,检测机场道面上的小目标 FOD。然而,这种方式受到多种因素的影响和制约,包括机场道面环境的多样性、技术人员的主观意识以及时间成本等。这些问题容易导致漏检或误检的情况,从而使小目标 FOD 被强力吸入飞机发动机或者导致飞机轮
2、胎被划破,进而损坏飞机的关键部件,引发重大安全事故,造成无法想象的生命威胁和财产损失,无法严格确保机场的安全运行。因此,设计一种机场智能小目标 FOD 地检系统对于航空业的安全、高效和快速发展具有重要的现实意义。本文设计的机场智能小目标 FOD 地检系统与现有的机场道面 FOD 地检系统进行了对比分析。相比之下:现有的一些检测系统在设计上过于追求高精度,导致检测速度较慢。而本系统采用了融合毫米波雷达与可见光相机数据高精度视觉系统的结构设计,实现了更快的检测速度,特别是对于小目标 FOD 的检测和识别。另外,现有的一些检测系统存在实时性不足的问题,而本系统采用了基于 GPS 导航的自主运动与执行
3、清理的地检机器人系统,能够满足机场道面小目标 FOD 检测需要高精度和高实时性的需求,从而在一定程度上减少漏检、误检等现象的发生。小目标 FOD地检系统目标与任务本文针对全天候、多场景复杂环境下机场道面小目标FOD 存在漏检、错检的风险问题,从影响飞机安全起降的关键问题出发,设计和研发了一套机场智能小目标 FOD 地检系统,实现对机场道面小目标 FOD 进行实时检测、实时识别、实时清理的目标。本地检系统通过 GPS 导航,沿着预先规划好的线路轨迹进行巡检,在运动过程中,利用高精度毫米波雷达和高清高速专业工业相机对道面进行地检。当检测到异物时,对异物进行三维定位,进而引导机械机构对其进行移除,并
4、记录操作历史。本系统实施后,预期达到如下具体目标。构建一套融合毫米波雷达与可见光相机数据高精度视觉系统,对机场道面的小目标 FOD 进行检测与定位。该系统在注重高效构造的同时,还能保证较高的精确度,以满足用户对小目标 FOD 的清理任务需求。行业曲线开放度创新度生态度互交度持续度可替代度影响力可实现度行业关联度真实度机场智能小目标 FOD 地检系统设计洪 刚 任怡青 侯晓婧洪 刚1 任怡青2 侯晓婧31.中国飞行试验研究院2.西安交通大学3.中航西安飞机工业集团股份有限公司洪刚(1988),陕西,研究生,现从事飞行场务工程保障技术研究及机场运行管理研究工作。中国科技信息 2024 年第 3 期
5、CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2024-54-航空航天构建一套基于 GPS 导航,能够自主运动与执行清理的巡检机器人系统。移动机器人(UGV)转向精度控制在0.5,末端速度 2.0m/s,机械臂工作范围 600mm,行进速度 0 15km/h,停止角度精度控制在 2,停止位置精度控制在 10mm。小目标 FOD地检系统方案设计智能小目标 FOD 地检系统主要由毫米波雷达及高清图像传感器、智能移动平台、智能异物移除系统、嵌入式视觉信息处理平台及中央控制系统组成。该系统设计方案的实施路线流程管控,包括以下六个方面。系统硬件集成及调试首先,
6、组装移动机器人(UGV)和机械臂系统;随后,需要进行一系列的检查确认和调试,包括毫米波雷达安装确认、高清高速工业相机安装确认和末端吸取装置气路线路确认;包括毫米波雷达调试、高清高速工业相机调试、机械臂通电调试、工控机调试、UGV 小车供电调试;以及UGV 电路集成和机械载壳设计安装集成;最后,进行状态电路调试。系统 UGV 导航路径规划与 GPS 导航算法常见的导航方式分两大类:自主导航和外部导航。自主导航是指通过传感器等设备获取周围环境信息资料,从而决定其运行方向和路径的方式。外部导航则是指通过接受外部信号(如 GPS、北斗等)来决定运行方向和路径的方式。本系统结合机场基本现状和机场道面 F
7、OD 检测工作实际情况,分析探讨了车外预定路径方式和非预定路径导航方式两种路径方式,最终采用车外预定路径方式,即采用磁条导航。车外预定路径方式:是指在预定的行使路径上设置导航信息媒介物,移动机器人(UGV)通过检测并读取这些媒介物的信息来获取导向,如视觉二维码,磁条导航,电磁导航等技术;非预定路径导航方式:是指移动机器人(UGV)利用其存储的局部尺寸坐标信息,根据对特种车辆车体当前方向的识别,自主地选择行驶路径的导航方向,这种导航方式通常包括激光导航等手段。本系统采用磁条导航,通过磁带感应信号实现实时引导,通过磁导传感器和磁条以及地标传感器和地标,接受引导系统的方向信息,通过导引系统和地标传感
8、器,可以执行前进、后退、转弯等技术动作。相对于采用激光导航、惯性导航的移动机器人(UGV),采用磁条导航的移动机器人(UGV)有很多优势,尤其是磁条导航的路径磁带的铺设相对简单。本系统可提前规划好移动机器人(UGV)的检测导航路径来实施机场道面巡检工作。即首先,地检系统规划好巡检路线;然后规划出关键点位;最后,移动机器人(UGV)以关键点位为目标,利用 GPS 进行导航,按蛇形走位实施机场道面巡检工作。例如:现有机场跑道长 4 000m,宽60m,地检宽度在 5m,则移动机器人(UGV)需要来回共走 12 趟。系统视觉检测及位置定位本系统视觉检测的首要任务是确定需要检测目标物体在输入数据中的位
9、置。本系统设计方案拟联合基于 2D RGB图像的方法与基于 3D 点云的方法对完成机场道面小目标FOD 监测定位任务。在本系统移动机器人(UGV)运动过程中,固定在机场特种作业车辆上的毫米波雷达对机场道面目标区域进行重点扫描,同时高清高速工业相机对机场道面目标区域进行连续快速拍摄,根据其安装的相对位置,将场景中的信息融合,生成了位置信息。通过双分支的特征提取算法对 RGB-D 数据进行数据融合,其中一路网络分支负责对 RGB 信息的特征进行提取,另一路网络分支负责对 Depth 信息进行特征处理,利用融合特征信息对机场道面进行前景和背景的分离,进而检测小型异物目标。对于分割后的 RGB-D 数
10、据转换成点云数据,然后基于深度学习的方法对分割的点云数据提取特征算子,再通过粗配准(RANSAC)和精配准(ICP)对进行点云配准,由此可以获取到目标的位置以及抓取区域。对于检测到的异物目标,首先,使用外包络框对其进行二维定位,再将分离后检测框中的 RGB-D 数据转换成点云数据,生成三维检测框;随后,计算出检测到的异物目标精确的三维位置信息;最后,移动机器人(UGV)将其移除。系统机械臂控制算法本系统机械臂的运动规划和控制涉及路径规划、轨迹规划、轨迹跟随和底层的电机控制。在移动机器人(UGV)运动过程中,高清高速工业相机的视野在不断变化,因此需要设计合理的机械臂控制算法,来实时的调整机械臂的
11、各个关节轴角度以及速度,确保待吸取、抓取目标一直在相机的视野中,一旦在视野范围内检测到目标,移动机器人(UGV)运动停止,机械臂开始运动,直到末端运动到指定可吸取目标的位置。清理目标的吸取算法及多目标策略和重新吸取策略目前移动机器人(UGV)主要的拾取方式:主要分为吸取和抓取,抓取不仅仅需要目标物体的位置信息,也需要位姿信息;而吸取则只需要目标物体的位置信息。移动机器人(UGV)在机场道面清理小目标 FOD,处置方式基本上是属于 2D 的平面吸取,吸取可以从各个角度去吸去。对于机场道面多检测目标的吸取流程:首先,对多个目标离地检移动机器人(UGV)的相对位置的距离进行排序;随后根据机械臂的工作
12、范围,选取在目前移动机器人(UGV)位置可以吸取的目标,先选取最近的目标,根据目标的三维检测框的位置信息,将机械臂末端的位置伸展到对应可以吸取该目标的位置范围,进行吸取;随后如果吸取失败,对末端位置进行微调,再次吸取,三次以上失败,则在原地重新用高清高速工业相机拍照和毫米波雷达扫描,重新定位。随后再次尝试吸取。然后再选择下一个目标进行吸取。同时,记录当前的移动机器人(UGV)的位置和姿态信息,导航到离下面一个目标适合吸取的距离,对周围机械臂工作范围内的目标进行吸取。最后,该机场目标区域内的目标全-55-CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2
13、024中国科技信息 2024 年第 3 期航空航天部清理完毕后,机器人(UGV)回到原来位置,继续前进进行扫描巡检工作。因此,移动机器人(UGV)在整个机场道面清理小目标FOD 过程中,机械臂需要视觉伺服系统,并需要设计合理的吸取算法以便找到合适的吸取点调动机械臂末端执行器进行吸取。同时也需要制定吸取失败时,重新吸取的策略。系统软件集成及调试软件集成主要包括:移动机器人(UGV)控制模块和导航模块、机械臂控制模块、末端吸取模块、高清高速工业相机模块、毫米波雷达的集成以及通信集成和系统集成。系统软件调试包括:单模块调试、GPS 导航模块、机械臂控制模块、末端吸取模块、工业相机模块、检测模块的调试
14、,以及毫米波雷达模块控制软件的调试;还包括整体调试,对整个软件进行调试,以及最后任务级别的调试。在开发软件算法的过程中,要保证程序的正确,需要不断地排除错误并通过硬件平台进行验证调试,从代码中删除错误、异常和 bug,其中调试方法包括:可以通过扫描代码以查找输入错误或使用代码分析器进行调试;可以使用性能分析器调试代码;也可以使用调试器进行调试。小目标 FOD地检系统需求分析与实施基于智能小目标 FOD 地检系统设计和研发的需求,本文以某试飞机场为例,分析并总结出了该系实际运用到机场道面 FOD 检测工作所需要的建设条件,具体包括以下三个方面需求。地检系统设备需求移动机器人(UGV)系统:可编程
15、系统,速度达到10 15km/h,同时需要具备自动控制平台、导航模块、充电套件等。机械臂系统:用于清除异物,需要具备机械臂、异物清理末端、控制柜、控制接口等。工控机:即中央控制器,需要具备指令决策、传输、UGV 与机械臂控制系统。高清高速专业相机:用于高速连续拍摄,需要具备不低于 4 0964 096 的分辨率。气泵及其配套装置:需要具备机械结构连接件。毫米波雷达:需要具备工作频段为 75G 85G Hz,带宽不低于 4GHz,需要实现目标的距离分辨率 3.5mm。其中,毫米波雷达系统:主要针对检测 3.5mm 大小的目标,采用车规级毫米波雷达芯片;通用车规级雷达芯片,发射功率为 13dbm,
16、可以通过将多个发射天线功率合成,实现将发射功率提高到20dbm左右。毫米波雷达检测过程中,采用传统距离像目标分析和 SAR 成像图像分析相结合的方式进行目标的检测。距离像目标分析,通过高分辨率的雷达回波信息,通过快速傅里叶变换后,形成距离目标像,由于FOD 与地面的材质不一样,主要为反射较强烈的金属目标,电磁波反射强于地面,从而确认 FOD 目标;通过 SAR 成像,可以实现对 3mm 以上的目标进行较精确地成像,FOD目标发射与路面的反射强度不一致,就会在图像上出现较强的点,通过图像识别可以找到相应的目标。地检系统软件研发需求软件研发及测试包括:系统集成软件的研发、视觉算法的研发、机械臂控制
17、系统等软件研发。其中本系统引入高速嵌入式视觉信息处理平台系统,该平台包含嵌入式硬件平台(FPGA+DSP),视觉信息处理 FPGA 软件与 DSP 软件和 5G 通信模块组成。为满足高速视觉信息实时处理的需求,重点开展 FPGA 软件与 DSP 软件研发,采用嵌入式处理系统实现对高速视觉信息的实时处理。高速视觉信息嵌入式处理系统采用 FPGA+DSP 架构,FPGA 具备并行处理优势,主要用于高速视觉信息接收与图像预处理,DSP 具备浮点运算资源丰富与修改灵活的优势,主要完成视觉信息处理算法中浮点运算与复杂流程控制。地检系统其他需求为了设计和研发适合本机场工作实际的智能小目标FOD 地检系统,
18、需要组建专门的研制和技术保障团队来保障研发工作的顺利实施,并根据地检系统运行及维护工作需求,对技术人员进行专业化培训,通过相关理论和实际操作考试后,开展地检系统运维工作。结语本文针对全天候、多场景复杂环境下机场道面小目标FOD 漏检、错检问题,从影响飞机安全起降的关键问题出发,设计和研发了一套智能小目标 FOD 地检系统,详细介绍了该系统设计方案的实施路线流程。同时,结合目前机场实际情况,设计并总结出了该系统实际运用到机场道面 FOD 检测工作中所需的建设条件,按照统筹规划、逐步实施的建设原则,完成智能小目标 FOD 地检系统研发工作,实现对机场道面小目标 FOD 进行实时检测、实时识别、实时清理,增强机场 FOD 管控和控制能力,以减少 FOD 对机场运行安全所带来的潜在危险。