基于深度学习的非合作目标感知研究进展.pdf

第6卷 第1期2 0 2 3年1月飞控与探测F l i g h tC o n t r o l&D e t e c t i o nV o l.6N o.1J a n u a r y2 0 2 3基于深度学习的非合作目标感知研究进展*何英姿1,2,杜 航1,2,张海博1,2(1.北京控制工程研究所北京1 0 0 1 9 4;2.空间智能控制技术国防科技重点实验室北京1 0 0 1 9 4)摘 要:近年来,随着卷积神经网络的发展,基于深度学习的图像感知技术取得了巨大进展。由于深度学习算法不依赖人工辅助设计标记、泛化能力强、检测精度高,在空间非合作目标智能感知领域引起了国内外学者的关注。分析了应用深度学习方法进行非合作目标智能感知的研究现状,并对其进行了分类介绍与总结。首先,总结了空间非合作目标感知的在轨应用情况和任务阶段规划,接着分析了非合作目标的结构特性和表面光照特性;其次,梳理总结了建立非合作目标数据集的三种方法,并分类归纳了非合作目标识别与非合作目标位姿检测的国内外研究进展;最后,分析了基于深度学习的非合作目标智能感知方法的关键问题与难点,并给出了后续研究的思路。关键词:空间非合作目标;智能感知;目标识别;姿态测量;卷积神经网络;深度学习 中图分类号:V 4 4 8.2;T P 3 9 1.9文献标志码:A文章编号:2 0 9 6-5 9 7 4(2 0 2 3)0 1-0 0 0 1-1 4R e s e a r c hP r o g r e s so fN o n-C o o p e r a t i v eT a r g e t I n t e l l i g e n tP e r c e p t i o nB a s e do nD e e pL e a r n i n gHEY i n g z i1,2,DU H a n g1,2,Z HANG H a i b o1,2(1.B e i j i n gI n s t i t u t eo fC o n t r o lE n g i n e e r i n g,B e i j i n g1 0 0 1 9 4;2.S c i e n c ea n dT e c h n o l o g yo nS p a c e I n t e l l i g e n tC o n t r o lL a b o r a t o r y,B e i j i n g1 0 0 1 9 4)A b s t r a c t:I nr e c e n ty e a r s,w i t ht h ed e v e l o p m e n to fc o n v o l u t i o n a ln e u r a ln e t w o r k,i m a g es e n s i n gt e c h n o l o g yb a s e do nd e e pl e a r n i n gh a sm a d eg r e a tp r o g r e s s.B e c a u s et h ed e e pl e a r n i n ga l g o r i t h m d o e sn o tr e l yo na r t i f i c i a la i d e dd e s i g nm a r k e r s,h a ss t r o n gg e n e r a l i z a t i o na b i l i t ya n dh i g hd e t e c t i o na c c u r a c y,i th a sd r a w na t t e n t i o nt os c h o l a r sa th o m ea n da b r o a d i nt h e f i e l do f i n t e l l i g e n tp e r c e p t i o no f s p a t i a l n o n-c o o p e r a t i v e t a r g e t s.T h i sp a p e r i n v e s t i g a t e st h er e s e a r c hs t a t u so f i n t e l l i g e n tp e r c e p t i o no fn o n-c o o p e r a t i v e t a r g e t su s i n gd e e pl e a r n i n gm e t h o d s,a n d i n t r o d u c e sa n ds u mm a r i z e s t h e m.F i r s t l y,t h eo n-o r b i t a p p l i c a t i o na n dm i s s i o np h a s ep l a n n i n go f s p a c en o n-c o o p e r a t i v e t a r g e tp e r-c e p t i o na r es u mm a r i z e d,a n dt h e nt h es t r u c t u r a l c h a r a c t e r i s t i c sa n ds u r f a c e i l l u m i n a t i o nc h a r a c t e r i s t i c so fn o n-c o o p-e r a t i v e t a r g e t sa r ea n a l y z e d.S e c o n d l y,t h r e em e t h o d so fe s t a b l i s h i n gn o n-c o o p e r a t i v et a r g e td a t as e t sa r es u mm a-r i z e d,a n dt h er e s e a r c hs t a t u so fn o n-c o o p e r a t i v et a r g e tr e c o g n i t i o na n dn o n-c o o p e r a t i v et a r g e tp o s ed e t e c t i o na th o m ea n da b r o a d i sc l a s s i f i e da n ds u mm a r i z e d.F i n a l l y,t h ek e yp r o b l e m sa n dd i f f i c u l t i e so fn o n-c o o p e r a t i v et a r g e ti n t e l l i g e n tp e r c e p t i o nm e t h o db a s e do nd e e pl e a r n i n ga r ea n a l y z e d,a n dt h e i d e a so f f o l l o w-u pr e s e a r c ha r eg i v e n.K e y w o r d s:s p a t i a ln o n-c o o p e r a t i v et a r g e t;i n t e l l i g e n tp e r c e p t i o n;o b j e c tr e c o g n i t i o n;p o s i t i o n m e a s u r e m e n t;c o n-v e n t i o n a l n e u r a ln e t w o r k;d e e pl e a r n i n g*收稿日期:2 0 2 2-0 9-2 8;修回日期:2 0 2 3-0 1-1 6基金项目:国家自然科学基金企业创新发展联合基金集成项目(U 2 1 B 6 0 0 1);军委科技委基础加强计划项目领域基金(2 0 2 2 J C J Q J J 0 6 6 0)作者简介:何英姿(1 9 7 0),女,博士,研究员,博士生导师。E-m a i l:H e y z 1 9 7 01 6 3.c o m0 引 言近年来,由于近地航天器发射数目激增,在轨失效卫星和故障卫星逐渐增多,为应对这些问题,空间碎片清除和在轨服务等任务陆续被提出,其 中 包 括 萨 里 航 天 中 心 的R e m o v eD E B R I S任务1、美国国防部高级研究计划局(D e f e n s eA d-v a n c e dR e s e a r c hP r o j e c t sA g e n c y,D A R P A)的凤凰计划2和美国航空航天局(N a t i o n a lA e r o n a u-t i c sa n dS p a c eA d m i n i s t r a t i o n,N A S A)的R e s t o r e-L任务3等。执行这些任务的关键是准确获取目标航天器相对于服务卫星的位置和姿态信息,然而,失效卫星、空间碎片等目标航天器是非合作的,没有已知的标记信息,并且无法向服务卫星提供有效的位姿信息。因此,要求服务卫星能够在无人参与的情况下估计和预测空间目标的相对位姿。为了实现自主姿态估计,需要从单个或一组图像中快速获取目标的相对位置和姿态,并且由于空间光照条件复杂、对比度低、明暗变化大,对算法的鲁棒性提出了更高的要求。非合作目标感知的主要实现功能是针对非合作目标的识别与测量,根据目标航天器相对服务卫星的距离远近,可以划分出远距离辨识、目标航天器位姿测量、近距离目标航天器上结构部件识别与测量等具体任务。文献 4对非合作航天器识别与姿态估计的不同方法进行了全面综述。目标航天器识别与姿态估计的经典方法通常先从2 D图像中提取目标的人工设置特征,典型方法有H a r r i s角点检测算法、C a n n y边缘检测算法以及通过H o u g h变换的线检测和尺度不变特征检测(S c a l e-I n v a r i a n tF e a t u r eT r a n s f o r m,S I F T)。在成功提取所述特征后,采用迭代算法预测当存在异常值和未知特征情况下使某个误差最小化的最佳姿态解。这些关于位姿估计的算法往往依赖于提前获知目标位姿的先验信息,或者假设目标上存在已知特征标记。近年来,随 着 卷 积 神 经 网 络(C o n v e n t i o n a lN e u r a lN e t w o r k,C NN)的发展,基于深度学习的图像分类、识别算法在计算机视觉领域取得了重大 突 破。一 方 面,已 有 关 于 图 像 识 别 的R-C NN5、YO L O网络6及用于位姿估计的P o s e-C NN7等,但这些地面图像处理算法所需的计算机算力很大,当算力受限时,识别精度将难以满足在轨服务任务要求以及直接应用于在轨情景的需求;另一方面,卫星在轨图像具有光照情况复杂、对比度低、分辨率低等特点,使用C NN的方法相较于传统方法,不依赖人工设置的辅助识别标识,鲁棒性更好。因此,研究空间非合作目标智能感知的深度学习算法具有很好的应用前景。1 非合作目标发展现状近年来,各国开展的在轨服务研究项目及其使用的空间相对测量系统如表1所示。现有非合作目标在轨服务项目涵盖广泛,包括对模型已知的非合作目标的视觉监测、辅助废弃卫星离轨、在轨组装、在轨维修和在轨加注等。在轨任务一般分为4个阶段:远距离交会阶段(3 0 0 m);近距离交会阶段,又可进一步细分为接近阶段(3 0 01 5 m)和最后进近阶段(1 51 m);目标抓捕和维修阶段(3 0 0 m)微波雷达,激光雷达,红外传感器接近(3 0 01 5 m)单目相机,雷达测距仪,激光雷达最后进近(1 55 m)双目相机,单目相机,雷达测距仪,激光雷达最后进近(51 m)双目相机,单目相机,激光测距仪,多相机协作抓捕和维修(1 m)双目相机3其质量和功率要求较小,在卫星上搭载更具优势。此外,单目相机因为构造相对简单,更适合在新型的小型航天器如立方体卫星上搭载。但是单目相机只能获取R G B图像,在极近距离(1 m)情景下,单目相机的视角无法拍摄到目标航天器整个场景的完整图像,通常需要采用几个相机共同工作的方式来获取所需的信息。通过几何计算,考虑到一定的余量,单目相机的视角应至少为8 0,但是8 0 的视角会产生很大的镜头失真,这给准确提取特征点带来了困难。换言之,实际中的光学传感器无法在距离较近的情况下拍摄整个目标航天器结构。因此,在51 m范围内的相对姿态测量是一项具有挑战性的任务,现有空间操作任务相关的非合作目标的识别与测量研究也主要集中在这一距离范围内。近年 来,飞 行 时 间(T i m e-o f-F l i g h t,T o F)测距成像相机在商用上得到普及。文献 2 3论述了T o F相机在空间应用的可能性,其通过测量光在相机与物体表面之间的飞行时间来测量距离,通常的测量范围为0.37 m。与单目相机相比,T o F相机可以提供深度信息;与双目视觉相机提供的稀疏深度信息相比,T o F相机可以提供稠密的深度数据;与激光传感器和L i D A R相比,T o F相机的体积小、功耗低。目前,针对宇航空间适用的T o F相机的研制正处于起步阶段2 4-2 6。综上,T o F相机具有诸多优点,例如:结构紧凑,功耗低,对光照变化不敏感,可以直接提供深度信息,弥补近距离测量特征信息少的不足,算法相对简单,实时性强。因此,近年来的研究逐渐开始选择T o F相机作为基于深度学习的非合作目标感知 光学敏感器。特 别 是 在 极 近 距 离 下(1 m),可为感知研究提供R G B图像与深度信息两种测量信息,弥补单目相机由于视角问题只能获取局部图像的不足。2 空间非合作目标特征分析空间非合作目标由于运动状态不可知,没有先验标识,所以在进行空间操作等任务过程中需要依赖识别非合作目标的几何形状。空间目标的光学特征是非合作目标识别与测量的基础,光学特性包括空间非合作目标的结构特征(几何形状结构)和非合作目标表面的光照特性2 7。2.1 非合作目标结构特征图1所示为几种典型结构的卫星,分别为(a)立方体卫星,例如实践五号卫星;(b)球形卫星,典型代表为我国在1 9 7 0年4月2 4日成功发射的东方红一号卫星;(c)圆柱体卫星,典型代表为东方红二号卫星;(d)六棱柱卫星,典型代表为美国2 0世纪8 0年代发射的中继卫星系统2 8(T r a c k i n ga n dD a t aR e l a yS a t e l l i t eS y s t e m,T D R S S)的中继卫星。从图1可以看出,卫星几何形状中比较常见的是矩形特征和圆形(椭圆形)特征,因此,通过对直线、矩形和椭圆结构的识别进行姿态测量是非合作目标感知的一个重要途径。(a)立方体卫星:实践五号卫星(b)球形卫星:东方红一号卫星(c)圆柱体卫星:东方红二号卫星(d)六棱柱卫星:美国T D R S S卫星图1 卫星典型结构F i g.1 T y p i c a l s t r u c t u r eo f s a t e l l i t e可供非合作目标感知的对象主要由以下三部分组成:4飞控与探测第6卷第1期何英姿,等:基于深度学习的非合作目标感知研究进展1)卫星本体。对于立方体卫星、圆柱体卫星和六棱柱卫星,可以通过识别其直线特征和矩形特征进行测量;对于球形卫星,可以通过识别圆形和椭圆进行测量。2)太阳帆板及其支架。太阳帆板为卫星提供太阳能供电,通过支架安装在卫星本体上,一般为长方形,可以通过识别其直线特征和矩形特征进行测量;此外,也有特殊的三角形太阳帆板,可以通过三角形识别进行测量。3)星箭对接环和发动机喷嘴。星箭对接环和发动机喷嘴都是圆环形,可以通过识别其圆面特征或者椭圆特征进行测量。从非合作目标的主要组成部分可以看出,其主要形状特征为直线特征、矩形特征和圆形特征。2.2 非合作目标表面光照特性在在轨环境中,大部分非合作目标可能存在一定的旋转角速度或章动,这导致目标表面光照环境会发生明暗变化。此外,服务卫星上携带的光学传感器拍摄到的非合作目标所处背景也是变化的,有存在杂光的太空背景,也有地球等行星作为背景,还可能出现其他空间飞行器,并且当服务卫星对非合作目标进行在轨操作时,传感器视场内也会出现服务卫星所携带的机械臂或其他操作机构。3 基于深度学习的非合作目标感知研究现状 基于深度学习的非合作目标感知研究内容主要分为非合作目标数据集构建、非合作目标识别算法与非合作目标位姿检测算法,其中非合作目标数据集是后续研究的基础。3.1 非合作目标数据集构建与智能驾驶、人脸识别等热门方向不同,空间非合作目标识别没有通用的数据集。非合作航天器图像的来源主要有三种:第一种是光学敏感器拍摄的在轨卫星图像,这类图像较为珍贵,数量稀少,一般研究人员难以获得;第二种是利用卫星等比、缩比模型在实验室环境下进行拍照,这种方法比较常见,但是如果数据集采样都是单一背景单一光照条件,训练出的模型鲁棒性较差;第三种是用图像处理软件如3 DMA X、O P E NG L等渲染生成非合作目标图像,得到非合作目标图像后,对数据库图像进行标注建立数据集。卫星工具包(S a t e l l i t eT o o lK i t,S T K)是美国A n a l y t i c a lG r a p h i c s公司开发的一款航天领域商业化分析软件,其中包含了国际空间站、北斗卫星、A r t e m i s卫星等多种卫星的三维模型。文献2 9分别采用S T K软件中的北斗卫星模型、C a r-t o s a t-2卫星模型与使用S o l i d W o r k s软件绘制的北斗卫星模型和C a r t o s a t-2卫星模型采集图片,对非合作目标的卫星本体、太阳帆板、卫星天线、喷管、相机和星敏感器等结构组件进行标注。文献3 0采用S T K软件中的北斗卫星、A r t e m i s卫星、国际空间站、小行星探测飞船(N e a r-E a r t hA s t e r o i d R e n d e z v o u sS p a c e c r a f t,N E A R)等9 2种卫星的外观图像,利用L a b e l m e软件对卫星图像中的太阳帆板和卫星天线进行标注,最终得到1 2 8 8张图 像 构 成 的 数 据 集,数 据 集 示 例 如 图2所示。图2 非合作目标数据集示例3 0F i g.2 N o n-c o o p e r a t i v e t a r g e td a t a s e t e x a m p l e3 0文献 3 1-3 3采用对非合作目标缩比模型进行拍照的方式采集图像,通过采集不同场景不同姿态的航天器模型图片来制作数据集。文献 3 4介绍了斯坦福大学空间交会实验室(S p a c eR e n-d e z v o u sL a b o r a t o r y,S L A B)使 用C+软 件O P E NG L库在不同半径的航天器模型周围以球形模式拍摄仿真图像,生成5 0 0 0 0 0张包含卫星姿态标签的数据集。文献 3 5在文献 3 4的基础上进一步 完善,制作了航 天 器 姿 态 估 计 数 据 集(S p a c e c r a f tP o s eE s t i m a t i o n D a t a s e t,S P E E D),S P E E D由两部分组成,第一部分是在MAT L A B软件和C+软件上使用O P E NG L绘制T a n g o卫星的图像,并以H i m a w a r i-8地球静止气象卫星拍摄的地球 实际图像作 为 背 景 进 行 渲 染,制 作 了1 5 0 0 0张虚拟合成图像,如图3前两行所示;第二部分是 使 用 交 会 光 学 导 航 实 验 台(T e s t b e df o rR e n d e z v o u sa n d O p t i c a lN a v i g a t i o n,T R ON)摄像机拍摄的3 0 0张T a n g o卫星11模型图像,如5图3第三 行所示。训练集由 来 自 第 一 部 分 中 的1 2 0 0 0张合成图像组成,其余3 0 0 0张合成图像和来自第二部分的3 0 0张实际相机拍摄图像作为2个单独的测试集。在后续研究中,文献 3 6-4 0采用了S P E E D。2 0 2 1年,文献 4 1在S P E E D的基础上进一步完善,除了6 0 0 0 0张用于训练的合成图像外,还增加了9 5 3 1张T R ON拍摄的航天器模型的半实物图像共同组成了S P E E D+数据集,并且用于由S L A B和欧空局共同举办的第二次国际卫星姿态估计挑战赛中。图3 S P E E D示例3 5F i g.3 S P E E De x a m p l e3 5 文献 4 2使用B l e n d e r软件包,导入开源的S p a c e X飞船的D r a g o n卫星C A D模型,通过渲染模拟国际空间站上NA S A的R a v e n敏感器组件所看到的在轨环境,其中考虑采用变化太阳角度、变化地球背景和增加敏感器随机噪声的方法来丰富数据集。文献 4 3使用3 DMA X软件建立了3种非合作目标模型,设置黑色背景和地球背景来模拟太空环境,并设置相机采集非合作目标图像,如图4所示。此外,文献 4 0和文献 4 4-4 8也采用了软件渲染的方式建立数据集,在软件中图4 地球背景下不同航天器数据集4 3F i g.4 T h em u l t i c l a s s s p a c e c r a f t s i ne a r t hb a c k g r o u n dd a t a s e t s4 3导入C A D模型进行渲染,使用软件包括3 DMA X、3 D S MA X、G a z e b o、U n r e a lE n g i n e4及B l e n d e r等。文献 4 9在不同数据集上验证了C NN的关键点检测性能,实验表明,通过添加随机灯光、变化材质纹理和改变图像背景,可以提高渲染数据集算法鲁棒性。文献 5 0针对空间低照度情况下卫星图像成像质量差的问题,提出了一种基于生成对抗网络的图像增强方法。3.2 非合作目标识别算法基于深度学习的目标检测算法主要集中在2个方向:基于O n e-s t a g e网络的识别算法和基于T w o-s t a g e网络的识别算法。基于O n e-s t a g e网络的识别算法直接在网络中提取特征以预测物体的类别和位置;基于T w o-s t a g e网络的识别算法将整个过程分为两步,首先提取候选框(一个可能包含待检物体的预选框,英文名称p r o p o s a l),然后再进行物体分类与检测框坐标回归。两种算法结构如图5所示。6飞控与探测第6卷第1期何英姿,等:基于深度学习的非合作目标感知研究进展图5 O n e-s t a g e和T w o-s t a g e算法结构F i g.5 O n e-s t a g ea n dT w o-s t a g ea l g o r i t h ms t r u c t u r e3.2.1 基于O n e-s t a g e网络的识别算法O n e-s t a g e网络的典型代表是J.R e d m o n等在2 0 1 5年提出的YO L O(Y o uO n l yL o o kO n c e)网络5 1,能够基于单个神经网络完成目标检测任务,YO L O的网络结构如图6所示。Y O L O将目标检测问题转化成一个回归问题。给定输入图像,直接在图像的多个位置上回归出目标 的 位 置 及 其 分 类 类 别。Y O L O是 一 个 可 以一次性预测多个目标位置和类别的C N N,能够实现端到端的目标检测和识别,其最大的优势就是速度快。事实上,目标检测的本质就是回归,因此一个实现回归功能的卷积网络并不需要复杂的设计过程。Y O L O没有选择滑动窗口(s i l d i n gw i n d o w)或提取候选框(即可能存在物体的区域)的方式训练网络,而是直接选用整图训练模型。这样做的好处在于可以更 好 地 区 分 目 标 和 背 景 区 域。如 图7所 示,Y O L O将原图划分为SS个区域。如果一个物体图6 Y O L O算法流程5 1F i g.6 Y O L Oa l g o r i t h mf l o w5 1图7 Y O L O进行目标检测F i g.7 O b j e c t d e t e c t i o nb yY O L O7的中心在某个区域,那么该区域就负责此物体的定位和识别。Y O L O最大的优点在于速度快,能很好地满足实时性要求较高的任务。但Y O L O方法也存在一些缺陷:1)受限于每个区域对于每个类只预测2个候选框,导致某个区域附近临近的小物体或物体集群无法被检测到;2)因为是在区域中直接预测回归框,因此当物体的长宽比比较特殊且训练中没有出现时,难以进行识别;3)提取的特征过于粗糙,因为经过了很 多次降采 样,不够 精细。l o s sf u n c t i o n对于同样大小的错误在大框和小框上的惩罚应该不同。这些缺陷导致利用其进行物体检测会带来对小物体细粒度检测效果差,以及定位不准的问题。现有文献研究多 采用Y O L O网络作为O n e-s t a g e直接检测目标。文献 2 9利用Y O L O网络对非合作目标的卫星本体、太阳帆板、卫星天线、喷管、相机和星敏感器进行识别,识别准确率达到了9 0%以上。文献 3 6提出了一种轻量化特征融合网络,即N C D N(N o n-c o o p e r a t i v eD e t e c t i o nN e t-w o r k)模 型,以M o b i l e N e t V 2为 基 础 网 络 检 测T a n g o卫星组件,包括G P S天线、F F R F天线和敏感器,在S P E E D上平均A P值(m e a nA v e r a g eP r e c i s i o n,mA P)可 达0.8 9 8。文 献 3 7采 用YO L O网络检测非合作目标,然后利用L a n d m a r k回归网络在YO L O网络识别出的二维边界框中检测非合作目标角点。上述方法多在单幅图片上进行验证,难以满足在轨识别精度要求,且距离实时测量存在较大差距。3.2.2 基于T w o-s t a g e网络的识别算法基于T w o-s t a g e网络算法的核心是利用目标建议(O b j e c tP r o p o s a l)方法先提取候选框,再对候选框内区域进行分类和检测,即“候选框+分类”的方法。2 0 1 4年,加 州 大 学 伯 克 利 分 校 的R.B.G i r s h i c k等提出了R-C N N算法5 2,其算法结构也成为后续T w o-s t a g e的经典结构,R-C N N的算法流程如图8所示。通过选择性搜索(s e l e c t i v es e a r c h)在原图中得到所有候选框,然后对这些区域依次提取特征,将得到的特征用支持向量机进行分类。图8 R-C N N基本流程F i g.8 B a s i cp r o c e s so fR-C N N 虽然R-C NN算法相较于传统目标检测算法取得了5 0%的性能提升,但也存在很多缺陷:1)重复计算造成计算量大;2)训练测试不简洁,中间数据需要单独保存,耗费空间;3)速度慢:重复计算与串行训练的特点最终导致R-C NN速度很慢,G P U上处理一张图片需要十几秒,C P U上则需要更长时间;4)输入的图片必须强制缩放成固定大小,造成物体形变,导致检测性能下降。后续的T w o-s t a g e算法实际上都是针对这些缺陷进行 改 进,典 型 算 法 有S P P-N e t、F a s t R-C NN、F a s t e rR-C NN、R-F C N和M a s kR-C NN等5 3-5 7。采用T w o-s t a g e网络的非合作目标识别算法主要基于现有网络进行设计。文献 5 8在M a s kR-C NN的 基 础 上,融 合R e s N e t-F P N结 构、D e n s eB l o c k和 区 域 建 议 网 络(R e g i o nP r o p o s a lN e t w o r k,R P N)改进特征提取结构,对非合作目标的太阳帆板进行识别。文献 4 5同样以M a s kR-C NN框架为基础,使用L i g h t-h e a dR-C NN(头部轻量化C NN)取代M a s kR-C NN的头部结构(作用是对划定区域的识别),提升了检测速度。文献 5 9 通 过 引 入 迁 移 学 习 的 方 法,利 用C O C O数 据 集 进 行 预 训 练,设 计 改 进 的C e n t e r M a s k网络检测卫星的太阳帆板和天线。文献 4 4则以高分辨率目标检测网络HR N e t为基础,首先在单目相机拍摄的图片中检测包含整个卫星轮廓的二维边界框,再根据检测到的二维边界框对原始图像进行裁剪,然后通过关键点回归网络输出卫星外轮廓关键角点。这种基于T w o-s t a g e网络的算法检测精度高于O n e-s t a g e网络,但算法检测速度慢,难以满足实时测量的要求。8飞控与探测第6卷第1期何英姿,等:基于深度学习的非合作目标感知研究进展文献 4 7和文献 6 0对不同C NN间的性能差距进行了定量研究,其中,文献 4 7对I n-c e p t i o n-R e s N e t-V 2网络和R e s N e t-1 0 1网络进行非合作目标检测对比,实验表明,I n c e p t i o n-R e s N e t-V 2网络检测结果更为精确,但R e s N e t-1 0 1网络的训练时间可以节省5 0%以上,且处理过程比I n-c e p t i o n-R e s N e t-V 2网络快了4倍。文献 6 0对比了F a s t e rR-C NN和YO L Ov 3网络检测太阳帆板的效果,实验表明,F a s t e rR-C NN检测准确度要高于YO L Ov 3网络,但处理时间为YO L Ov 3网络的2.5倍。目前,整体研究处于初步阶段,对C NN的定量研究较少。综上,对O n e-s t a g e网络和T w o-s t a g e网络进行对比,如表3所示。表3 O n e-s t a g e网络和T w o-s t a g e网络对比T a b.3 C o m p a r i s o nb e t w e e nO n e-s t a g en e t w o r ka n dT w o-s t a g en e t w o r k网络O n e-s t a g eT w o-s t a g e典型网络YO L OM a s kR-C NN,C e n t e r M a s k,HR N e t检测精度低高检测速度快慢小物体检测精度低中等实时检测实验缺乏缺乏从上述文献可以看出,O n e-s t a g e网络识别速度快,但算法精度低;T w o-s t a g e网络精度高、识别错误率低,但是检测速度慢,难以满足空间非合作目标检测的实时性需求。3.3 非合作目标位姿检测算法空间非合作目标的测量主要包括位置和姿态的实时测量,通过对非合作目标进行跟踪并获取目标表面特征,求解目标的运动状态,基于视觉的空间目标测量技术是在轨感知的一个研究热点。根据算法的不同,将现有基于深度学习的非合作目标测量研究 分为间接测 量方法和端 到端测量方法。3.3.1 间接测量方法间接测量方法首先通过C NN识别出非合作目标的特征,如非合作目标结构部件关键角点、长宽 比 等,然 后 通 过n点 透 视(P e r s p e c t i v e-n-P o i n t,P n P)算法和E P n P(E f f i c i e n tP e r s p e c t i v e-n-P o i n t)算法等解算位姿。文献 3 1在YO L O网络的基础上,提出了YO L O-G h o s t E C A算法来检测非合作目标,再根据检测出非合作目标的长宽比来粗略估算位姿,该方法估计的位姿误差较大,无法满足实际在轨测量精度要求。文献 4 4基于单目相机拍摄的图像,首先利用目标检测网络HR N e t检测卫星,再利用关键点回归网络预测二维关键点坐标,并结合多视图三角剖分重建三维模型,最后采用非线性最小二乘法最小化2 D-3 D对应坐标,预测位置和姿态,该方法只在特定渲染图片上进行实验,距离连续 测量动态目 标 具 有 较 大 差 距。与 文 献4 4类似,文献 3 7采用YO L O网络检测非合作目标,然后利用L a n d m a r k回归网络检测非合作目标角点,最后使用E P n P算法解算位姿。文献4 0采用S S D M o b i l e N e t V 2网络检测卫星所在回归框,再利用改进后的M o b i l e P o s e网络检测关键点,最后用E P n P算法解算位姿。文献 6 1和文献 6 2先使用C NN检测特征,再通过C E P P n P解算器和卡尔曼滤波估计位姿。这种基于2 D-3 D关键点对应的方式严重依赖于关键点识别的精度,由于空间光照条件变化复杂,传统关键点检测算法因鲁棒性差难以使用,而基于C NN的方法可以在一定程度上弥补传统方法的劣势,但这种先采用两级C NN识别非合作目标角点的方式对算力要求较高,处理时间长,难以满足在轨实时测量的要求。为解决实时动态测量问题,文献 6 3提出了一种基于卷积位姿机网络的测量方法,通过设计卷积位姿机网络识别非合作目标关键点,再通过P n P算法解算位姿,并完成了实时物理实验,相对位置测量误差小于2 mm。除了通过P n P算法解算位姿外,文献 3 2在通过VG G 1 9网络识别卫星关键点后,采用搭建的双目相机系统解算位姿,但该方法存在关键点识别精度低、位姿解算算法误差大的问题,后续还需继续优化。文献 3 9提出了L S P N e t结构,它由3个 互 相 连 接 的C NN组 成,分 别 为 位 置C NN、定位C NN和方向C NN。其中位置C NN和定位C NN组成转化模块,由UN e t和R e s N e t融合而成;转化模块连接到由R e s N e t修改成的方向C NN,输出实时位姿。但是上述研究仅在仿真图片上进行验证,缺乏物理实验来验证算法的泛化性,并且缺乏实时性指标论证。文献 6 4使用P o i n t N e t+网络从点云数据中识别捕获区域,从而输出分割后的对接环位姿,并在V-r e p仿真软件中进行了实验。这种通过深度学习处理点云数据9的方法在非合作目标感知领域的研究较少,后续会是一个可以开发的方向。此外,针对近距离(0.9,整体精度牺牲约为5%。综上,对间接测量方法和端到端测量方法进行对比,如表4所示。间接测量方法的精度要高于端到端测量方法,但端到端测量方法检测速度01飞控与探测第6卷第1期何英姿,等:基于深度学习的非合作目标感知研究进展快,未来研究将着重于以下三点:1)检测精度和检测速度的平衡;2)针对星载计算机进行算力的优化;3)针对非合作目标所处的在轨光照变化环境也要进行相应的实验验证。表4 间接测量方法和端到端测量方法对比T a b.4 C o m p a r i s o nb e t w e e ni n d i r