基于PPO2强化学习算法的空间站轨道预报方法.pdf

中国空间科学技术A u g.2 5 2 0 2 3 V o l.4 3 N o.4 9 3-1 0 3C h i n e s e S p a c e S c i e n c e a n d T e c h n o l o g yI S S N1 0 0 0-7 5 8 X C N1 1-1 8 5 9/Vh t t p:z g k j.c a s t.c nD O I:1 0.1 6 7 0 8/j.c n k i.1 0 0 0-7 5 8 X.2 0 2 3.0 0 5 7基于P P O 2强化学习算法的空间站轨道预报方法雷骐玮,张洪波*国防科技大学 空天科学学院,长沙4 1 0 0 7 3摘 要:影响热层大气密度的因素较多且变化机理复杂,很难建立准确的大气模型,导致大气阻力摄动成为空间站轨道预报精度的主要影响因素之一。研究了基于P P O 2强化学习算法的轨道预报方法,利用强化学习网络修正大气模型中的相关参数,提高了轨道预报精度。首先建立了空间站的轨道动力学模型,分析了大气模型参数的误差特性,设计了基于强化学习的轨道动力学模型修正方案。选择P P O 2算法作为强化学习算法,设计了训练参量与强化学习网络模型,生成了P P O 2算法的训练和测试样本,完成了仿真训练与测试。仿真结果表明,该方案能有效补偿大气密度模型不准确造成的轨道预报误差,提高空间站轨道预报的精度和效率。关键词:大气阻力摄动;空间站;轨道预报;轨道动力学模型修正;P P O 2算法中图分类号:V 4 4 8.2 文献标识码:A收稿日期:2 0 2 2-0 5-1 2;修回日期:2 0 2 2-0 7-1 2;录用日期:2 0 2 2-0 8-2 0;网络出版时间:2 0 2 2-0 9-2 1 1 5:5 3基金项目:装备预研航天科技联合基金(6 1 4 1 B 0 6 0 9 0 7)*通信作者.E-m a i l:z h a n g h b 1 3 0 4n u d t.e d u.c n引用格式:雷骐玮,张洪波.基于P P O 2强化学习算法的空间站轨道预报方法J.中国空间科学技术,2 0 2 3,4 3(4):9 3-1 0 3.L E I Q W,Z HAN G H B.O r b i t p r e d i c t i o n m e t h o d f o r s p a c e s t a t i o n b a s e d o n P P O 2 a l g o r i t h m o f r e i n f o r c e m e n t l e a r n i n gJ.C h i n e s e S p a c e S c i e n c e a n d T e c h n o l o g y,2 0 2 3,4 3(4):9 3-1 0 3(i n C h i n e s e).O r b i t p r e d i c t i o n m e t h o d f o r s p a c e s t a t i o n b a s e d o n P P O 2 a l g o r i t h m o f r e i n f o r c e m e n t l e a r n i n gL E I Q i w e i,Z H A N G H o n g b o*C o l l e g e o f A e r o s p a c e S c i e n c e a n d E n g i n e e r i n g,N a t i o n a l U n i v e r s i t y o f D e f e n s e T e c h n o l o g y,C h a n g s h a 4 1 0 0 7 3,C h i n aA b s t r a c t:T h e r e a r e m a n y f a c t o r s a f f e c t i n g t h e a t m o s p h e r i c d e n s i t y o f t h e t h e r m o s p h e r e a n d t h e m e c h a n i s m i s c o m p l e x.I t i s d i f f i c u l t t o e s t a b l i s h a n a c c u r a t e a t m o s p h e r i c m o d e l,r e s u l t i n g i n t h e p e r t u r b a t i o n o f a t m o s p h e r i c r e s i s t a n c e,w h i c h h a s b e c o m e o n e o f t h e m a i n f a c t o r s a f f e c t i n g t h e o r b i t p r e d i c t i o n a c c u r a c y o f t h e s p a c e s t a t i o n.T h e o r b i t p r e d i c t i o n m e t h o d b a s e d o n P P O 2 a l g o r i t h m o f r e i n f o r c e m e n t l e a r n i n g w a s s t u d i e d.T h e r e i n f o r c e m e n t l e a r n i n g n e t w o r k w a s u s e d t o m o d i f y t h e r e l e v a n t p a r a m e t e r s i n t h e a t m o s p h e r i c m o d e l a n d i m p r o v e t h e o r b i t p r e d i c t i o n a c c u r a c y.F i r s t l y,t h e o r b i t a l d y n a m i c s m o d e l o f t h e s p a c e s t a t i o n w a s e s t a b l i s h e d,t h e e r r o r c h a r a c t e r i s t i c s o f t h e a t m o s p h e r i c m o d e l p a r a m e t e r s w e r e a n a l y z e d,a n d t h e o r b i t a l d y n a m i c s m o d e l m o d i f i c a t i o n s c h e m e b a s e d o n r e i n f o r c e m e n t l e a r n i n g w a s d e s i g n e d.P P O 2 a l g o r i t h m w a s s e l e c t e d a s t h e r e i n f o r c e m e n t l e a r n i n g a l g o r i t h m,t h e d e s i g n o f t r a i n i n g p a r a m e t e r s a n d r e i n f o r c e m e n t l e a r n i n g n e t w o r k m o d e l w e r e c o m p l e t e d,t h e t r a i n i n g a n d t e s t s a m p l e s o f P P O 2 a l g o r i t h m w e r e g e n e r a t e d,a n d t h e s i m u l a t i o n t r a i n i n g a n d t e s t w e r e c o m p l e t e d.T h e s i m u l a t i o n r e s u l t s s h o w t h a t t h e s c h e m e c o u l d e f f e c t i v e l y c o m p e n s a t e t h e o r b i t p r e d i c t i o n e r r o r c a u s e d b y t h e i n a c c u r a c y o f a t m o s p h e r i c d e n s i t y m o d e l,a n d i m p r o v e a c c u r a c y a n d e f f i c i e n c y o f t h e o r b i t p r e d i c t i o n o f t h e s p a c e s t a t i o n.K e y w o r d s:a t m o s p h e r i c d r a g;s p a c e s t a t i o n;o r b i t p r e d i c t i o n;o r b i t a l d y n a m i c s m o d e l m o d i f i c a t i o n;P P O 2 a l g o r i t h m9 4 中国空间科学技术A u g.2 5 2 0 2 3 V o l.4 3 N o.41 引言建设空间站是载人航天发展的高级阶段,高精度的轨道预报是空间站在轨安全稳定运行和制定合理的轨道控制策略的前提条件。空间站一般运行在低地球轨道,且面质比较大,大气阻力摄动是空间站轨道预报的主要误差源1。计算低轨航天器所受的大气阻力时,误差主要来源于大气密度、阻力系数和迎风面积的计算误差,阻力系数和迎风面积的误差可以通过在线辨识的方法予以部分修正2。大气密度主要通过大气模型计算得到,但由于影响热层大气密度的因素较多且变化机理复杂,现有模型都不能准确描述大气密度的实际变化情况,从而造成轨道预报误差。刘亚英等探索了大气阻力摄动的精密计算方法,提 高 了 低 轨 道 卫 星 轨 道 预 报 精 度3。K o n g等利用三种大气密度模型,对基于动力学模型的轨道预报方法进行了研究4。C h e n等研究了仅使用两行轨道根数提高低轨航天器轨道预报精度的方法,利用实测轨道数据对经验模型进行校准5。李梦奇对低轨航天器的大气参数修正方法进行了研究,降低了大气阻力摄动误差并提高了轨道预报精度6。R a y等利用傅立叶阻力系数模型对大气阻力系数进行了精确建模,让阻力系数成为与航天器轨道和姿态相关参量的函数7。刘舒莳等基于线性回归分析建立了大气阻力系数补偿算法,提高了近地航天器轨道预报精度8。强化学习是一种机器学习方法,将学习看成一个试探-评价的过程9。在强化学习中,智能体从环境获取信息,依据动作策略采取动作作用于环境;环境接受智能体的动作并发生变化,同时反馈给智能体奖励或惩罚,即环境对智能体的动作进行评价;智能体根据环境反馈信号和当前观测的环境状态选择下一时刻的动作,依据是能够最大化智能体得到的奖励或者累积奖励1 0。诸多学者对强化学习技术在航天动力学领域中的应用开展了研究。H o v e l l等提出了一种基于深度强化学习的航天器接近操作制导策略,设计了一个航天器姿态跟踪和对接场景,并验证了该策略的可行性1 1。吴其昌基于MA D D P G强化学习算法,对航天器追逃博弈问题进行了研究,并能满足航天器机动策略求解的实时性与快速性的要求1 2。王月娇等将D QN强化学习算法用于卫星自主姿态控制,有效解决了传统P D控制 器 依 赖 被 控 对 象 质 量 参 数 的 问 题1 3。N i c h o l a s等采用强化学习算法来生成一种新型闭环控制器,该控制器能适用于复杂空间动态区域的星载低推力制导,并能够在初始偏差较大的情况下直接引导航天器,提高了制导精度1 4。综上所述,对于航天器轨道动力学模型中大气阻力摄动建模不准确的问题,当前的研究工作主要是通过解析的方法进行参数矫正,进而提高航天器轨道预报精度。强化学习算法可以通过智能体在线学习适应动力学环境的变化。本文提出了一种基于轨道动力学模型修正的轨道预报方案,该方案将P P O 2强化学习算法与大气参数可调的动力学模型相结合,在动力学积分预报轨道的过程中实时修正大气阻力引起的建模误差,从而提高轨道预报精度和预报效率。该方案对低轨航天器的轨道预报具有一定的参考价值。2 动力学模型修正的轨道预报方案设计 空间站的轨道动力学方程可表示为r+r3r=ap(1)式中:r和r为空间站的加速度和位置矢量,r为空间站的地心距;为地球引力常数;ap=nk=1ak为所有摄动力产生的摄动加速度,其中大气阻力摄动加速度ad=-12Cdsmvava(2)式中:Cd为阻力系数;为大气密度;s为迎风面积;m为空间站质量;va为空间站相对于大气的速度。定义空间站的面质比与大气阻力系数的乘积为弹道系数B,即B=Cdsm(3)式中:阻力系数Cd和面质比s/m由地面实验数雷骐玮,等:基于P P O 2强化学习算法的空间站轨道预报方法9 5 据及工程经验给定。假设大气与地球一起旋转,则由空间站在地心惯性坐标系中的位置r和速度v可得va=v-Er(4)式中:E为地球自转角速度。轨道预报时一般用经验大气模型计算大气密度,常用的有U S 1 9 7 6标准大气、N R L M S I S E-0 0模型等。U S 1 9 7 6标准大气模型表示了中等太阳活动期间,由地面到1 0 0 0k m的理性化、静态的中纬度平均大气结构,大气密度的计算公式为=6i=1NimiAv(5)式中:Av为阿伏伽德罗常数;mi为N2,O,O2,A r,H e,H六种气体的标称分子量;Ni为气体分子的数密度。Ni只与高度有关,可以通过对标准大气气体成分数密度随高度变化表插值得到。因此基于U S 1 9 7 6模型计算得到的大气密度只和高度有关,故计算时效率较高。相比于U S 1 9 7 6模型,N R L M S I S E-0 0大气模型计算精度较高,其详细计算公式可参考文献1 5。N R L M S I S E-0 0大气模型的大气密度计算如下:0=1Av6i=1mi(N1 9 7 6i+Ni)+1 4.0 0 6 7N0 0N+1 5.9 9 9 4N0 0O+(6)在计算大气密度时,N R LM S I S E-0 0大气模型在U S 1 9 7 6模型的基础上添加了6种气体分子数密度的修正项Ni,并引入了氮N和电离层正氧离子O+两项。基于中国空间站的轨道根数,分别采用两种大气模型计算得到1天内空间站所在高度的大气密度,结果如图1所示。由图1可知,U S 1 9 7 6模型计算得到的大气密度随时间变化幅度较小,N R LM S I S E-0 0模型计算得到的大气密度随时间呈周期性波动,波动周期大致和空间站轨道周期相同。在实际工程应用中,根据星载轨道大气环境探测器的探测结果发现,在太阳和地磁活动平静期,N R LM S I S E-0 0大气模型计算得到的大气密度日均误差值也能达到1 0%,其变化规律难以用解析表达式描述。且由于空间站的真实轨道数据难以实时获取,故考虑在各时刻基于经验大气模型计算得到的大气密度的基础上引入一个图1 大气密度与大气密度之差随时间变化F i g.1 C h a n g e o f t h e d i f f e r e n c e b e t w e e n a t m o s p h e r i c d e n s i t y连续随机噪声,作为真实大气密度值,然后进行轨道数值积分,将得到的数据作为真实轨道数据。为验证强化学习方法的修正效果,本文工作中引入了一个随机信号k(t)来模拟真实大气密度,即t r u e=01+kt X t N(0,t)kt =wX(t)3 8 6 4 0 0TN (7)式中:0为基于N R LM S I S E-0 0大气模型计算得到的大气密度。|k(t)|0 ex-,x0(2 7)式中:和是训练前预设的。网络训练优化算法采用A d a m算法,性能指标选择为回合累加奖励。回合累计奖励rs为一个仿真回合中,各时刻环境反馈奖励ri(i=0,1,2,TE)的累加,有rs=r0+r1+r2+rTE(2 8)3.3 训练与测试数据生成轨道预报前需要用标准轨道数据对强化学习网络进行训练。选择2 0 2 2年4月2 5日某时中国空间站的轨道参数作为初始标准轨道参数,其 半 长 轴 为67 6 5.1 2k m,偏 心 率 为0.0 0 1 2 2 3 8,轨道倾角为4 1.4 6 9 4,升交点赤经为1 8 2.3 3 4 3,纬度幅角为2 1 0.1 1 0 9,平近点角为1 3 0.8 1 7 9。在N R LM S I S E-0 0大气模 型上加入了 一个时长1 3天的连续维纳噪声信号|k(t)|0.1 5模拟真实大气密度,然后通过轨道积分得到模拟的真实轨道数据。仿真时长设置为1 3天,引力场模型选择E GM 2 0 0 8(7 27 2阶),光压模型选择B E R N模型,三体引力仅考虑日月引力,日月星历选择D E 4 0 5,数值积分方法选择R K F 7(8),最大积分步长设置为1 0 s,地磁指数为3,日均F 1 0.7为2 7 0,面质比选择为0.0 2m2/k g,大气阻力系数为2.2。以前1 0天的数据作为训练数据样本,后3天的数据作为测试数据样本。由于原始数据的量级差别较大,需要在训练前进行归一化处理。假设某时刻空间站的运动状态量为rx,ry,rz,vx,vy,vz,以仿真时段内各 方 向 上 位 置、速 度 量 模 的 最 大 值 为 标准,对策略网络与评价网络的输入量进行归一化处理。4 数值仿真分析P P O 2算法中对策略网络和评价网络的权重参数按照标准正态分布进行初始化后,还需要对P P O 2网络训练初始化条件进行设置,各项初始化条件设置如表1所示。表1 仿真训练参数设置T a b l e 1 S i m u l a t i o n t r a i n i n g p a r a m e t e r s e t t i n gD i s c o u n t f a c t o r U p d a t e f r e q u e n c y o f a c t o r n e t w o r kU p d a t e f r e q u e n c y o f c r i t i c n e t w o r kC l i p f a c t o r 0.9 95 0 s t e p s5 0 s t e p s0.1L e a r n i n g r a t eO r b i t a l i n t e g r a t i o n s t e pT r a i n i n g o p t i m i z a t i o n a l g o r i t h mM a x i m u m t r a i n i n g r o u n d s1 0-71 0 sA d a m1 0 0 为保证策略网络表现性能的单调提升,记录每经过一个回合(即对应1 0天训练样本)训练后训练样本的累计奖励(性能指标,见式(2 8)。若性能指标相比上一轮提升超过1%,则保存此时的神经网络模型参数;若新一轮训练后性能指标变差,则载入当前已获得的最优网络模型参数进行训练,直到最终模型性能表现不再有明显提升。当完成一个回合训练后,清零累积奖励,重置动力学环境参数,开始下一回合的训练。经过1 0 0回合训练后,训练样本对应累积奖励的变化情况如图5所示。采用两种奖励函数时,性能指标分别提升9 2.9 7%、9 2.8 4%,累积奖励分别从-0.2 0 2 8 5提升到-0.0 1 4 2 7,从-0.2 1 3 7 4 1提升到-0.0 1 5 3 0 3。利用测试样本测试强化学习网络表现时,强化学习网络不再更新,直接用于轨道预报,轨道预报结果与标准轨道数据之间存在的偏差即强化学习方法的轨道预报精度,由此验证强化学习1 0 0 中国空间科学技术A u g.2 5 2 0 2 3 V o l.4 3 N o.4方法的泛化能力。基于测试样本,分别采用两种奖励函数进行轨道预报时的轨道根数误差变化如图6所示,进行轨道预报的位置误差(J 2 0 0 0.0系下)与仅考虑N R LM S I S E-0 0大气模型进行轨道预报时的位置误差以及程序运行时间的对比情况如图7、图8、表2所示。由图6、图7、图8和表2可知,在测试样本中,相比于仅考虑N R LM S I S E-0 0模型,包含强化学习网络的混合动力学模型用于轨道预报的误差更小。采用奖励函数一时X、Y、Z方向上的最大位置误差与最大总位置误差分别减少了9 4.2 1%、9 2.6 2%、9 3.0 9%、9 3.1 9%;在采用奖励函数二时X、Y、Z方向上的最大位置误差与最大总位置误差分别减少了9 3.9 1%、9 1.9 6%、9 2.7 9%、9 2.8 1%,且轨道根数误差变化更为平缓,波动幅度较小。将训练后得到的强化学习网络用 于 预 报,程 序 运 行 时 间 分 别 减 小 了8 3.4 0%,8 3.2 9%,由此验证了强化学习方法的有效性。另构造与P P O 2网络中策略网络隐藏层层数与神经元个数相同的深度神经网络模型,令其输入量为仅考虑N R LM S I S E-0 0模型进行轨道数值积分得到的空间站J 2 0 0 0.0系下各时刻的状态量,令其输出量为输入状态量相比于标准状态量的偏差量,采用1 0天的标准轨道数据对神经网络模型进行训练,随后进行3天的轨道预报,预报状态量为神经网络输出状态偏差量与神经网络输入状态量的和,此时轨道预报的最大位置误差与程序运行时间如表3所示。由表3可知,在进行轨道预报时,相比于强化学习方法,直接利用深度神经网络对原动力学模型的轨道数值积分结果偏差进行补偿,其预报的程序运行时间更长,预报精度更低,由此验证了本文研究的强化学习方法的优越性。图5 累积奖励随训练回合变化(训练段)F i g.5 C h a n g e o f c u m u l a t i v e r e w a r d w i t h t r a i n i n g r o u n d(t r a i n i n g s t a g e)图6 分别采用两种奖励函数时的轨道根数误差F i g.6 E r r o r o f o r b i t a l e l e m e n t s w h e n t w o r e w a r d f u n c t i o n s a r e u s e d r e s p e c t i v e l y雷骐玮,等:基于P P O 2强化学习算法的空间站轨道预报方法1 0 1 续图6F i g.6 C o n t i n u e d图7 基于经验大气模型与混合动力学模型所得位置误差(奖励函数一)F i g.7 P o s i t i o n e r r o r b a s e d o n e m p i r i c a l a t m o s p h e r e m o d e l a n d h y b r i d d y n a m i c m o d e l(r e w a r d f u n c t i o n 1)1 0 2 中国空间科学技术A u g.2 5 2 0 2 3 V o l.4 3 N o.4图8 基于经验大气模型与混合动力学模型所得位置误差(奖励函数二)F i g.8 P o s i t i o n e r r o r b a s e d o n e m p i r i c a l a t m o s p h e r e m o d e l a n d h y b r i d d y n a m i c m o d e l(r e w a r d f u n c t i o n 2)表2 基于经验大气模型与混合动力学模型的最大预报位置误差与预报时间T a b l e 2 M a x i m u m p r e d i c t i o n p o s i t i o n e r r o r a n d p r e d i c t i o n t i m e b a s e d o n e m p i r i c a l a t m o s p h e r e m o d e l a n d h y b r i d d y n a m i c s m o d e lM o d e lN R LM S I S E-0 0P P O 2(r e w a r d f u n c t i o n 1)P P O 2(r e w a r d f u n c t i o n 2)M a x i m u n p o s i t i o n e r r o r/mX2 1 5 2 1.8 8 71 2 4 5.6 6 11 3 1 1.3 8 8Y2 1 3 7 1.0 5 11 5 7 7.5 21 7 1 7.3 4 3Z1 7 0 6 5.8 9 41 1 7 8.8 0 31 2 3 0.8 5 3T o t a l2 4 8 2 1.6 2 11 6 9 1.1 3 91 7 8 5.4 9 2P r o g r a m r u n t i m e/s6 1 9.4 8 0 11 0 2.8 2 11 0 3.5 2 9 6表3 基于强化学习网络模型的最大预报位置误差与预报时间T a b l e 3 M a x i m u m p r e d i c t i o n p o s i t i o n e r r o r a n d p r e d i c t i o n t i m e b a s e d o n r e i n f o r c e m e n t l e a r n i n g n e t w o r k m o d e lM a x i m u m p o s i t i o n e r r o r/mX7 4 6 7.1 7 9Y2 5 8 6.1 7 5Z4 4 2 9.1 1 6T o t a l8 1 3 3.3 2 9P r o g r a m r u n t i m e/s6 1 9.4 8 0 15 结论本文针对大气阻力摄动难以准确建模的问题,提出了一种融合P P O 2强化学习网络和轨道动力学模型修正的轨道预报方案,随后完成了网络模型构建,训练和测试。结合最终仿真测试结果进行如下总结:1)该方案具有较高的预报精度和预报效率,相比于经验大气模型,采用两种奖励函数时,三方向上最大位置误差与最大总位置误差分别减少 了9 4.2 1%、9 2.6 2%、9 3.0 9%、9 3.1 9%及9 3.9 1%、9 1.9 6%、9 2.7 9%、9 2.8 1%;进行轨道预 报 时,程 序 运 行 时 间 分 别 减 小 了8 3.4 0%、8 3.2 9%。2)利用P P O 2算法和强化学习网络可有效修正经验大气模型得到的大气模型参数存在的雷骐玮,等:基于P P O 2强化学习算法的空间站轨道预报方法1 0 3 误差,与深度学习方法不同,强化学习方法引入了奖励函数,在与动力学环境互动过程中为强化学习网络的训练优化提供了一个学习目标。3)与空间站轨道预报类似,该方案对其他低轨航天器的轨道预报同样具有一定参考价值。未来的研究工作中,可以考虑在本文研究工作的基础上,利用高精度定轨得到的轨道数据用于大气模型参数的实时修正。参考文献(R e f e r e n c e s)1 韦春博,谷德峰,邵凯,等.不同大气密度和阻力计算模型对低轨卫星轨道预报精度的影响C.第九届中国卫星导航学术年会.哈尔滨:中国卫星导航年会,2 0 1 8:1 0 7-1 1 2.WE I C B,GU D F,S HAO K,e t a l.A f f e c t i o n o f d i f f e r e n t a t m o s p h e r i c d e n s i t y a n d d r a g c a l c u l a t i o n m o d e l s o n o r b i t p r e d i c t i o n o f L E O s a t e l l i t e sC.T h e 9 t h C h i n a S a t e l l i t e N a v i g a t i o n C o n f e r e n c e.H a r b i n:C S N C,2 0 1 8:1 0 7-1 1 2(i n C h i n e s e).2 汪宏波,赵长印,柳仲贵,等.基于误差发散规律的低轨卫星大气阻力系数计算方法J.天文学报,2 0 1 6,5 7(4):4 4 7-4 6 0.WAN G H B,Z HAO C Y,L I U Z G,e t a l.C a l c u l a t i o n m e t h o d o f a t m o s p h e r i c d r a g c o e f f i c i e n t o f L E O s a t e l l i t e b a s e d o n e r r o r d i v e r g e n c e l a wJ.A c t a A s t r o n o m i c a S i n i c a,2 0 1 6,5 7(4):4 4 7-4 6 0(i n C h i n e s e).3 刘亚英,戎鹏志.大气阻力摄动计算方法及误差分析J.中国空间科学技术,1 9 9 6,1 6(2):7-1 3.L I U Y Y,R ONG P Z.M e t h o d o f a t m o s p h e r i c r e s i s t a n c e p e r t u r b a t i o n c a l c u l a t i o n a n d e r r o r a n a l y s i sJ.C h i n e s e S p a c e S c i e n c e a n d T e c h n o l o g y,1 9 9 6,1 6(2):7-1 3(i n C h i n e s e).4 KON G Q,GAO F,GUO J,e t a l.A n a l y s i s o f p r e c i s e o r b i t p r e d i c t i o n s f o r a HY-2 A s a t e l l i t e w i t h t h r e e a t m o s p h e r i c d e n s i t y m o d e l s b a s e d o n d y n a m i c m e t h o dJ.R e m o t e S e n s i n g,2 0 1 8,1 1(1):4 0.5 C HE N J Y,D U J L,S AN G J Z.I m p r o v e d o r b i t p r e d i c t i o n o f L E O o b j e c t s w i t h c a l i b r a t e d a t m o s p h e r i c d e n s i t y m o d e lJ.J o u r n a l o f S p a t i a l S c i e n c e,2 0 1 9,6 4(1):9 7-1 1 0.6 李梦奇.基于大气参数修正的低轨航天器轨道预报方法研究D.哈尔滨:哈尔滨工业大学,2 0 1 7.L I M Q.R e s e a r c h o n l o w e a r t h o r b i t s p a c e c r a f t o r b i t p r e d i c t i o n s t r a t e g y b a s e d o n a t m o s p h e r i c c o e f f i c i e n t m o d i f i c a t i o nD.H a r b i n:H a r b i n I n s t i t u t e o f T e c h n o l o g y,2 0 1 7(i n C h i n e s e).7 R AY V,S C HE E R E S D J,P I L I N S K I M.I n v e r t i n g g a s-s u r f a c e i n t e r a c t i o n p a r a m e t e r s f r o m F o u r i e r d r a g-c o e f f i c i e n t e s t i m a t e s f o r a g i v e n a t m o s p h e r i c m o d e lJ.A d v a n c e s i n S p a c e R e s e a r c h,2 0 2 1,6 8(4):1 9 0 2-1 9 2 7.8 刘舒莳,龚建村,刘四清,等.中长期轨道预报中大气阻力系数 补 偿 算 法 的 研 究 J.宇 航 学 报,2 0 1 3,3 4(2):1 5 7-1 6 2.L I U S S,GONG J C,L I U S Q,e t a l.A t m o s p h e r i c d r a g c o e f f i c i e n t c a l i b r a t i o n i n m e d i u m-t e r m o r b i t p r e d i c t i o nJ.A c t a A s t r o n a u t i c a,2 0 1 3,3 4(2):1 5 7-1 6 2(i n C h i n e s e).9 S UT T ON R S,B A R T O A G.R e i n f o r c e m e n t l e a r n i n gJ.A B r a d f o r d B o o k,1 9 9 8,1 5(7):6 6 5-6 8 5.1 0 WA T K I N S C,D AYAN P.Q-l e a r n i n gJ.M a c h i n e L e a r n i n g,1 9 9 2,8(3 4):2 7 9-2 8 2.1 1 HOV E L L K,U L R I C H S.D e e p r e i n f o r c e m e n t l e a r n i n g f o r s p a c e c r a f t p r o x i m i t y o p e r a t i o n s g u i d a n c eJ.J o u r n a l o f S p a c e c r a f t a n d R o c k e t s,2 0 2 1,5 8(2):2 5 4-2 6 4.1 2 吴其昌.基于人工智能的航天器追逃博弈机动轨道自主规划方法D.长沙:国防科技大学,2 0 1 9.WU Q C.A u t o n o m o u s p l a n n i n g o f s p a c e c r a f t p u r s u i t-e v a s i o n m a n e u v e r t r a j e c t o