GEO在轨服务任务建模与强化学习服务序列规划.docxVIP

? ? GEO在轨服务任务建模与强化学习服务序列规划 ? ? 蔡亚星， 王兴龙， 朱阅訸 1. 国防科技大学 航天科学与工程学院，湖南 长沙 410073 2. 中国空间技术研究院 通信与导航卫星总体部，北京 100094 0 引 言 航天器在轨服务[1-3]是指在空间通过人、机器人或者两者协同完成涉及延长各种航天器寿命、提升执行任务能力的一类空间操作.地球同步轨道卫星经济价值高、工作寿命长、维修难度大，即使在增加了多种可靠性设计的前提下，依然有大量卫星发射后因为各种原因未能开展工作或出现寿命缩减.对于地球同步轨道卫星的许多故障，如太阳翼展开故障等，只需要施加很少量的在轨服务操作即可挽救卫星，获得显著的经济效益.在轨服务任务规划[4-6]，即研究如何统筹安排服务资源，在最大化满足任务需求和资源充分利用的前提下，优化确定服务卫星的轨道机动、任务分配、服务序列等.单目标服务任务规划一般只涉及轨道设计问题，多目标服务任务规划通常还包括任务分配和服务序列规划问题.服务卫星需要合理规划目标间的转移轨道以及各目标的服务序列，获得速度增量和时间消耗最优的任务方案. 多目标服务任务规划问题已有不少研究.ZHOU等[7]提出了基于燃料补给站的“一对多”在轨加注任务规划方法，以速度增量和时间消耗为优化目标，将问题转化为多变量组合优化问题.欧阳琦等[8]将地球同步轨道“多对多”在轨加注任务规划视为旅行商问题，仅考虑异面变轨速度增量消耗，采用遗传算法进行求解.刘晓路等[9]建立了在轨服务资源分配和路径规划双层优化数学模型，并基于混沌遗传算法设计了在轨服务任务规划方法.强化学习作为一种任务决策算法，通过寻找最优动作的方式逐渐达到任务目标，能够在利用历史信息的同时保持较好的探索能力，近年来逐渐应用于在轨服务任务规划研究中[10-11].杨家男等[12]提出了基于启发强化学习的大规模主动碎片移除任务优化方法，采用改进蒙特卡罗树算法求解收益模型，获得了较优的规划结果.刘冰雁等[13]针对在轨服务资源分配问题，设计了基于改进深度Q网络的非线性多目标优化方法，在满足预期成功率的前提下优先分配重要服务对象，兼顾了分配效益与总体能耗. 现有的多目标服务任务规划研究大多仅针对服务卫星与目标卫星的交会过程计算速度增量和时间消耗，并未考虑交会对接后服务卫星执行服务任务过程中的速度增量和时间消耗.实际上，地球同步轨道卫星存在在轨加注、辅助位保、失效救援等多种服务任务需求，不同服务任务所消耗的速度增量和时间相差较大.同时，服务卫星在执行服务任务过程中，其轨道参数可能发生较大改变，直接影响与下一目标的交会轨迹规划.因此，多目标服务任务规划需针对不同目标的不同服务任务分别进行建模，全面考虑目标交会和任务执行过程中的轨道参数改变以及速度增量和时间消耗，规划得到最优的目标卫星服务序列. 本文提出一种地球同步轨道在轨服务任务建模与强化学习服务序列规划方法.推导霍曼-兰伯特四脉冲交会模型，针对不同服务需求建立在轨服务任务模型，基于强化学习规划得到目标卫星最优服务序列.最后通过仿真，验证任务规划方法的有效性. 1 地球同步轨道动力学建模 1.1 航天器轨道动力学模型 地球同步轨道多目标服务任务规划场景包含一颗服务卫星和多颗目标卫星，如图1所示.服务卫星和目标卫星均位于地球同步轨道带，不同目标卫星的服务需求不同，服务卫星需合理规划服务序列，依次完成对所有目标卫星的服务任务.为简化问题，服务卫星和目标卫星的轨道动力学模型均采用二体模型，不考虑轨道摄动影响，卫星位置和速度矢量均用其在惯性坐标系中的坐标分量表示. 服务卫星和目标卫星的轨道动力学方程为[14] (1) 式中,rc/t、rc/t分别为服务卫星的轨道位置矢量和轨道半径，ac/t为服务卫星的控制加速度矢量，下标c/t分别表示目标交会过程/任务执行过程，ri、ri分别为编号为i的目标卫星的轨道位置矢量和轨道半径，μ为地球引力常数. 图1 地球同步轨道在轨服务任务场景Fig.1 On-orbit service mission scenario in geosynchronous earth orbit 1.2 霍曼-兰伯特四脉冲交会模型 航天器轨道交会问题是在轨服务任务规划的基本问题.霍曼(Hohmann)交会[15]是共面圆轨道间的最优轨道转移策略，所消耗的速度增量最小，但仅适用于初始轨道和目标轨道为共面圆轨道的情形.兰伯特(Lambert)交会[16]既适用于共面圆轨道也适用于异面椭圆轨道，因而广泛应用于非线性最优交会研究，但对于地球同步轨道远距离交会问题，单圈兰伯特方法得到的速度增量过大，多圈兰伯特方法计算量大，求解复杂，若嵌套在服务序列规划之中，优化交会序列的同时优化相邻两目标之间的交会轨迹，计算时间消耗将难以接受. 针对上