CN115293033B 一种航天器人工智能模型训练方法与系统 （哈尔滨工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115293033B(45)授权公告日2025.07.11

(21)申请号202210882083.6

(22)申请日2022.07.26

(65)同一申请的已公布的文献号申请公布号CN115293033A

(43)申请公布日2022.11.04

(73)专利权人哈尔滨工业大学

地址150001黑龙江省哈尔滨市南岗区西

大直街92号

(72)发明人魏承李天佐李岱刘天喜

(74)专利代理机构哈尔滨市阳光惠远知识产权代理有限公司23211

专利代理师孙莉莉

(51)Int.CI.

GO6F30/27(2020.01)

GO6N3/092(2023.01)

GO6N3/094(2023.01)

GO6N3/006(2023.01)

GO6N20/00(2019.01)

G06Q10/0631(2023.01)

(56)对比文件

CN112295229A,2021.02.02CN113221444A,2021.08.06审查员刘素兵

权利要求书3页说明书8页附图3页

(54)发明名称

一种航天器人工智能模型训练方法与系统

(57)摘要

CN115293033B本发明提出了一种航天器人工智能模型训练方法与系统，基于现有自主研发的航天器仿真平台SpaceSim平台，开发了一款通用化的航天器攻防对抗、博弈的智能技术研发和应用的平台SpaceSimGYM;在对抗时间固定的近地圆轨道上，进行红方可见光侦察卫星观测设置；同时设置红方可见光侦察卫星动作；设计奖励回报函数以鼓励智能体完成轨道目标拦截，实时状态更新并设置终止条件：本发明本发明支持模拟多个智能体之间的对抗与合作过程，且能够支持多类型任务，实现了在连续推力下基于强化学习的与空间

CN115293033B

便捷性。

智能体环境状态

奖惩值rt)T+1

奖惩值rt)

T=0

初始化

时刻选择动作at时好调用函数，获得S(1)

Scpo数Init

Scpo数

动作与指令发送函数场景递推类

动作与指令发送函数

场景递推类函数

场景文件修改类函数

场景恢复初

始化函数

取类函数场景文件读取类函数

取类函数

卫星轨道姿

卫星轨道姿态控制

完成创建场卫星相关设置场景相关地面站相关

完成创建场

卫星相关设置

CN115293033B权利要求书1/3页

2

1.一种航天器人工智能模型训练系统，其特征在于：训练系统以SpaceSimGYM作为核心架构，与多智能体对抗决策进程模块的多智能体对抗算法子模块相结合，实现多智能体算法训练及对抗，SpaceSimGYM强化学习平台基于SpaceSim开发，在SpaceSim的基础上完成了指令驱动组件架构的建立，并在SpaceSim中建立了支持SpaceSimGYM对仿真进行控制的相关接口函数，最后通过集成的单智能体强化学习算法DDPG与多智能体强化学习算法MADDPG实现了支持机器学习的仿真系统体系设计；

所述训练系统包括可视化人机界面、推演环境模块、对抗调度模块、多智能体对抗决策进程模块以及作战场景；

所述作战场景为推演环境模块SpaceSim提供卫星数据，推演环境模块SpaceSim通过调度接口将原始观测数据和场景数据传输至对抗调度模块；

对抗调度模块接收对抗规则库的规则信息，并将原始观测数据传输至多智能体对抗决策进程模块中的观测与奖励模块，将场景数据传输至多智能体对抗决策进程模块中的多智能体对抗算法子模块；

多智能体对抗决策进程模块中的多智能体对抗算法子模块将动作信息传输至对抗调度模块，对抗调度模块再将动作信息通过调用接口传输回推演环境模块，最终在可视化人机界面进行显示；

SpaceSimGYM通过initialall、CommandAdd、StepAllGet接口函数，分别对场景设置、仿真控制、界面指令控制进行界面操作的模拟。

2.根据权利要求1所述系统，其特征在于：

所述可视化人机界面用于卫星相关设置、场景相关设置、地面站相关设置和调度对抗调度模块来创建的场景JSON文件。

3.根据权利要求2所述系统，其特征在于：

所述推演环境模块用于卫星载荷控制与计算、卫星变轨计算和卫星轨道姿态控制。

4.根据权利要求3所述系统，其特征在于：