CN113593035B 一种运动控制决策生成方法、装置、电子设备及存储介质 （北京进睿科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113593035B(45)授权公告日2025.01.10

(21)申请号202110778925.9

(22)申请日2021.07.09

(65)同一申请的已公布的文献号申请公布号CN113593035A

(43)申请公布日2021.11.02

(73)专利权人北京进睿科技有限公司

地址100095北京市海淀区白家疃尚品园2

号楼2层225

(72)发明人刘永进韩义恒赵旺詹昊哲

(74)专利代理机构北京路浩知识产权代理有限公司11002

专利代理师郭亮

(51)Int.CI.

GO6T17/20(2006.01)

GO6T7/90(2017.01)

GO6V10/774(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN112560972A,2021.03.26CN112767373A,2021.05.07审查员巫吟荷

权利要求书3页说明书13页附图3页

(54)发明名称

一种运动控制决策生成方法、装置、电子设备及存储介质

(57)摘要

CN113593035B本发明提供一种运动控制决策生成方法、装置、电子设备及存储介质，包括：基于激光雷达获取的目标区域的第一点云信息和相机获取的目标区域的RGB图像信息，确定RGB图像信息对应的深度预测图；基于深度预测图投影到三维空间中的第二点云信息，确定目标点云信息，以及根据所述目标点云信息和所述第一点云信息，获得第三点云信息；根据第三点云信息，确定目标多元状态数据，并将目标多元状态数据输入多阶段训练后的深度强化学习控制决策模型，得到目标运动控制决策。本发明提供的方法，可以有效地克

CN113593035B

基于激光雷达获取的目标区域的第一点云信息和相机

获取的所述目标区域的RGB图像信息，确定所述RGB

图像信息对应的深度预测图

基于所述深度预测图投影到三维空间中的第二点云信

息，确定目标点云信息，以及根据所述目标点云信息

和所述第一点云信息，获得第三点云信息

根据所述第三点云信息确定目标多元状态数据，并

将所述目标多元状态数据输入多阶段训练后的深度强

化学习控制决策模型，得到目标运动控制决策

S110

S120

S130

CN113593035B权利要求书1/3页

2

1.一种运动控制决策生成方法，其特征在于，包括：

基于激光雷达获取的目标区域的第一点云信息和相机获取的所述目标区域的RGB图像信息，确定所述RGB图像信息对应的深度预测图；

基于所述深度预测图投影到三维空间中的第二点云信息，确定目标点云信息，以及根据所述目标点云信息和所述第一点云信息，获得第三点云信息；所述目标点云信息是指将第二点云分组后，得到的各个分组的点云中与相机距离最近的点构成的点云信息；

根据所述第三点云信息，确定目标多元状态数据，并将所述目标多元状态数据输入多阶段训练后的深度强化学习控制决策模型，得到目标运动控制决策；

所述根据所述目标点云信息和所述第一点云信息，获得第三点云信息，包括：

将所述目标点云信息转换到雷达坐标系下，得到所述目标点云信息对应的第五点云信

息；

根据所述第五点云信息，对所述第一点云信息进行更新，得到第三点云信息；

其中，所述雷达坐标系是基于所述第一点云信息在世界坐标系下的坐标信息确定的；

利用多组训练样本，对深度强化学习控制决策模型进行多阶段训练，包括：

对于任意一组所述训练样本，将所述训练样本输入深度强化学习控制决策模型进行第一阶段训练，利用第一价值函数得到所述训练样本对应的第一收益奖励值；在所述第一收益奖励值收敛的情况下，停止第一阶段训练，得到第一深度强化学习控制决策模型；

对于任意一组所述训练样本，将所述训练样本输入所述第一深度强化学习控制决策模型进行第二阶段训练，利用第二价值函数得到所述训练样本对应的第二收益奖励值；在所述第二收益奖励值收敛的情况下，停止第二阶段训练，得到第二深度强化学习控制决策模型；

对于任意一组所述训练样本，将所述训练样本输入所述第二深度强化学习控制决策模型进行第三阶段训练，利用第三价值