CN115585813B 一种基于注意力机制的深度强化学习机器人导航方法 （东北大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115585813B(45)授权公告日2025.07.01

(21)申请号202211397557.4

(22)申请日2022.11.09

(65)同一申请的已公布的文献号申请公布号CN115585813A

(43)申请公布日2023.01.10

(73)专利权人东北大学

地址110169辽宁省沈阳市和平区文化路3

号

(72)发明人姜杨万东东赵彬

(74)专利代理机构沈阳优普达知识产权代理事务所(特殊普通合伙)21234

专利代理师陈曦

(51)Int.CI.

GO1C21/20(2006.01)

GO6N3/045(2023.01)

GO6N3/0464(2023.01)

GO6N3/0442(2023.01)

GO6N3/048(2023.01)

GO6N3/092(2023.01)

GO6V10/80(2022.01)

(56)对比文件

姜杨等.基于TS-TD3的动态环境端到端无地图导航方法.《机器人》.2023,全文.

审查员赵皑

权利要求书4页说明书6页附图2页

(54)发明名称

一种基于注意力机制的深度强化学习机器人导航方法

(57)摘要

CN115585813B本发明公开一种基于注意力机制的深度强化学习机器人导航方法包括：采集机器人车载摄像头信息、车载单线激光雷达信息以及机器人的线速度和角速度；摄像头信息和单线激光雷达信息数据融合；构建SAC深度强化学习算法的经验池，用于存储动作-状态-奖励的组合；构建SAC深度强化学习算法的Actor网络、V评论家网络、Q评论家网络；在Actor网络中构建空间注意力模块和时间注意力模块；构建奖励函数模型。其中Actor网络的输入为状态，输出为动作概率分布参数；V评论家网络的输出为状态价值的预测值；Q评论家网络的输出为动作-状态价值的预测值。

CN115585813B

CN115585813B权利要求书1/4页

2

1.一种基于注意力机制的深度强化学习机器人导航方法，其特征在于，包括如下步骤：

步骤1:采集机器人车载摄像头的图像数据、车载单线激光雷达数据以及机器人的线速度和角速度；

步骤2:将图像数据和单线激光雷达数据进行融合，获得具有大视场且具有深度值的融合图像信息，作为机器人的状态参数s,将线速度和角速度作为机器人的动作参数a;

步骤3:构建SAC算法的经验池，用于存储动作-状态-奖励的组合数据R(s,at,st+1,

rt+1);

步骤4:构建SAC算法的具有空间注意力机制和时间注意力机制的Actor网络，将初始状态参数和初始动作参数输入到Actor网络中，获得动作概率参数，按概率去采样获得动作参数；

步骤5:机器人根据动作参数移动，并将新获取的图像数据和单线激光雷达数据进行融合，获得当前的状态参数；

步骤6:构建奖励函数模型，根据奖励函数模型计算奖励值，将当前的动作参数、状态参数和奖励值构成一组动作-状态-奖励组合数据，投放到经验池中，重复上述过程直到经验池中组合数据数量到达要求；

步骤7:构建SAC算法的Q评论家网络和V评论家网络，Q评论家网络的输出为动作-状态价值的预测值，V评论家网络的输出为状态价值的预测值；

步骤8:从经验池中采样多组组合数据输入到Actor网络、Q评论家网络和V评论家网络中对各个网络进行训练，直至网络收敛；

步骤9:将收敛后的网络部署到机器人系统中，机器人通过摄像头和单线激光雷达传感器采集数据作为输入，输出机器人的线速度和角速度，实现机器人无地图的导航。

2.如权利要求1所述的基于注意力机制的深度强化学习机器人导航方法，其特征在于，所述步骤2中将图像数据和单线激光雷达数据进行融合具体为：

步骤2.1:获取激光雷达外参数据和摄像头外参数据，并将激光雷达外参数据和摄像头外参数据发布到机器人操作系统；

步骤2.2:对摄像头内参进行标定，获取摄像头的内参数据，将摄像头坐标系下的3D坐标点无畸变地投影到摄像头的像素平面上；

步骤2.3:对激光雷达和摄像头进行联合标定，建立激光雷达坐标系下3D点云数据的坐标点和摄像头坐标系下3D点的对应关系；

步骤2.4:获取摄像头内参数据，并进行单线激光雷达数据和图像数据的时间线对齐；

步骤2.5:将