融合强化学习的多目标路径规划.pdfVIP

计算机系统应用

ISSN

1003-3254,

CODEN

CSAOBNE-mail:

csa@

Computer

Systems

Applications,2024,33(3):158−169

[doi:

10.15888/ki.csa.009418]

©中国科学院软件研究所版权所有.Tel:

+86-10

融合强化学习的多目标路径规划①

周毅,

刘俊

(武汉科技大学

信息科学与工程学院,

武汉430081)

通信作者:

周毅,

E-mail:

zhouyi83@

摘要:

移动机器人路径规划问题的节点数量大、搜索空间广,

且对安全性和实时性有要求等因素,

针对移动机器

人多目标路径规划问题,

提出一种新颖的融合强化学习的多目标智能优化算法.

首先,

该算法采用NSGA-II为基础

框架,

利用强化学习的赋予个体学习能力,

设计一种SARSA算子提高算法的全局搜索效率.

其次,

为了加速算法的

收敛速度和保证种群多样性,

增加自适应模拟二进制交叉算子(tanh-SBX)作为辅助算子,

并将种群分为两种性质

不同的子种群:

精英种群和非精英种群.

最后,

设计了4种不同的策略,

通过模拟退火算法的Metropolis准则计算更

新策略的概率,

让最合适的策略引导种群的优化方向,

以平衡探索和利用.

仿真实验表明,

该算法在不同复杂度的环

境下均能找到最佳路径.

相比传统智能仿生算法,

在更加复杂的环境中,

所提出的算法能有效平衡优化目标,

找到更

优的安全路径.

关键词:

多目标路径规划;

自然启发式算法;

强化学习;

NSGA-II;

移动机器人

引用格式:

周毅,刘俊.融合强化学习的多目标路径规划.计算机系统应用,2024,33(3):158–169.

/1003-3254/9418.html

Multi-objectivePathPlanningBasedonReinforcementLearning

ZHOU

Yi,

LIU

Jun

(School

of

Information

Science

and

Engineering,

Wuhan

University

of

Science

and

Technology,

Wuhan

430081,

China)

Abstract:

The

path

planning

problem

for

mobile

robots

involves

a

large

number

of

nodes

and

a

wide

search

space.

It

also

considers

factors

such

as

safety

and

real-time

requirements.

To

address

the

multi-objective

path

planning

problem

for

mobile

robots,

this

study

proposes

a

novel

multi-objective

intelligent

optimization

algorithm

that

combines

reinforcement

learning.

Firstly,

the

algorithm

adopts

NSGA-II

as

the

base

framework

and

equips

individuals

with

learning

capabilities

by

reinforcement

learning.

A

SARSA

operator

is

designed

to

improve

the

global

search

efficiency

of

the

algorithm.

Secondly,

to

accelerate

the

convergence

speed

and

ensure

population

diversity,

the

study

introduces

an

adaptive

simulated

binary

crossover

operator

(tanh-SBX)

as

an