CN114418213B 一种基于深度强化学习的城市电动车辆调度方法和系统 （中山大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114418213B(45)授权公告日2025.07.08

(21)申请号202210056967.6

(22)申请日2022.01.18

(65)同一申请的已公布的文献号申请公布号CN114418213A

(43)申请公布日2022.04.29

(73)专利权人中山大学

地址510275广东省广州市海珠区新港西

路135号

(72)发明人王甲海黄欢欢

(74)专利代理机构广州粤高专利商标代理有限公司44102

专利代理师禹小明

G06Q50/06(2024.01)

GO6N3/042(2023.01)

GO6N3/0455(2023.01)

GO6N3/092(2023.01)

(56)对比文件

CN102117441A,2011.07.06CN106548645A,2017.03.29审查员刘琼琼

权利要求书4页说明书11页附图3页

(51)Int.CI.

GO6Q

GO6Q

10/047(2023.01)10/0631(2023.01)

(54)发明名称

一种基于深度强化学习的城市电动车辆调度方法和系统

(57)摘要

本发明公开了一种基于深度强化学习的城市电动车辆调度方法和系统，方法为一种端到端的方法，给定问题实例作为输入，利用训练好的深度神经网络可以直接输出问题的解。具体地，提出了一个可以捕捉和提取边信息的图神经网络对策略进行建模，以有效地解决非对称车辆路径问题，且提出了一个软约束+硬约束的两阶段训练方法，以有效地处理带时间窗电动车辆路径问题中的复杂约束。与传统方法相比，它能在获得更好求解效果的前提下大幅度地缩减求解时

CN

CN114418213B

将带时间窗电动车辆路径问题建模成一个有向完全图，仓库、充

电站和客户为图中的结点，任意两个结点之间通过边相连接，对

需求、距离和时间数据分别进行归一化处理

使用编码器分别对所述有向完全图中的点信息和边信息进行编码得到对应的特征表示

使用解码器进行解码，在每步解码中根据步骤S2中得到的点和边

的特征表示以及当前车辆状态信息和历史路径信息，以自回归的

方式逐步构造路径，得到问题的解

根据所述问题的解计算出总回报，使用REINFORCE算法对编码器和解码器的参数进行更新

将训练好的编码器和解码器用于求解带时间窗电动车辆路径问题

S2

S3

S5

CN114418213B权利要求书1/4页

2

1.一种基于深度强化学习的城市电动车辆调度方法，其特征在于，包括以下步骤：

S1:将带时间窗电动车辆路径问题建模成一个有向完全图，仓库、充电站和客户为图中的结点，任意两个结点之间通过边相连接，对需求、距离和时间数据分别进行归一化处理；

S2:使用编码器分别对所述有向完全图中的点信息和边信息进行编码得到对应的特征表示；

S3:使用解码器进行解码，在每步解码中根据步骤S2中得到的点和边的特征表示以及当前车辆状态信息和历史路径信息，以自回归的方式逐步构造路径，得到问题的解；

S4:根据所述问题的解计算出总回报，使用REINFORCE算法对编码器和解码器的参数进行更新；

S5:将训练好的编码器和解码器用于求解带时间窗电动车辆路径问题；

所述步骤S1中结点信息为v?=(d?,ei,1;,t;),其中，d表示客户需求，e表示最早服务时间，1;表示最晚服务时间，t;表示结点类型，且有：

其中，Va,Vs,V分别表示仓库结点集合、充电站结点集合和客户结点集合；

所述步骤S1中边信息为e:=(dis,,time;,a),其中，dis,表示距离，time,表示时

间，a;表示最近邻，且有：

所述步骤S2具体包括以下步骤：

S2.1:使用两个嵌入层分别将所述结点信息v;和边信息e?;映射成高维的特征向量，得到图神经网络的第一层输入h9和hei:

h?=Wyvi+bv

he;=W?eij+bg

式中，W,bv,WE,bg均为可训练的参数；

S2.2:使用图神经网络，将h和hei;经过N层图神经网络得到最终的特征向量表示，在图神经网络的每一层中，每一点和边都会聚集相邻点和边的信息以