CN115860239B 一种用于非字型货架的立体仓库货位分配优化方法 （科大智能物联技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115860239B(45)授权公告日2025.07.04

(21)申请号202211594440.5

(22)申请日2022.12.13

(65)同一申请的已公布的文献号申请公布号CN115860239A

(43)申请公布日2023.03.28

(73)专利权人科大智能物联技术股份有限公司地址230031安徽省合肥市中国(安徽)自

由贸易试验区合肥市高新区望江西路

900号中安创谷科技园一期A1楼6、7层专利权人合肥工业大学

(51)Int.CI.

GO6Q10/04(2023.01)

GO6Q10/087(2023.01)

GO6N3/092(2023.01)

GO6N3/084(2023.01)

(56)对比文件

CN107341629A,2017.11.10CN115222224A,2022.10.21

审查员侯鹏

(72)发明人钟智敏王灵均谭琦程八一刘伟王筱圃

(74)专利代理机构合肥天明专利事务所(普通合伙)34115

专利代理师娄岳

权利要求书2页说明书5页附图2页

(54)发明名称

一种用于非字型货架的立体仓库货位分配优化方法

(57)摘要

CN115860239B本发明公开了一种用于非字型货架的立体仓库货位分配优化方法，包括构建基于DQN框架的强化学习模型，并定义强化学习模型中的智能体、状态空间、动作空间、奖励回报，以及其优化目标；对强化学习模型的所有参数值和策略进行初始化，并批量生成出入库任务，通过泊松到达的出入库任务训练强化学习模型；利用反向传播算法对策略梯度进行求导，计算梯度下降更新DQN网络参数，得到训练完成的强化学习模型，并应用于立体仓库进行货位智能优化。本发明通过货物出入库任务训练模型取得最优分配方案，解

CN115860239B

构建基于

构建基于DQN框架的强化学习模型，并定义强化学习模

型中的智能体、状态空间、动作空间、奖励回报，以及其

优化目标

S2

将基于泊松到达过程的所述出入库任务输入强化学习模型，对构建的强化学习模型进行训练

利用反向传播算法对策略梯度进行求导，计算梯度下降更新DQN网络参数

重复上述步骤S3和S4,得到训练完成的强化学习模型，并应用于立体仓库进行货位智能优化

S5

S3

S4

CN115860239B权利要求书1/2页

2

1.一种用于非字型货架的立体仓库货位分配优化方法，其特征在于，具体步骤包括：

步骤S1、构建基于DQN框架的强化学习模型，并定义强化学习模型中的智能体、状态空间、动作空间、奖励回报，以及其优化目标；

步骤S2、对强化学习模型的所有参数值和出入库策略进行初始化，并随机生成出入库任务；

步骤S3、将基于泊松到达过程的所述出入库任务输入强化学习模型，对构建的强化学习模型进行训练；

步骤S4、利用反向传播算法对策略梯度进行求导，计算梯度下降更新DQN网络参数，其具体步骤包括：

S41、优先经验抽取：

首先从经验池中采样一个批量数据，通过概率方式进行抽取经验，则每个经验的实际抽取概率为：

其中，p;=lδ+∈|,j为经验池中的经验的个数，8为TD偏差，设定非均匀抽样概率p;正比于TD偏差δ,对p的进行归一化处理得到每个经验的实际抽样概率P(j);

通过相应调整学习率α,消除偏差，表达式为：

a←a·(np)

其中，n为参与抽样的经验数，β∈[0,1];

S42、价值网络更新：

引入一个目标网络，从目标网络估计TD目标值，用于进行DQN网络的更新，通过使用新的DQN网络更新目标网络，根据采样的经验(s,a,r+,st+)来更新DQN网络，具体公式如下：

TD目标值：

TD偏差：δ=Q(s,a;w)-y+

梯度下降：

其中，s表示t时刻的状态，a表示动作选择，a表示t时刻的动作选择，Q(s+,a;w)表示目标网络对当前t时刻的状态动作选择的价值估计，r是t时刻当前动作选择得到的立即回报，γ∈[0,1]代表对未来状态价值估计的衰减，st+1表示下一状态，表示t+1时刻的最大状态动作选择的价值估计，a代表