停车场车位自动化排布设计及优化.pdfVIP

停车场车位自动化排布设计及优化

摘要：用智能的方式来设计停车场的车位排布一直都是工程上的难题。传统的启发式算法和基于深度强化学习的方法

（ＤＱＮ）均存在数据利用率低下的问题。本文提出了一种基于改进ＤＱＮ算法的停车场自动车位排布方法，该方法结合前人的

经验，设计了合理的奖励函数，并使用了一种多步提取算法（ＥｎＤＱＮ）训练强化学习智能体。通过实验确定了一组较优的超参

数，并验证了该方法在提高数据利用率上的有效性，为后续研究提供了参考。

关键词：停车场；车位排布；深度强化学习；多步提取算法；数据利用率

Ｄｅｓｉｇｎａｎｄｏｐｔｉｍｉｚａｔｉｏｎｏｆａｕｔｏｍａｔｉｃｌａｙｏｕｔｏｆｐａｒｋｉｎｇｓｐａｃｅｓ

【Ａｂｓｔｒａｃｔ】Ｄｅｓｉｇｎｉｎｇｃａｒｐａｒｋｉｎｇｓｐａｃｅｓｃｈｅｄｕｌｉｎｇｉｎａｎｉｎｔｅｌｌｉｇｅｎｔｗａｙｈａｓａｌｗａｙｓｂｅｅｎａｎｅｎｇｉｎｅｅｒｉｎｇｃｈａｌｌｅｎｇｅ．Ｂｏｔｈｔｒａｄｉｔｉｏｎａｌ

－

ｈｅｕｒｉｓｔｉｃａｌｇｏｒｉｔｈｍｓ（ｄｙｎａｍｉｃｐｌａｎｎｉｎｇ，ｅｖｏｌｕｔｉｏｎａｒｙｓｔｒａｔｅｇｉｅｓ）ａｎｄｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｂａｓｅｄｍｅｔｈｏｄｓ（ＤＱＮ）ｓｕｆｆｅｒ

ｆｒｏｍｌｏｗｄａｔａｕｔｉｌｉｚａｔｉｏｎ．Ｔｏｔｈｉｓｅｎｄ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｍｅｔｈｏｄｆｏｒａｕｔｏｍａｔｉｃｐａｒｋｉｎｇｌｏｔｓｃｈｅｄｕｌｉｎｇｂａｓｅｄｏｎａｎｉｍｐｒｏｖｅｄＤＱＮ

－－

（ＤｅｅｐＱＮｅｔｗｏｒｋ）ａｌｇｏｒｉｔｈｍ．Ｔｈｅｍｅｔｈｏｄｃｏｍｂｉｎｅｓｐｒｅｖｉｏｕｓｅｘｐｅｒｉｅｎｃｅ，ｄｅｓｉｇｎｓａｒｅａｓｏｎａｂｌｅｒｅｗａｒｄｆｕｎｃｔｉｏｎ，ａｎｄｕｓｅｓａｍｕｌｔｉ

ｓｔｅｐｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍ（ＥｎＤＱＮ）ｔｏｔｒａｉｎｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｉｎｔｅｌｌｉｇｅｎｃｅｓ．Ｔｈｒｏｕｇｈｅｘｐｅｒｉｍｅｎｔｓ，ｗｅｉｄｅｎｔｉｆｙａｂｅｔｔｅｒｓｅｔｏｆ

ｈｙｐｅｒｐａｒａｍｅｔｅｒｓａｎｄｖｅｒｉｆｙｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｍｅｔｈｏｄｉｎｉｍｐｒｏｖｉｎｇｄａｔａｕｔｉｌｉｚａｔｉｏｎｆｏｒｓｕｂｓｅｑｕｅｎｔｒｅｓｅａｒｃｈ．

【Ｋｅｙｗｏｒｄｓ】ｐａｒｋｉｎｇｌｏｔ；ｐａｒｋｉｎｇｓｐａｃｅｌａｙｏｕｔ；ｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ；ｍｕｌｔｉｓｔｅｐｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄ；ｄａｔａｕｔｉｌｉｚａｔｉｏｎ

［６］

成的数据丢弃，数据利用率十分低下。采用深度

０引言

－

强化学习方法，如ＤＱＮ（ＤｅｅｐＱＮｅｔｗｏｒｋ），使用经

目前大多数关于车位排布问题的研究都是将其验回放，将每次从环境中采样得到的四元组数据

看成一个带有约束条件的单一尺寸矩形排样问题，（状态、动作、奖励、下一状态）存储到回放缓冲区

大都采用启发式算法，如：模拟退火算法、动态规划、中，训练网络的时候再从回放缓冲区中随机采样若

［１］［２］干数据来进行训练，这样不仅可以使样本满足独立

遗传算法、进化策略等进行优化。Ｈｕａｎｇ等设

计了一套基于模拟退火算法的针