多智能体强化学习研究.pdfVIP

摘 要 强化学习通常被认为是决策任务的一般形式，与动态规划和博弈论密切相关。 多智能体强化学习是多智能体系统研究领域的重要分支，其将强化学习技术和博 弈论应用于多智能体系统，使多个智能体可以通过在更高维度和动态真实场景中 进行交互和决策来完成更复杂的任务。随着深度神经网络的飞速发展和广泛应用， 越来越多的传统强化学习算法与之相结合，形成了深度强化学习方法，来解决现 实世界中的维度更高场景更复杂的问题。在多智能体系统中应用深度强化学习方 法，正逐步成为强化学习研究领域的前沿热点。本文的研究内容如下： 1.本文研究了强化学习中一个前沿的分支即多智能体强化学习。介绍了多智 能体强化学习的理论背景，并总结了文献中提出的多智能体强化学习的任务类型 和学习目标。重点介绍了多智能体深度强化学习的最新发展，从可扩展性、不稳 定性、局部可观察性和通信学习等不同角度对现有的最先进的算法进行了分类。 总结了多智能体深度强化学习目前的应用领域以及其他潜在的研究方向。 2.本文研究了基于多智能体深度确定性策略梯度模型的算法。多智能体深度 确定性策略梯度模型是基于演员评论家框架的，而由演员评论家网络训练的智能 体往往会过高估计价值函数，这会导致智能体学得的最优政策欠佳和智能体行为 不收敛。为了解决这个问题，我们采用了集中训练分散执行框架，并提出了一种 新算法，即多智能体双重深度确定性策略梯度（MA3DPG ）算法。首先受传统强 化学习方法Double Q 学习的启发，我们采用双重评论家网络结构，通过在成对 的独立训练的评论家之间取最小值来减少过高估计，使智能体可以学习到最优的 策略。其次我们采用延迟策略更新，使策略网络以低于值网络的频率进行更新， 以便在策略网络更新之前将误差降至最低，解决了智能体行为不易收敛的问题。 于此同时我们通过优先批处理加快了训练速度，我们在 OpenAI 的Gym 环境任 务中将我们的算法与最先进的方法多智能体深度确定性策略梯度（MADDPG ） 进行了比较，并证明了我们的方法优于它。 3.本文研究了基于改进的并行粒子群算法的异步强化学习算法。异步强化学 习方法在单智能体强化学习环境中取得了不错的效果，正逐步被应用到多智能体 场景中。但是，当使用现有的异步强化学习算法来解决问题时，由于智能体的搜 索范围有限，通常无法减少算法的运行次数。同时，传统的不基于模型的强化学 习方法不能保证收敛到最优结果，这会导致在实际应用中的出现资源浪费问题。 针对这些问题，我们将粒子群算法 PSO 应用于异步强化学习算法，以寻求最优 解。首先，我们提出了一种新的 PSO 算法的异步变体。然后将其应用到异步强 化学习算法中，提出了一种新的名为基于反向Q 学习的Sarsa 算法和异步粒子群 I 优化算法（APSO-BQSA ）的异步强化学习算法。最后，通过实验验证了本文提 出的异步PSO 和APSO-BQSA 算法的有效性。 该论文有图19 幅，表7 个，参考文献86 篇。 关键词：强化学习；多智能体系统；深度学习；异步方法 II Abstract Reinforcement Learning (RL) is often considered to be general formalization of decision-making tasks and is closely linked to dynamic programming, and game theory. Multi-agent reinforcement learning is an important branch in the field of multi-agent system research. It applies reinforcement learning technology and game theory to multi- agent systems, enabling multiple agents to complete more complicated tasks through interaction and decision-making in higher-dimensional and dyn