第六章 多智能体强化学习研究.pdfVIP

StudyonReinforcementLearningforMultiAgents 多智能体强化学习方法研究 北京理工大学机器人研究中心 多智能体强化学习研究 Study on Reinforcement Learning for Multi Agents 北京理工大学机器人研究中心 童亮 龚建伟 熊光明 陆际联等 Robotics Research Center, Beijing Institute of Technology. L. Tong, J.W. Gong, G.M. Xiong, J.L. Lu 转载此文请署名作者 并标明来自龚建伟技术主页 此文工作已在学术期刊上正式发表 多智能体强化学习研究1 Study on Reinforcement Learning for Multi Agents 1 1 研究多智能体系统的必要性2 2 多智能体学习方法研究3 2.1 多智能体学习的框架3 2.2 双矩阵决策和马尔可夫决策过程5 2.3 随机决策7 3 多智能体系统中的强化学习8 3.1 智能体强化学习方法分类9 3.2 Hu 和 Wellman 算法 11 4 基于 SLA 进行行动预测的多智能体强化学习算法12 4.1 基于 SLA 进行行动预测的多智能体强化学习算法13 4.2 多机器人推箱子问题15 4.3 试验及结果比较16 5 小结17 多智能体强化学习方法研究 北京理工大学机器人研究中心 龚建伟技术主页 1 StudyonReinforcementLearningforMultiAgents 多智能体强化学习方法研究 北京理工大学机器人研究中心 1 研究多智能体系统的必要性 随着物理机器人和软件智能体的不断普及，对于多智能体的需求和应用，如 足球机器人、搜索和营救、自动驾驶以及电子商务与信息智能体，变得越来越普 遍。 对于单一智能体在静态环境中行动的学习，研究人员已经进行了大量的研究 工作，而且在这些工作中应用智能体技术有以下几个优点：应用学习方法由于不 需要精确的环境模型及对这个模型的最优化处理，从而大大简化了智能体的编程 问题。学习也使得机器人可以适应未知和变化的环境。在多智能体环境，智能体 的学习变得更加重要也更加困难。 在多智能体领域，智能体必须与其它智能体交互，它们可能具有不同的目标、 假设、算法和协议。智能体为了处理这种环境，它们必须有适应其它智能体的能 力。因为其它智能体也具有适应能力，这一点违背了传统行为学习的基本静态假 设，使得学习的问题变得比较困难。因为其它智能体也在利用与环境交互的经验 提高它们的操作水平，智能体依赖于其它智能体的策略使得对期望策略的定义也 变得非常困难。本章主要介绍在存在其它智能体的复杂环境中智能体的评价学习 方法。 事实上，由于存在各种限制条件，智能体并不是常常可以采取最优行动。它 们可能有物理限制（如执行器坏掉或部分感知），使得智能体不可能执行特定的 行动；也可能在学习任务中采用近似或抽象的概念，因此为了学习速度而牺牲最 优。智能体也可能什么都学不到。在巨大而复杂的环境中，限制不可避免，特别 是存在其它的智能体的环境中，使得智能体的行为可能没有理性。在实际应用的 多智能体系统中必须强调包括智能体本身和其它智能体带来的限制。有效学习的 智能体必须有能力弥补自身和它们的同伴或对手带来的限制。 对于学习，是指智能体通过与环境的不断交互得到的经验中提高其达到目标 的能力或未来的累积回报过程。学习发生在智能体与环境的交互过程中：从环境 中获得感知和回报并通过行动来改变环境。学习的复杂性来源于在环境中执行行 动的其它智能体。我们假设这些智能体