多Agent系统中Q学习算法研究.pdfVIP

第 l0卷 第5期 辽宁农业职业技术学院学报 Vo1．1O．No，5 2o08年 9月 JoumalofLia0ningA cIllturalCouege SeDt．20o8 多Agent系统中Q学习算法研究 战忠丽 ，王 强。，王佩霞 (1．辽宁农业职业技术学院，辽宁 营口 115Oo9；2．吉林电子信息职业技术学院，吉林 吉林 132021) 摘 要 ：为了提高多Agent系统中的典型的强化学习——Q学习的学习效率和收敛速度，充分利用环境信息和相 关的专家经验 ，提出了改进的多Agent系统强化学习算法(Q学习算法)。该算法通过Agem问对信息的共享，有效 地将 Q学习算法扩展应用到多Agent系统中。 关键词 ：强化学习；Q学习；多Agent系统 中图分类号：rrPl8 文献标识码：A 文章编号：1671—0517(20o8)o5—0o48一o3 多Agent系统的理论和应用研究是 目前人工智 强化值， 且影响环境下一时刻的状态及最终的强 能领域的研究热点。多Agent系统中，每个智能体 行为 A 都具有基本行为，通常只处理 自身相关的局部信息 和 目标。由于多Agent系统的动态性、实时性、分布 性、随机性等特点，智能体必须具有学习能力才能与 环境 自主交互、分析学习外部环境、建立环境模型， 模仿人类思维方式学习个体技能、战术策略、协作方 化值。 图l强化学习基本原理 式，从而提高多 Agent系统的智能水平。机器学习 Q—leaming是强化学习的主要算法之一，是模 是智能体提高智能性、协调性、适应性的基本途径。 型无关的学习算法。Q—leaming基于的一个关键 具有学习能力的智能体可 自主获取知识、积累经验、 假设是把智能体和环境的交互看作为一个马尔可夫 更新扩充知识、改善知识性能。 (Markov)决策过程(MDP)，即智能体当前所处的状 本文以强化学习的主要算法一 Q—leaming 态和所选择的动作，决定一个固定的状态转移概率 为基础 ，提出了改进的多Agent系统强化学习算法， 分布、下一个状态、并得到一个即时回报值。Q— 让Agent感知 自己和其他Agent对环境所施加的影 leaming的目标是通过对客观世界采样 ，寻找一个策 响，实现了多Agent问信息的共享与合作，从而优化 略可以最大化将来获得的报酬。 学习状态，提高学习效率。最后进行仿真实验对该 Q学习中，每个(状态 s一动作 a)对对应一个相 方法进行验证。 应的Q(s，a)值，在学习过程中根据 Q(s，a)值，选择 1 强化学习与 Q学习 动作 a。Q(s，a)是从状态 s执行当前相关的动作 a 并且按照某一策略执行下去，获得的累计 回报值。 强化学习是一种不同于监督学习和无监督学习 最优 Q值可表示为 Q ，其定义是表示Agent在状态 方法的在线学习技术，基本原理如图l所示 。它把 s下执行相关 的动作 a并按照最优策略执行下去， 学习看怍是一个试探评价的过程，首先强化学习系 所获得的回报折扣和，其定义如下 统(一般是一个智能体)感知环境状态，采取某一个 Q(‘5，n)： (s，0) ∑ (s，口，5) Q(s，。) 行动作用于环境；环境接受该动作后状态发生变化，