AODE中基于强化学习的Agent协商模型.pdf

南京大学学报(自然科学) 第37卷第2期 V0137．No．2 UNIVERSITY 2001年3月 JOURNAI。OFNANJING Mar．200l (NATURALSCIENCES) AODE中基于强化学习的Agent协商模型’ 王立春，高 阳，陈世福 (南京太学计算机软件新技术国家重点实验室南京大学计算机科学与技术系，南京，210093) 摘要： AODE是我们研制的一个面向Agent的智能系统开发环境AODE中基于强化学习 的Agent协商模型采用Markov决策过程和连续决策过程分别描述系统状态变化和特定系统状 态的Agent协商过程，并将强化学习技术应用于Ag印t协商过程该协商模型能够描述动态环 境下的多Agent协商．模型中所有Ag印t都采用元对策Q．学习算法时，系统能获得动态协商环 境下的最优协商解 关键词： 多Ag啪t系统，协商，强化学习 中图分类号：TPl8 协商问题是对策论、经济学和管理科学的重要研究课题，同时也是多Agent系统技术的 关键问题．由于多Agent系统中每个Agent都具有自主性，在求解过程中按照自已的目的、 知识和能力进行活动常会出现矛盾和冲突，因此Agent间的协调和自动协商是MAS(multi— agentsystem)研究的重要问题…：并且随着Internet的广泛应用以及电子商务等应用领域 的飞速发展，人们越来越重视Agent间自动协商问题”J． 广义上多Agent协调方法分为显式协调和隐式协调两类L3J．显式协调指Agent对可能 的交互进行推理，必要时与其它Agent进行协商；隐式协调是指Agent被设计成遵循一定的 行为规则，以一种隐含的行为方式避免冲突．目前大多数关于协调的研究集中在为特定问题 提供一种协调和协商的解决方案HJ．如何构造适用的多Agent协商模型．使Agent在交互过 程中提高协商能力是MAS研究中的待解决问题之一．理论分析以及对人类在社会交往中 行为的观察表明：如果参与交往的一方能够根据对方的信念进行推理并在交往中进一步学 习对方的行为方式，则将增加其在交往中的收益．因此，协商过程中的学习得到了越来越多 研究者的重视． 对策论领域的研究人员研究了学习在协商过中的作用¨“J，但这些理论研究成果只是 and 针对简单对策环境且只在严格的假设条件下成立Sen Sekaran[71采用一个基于规则的 and暨一8。采用一种扩展的基因编程——强标 分类学习系统调整Agent的协商行为．Haynes 记基因编程(STGP)，将多Agent的策略编码成符号表达式和一个估计准则，通过适应度函 数逐步增加协调策略的效率．采用遗传算法的一个缺点是由于Agent自身行为知识以及策 。覆鑫晋晶：嘉磊自-然07科-学30基金(6990500”；高等学校博士点基金扣7028428’ 万方数据 南京大学学报(自然科学) 第37卷 略过于复杂，使得在实际应用中无法进行更有效的遗传编码；另外研究者发现由于Agent间 缺乏明显和足够的通信，此多Agent策略不能成功地应用于竞争进化领域． 和连续决策过程分别描述系统状态变化时和特定系统状态下的Agent协商过程，该协商模 型支持动态环境下多Agent学习．为了提高Agent的协商能力和对动态环境的适应，我们在 Agent的协商过程中采用了强化学习技术．AODE协商过程的学习分为两部分，一部分是系 统状态变迁过程中对协商策略的学习，另一部分是特定系统状态下对协商策略的学习 1 Markov决策过程和连续决策过程