多Agent系统机器学习研究及应用-计算应用技术专业论文.docxVIP

第一章 第一章 序论 摘 要 多 Agent 系统的理论与技术已成为分布式人工智能和计算机科学技术重 要研究内容之一。由于多Agent系统的运行环境大型、开放、动态和不确定，迫 切需要采用各种智能技术, 引入学习机制来构建具有自学习能力的Agent。 本文主要研究Agent系统中的机器学习方法，通过对各种机器学习方法的研 究与改进，力图使Agent的学习能力更强，适应性更好。本文的主要研究成果和 创新之处体现在以下几个方面： (1) BP 算法是神经网络中最常用的算法之一。标准BP算法存在的最主要问 题就是易于陷入局部极小、收敛速度慢等问题。针对BP 算法的这些问题，出现 了许多改进的措施，如引入变步长法、加动量项法等。本文提出了一种基于样 本期望训练数的改进BP算法(EBP)，仿真实验说明了该算法可以明显提高BP网络 学习速度，并且具有简单通用性，可以和其他方法结合，进一步提高算法的收 敛速度。 （2）本文结合免疫机制和数论中的佳点集理论，给出了一种免疫佳点集遗 传算法(IGGA)。该算法把数论中佳点集理论运用于遗传算法交叉操作和种群初 始化的改进，提出带权欧氏距离计算抗体的相似度、浓度和适应度，引入免疫 机制使群体保持多样性和快速导向高适应度模式。实验结果验证了该算法可以 有效地避免早熟，改善算法的全局收敛性，提高搜索效率。 （3）强化学习中的Q学习是一种基于随机动态过程的不依赖模型的学习方 法，Q学习主要采用查询功能代替Q函数。但由于当数量较大时Q 值需要很大的 存储空间，同时agent 所处的环境是空间连续的,因此采用本文提出的改进的神 经网络用来来拟合Q 函数,来处理连续状态和连续动作,并运用到RoboCup 比赛 这一典型多智能体环境中去。仿真结果表明,改进的EBP-Q学习方法可以较快地 获得成功学习策略。 国际机器人世界杯仿真比赛系统是人工智能和机器人研究的集中体现，他 的仿真比赛环境融合了多种机器学习内容，是检验机器学习方法有效性的一个 非常理想的平台，本文研究的机器学习方法都在这个平台上进行了仿真实验， 取得了较好的学习策略。 关键词：智能体、机器学习、期望训练数、免疫佳点集遗传算法、RoboCup i ii ii iii iii Ag Agent 的开发与应用 ABSTRACT The research on Multi-Agent System is an important branch of in the artificial intelligence and computer sicience. The environment of Multi-Agent System is very large, open, dynamic and uncertain, so its urgent to introduce learning mechanism and techniques from artificial intelligence to build intelligent agent with self-learning ability. This dissertation mainly discusses machine learning methods of Multi-Agent System. It tries to make learning more robust and more adaptable through the research. The main research work and contributions of this dissertation are as follows: BP algorithm is one of the most widely used algorithms in neural network. In view of the main limitations of BP algorithm, such as easy to fall into local minimum value and slow in convergence, several methods such as momentum term and variable step-size etc. are led to optimize BP algorithm. This paper proposed a new kind of improvement BP algorithm (EBP) based on sample expected training number. Experiment results show that this algorithm has su