1Intelligent Control_图文.pptVIP

强化学习的特点 强化学习是一种弱的学习方式，体现为： 试错学习，不要求先验知识 强化信息可能是稀疏且合理延迟的 反馈是一种数值奖赏形式，不要求有提供正确答案的教师 强化学习是增量式学习，可在线使用。 强化学习对不确定的环境是有效的。 当与瞬时差分方法联合使用时，强化学习对比较困难的顺序决策任务是有效的。 强化学习的体系结构是可扩展的。 模糊控制 传统控制方法均是建立在被控对象精确数学模型基础上的，然而，随着系统复杂程度的提高，将难以建立系统的精确数学模型 在工程实践中，人们发现，一个复杂的控制系统可由一个操作人员凭着丰富的实践经验得到满意的控制效果。这说明，如果通过模拟人脑的思维方法(功能上的模仿)设计控制器，可实现复杂系统的控制，由此产生了模糊控制 1965年美国加州大学自动控制系L.A.Zedeh提出模糊集合理论，奠定了模糊控制的基础 1974年伦敦大学的Mamdani博士利用模糊逻辑，开发了世界上第一台模糊控制的蒸汽机，从而开创了模糊控制的历史 1983年日本富士电机开创了模糊控制在日本的第一项应用—水净化处理，之后，富士电机致力于模糊逻辑元件的开发与研究，并于1987年在仙台地铁线上采用了模糊控制技术，1989年将模糊控制消费品推向高潮，使日本成为模糊控制技术的主导国家 模糊控制的发展可分为三个阶段 （1）1965年-1974年为模糊控制发展的第一阶段，即模糊数学发展和形成阶段 （2）1974年-1979年为模糊控制发展的第二阶段，产生了简单的模糊控制器 （3）1979年—现在为模糊控制发展的第三阶段，即高性能模糊控制阶段 人工神经网络控制系统 (结构上的模拟) 神经网络是指由大量与生物神经系统的神经细胞相类似的人工神经元互连而组成的网络；或由大量象生物神经元的处理单元并联互连而成。 这种神经网络具有某些智能和仿人控制功能。 神经网络控制的发展 1943年McCulloch和Pitts提出了神经元数学模型 1950年-1980年为神经网络的形成期，有少量成果，如1975年Albus提出了人脑记忆模型CMAC网络，1976年Grossberg提出了用于无导师指导下模式分类的自组织网络 1980年以后为神经网络的发展期，1982年Hopfield提出了Hopfield网络，解决了回归网络的学习问题，1986年提出了BP网络，实现了有导师指导下的网络学习，为神经网络的应用开辟了广阔的发展前景 将神经网络引入控制领域就形成了神经网络控制 神经网络控制是从机理上对人脑生理系统进行简单结构模拟的一种新兴智能控制方法 神经网络具有并行机制、模式识别、记忆和自学习能力的特点，它能充分逼近任意复杂的非线性系统，能够学习与适应不确定系统的动态特性，有很强的鲁棒性和容错性等，因此，神经网络控制在控制领域有广泛的应用。 遗传算法 遗传算法（Genetic Algorithm，GA）：人工智能的一个重要分支，是基于自然选择和基因遗传学原理的搜索算法，是基于达尔文进化论用计算机模拟生命进化论机制而发展起来的一门学科 遗传算法由美国的J.H. Holland教授在1975年提出，80年代中期开始逐步成熟，1985年起国际上开始举行遗传算法国际会议。目前遗传算法已经被广泛应用于许多实际问题，成为用来解决高度复杂问题的新思路和新方法。 遗传算法可用于模糊控制规则的优化及神经网络参数及权值的学习，在智能控制领域有广泛的应用。 智能控制的特点 （1）学习功能：智能控制器能通过从外界环境所获得的信息进行学习，不断积累知识，使系统的控制性能得到改善 （2）适应功能：智能控制器具有从输入到输出的映射关系，可实现不依赖于模型的自适应控制，当系统某一部分出现故障时，也能进行控制 （3）自组织功能：智能控制器对复杂的分布式信息具有自组织和协调的功能，当出现多目标冲突时，它可以在任务要求的范围内自行决策，主动采取行动 （4）优化能力：智能控制能够通过不断优化控制参数和寻找控制器的最佳结构形式，获得整体最优的控制性能 智能控制的应用 作为智能控制发展的高级阶段，智能控制主要解决那些用传统控制方法难以解决的复杂系统的控制问题，其中包括智能机器人控制、计算机集成制造系统、工业过程控制、航空航天控制、社会经济管理系统、交通运输系统、环保及能源系统等 智能控制的应用是目前各控制领域发展的新方向。 第一章 绪论 主要内容 智能控制的进展 智能控制的概念、特点和结构理论 智能控制的基本方法 行为主义方法——强化学习 符号主义方法——模糊逻辑 联结主义方法——人工神经网络 智能计算方法——遗传算法 关于本课程的必要说明 教材： 无固定教材，以课堂讲座、参考书和文献查询为主 参考书： Sutton R.S., Barto A.G. Reinforc