再励学习与神经控制.ppt

4-9 再励学习与神经控制 再励（强化）学习是 模拟人适应环境学习过程的一种机器学习模型，在神经网络与 神经控 制中，得到应用。 神经网络三种学习方式： （1）有导师的学习，虽然学习效率高，但在控制系统中，导师信 号不 易直接获得； （2）无导师的学习，虽不需导师信号，但因学习效率低，而很难 实际 应用； （3）再励学习是介于上述二者间的学习方式，是智能系统从环境 到行 为映射的学习，以使强化（奖励）信号值最大。 4-9-1 再励学习原理 4-9-2 再励学习算法 2. 评价预测学习规则 4-9-3 再励学习神经控制 再励学习用于神经控制的基本思想： 不需已知对象模型，且没有足够知识的情况下，通过学习机制 对环境的交互，评价控制的优劣，用‘奖或惩’算法训练控制器， 使之对复杂的非线性、不确定、不确知系统，达到有效的控制。 阐述基于评价预测的再励学习神经控制。 1. TD法 2. 动作—评价学习（Actor-Critic Learning） * 再励学习与有导师学习不同点是导师信号 前者只需要系统（环境）的标量评价值作再励信号，它是对系统动作 的一种评价。因外部环境提供的信息少，再励学习系统必需靠自身的 经历学习，在动作――评价的环境中获得知识、改进行动方案以适应环境。 这对于复杂的非线性、不确定性系统在不确定的外部环境中工 作，以实现有效的控制，是非常有利的。 再励学习在控制中应用主要在两方面：倒立摆控制；智能机器人控制。 *