2019年神经网络学习控制NeuralNetworkbasedLearningControl.pptVIP

神经网络学习控制 Neural Network based Learning Control 7.1 Reinforcement Learning( 再励学习，自强式学习） ? 神经网络学习方法有三类： a) 监督学习 Supervised Learning — 例如 BP — 有明确的“教师”信号 b) 无监督学习 Unsupervised Learning — 没有任何“教师”信号 — 只是通过输入数据的内部信息 相当自组织？类方法。 — 例如 c) 再励学习 Reinforcement Learning 源于心理学 简单的说，一个人有笔钱，有几个投资选择 A.B.C. 他投 B ，赚钱了，再投 B 。 until B 不赚钱了，或有 突发事件使他觉得 A 更好，于是将钱投到 A 。 ? 由 Barto 等人提出的 Reinforcement Learning 可称 为 ASE/ACE 模型，即由 ASE ： Associative Search Element ：关联搜索单元 ACE ： Adaptive Critic Element ：自适应评判单元 构成。 ASE 的作用是确定控制信号 y ACE 则对再励信号 r 进行改善，得到 ASE 和 ACE 各有 n 路输入通道，由系统状态 S 解码而成 （这与 cmac 相同），且每一时刻只选一个，即 控制信号的确定和各通道权值的修正如下： n , , 2 , 1 i , ) ( ? ? t x i ? ? ? ? ? ? ? ? ? ? ) ( ) ( ) ( 1 t noise t t f y x w i n i i r ? 其中， 和 分别为 ASE 和 ACE 各通道的权值； 是经改善的再励信号， α 、 β 、 γ 和 δ 有关系数 , noise 为随机噪声。 ) ( ) ( ) ( 1 t t t p x v i n i i ? ? ? ) 1 ( ) ( ) ( ) ( ? ? ? ? ? t p t p t r t r ? ) ( ) ( ) ( ) 1 ( t t r t t e w w i i i ? ? ? ? ? ) ( ) ( ) 1 ( ) ( ) 1 ( t t y t t x e e i i i ? ? ? ? ? ? ) ( ) ( ) ( ) 1 ( t t r t t x v v i i i ? ? ? ? ? ) ( ) 1 ( ) ( ) 1 ( t t t x x x i i i ? ? ? ? ? ? w i v i r ? DECODER Cart — Pole system V1,.. v2 vn W1,w2 wn x x x n ? 2 1 ? Learning nt Reinforeme y ? ? ? ? ? ? ? ? ? left right x f y 1 1 ) ( ? ? ? ? ? failure success t r , 1 , 0 ) ( r ? x x ? e e ? ? Cart-Pole 的数学模型 ? Failure 的条件 ? 显然，各单元的输出几乎完全取决于被选通道的权值， ASE 略受噪声的影响。 各权值的学习几乎独立，只有那些曾经被选中的通道 才会得到修正，其他则不变。 这样，一旦碰到完全新的情况，则可能输出一个完全 错误的控制信号 , 导致 FAIL Two approaches to Neural Network based Learning Control ? 7.2 Direct Inverse Modelling ? 7.3 Learning Control with a Distal Teacher (Distal Learning ) ? The control problem Learner Environment intention action outcome Inverse Model Environment y* x[n-1] u[n-1] y[n-1] 1. The