神经网络_配套_Ch10_pres(免费阅读).pptVIP

10 * Widrow-Hoff 学习算法 （LMS 算法） LMS 算法 ADALINE 网络 ? w i w i 1 , w i 2 , w i R , = 2-输入的ADALINE 性能学习 性能学习的优化分两步骤进行： 找一个衡量网络性能的定量标准，即性能指数：F(x)。性能指数在网络性能良好时很小，反之则很大。 搜索减小性能指数的参数空间(调整网络权值和偏置值)。研究性能曲面的特性，建立确保极小点（即所寻求的最优点）存在的条件。 学习规则的几种类型： 性能学习，联想学习，竞争学习。 性能学习目的在于调整网络参数以优化网络性能。 均方差性能指数 训练集： 输入： 目标： 符号： 均方差： 均方差性能指数分析 ADALINE网络的均方差性能指数是一个二次函数： 性能指数极小点 一阶必要条件： 二阶必要条件：Hessian矩阵R (2R=A) 必须至少是半正定的。 如果R半正定（有一些特征值为０），则性能指数要么有一个弱极小点，要么没有极小点。 如果R正定（所有特征值大于０），则有一个唯一的全局极小点x*. 如果R是正定的： 基本的优化算法 pk – 搜索方向 ak – 学习速度 or 优化的目标是求出使性能指数Ｆ(x)最小化的x的值。 这里讨论迭代算法，设初始值为x0，然后按下式迭代： 最速下降法 选择下一次迭代使得性能指数函数减小： 对x小的变化F(x)可近似