神经网络五个基本的学习算法.docVIP

五个基本的学习算法：误差—修正学习；基于记忆的学习；Hebb学习；竞争学习和Boltzmann学习。误差修正学习植根于最优滤波。基于记忆的学习通过明确的记住训练数据来进行。Hebb学习和竞争学习都是受了神经生物学上的考虑的启发。Boltzmann学习是建立在统计学力学借来的思想基础上。 误差修正学习 神经元k的输出信号表示，表示的是期望响应或目标 输出比较。由此产生表示的误差信号，有 　　　　　 这一目标通过最小化代价函数或性能指标来实现。定义如下 　　　　　 也就是说是误差能量的瞬时值。这种对神经元k的突触权值步步逼近的调节将持续下去，直到系统达到稳定状态。这时，学习过程停止。根据增量规则，在第n时间步作用于突触权值的调节量定义如下： 　　　　　 基于记忆的学习 在一个简单而有效的称作最近邻规则的基于记忆的学习类型中， 局部邻域被定义为测试向量的直接邻域的训练实例，特别，向量 　　　　　 被称作的最邻近，如果 　　　　　 这里，是向量和的欧几里德距离。与最短距离相关的类别，也就是向量被划分的类别。 Hebb学习 我们定义Hebb突触为这样一个突触，它使用一个依赖时间的、 高度局部的和强烈交互的机制来提高突触效率为前突触和后突触活动间的相互关系的一个函数。可以得出Hebb突触特征的４个重要机制：时间依赖机制；局部机制；交互机制；关联或相关机制。 竞争学习 获胜神经元k的输出信号被置