人工神经网络算法(基础精讲)-经典.pptVIP

分层网络 分层网络将一个神经网络中的所有神经元按功能分为若干层，一般有输入层、中间层（隐藏层）和输出层。 分层网络按照信息的传递方向可分为前向式网络（如图a）和反馈网络（如图b、c）。 1.7人工神经网络模型 精品文档 相互连接型网络 相互连接型网络是指网络中任意单元之间都是可以相互双向连接的。 1.7人工神经网络模型 上述的分类方法是对目前常见的神经网络结构的概括和抽象，实际应用的神经网络可能同时兼有其中的一种或几种形式。 精品文档 二、人工神经网络的 学习方法 精品文档 2.1学习机理 学习机理 人工神经网络信息处理可以用数学过程来说明，这个过程可以分为两个阶段：执行阶段和学习阶段。 学习是智能的基本特征之一，人工神经网络最具有吸引力的特点是它能从环境中学习的能力，并通过改变权值达到预期的目的。神经网络通过施加于它的权值和阈值调节的交互过程来学习它的环境，人工神经网络具有近似于与人类的学习能力，是其关键的方面之一。 精品文档 2.2学习方法 学习方法 按照广泛采用的分类方法，可以将神经网络的学习方法归为三类： 无导师学习 灌输式学习 有导师学习 精品文档 2.2学习方法 ①有导师学习 有导师学习又称为有监督学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看做对外部环境的了解，由输入-输出样本集合来表示。导师信号或期望响应代表了神经网络执行情况的最佳效果，即对于网络输入调整权值，使得网络输出逼近导师信号或期望输出。 精品文档 2.2学习方法 ②无导师学习 无导师学习也称无监督学习。在学习过程中，需要不断地给网络提供动态输入信息（学习样本），而不提供理想的输出，网络根据特有的学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入调整权值。 ③灌输式学习 灌输式学习是指将网络设计成记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值一旦设计好，即一次性“灌输给神经网络不再变动，因此网络对权值的”“学习”是“死记硬背”式的，而不是训练式的。 精品文档 2.3学习规则 学习规则 在神经网络的学习中，各神经元的连接权值需按一定的规则调整，这种权值调整规则称为学习规则。下面介绍几种常见的学习规则。 精品文档 2.3学习规则 1.Hebb学习规则 当神经元i与神经元j同时处于兴奋状态时，在神经网络中表现为连接权增加 。根据该假设定义权值调整的方法，称为Hebb学习规则。Hebb学习规则的数学描述： 假设oi（n）和oj（n）是神经元i和j在时刻n的状态反应，Wij（n）表示时刻n时，连接神经元i和神经元j的权值，△Wij（n）表示从时刻n到时刻n+1时连接神经元i和神经元j权值的改变量，则 其中，η是正常数，它决定了在学习过程中从一个步骤到另一个步骤的学习速率，称为学习效率 精品文档 2.3学习规则 2.Delta（δ）学习规则 Delta学习规则是最常用的学习规则，其要点是通过改变神经元之间的连接权来减小系统实际输出与理想输出的误差。假设n时刻输出误差准则函数如下： 其中， Ok=f（netk）为实际输出；yk代表理想输出；W是网络的所有权值组成权矩阵W=（wij）；K为输出个数。 使用梯度下降法调整权值W，使误差准则函数最小，得到W的修正Delta规则为： 注：Delta学习规则只适用于线性可分函数，无法用于多层网络 精品文档 2.3学习规则 3.LMS学习规则 LMS学习规则又称为最小均方差规则，其学习规则为： 注：LMS学习规则可以看成是Delta学习规则的一个特殊情况。 该学习规则具有学习速度快和精度高的特点，权值可以初始化为任何值。 精品文档 2.3学习规则 4.胜者为王学习规则 胜者为王（Winner-Take-All）学习规则是一种竞争学习规则，用于无导师学习。一般将网络的某一层确定为竞争层，对于一个特定的输入X，竞争层的K个神经元均有输出响应，其中响应值最大的神经元j*为竞争中获胜的神经元，即 只有获胜的神经元才有权调整其权向量Wj，调整量为： 其中，η为学习参数（0＜η≤1） 精品文档 2.3学习规则 5.Kohonen学习规则