神经网络 学习期.pptxVIP

神经网络 工作包含两个阶段：学习期和工作期。  学习期 整个网络的训练样本集固定，各连接权值通过学习来修改，学习的目的是从训练数据中提取隐含的规律，并以权值存储在网络中，提供给工作期使用。 工作期 连接权值固定，网络对实际的输入做出响应，并达到最终的输出状态，以实现某些具体任务或者特定功能。 人工神经网络的功能特性由其连接的拓扑结构、突触连接强度（连接权值）决定。全体连接权值用矩阵W表示，它反映了网络对于所解决问题的知识存储。神经网络能通过对样本的学习训练，不断改变网络的连接权值，甚至拓扑结构，以使网络的输出不断地接近期望的输出，这一过程成为神经网络的训练或学习。神经网络改变权值的规则称为学习规则。神经网络的学习分为三类：有监督学习、无监督学习和灌输学习。 在学习过程中，可分为三类：有导师学习、无导师学习和灌输式学习。 有导师学习 给网络提供输入和期望输出作为训练样本，将期望输出与实际输出进行比较，当实际输出与期望输出不符，根据误差的大小和方向按照一定的规律调整权值，从而使实际输出趋于期望输出。 在学习过程中，可分为三类：有导师学习、无导师学习和灌输式学习。 无导师学习 学习过程中，不断地内部按特定的学习规则，发现网络提供的动态输入信息流中的任何可能存在的模式和规则，同时根据网络的功能和输入调整权值，这个过程是自组织的，其结果是使网络能对属于同一类的模式进行自动分类。 在学习过程中，可分为三类：有导师学习、无导师学习和灌输式学习。  灌输式学习       将网络设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来，其权值不是通过训练得来的，而是通过某种设计方法得到的。  学习规则 神经网络的运行一般分为训练和工作两个阶段。训练的目的是从训练数据中提取隐含的知识和规律，并存储在网络中供工作阶段使用。   日本的Amari于1990年提出了一种神经网络权值调整的通用学习规则 常见的学习规则 Hebb学习规则       1949年D.O.Hebb认为当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应加强，处于抑制状态时应减弱。根据此假设定义的学习规则称为Hebb学习规则。       学习信号r=f(WjTX),即学习信号简单的等于神经元输出，       权向量的调整量公式为ΔWj=η*f(WjTX)*X,       每个分量的调整量公式为Δwij=η*f(WjTX)*xi=η*oj*xi，i=1,2,3,...,n。       该规则要求权值初始化，即Wj(0)初始化为0附近的随机数，还需设置权的饱和值，以防止权值无约束增长。Hebb规则是一种纯前馈的无监督学习规则。 常见的学习规则 离散感知器学习规则        1958年Frank Rosenblatt 定义了一个具有单层计算单元的神经网络结构-------感知器，其学习规则规定，         学习信号为神经元的期望输出与实际输出之差，即r=dj-oj，dj为期望输出，oj=f(WjTX)，感知器采用符号函数为变换函数 f(WjTX)=sgn(WjTX) 权值调整公式为ΔWj=η*[dj-sgn(WjTX)]X, 分量调整公式为Δwij=η*[dj-sgn(WjTX)]xi，i=1,2,3,...,n。        当实际输出与期望输出相同时，权值不需要调整，该规则是一种有监督的学习规则。 常见的学习规则 连续感知器学习规则        1986年McClellan和Rumelhart在神经网络的训练中引入δ规则，该规则规定 学习信号r=[dj-f(WjTX)]f(WjTX)=[dj-oj]f(netj) 显然规则要求变换函数可导，故只适用于有监督学习中定义的连续变换函数，如sigmod函数。        事实上，该规则可由输出值和期望值的最小平方误差条件推导出来。定义输出值和期望值的平方误差如下 E=(dj-oj)2/2=[dj-f(WjTX)]2/2        由上可知，E是Wj的函数，当E最小时，Wj应与误差的负梯度成正比，即 ΔWj=-η*ΔE，而ΔE为E对Wj的偏导，即ΔE=-(dj-oj)f(WjTX)X ，故ΔWj=η*(dj-oj)f(netj)X=η*δ*X，        各分量的调整公式Δwij=η*(dj-oj)f(netj)*xi，i=1,2,3,...,n。        δ规则的权值可以初始化为任意值。 常见的学习规则 最小均方学习规则         1962年Bernard Widrow和Marcian Hoff提出了Widrow—Hoff学习规则，因为它能使实际输出与期望输出的平方差最小，故又称LMS最小均方规则。 学习信号 r=dj-WjTX         权向