第6章-人工神经网络算法.ppt

六、人工神经网络算法 2.BP算法的原理 2.3 BP神经网络的算法描述 2.误差反向传播阶段(网络权值修正阶段) 通过调整权值和阈值,使得误差能量达到最小时,网络趋于稳定状态,学习结束。 （1）输出层与隐含层之间的权值调整。对每一个 的修正值为: 式中: 为学习步长,取值介于(0,1)，对式 求偏导得: 记： 六、人工神经网络算法 2.BP算法的原理 2.3 BP神经网络的算法描述 2.误差反向传播阶段(网络权值修正阶段) 有: 将式子整理得 六、人工神经网络算法 2.BP算法的原理 2.3 BP神经网络的算法描述 2.误差反向传播阶段(网络权值修正阶段) （2）隐含层与输入层的权值调整。同理,对每一个 的调整值为: 其中, 再根据: 数据挖掘算法、原理与实践 王振武 六、人工神经网络算法 1.基本概念 1.1 生物神经元模型 人的神经系统是由众多神经元相互连接而成的一个复杂系统，神经元又叫神经细胞,它是神经组织的基本单位。 六、人工神经网络算法 1.基本概念 1.2 人工神经元模型 人工神经元模型就是用人工方法模拟生物神经元而形成的模型,是对生物神经元的抽象、模拟与简化，它是一个多输入、单输出的非线性元件，单个神经元是前向型的。 六、人工神经网络算法 1.基本概念 1.2 人工神经元模型 在神经元中,对信号进行处理采用的是数学函数,通常称为激活函数、激励函数或挤压函数，其输入、输出关系可描述为 式中 是从其它神经元传来的输入信号; 是该神经元的阈值; 表示从神经元i到神经元j的连接权值; 为激活函数或挤压函数。 六、人工神经网络算法 1.基本概念 1.2 人工神经元模型 神经元采用了不同的激活函数,使得神经元具有不同的信息处理特性,并且神经元的信息处理特性是决定神经网络整体性能的主要因素之一。 下面介绍四种常用的激活函数形式： （1）阈值型函数，即 为阶跃函数。 具有这一作用方式的神经元称为阈值型神经元,是神经元模型中最简单的一种,经典的M-P模型神经元就属于这一类。 六、人工神经网络算法 1.基本概念 1.2 人工神经元模型 神经元采用了不同的激活函数,使得神经元具有不同的信息处理特性,并且神经元的信息处理特性是决定神经网络整体性能的主要因素之一。 下面介绍四种常用的激活函数形式： （2）分段线性函数。此函数特点是:神经元的输入与输出在一定区间内满足线性关系。这类函数也称为伪线性函数,表达式如下: 六、人工神经网络算法 1.基本概念 1.2 人工神经元模型 神经元采用了不同的激活函数,使得神经元具有不同的信息处理特性,并且神经元的信息处理特性是决定神经网络整体性能的主要因素之一。 下面介绍四种常用的激活函数形式： （3）Sigmoid函数。Sigmoid函数也叫S型函数,通常是在(0,1)或（-l,1）内连续取值的单调可微分函数，它是一类非常重要的激活函数,无论神经网络用于分类、函数逼近或优化,Sigmoid函数都是常用的激活函数。常用指数或正切等一类曲线表示: 或 其中 又称为Sigmoid函数的增益,其值决定了函数非饱和段的斜率, 越大, 曲线越陡。 六、人工神经网络算法 1.基本概念 1.2 人工神经元模型 神经元采用了不同的激活函数,使得神经元具有不同的信息