神经网络学习课件NeuralNetwoks(02) .ppt

第二章人工神经网络基本模型1、MP模型MP模型是人工神经网络的研究历史中最早提出，也是最为简单的模型。常用的有三种模型：（1）标准MP模型第二章人工神经网络基本模型（1）标准MP模型MP模型的工作原理其中参数的含义是：wji表示：神经元i与神经元j之间的连接权ui表示：神经元i的状态vi表示：神经元i的输出值，亦表示i的一个输入θi表示：神经元i的阀值第二章人工神经网络基本模型（1）标准MP模型MP模型的工作原理在MP模型中激励函数可以采用阀值型函数，亦可根据需要采用S型函数：学习准则：这种模型常常采用Hebb学习准则来调整神经元之间的连接权。Δwij=αuivj说明：兴奋性一致则加强，否则减弱！输入输出关系为：yk=WkTXk令yk为0，将输入分为两类，则有通过对w0、w1、w2的适当调整，即可实现对输入模式的正确分类。对于非线性划分模式(如“异或”问题)，根据Adaline模型则不能实现，但是可以对Adaline模型进行适当的改进第二章人工神经网络基本模型(2)改进线性神经元模型第二章人工神经网络基本模型令yk为0，将输入分为两类，则有通过对w0、w1、w11、w12、w22、w2的适当调整即可实现对输入模式的正确分类(非线性)。椭圆形区域内部输出为＋1椭圆形区域外部输出为－1同理可以根据具体实际情况，对输入进行其他非线性改造，以适应非线性分类的需要。第二章人工神经网络基本模型(3)线性神经网络模型所谓线性神经网络模型，就是由若干线性神经元按照一定的连接方式构成的模型。如Madalines模型：∑x10∑x20x1x1WAND第二章人工神经网络基本模型(4)线性神经网络学习算法线性神经网络常用的学习算法为LMS算法，LMS算法的思想就是利用误差函数的最速下降原则，调整神经元的连接权，使神经元的实际输出与理想输出的差最小。即其中μ为训练参数，为误差函数在当前的梯度误差函数为第二章人工神经网络基本模型其中：djk表示k时刻输出单元j的理想输出∑wijxik表示实际输出记定义瞬时梯度为所以权值迭代公式为：第二章人工神经网络基本模型LMS算法可以描述为：α为学习步长，εk为当前误差，|Xk|2为权值个数代入，有学习步长α决定了算法的稳定性和收敛性，一般取值为0.1α1.0第二章人工神经网络基本模型LMS算法的具体实现步骤：(1)初始化网络参数(2)输入样本(3)计算实际输出yk(4)如果εδ，则结束。否则下一步(5)计算ΔW，更新W(6)返回第(2)步例：参看教材P39第二章人工神经网络基本模型(5)线性神经网络的MATLAB实现在MATLAB神经网络工具箱中提供了基于线性神经网络的初始化函数initlin()、设计函数solvelin()、仿真函数simulin()以及训练函数trainwh和adaptwh。初始化函数initlin()函数initlin()对线性神经网络初始化时，将权值和阀值取为绝对值很小的数。其使用格式[w,b]=initlin(R,S)R为输入数，S为神经元数。另外，R和S也可用输入向量P和目标向量t来代替，即[w,b]=initlin(p,t)第二章人工神经网络基本模型设计函数solvelin()与大多数其它神经网络不同，只要已知其输入向量P和目标向量t，就可以直接设计出线性神经网络使得线性神经网络的权值矩阵误差最小。其调用命令如下：[w,b]=solvelin(p,t);仿真函数simulin()函数simulin()可得到线性网络层的输出a=simulin(p,w,b)其中a为输出向量,b为阀值向量第二章人工神经网络基本模型训练函数trainwh和adaptwh()线性神经网络的训练函数有两种：trainwh()和adaptwh()。其中函数trainwh可以对线性神经网络进行离线训练；而函数adaptwh()可以对线性神经网络进行在线自