神经网络讲解与实例.ppt

人工神经网络 (Artificial Neural Netwroks -----ANN) ;1.1 人工神经网络发展概况;(4) 并行工作方式； ;人工神经网络的基本特点 ;1.2 神经网络基本概念;2．生物神经元的工作机制;1.2.2 人工神经元及神经网络;神经元的动作： ;1.2.3 神经网络的学习;wij(t+1)：修正一次后的某一权值； η：学习因子，表示学习速率的比例常数； yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。 ;2. δ学习规则;1.3 前馈神经网络;设输入模式向量， ，共M类。;M类问题判决规则( 神经元的输出函数) 为;设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为;1.3.2 BP网络;;2．BP算法;S型输出函数：; 对输入模式Xp，若输出层中第k个神经元的期望输出为 dpk，实际输出为ypk。输出层的输出方差 ：;令 ，可得;BP算法建模步骤：;改进的权值修正：;3．应用之例：蚊子的分类 ;输入数据有15个，即 , p=1,…,15; j=1, 2; 对应15个输出。 建模：（输入层，中间层，输出层，每层的元素应取多少个？） 建立神经网络 ;规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。 设两个权重系数矩阵为： ;分析如下： ;则有： ;（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句： ;取;(5) 计算 ;(6) p=p+1，转（2） ;即网络模型的解为： ;4.BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。;*;*;*;*;*;*;*;*;*;*;6.MATLAB神经网络工具箱的应用 在网络训练过程中使用的是Matlab 7.0 for Windows软件，对于BP神经元网络的训练可以使用Neural Networks Toolbox for Matlab。美国的Mathwork公司推出的MATLAB软件包既是一种非常实用有效的科研编程软件环境，又是一种进行科学和工程计算的交互式程序。MATLAB本身带有神经网络工具箱，可以大大方便权值训练，减少训练程序工作量，有效的提高工作效率. ;7. BP网络——应用实例;步骤2：设计网络结构 根据分析，该例的网络结构如图1所示。 步骤3：初始化该网络的权值和偏差 网络的初始权值和偏差一般是用随机函数生成的介于[ - 1,1]的小数, 该例的初始权值和偏差如表3所示 ;步骤4：进行训练 将学习效率（学习因子）η设为0.7 依次将表2中的样本输入网络，计算出个神经元的输入、输出和误差 计算反向传播所得误差，更新权值和偏差，所有样本输入完毕后， 判断是否满足终止条件，不满足则进行下一轮迭代，满足则迭代结 束。 第1次扫描迭代中,计算出各神经元的净输入、输出、误差、权值和偏差更新值如表4所示。 步骤5：实现分类 通过上述训练后，该BP网络可提取关于输入(存款金额、贷款次数、 及时还贷率)和输出类(信用等级)的关联规则。 利用这些规则即可实 现对现有客户信用等级的分类,并据此做出客户贷款偿付预测,进行客 户信用政策分析。 ; ;结束; 例: BP神经网络水（处理）系统的模拟与预测等方面获得了广泛的应用 。; 样本;检验样本 ;隐层神经元数的选择 隐层神经元数的选择是一个十分复杂的问题。因为没有很好的解析式表示，可以说隐层神经元数与问题的要求、输入层与输出层神经元的数量、训练样本的数量等都有直接关系。事实上隐层神经元太少不可能将网络训练出来，但太多又使学习时间过长，使网络不“不强壮”，泛化能力下降，即不能识别以前没有直接接收到的样本，容错性差。 当隐层数为20×10和8×4时的训练结果: