BP神经网络探析.ppt

BP神经网络;主要内容;神经网络概述; 生物神经元模型;神经元结构模型; BP 神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型结构包括输入层（input)隐含层(hide layer)和输出层(output layer).;特点：多层前馈神经网络，信号向前传递，误差向后传播。 结构：;;输出层: 输入 输出;传递函数;A=logsig（n）（罗杰斯特）;研究表明，两层网络在其隐层中使用S型激励函数，在输出层中使用线性传递函数，就几乎可以以任意精度逼近任意感兴趣的函数.; 基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。利用输出后的误差来估计输出层的直接前一层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 ;网络结构 输入层n个神经元,隐含层p个神经元,输出层q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; ;输入层与隐含层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： ;BP标准算法步骤;BP标准算法步骤;BP标准算法步骤;BP标准算法步骤;BP标准算法步骤;BP标准算法步骤;BP标准算法步骤;BP标准算法步骤;梯度下降法;BP神经网络工作流程图;情况一、直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。;情况二、直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。;在Matlab中的实现;在Matlab中的实现;train 用于对神经网络进行训练。调用格式为： net=train(net,P,T) 其中， NET：待训练的神经网络； P：网络的输入信号； T：网络的目标，默认值为0； net：函数返回值，训练后的神经网络；;常见参数： net.trainParam.show 显示中间结果的周期（25） net.trainParam.lr 整批学习中的学习效率（0.01） net.trainParam.epochs 整批学习迭代次数上限（100） net.trainParam.goal 最小二乘目标误差设定值（0）;神经网络仿真函数sim 调用格式为： Y=sim(net,P) 其中， Y：函数返回值，网络输出； net：待仿真的神经网络； P：网络输入；;一、基本BP算法的缺陷 二、隐含层的层数与节点数的改进 三、用遗传算法优化BP神经网络; BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题： 学习效率低，收敛速度慢 易陷入局部极小状态 很难写出数学表达式;BP神经网络的构建必须注意隐含层神经元数的选择。 如果隐含层神经元数过少，BP神经网络难以建立复杂的映射关系，网络预测误差较大，如果隐含层神经元数过多???网络学习的时间增加，并且可能出现过拟合的现象，就是把样本中非规律性的内容（如噪声等）也学会记牢，从而出现训练样本准确，但是其他样本预测误差较大。 ;那怎么确定隐含层的神经元个数呢？ 现在还没有什么成熟的定理能确定各层神经元的神经元个数和含有几层网络，大多数还是靠经验;隐含层的层数与节点数的改进;实际问题中，隐含层神经元数的选择首先是参考公式来确定神经元的大致范围，然后试凑法确定最佳点数 注意对于一般问题BP神经网络的分类误差随着隐含层神经元的增加呈现先减少后增加的趋势 ;用GA直接训练BP网络的权重算法 用GA先求BP网络的权重，再用纯BP直接训练BP的混合GA－BP算法 ;实例应用;例题：下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测.;蠓虫的分类和识别;谢谢大家！