bp神经网络原理及实战.pptxVIP

BP神经网络原理及实战BP神经网络的发展历程BP神经网络在MATLAB中的实现目录0102BP神经网络算法的基本原理03BP神经网络的发展历程1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点使神经网络的研究走向长达10年的低潮时期。1974年哈佛大学的Paul Werbos发明BP算法时，正值神经外网络低潮期，并未受到应有的重视。1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商这个NP完全问题的求解上获得当时最好成绩，引起了轰动。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。真正打破明斯基冰封魔咒的是，David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑，BP算法迅速走红，掀起了神经网络的第二次高潮。因此，BP算法的历史意义：明确地否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义。BP神经网络的基本原理：M-P神经元模型x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，则神经元i的输出与输入的关系表示为：图中 yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。图中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。BP神经网络的基本原理：常用激活函数常用的线性激活函数有：线性函数，斜面函数，阈值函数常用的非线性激活函数有：s型函数双s型函数BP神经网络要求激活函数可导！BP神经网络的基本原理：前馈神经网络模型( Feedforward Neural Networks）前馈神经网络　 前馈网络也称前向网络。这种网络只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号，因此被称为前馈网络。感知机( perceptron)与BP神经网络就属于前馈网络。BP神经网络的基本原理：神经网络的学习状态网络的学习主要是指使用学习算法来调整神经元间的联接权，使得网络输出更符合实际。学习算法分为有导师学习( Supervised Learning )与无导师学习( Unsupervised Learning )两类。BP算法就是一种出色的有导师学习算法。有导师学习方法步骤1） 从样本集合中取一个样本（Ai，Bi）1） 从样本集合中取一个样本（Ai，Bi）2） 计算网络的实际输出O2） 计算网络的实际输出O3） 求D=Bi-O4） 根据D调整权矩阵W5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围BP神经网络的基本原理：BP算法BP算法分为两步进行： 正向传播：输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，传向输出层。 反向传播：把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以使误差信号趋向最小。如何修改权重系数，使得误差最快收敛至给定精度？BP算法的核心是什么？BP神经网络的基本原理：BP算法举例——L-M算法Levenberg-Marquardt算法是一种最优化算法，是使用最广泛的非线性最小二乘法。原始的BP算法是梯度下降法，参数沿着与误差程度相反的方向移动，使误差函数减小，直到取得最小值。它的计算复杂度主要是由计算偏导数引起的。这种基于梯度下降的方法只是线性收敛，速度很慢。而Levenberg-Marquardt算法，结合了梯度下降法与高斯-牛顿法，其训练次数与准确性明显优于原始BP算法.BP神经网络在MATLAB中的实现举例：利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。 样本数据如下：输入X输出D输入X输出D输入X输出D-1.0000-0.9602-0.30000.1336 0.40000.3072 -0.9000