多层前馈神经网络算法解读.pptVIP

多层前馈神经网络算法 王玉良 目录 多层前馈神经网络结构图 神经网络输入和结构的确定 神经网络节点结构 关于挤压函数（激活函数） 神经网络的误差 神经网络误差的计算 多层前馈神经网络结构图 神经网络权重与偏倚的更新操作 梯度下降法 梯度下降法 神经网络算法总结 神经网络算法总结 例题 例题 例题 例题 例题 例题 例题 例题 神经网络算法难点 例题 关于更新操作的时机 实例演示 Thank You! Add Your Company Slogan * * 神经网络算法基础知识 多层前馈神经网络 神经网络例题 1 2 3 神经网络实例演示 4 隐藏层和输出层的节点被称作神经节点，神经网络的层数为隐藏层数+输出层数。神经网络是全链接的，即每一个节点和它下一层的每一个节点都有链接。 神经网络可以接受离散型和连续型的数据。若将输入规范化，使得他们落入0到1这个区间内，会有较佳的结果。一般对于分类数据，用0和1分别表示一种状态，若状态多于两种，可以增加输入节点。 关于隐藏层的层数和每一层的数量，没有“最好的”方案，需要反复调整，从而得到较优解。 权重和偏倚的初始值为（-1,1）随机值。输入节点将输入值输出。隐藏层节点和输出层节点结构如下图所示： 挤压函数是将一个较大的数（净输入）映射到0到1区间，常用的挤压函数主要为logistic函数。对于不同的神经网络应用，还有其他的挤压函数。 该函数的自变量是净输入。 因为权重和偏倚的初始值是随机得到的，所以初始状态的神经网络是无法满足我们的要求的。这时候我们就需要比较计算结果和训练数据的“正确答案”，得到误差，从而调整神经网络内的权重和偏倚，来得到较满意的神经网络。 输出层节点误差的计算： 其中 是输出节点的输出， 是训练数据的“答案”。 隐藏层节点误差的计算： 其中 是隐藏层节点的输出， 是下一层节点误差与权重积的和。 可见误差计算是从后往前计算的的 是节点的误差，l是学习率，取值范围为（0,1）（相当于梯度下降法的步长） 偏倚的更新与权重的更新非常类似。 权重与偏倚的更新操作都使用的是梯度下降法。 权重的更新： 偏倚的更新： 梯度下降法又叫最速下降法（steepest descend method），用来求解函数的最大或者最小值的，属于无约束优化问题。梯度向量为函数值f对每个变量的导数，该向量的方向就是梯度的方向，向量的大小也就是梯度的大小。 梯度下降法的基本原理：现假设我们要求函数f的最大（小）值，首先任取一个初始点，然后下一个点的产生时是沿着梯度直线方向（反方向）进行迭代，迭代公式如下： 为步长， 为梯度方向 到这里神经网络算法的计算部分就结束了，我们进行一下总结： 输入节点将值输入到隐藏层，隐藏层和输出层的每一个节点进行计算，并输出。计算过程为加权和+偏倚得到净输入，净输入作为挤压函数的参数进行计算，得到的结果就是每一个节点的输出值。这样从前到后按层计算就会得到神经网络的结果。 更新操作的方向与计算方向相反。通过输出节点的输出和训练数据的“正确答案”求出误差，使用梯度下降法对权重和偏倚进行更新。这样后向前按层更新，从而实现对整个神经网络的更新操作。 神经网络算法的停止条件： 1、 小于某一个阈值，代表已经非常接近于最优值，从而停止迭代。 2、与所有训练数据的平均误差小于一个阈值，代表我们得到了满意解，从而停止迭代。 3、达到一定的迭代次数，从而停止迭代。 如图是一个多层前馈神经网络，学习率为0.9。设一组训练数据为输入值为（1,0,1），结果为1 输入、权重和偏倚的初始值如下： 为了计算每一个节点的输出，我们首先计算净输入（以节点4为例）： 这样我们就可以求得节点4和节点5的净输入： 下面将净输入作为参数输入挤压函数就可以求出节点的输出： 此时我们求出了隐藏层的输出，再根据隐藏层的输出计算输出层节点6： 同理，首先求净输出L6： 从而求得节点6的输出： 到此我们就完成了神经网络算法的一次计算，下面对该网络进行更新操作。 因为更新操作的顺序是从后往前的，首先对输出节点进行更新。先求输出节点的误差Err6： 因为训练数据的“正确答案”为1，所以T6等于1。 权重进行更新操作： 偏倚进行更新操作： 同理，可以对节点4、5进行更新操作，其误差计算方法与节点6不同： 权重和偏倚的更新操作与节点6相同，在这里就不详细计算： 神经网络的计算过程和更新过程还是比较简单的。但神经网络也存在难点，主要包括两方面： 1、神经网络结构的确定。 2、因为权重和偏移的初始值是随机的，有可能有限次内不能得到满意解。 3、神经网络算法学习出来的规则难