后向传播.docVIP

后向传播 “后向传播如何工作？”后向传播通过迭代地处理一组训练样本，将每个样本的网络预测与实际知道的类标号比较，进行学习。对于每个训练样本，修改权，使得网络预测和实际类之间的均方误差最小。这种修改“后向”进行，即由输出层，经每个隐藏层，到第一个隐藏层（因此称作后向传播）。尽管不能保证，一般地，权将最终收敛，学习过程停止。算法在图7.8中给出。 算法：后向传播。使用后向传播的神经网络分类学习。 输入：训练样本samples，学习率l，多层前馈神经网络network。 输出：一个训练的、对样本分类的神经网络。 方法： 初始化network的权和偏置。 while终止条件不满足{ for samples中的每个训练样本X{ //向前传播输入 for 隐藏或输出层每个单元j{ ；//相对于前一层i，计算单元j的净输入 ；}//计算每个单元j的输出 //后向传播误差 for 输出层每个单元j ；//计算误差 for 由最后一个到第一个隐藏层，对于隐藏层每个单元j ；//计算关于下一个较高层k的误差 for network中每个权wij { ；//权增值 ；}//权更新 for network中每个偏差 { ；//偏差增值 ；}//偏差更新 }} 每一步的解释如下： 初始化权：网络的权被初始化为很小的随机数（例如，由-1.0到1.0，或由-0.5到0.5）。每个单元有一个偏置，在下面解释。偏置也类似地初始化为小随机数。 每个样本X按以下步骤处理。 向前传播输入：在这一步，计算隐藏层和输出层每个单元的净输入和输出。首先，训练样本提供给网络的输入层。注意，对于输入层的单元j，它的输出等于它的输入，即对于单元j，。然后，隐藏层和输出层的每个单元的净输入用其输入的线性组合计算。为帮助解释这一点，图7.9给出了一个隐藏层或输出层单元。事实上，单元的输入是连接它的前一层的单元的输出。为计算它的净输入，连接该单元的每个输入乘以其对应的权，然后求和。给定隐藏层或输出层的单元j，到单元j的净输入Ij是 （7.13） 其中，wij是由上一层的单元i到单元j的连接的权；Oi是上一层单元i的输出；而是单元j的偏置。偏置充当阈值，用来改变单元的活性。 隐藏层和输出层的每个单元取其净输入，然后将一个赋活函数作用于它，如图7.9所示。该函数用符号表现单元代表的神经元活性。使用logistic或simoid函数。给定单元j的净输入Ij，则单元j的输出Oj用下式计算： （7.14） 该函数又称挤压函数，因为它将一个较大的输入值域映射到较小的区间0到1。Logistic函数是非线性的和可微的，使得后向传播算法可以对线性不可分的分类问题建模。 向后传播误差：通过更新权和偏置以反映网络预测的误差，向后传播误差。对于输出层单元j，误差Errj用 （7.15） 计算，其中Oj是单元j的输出，而Tj是j基于给定训练样本的已知类标号的真正输出。注意，是logistic函数的导数。 为计算隐藏层单元j的误差，考虑下一层中连接j的单元的误差加权和。隐藏层单元j的误差是 （7.16） 其中，wkj是由下一较高层中单元k到单元j的连接权，而Errk是单元k的误差。 更新权和偏差，以反映传播的误差。权由下式更新，其中是权wij的改变。 （7.17） （7.18） 7.18式中的l是学习率，通常取0和1之间的一个常数值。后向传播学习使用梯度下降法搜索权值的集合。这些权值可以对给定的分类问题建模，使得样本的网络预测和实际的类标号距离平方的平均值最小。学习率帮助避免陷入判定空间的局部最小（即权值看上去收敛，但不是最优解），并有助于找到全局最小。如果学习率太小，学习将进行得很慢。如果学习率太大，可能出现在不适当的解之间摆动。一个经验规则是将学习率设置为。其中，t是已对训练样本集迭代的次数。 偏置由下式更新，其中是偏置的改变： （7.19） （7.20） 注意，这里我们每处理一个样本就更新权和偏置，这称作实例更新（case update）。权和偏置的增量也可以累积到变量中