深度学习之反向传播.docVIP

深度学习之反向传播算法（BackPropagation） 算法简介 反向传播算法( BP算法)主要由两个环节(激励传播、权重更新)反复循环 迭代，直到网络的对输入的响应达到预定的目标范围为止。 BP算法要求每个人工神经元（节点）所使用的 激励函数必须是 可微的。BP算法特别适合用来训练前向神经网络。 算法原理 假设有一个固定样本集?，它包含??个样例。可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例?，其代价函数(或损失函数)为： 这是一个（二分之一的）方差代价函数。给定一个包含??个样例的数据集，可以定义整体代价函数为： 以上公式中的第一项??是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。 [注：通常权重衰减的计算并不使用偏置项?，比如在??的定义中就没有使用。一般来说，将偏置项包含在权重衰减项中只会对最终的神经网络产生很小的影响。] 权重衰减参数??用于控制公式中两项的相对重要性。在此重申一下这两个复杂函数的含义：?是针对单个样例计算得到的方差代价函数；?是整体样本代价函数，它包含权重衰减项。 以上的代价函数经常被用于分类和回归问题。在分类问题中，利用??或?1，来代表两种类型的标签（这是因为 sigmoid激活函数的值域为?；如果我们使用双曲正切型激活函数，那么应该选用??和??作为标签）。对于回归