机器人的学习研究进：深度学习及应用.pptVIP

Deep learning与Neural Network异同 而为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。 传统神经网络中，采用的是反向传播（BP）的方式进行。即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前计算的输出值和实际的标记值之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。 deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）。这个问题在后面有所讨论。 1.8 Deep learning训练过程 1.8.1 传统神经网络的训练方法为什么不能用在深度神经网络 1.8.2 deep learning训练过程 1.8.1 传统神经网络的训练方法为什么不能用在深度神经网络 BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。 深度结构（涉及多个非线性处理单元层）非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。 1.8.1 传统神经网络的训练方法为什么不能用在深度神经网络 BP算法存在的问题： （1）梯度越来越稀疏：从顶层越往下，误差校正