BackpropagationAlgorithm.ppt

Backpropagation Algorithm 郝红侠 2006.11.13 Perceptron : Single Layer Feed-forward XOR问题 任何一个逻辑电路都可以只用XOR门来实现， XOR是通用门 (universal logic gate) 感知器不能解决XOR问题 两层感知器可以解决XOR问题 Perceptron : Multi Layer Feed-forward MLP的特性 除了输入输出，MLP含有一层或多层隐单元，隐单元从输入模式中提取更多有用的信息，使网络完成更复杂的任务。 MLP神经元的激励函数一般采用Sigmoid函数，即 当隐层神经元足够多时，Sigmoid结构原则上可以以任意精度逼近的多元非线性函数 MLP的适用范围大大超过单程网络 为了提高神经网络的分类能力，必须采用MLP，但当要精确逼近复杂问题时，隐层神经元和连接突触可能会达到“爆炸”量。 Backpropagation Algorithm Late 1980’s - NN re-emerge with Rumelhart and McClelland (Rumelhart, D., McClelland, J., Parallel and Distributed Processing, MIT Press, Cambridge, 1986.） Learning Rule Measure error Reduce that error By appropriately adjusting each of the weights in the network BP Network Details Forward Pass: Error is calculated from outputs Used to update output weights Backward Pass: Error at hidden nodes is calculated by back propagating the error at the outputs through the new weights Hidden weights updated BP Algorithm 正向过程: Case 1: 输出层权值修正 Case 2:隐层权值修正 BP算法的步骤 初始值选择 前向计算，求出所有神经元的输出 对输出层计算δ 从后向前计算各隐层δ 计算并保存各权值修正量： 修正权值： 判断是否收敛，如果收敛则结束，不收敛则转至Step2 收敛性和局部极小值 对于多层网络，误差曲面可能含有多个不同的局部极小值，梯度下降可能陷入这些局部极小值中的任何一个 对于多层网络，反向传播算法仅能保证收敛到误差E的某个局部极小值，不一定收敛到全局最小误差 尽管缺乏对收敛到全局最小误差的保证，BP算法在实践中仍是非常有效的函数逼近算法 BP算法的改进 学习率影响系统学习过程的稳定性。大的学习率可能使网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛；但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。所以，一般倾向选取较小的学习率以保证学习过程的收敛性（稳定性），通常在0.01~0.8之间。 增加冲量项的目的是为了避免网络训练陷于较浅的局部极小点。理论上其值大小应与权值修正量的大小有关，但实际应用中一般取正数。通常在0~1之间，而且一般比学习率要大。 增加冲量项 Here we modify weights of neurons with: THANK YOU! * * Input layer of source nodes Output layer of neurons Rosenblatt’s Perceptron: a network of processing elements (PE): 异或问题的二层感知器 Input layer Output layer Hidden Layer ???? ???? ???? ???? 式中ni是第i个神经元的输入信号，ai是该神经元的输出信号。 Why BP is a learning method？ 它之所以是一种学习方法，就是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。如果将该多层网络看成一个变换，而网络中各人工神经元之间的连接权值看成变换中的参数，那么这种学习算法就是要求得这些参数。 Why a Backpropagation learning