最新Backpropagation Algorithm.pptVIP

* ijfhf vvvvt 1957年美国学者罗森布拉特Rosenblatt提出了一类具有自学习能力的感知器模型，它是一个具有单层计算单元的前向神经网络，其神经元为线性阈值单元，称为单层感知器。它和M-P模型相似，当输入信息的加权和大于或等于阈值时，输出为1，否则输出为0或-1。与M-P模型不同之处是神经元之间的连接权值wi是可变的，这种可变性就保证了感知器具有学习能力。 * ijfhf vvvvt * ijfhf vvvvt 输入层神经元的个数为输入信号的维数，输出层神经元的个数为输出信号的维数。隐含层个数以及隐节点个数视具体情况而定，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。 * ijfhf vvvvt * ijfhf vvvvt * ijfhf vvvvt 反向传播模型也称B-P（Back Propagation）模型,是一种用于前向多层神经网络的反向传播学习算法，由鲁梅尔哈特D.Rumelhat和麦卡洛克MeClelland于1986年提出。 * ijfhf vvvvt * ijfhf vvvvt 工作信号正向传播，误差信号反向传播 反向传播算法：从后向前（反向）逐层传播输出层的误差，以间接算出隐层误差。分两个阶段： 正向过程：从输入层经隐层逐层正向计算各单元的输出 反向过程：由输出误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值 * ijfhf vvvvt * ijfhf vvvvt * ijfhf vvvvt * ijfhf vvvvt * ijfhf vvvvt * ijfhf vvvvt * ijfhf vvvvt 1°将（1）式写成以t为变量的时间序列，t由0到n。则（1）式就可以看成是∧wij（n）的一阶查分方程，即（2）式。 右侧第一项就是表4-2中的权值更新法则，第二项被称为冲量项 梯度下降的搜索轨迹就像一个球沿误差曲面滚下，冲量使球从一次迭代到下一次迭代时以同样的方向滚动 冲量有时会使这个球滚过误差曲面的局部极小值或平坦区域 冲量也具有在梯度不变的区域逐渐增大搜索步长的效果，从而加快收敛 * ijfhf vvvvt * ijfhf vvvvt Backpropagation Algorithm 郝红侠 2006.11.13 hhjkl * Perceptron : Single Layer Feed-forward Input layer of source nodes Output layer of neurons Rosenblatt’s Perceptron: a network of processing elements (PE): hhjkl * XOR问题 任何一个逻辑电路都可以只用XOR门来实现， XOR是通用门 (universal logic gate) 感知器不能解决XOR问题 两层感知器可以解决XOR问题 异或问题的二层感知器 hhjkl * Perceptron : Multi Layer Feed-forward Input layer Output layer Hidden Layer ???? ???? ???? ???? hhjkl * MLP的特性 除了输入输出，MLP含有一层或多层隐单元，隐单元从输入模式中提取更多有用的信息，使网络完成更复杂的任务。 MLP神经元的激励函数一般采用Sigmoid函数，即 式中ni是第i个神经元的输入信号，ai是该神经元的输出信号。 hhjkl * 当隐层神经元足够多时，Sigmoid结构原则上可以以任意精度逼近的多元非线性函数 MLP的适用范围大大超过单程网络 为了提高神经网络的分类能力，必须采用MLP，但当要精确逼近复杂问题时，隐层神经元和连接突触可能会达到“爆炸”量。 hhjkl * Backpropagation Algorithm Late 1980’s - NN re-emerge with Rumelhart and McClelland (Rumelhart, D., McClelland, J., Parallel and Distributed Processing, MIT Press, Cambridge, 1986.） Why BP is a learning method？ 它之所以是一种学习方法，就是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。如果将该多层网络看成一个变换，而网络中各人工神经元之间的连接权值看成变换中的参数，那么这种学习算法就是