人工神经网络（ANN）方法简介（完整）.pptVIP

解决方案——计算两个传播方向： “前向传播(Forward propagation)”：输入{xi}进入网络，按照信息在网络中前进移动的方向，逐次计算aj，zj直至输出{yk}的过程；（输入向输出方向的前向传播） “后向传播(Back propagation)”：利用输出层的误差来估计输出层的直接前导层的误差，再依次估计更前一层的误差，获得所有各层的误差估计。（输出误差向输入方向的后向传播）（Rumelhart, Hinton Williams, 1986） 1 2 M 2 1 ?x1 N ?y1 1 2 c ?y2 ?yc ?W(1) ?W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) ?x2 ?xN 设学习集有T个样本，记为{x?, t?}，? =1, 2, …, T，其中： 输入 理想输出 计算实际输出，记为： 实际输出 感知器的激活函数 神经元获得网络输入信号后，信号累计效果整合函数u(X)大于某阈值? 时，神经元处于激发状态；反之，神经元处于抑制状态。 构造激活函数?，用于表示这一转换过程。要求?是[-1, 1]之间的单调递增函数。 激活函数?通常为3种类型，由此决定了神经元的输出特征。 激活函数?为符号函数： 1 -1 u ? 激活函数?为分段线性函数： 1 -1 u ? 激活函数?为Sigmoid函数，其特点是单调递增、光滑且具有渐近值，具有解析上的优点和神经生理学特征。 ? 1 -1 u M-P模型 将人工神经元的基本模型与激活函数?结合，即McCulloch –Pitts模型。 w1 ? u=?wixi w2 wn x1 x2 xn y=? (u(X)-? ) 2、 感知器的学习算法 什么是“学习”？ “The conceptual scheme for ‘learning’ in this context is a machine with an input channel for figures, a pair of YES and NO output indicators, and a reinforcement or ‘reward’ button that the machine’s operator can use to indicate his approval or disapproval of the machine’s behavior.” ——M. L. Minsky and S. A. Papert, “Perceptron”(1988) ANN学习定理——ANN可以学会它表达的任何东西。（Rosenblatt，1962年） ANN的表达能力有限，其学习能力也受到限制。 ANN的学习过程就是训练过程，在将训练样本集输入到网络的过程中，按照一定的方式来调整神经元之间的联结权重值，使得网络能够将训练样本集的内涵以联结权重矩阵的方式存储起来，从而使得网络在接受输入时，能够给出适当的输出。 有监督的学习（Supervised learning） 无监督的学习（Unsupervised learning） 基本思想 感知器的学习是有监督的学习。学习的问题归结为求权重系数W = (w1, w2, …, wn)和阈值?的问题。 基本思想：逐步将训练集中的样本输入到网络中，根据当前输出结果和理想输出结果之间的差别来调整网络中的权重值。 w1 ? u=?wixi w2 wn x1 x2 xn y=? (u(X)-? ) 设X = (x1, x2, …, xn)表示n个输入，W = (w1, w2, …, wn)表示它们对应的联结权重。假设取符号函数为激活函数?， 此为经典的M-P模型： w1 ? u=?wixi w2 wn x1 x2 xn +1 or -1 训练集的样本（输入向量、输出值）为： t为样本数目。其中， STEP 2 重复下列过程，直至训练完成： STEP 2.1 对训练集中的每一个样本(xk, yk)，重复如下过程： STEP 2.1.1 输入xk STEP 2.1.2 计算 STEP 2.1.3 若输出不正确，则 STEP 1 初始化权重向量W = (w1, w2, …, wn)，不妨取w1= w2=…,= wn=1 ~ ~ ~ 3、 关于感知器的基本理论问题 “线性不可分”问题的困境及其解决 Marvin Minsky MIT Media Lab and MIT AI LabToshiba Professor of Media Arts and SciencesProfessor of E.E. and C.S., M.I.Tminsk