人工神经网络方法简介24.pptVIP

人工神经网络方法简介 （2）激活函数?为分段线性函数： 1 -1 u ? 人工神经网络方法简介 （3）激活函数?为Sigmoid函数，其特点是单调递增、光滑且具有渐近值，具有解析上的优点和神经生理学特征。 ? 1 -1 u 人工神经网络方法简介 2. M-P模型 将人工神经元的基本模型与激活函数?结合，即McCulloch –Pitts模型。 w1 ? u=?wixi w2 wn x1 x2 xn y=? (u(x)-? ) 人工神经网络方法简介 二、感知器的学习算法 什么是“学习”？ “The conceptual scheme for ‘learning’ in this context is a machine with an input channel for figures, a pair of YES and NO output indicators, and a reinforcement or ‘reward’ button that the machine’s operator can use to indicate his approval or disapproval of the machine’s behavior.” ——M. L. Minsky and S. A. Papert, “Perceptron”(1988) 人工神经网络方法简介 ANN可以学会它表达的任何东西。（Rosenblatt，1962年） ANN的表达能力有限，其学习能力也受到限制。 ANN的学习过程就是训练过程，在将训练样本集输入到网络的过程中，按照一定的方式来调整神经元之间的联结权重值，使得网络能够将训练样本集的内涵以联结权重矩阵的方式存储起来，从而使得网络在接受输入时，能够给出适当的输出。 有监督的学习（Supervised learning） 无监督的学习（Unsupervised learning） 人工神经网络方法简介 基本思想 感知器的学习是有监督的学习。学习的问题归结为求权重系数W = (w1, w2, …, wn)和阈值?的问题。 基本思想：逐步将训练集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权重值。 w1 ? u=?wixi w2 wn x1 x2 xn y=? (u(x)-? ) 人工神经网络方法简介 设X = (x1, x2, …, xn)表示n个输入，W = (w1, w2, …, wn)表示它们对应的联结权重。假设取符号函数为激活函数?， 此为经典的M-P模型： w1 ? u=?wixi w2 wn x1 x2 xn +1 or -1 人工神经网络方法简介 训练集的样本（输入向量、输出值）为： t为样本数目。其中， 人工神经网络方法简介 三、关于感知器的基本理论问题 “线性不可分”问题的困境及其解决 Marvin Minsky MIT Media Lab and MIT AI LabToshiba Professor of Media Arts and SciencesProfessor of E.E. and C.S., M.I.Tminsky@media.mit.edu 1969年，Minsky和Papert在“Perceptron”一书中从理论上证明单层感知器无法解决许多简单的问题，包括“异或(XOR)”问题。使得ANN理论的发展在1970～80年代处于低潮。导致政府和企业资助减少，研究人员撤退…… 人工神经网络方法简介 “异或(Exclusive-OR)”运算 0 1 1 1 0 0 x 1 0 y f (x, y) 是一个双输入、单输出问题。对应的单层感知器为： x y a b z ax+by=? x y 无论如何选择参数a，b，?，都无法满足划分。这种由单层感知器不能表达的问题称为线性不可分问题。 人工神经网络方法简介 考虑n个自变量的二值函数，当n?4时，线性不可分的函数个数远远超过线性可分函数的个数。 5,028,134 1.8?1019 6 94,572 4.3?109 5 1,882 65,536 4 104 256 3 14 16 2 4 4 1 线性可分函数的个数 函数的个数 自变量个数 （R. O. Windner, 1960） 表明单层感知器不能表达的问题的数量远远超过它可以表达的问题的数量。 人工神经网络方法简介 解决途径——多层网络 一个单层网络可以将空间划分成两部分，用多个单层网络组合在一起，并用其中的一个去综合其它单层网络的结果，构成一个二层网络，即可用来在空间划分出一个封闭或开放的凸域（子空间）。 x1 z0 xn z1 zn 人工神经网络方法简介 感知器学习算法的计算问