人工智能扩展学习-两层神经网络-异或问题1.pptVIP

人工神经网络基本模型 一、MP模型 MP模型属于一种阈值元件模型，它是由美国Mc Culloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。 标准MP模型 wij ——代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权； ui——代表神经元i的活跃值，即神经元状态； vj——代表神经元j的输出，即是神经元i的一个输入； θi——代表神经元i的阈值。 函数f表达了神经元的输入输出特性。在MP模型中，f定义为阶跃函数： 如果把阈值θi看作为一个特殊的权值，则可改写为: 其中，w0i＝-θi，v0＝1 为用连续型的函数表达神经元的非线性变换能力，常采用s型函数: 该函数的图像如下图所示 MP模型在发表时并没有给出一个学习算法来调整神经元之间的连接权。但是，我们可以根据需要，采用一些常见的算法来调整神经元连接权，以达到学习目的。下面介绍的Hebb学习规则就是一个常见学习算法。 Hebb学习规则 神经网络具有学习功能。对于人工神经网络而言，这种学习归结为神经元连接权的变化。调整wij的原则为：若第i和第j个神经元同时处于兴奋状态，则它们之间的连接应当加强，即： Δwij＝αuivj 这一规则与“条件反射”学说一致，并已得到神经细胞学说的证实。 α是表示学习速率的比例常数。 2 感知器模型 感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。 简单感知器 简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。 其结构如下图所示 感知器处理单元对n个输入进行加权和操作v即： 其中，Wi为第i个输入到处理单元的连接权值θ为阈值。 f取阶跃函数. 感知器在形式上与MP模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。 利用简单感知器可以实现逻辑代数中的一些运算。 Y=f(w1x1+w2x2-θ) (1)“与”运算。当取w1＝w2＝1，θ＝1.5时，上式完成逻辑“与”的运算。 (2)“或”运算， 当取wl＝w2＝1， θ ＝0.5时，上式完成逻辑“或”的运算。 (3)“非”运算， 当取wl=-1，w2＝0， θ ＝-1时．完成逻辑“非”的运算。 与许多代数方程一样，上式中不等式具有一定的几何意义。对于一个两输入的简单感知器，每个输入取值为0和1，如上面结出的逻辑运算，所有输入样本有四个，记为(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，构成了样本输入空间。例如，在二维平面上，对于“或”运算，各个样本的分布如下图所示。直线 1*x1+1*x2-0．5＝0 将二维平面分为两部分，上部为激发区(y，=1，用★表示)，下部为抑制区(y＝0，用☆表示)。 简单感知器引入的学习算法称之为误差学习算法。该算法是神经网络学习中的一个重要算法，并已被广泛应用。现介绍如下： 误差型学习规则： (1)选择一组初始权值wi(0)。 (2)计算某一输入模式对应的实际输出与期 望输出的误差δ (3)如果δ小于给定值，结束，否则继续。 (4)更新权值(阈值可视为输入恒为1的一个权值)： Δwi（t+1）＝ wi（t+1）- wi（t） ＝η[d—y(t)]xi。 式中η为在区间(0，1)上的一个常数，称为学习步长，它的取值与训练速度和w收敛的稳定性有关；d、y为神经元的期望输出和实际输出；xi为神经元的第i个输入。 (5)返回(2)，重复，直到对所有训练样本模式，网络输出均能满足要求。 对于学习步长V的取值一般是在(0，1)上的一个常数，但是为了改进收敛速度，也可以采用变步长的方法，这里介绍一个算法如下式： 式中，α为一个正的常量．这里取值为0.1。所以，对应于输入(0，0)，修正权值(注意：θ=w0 , x0=-1) Δw0（1）＝η[d—y]x0 ＝0.1(1—0)(—1)＝—0.1， W0(1)=0.1+ Δw0（1）=0.1-0.1=0.0 依次进行