神经网络2005第2讲.docVIP

上次内容： 1 神经网络发展史， 2 神经元模型，8种，根据实际需要可以变化。 y f WTX- W w1,w2,…,wn T X x1,x2,…,xn T。 f的形状，有变化。 神经网络从结构上看： 还要考虑信号，由数字式的，有连续式的。 第二章 神经网络的基本特征与典型模型 §2.2前馈网络模型 输入层，中间层，输出层。 神经元全部选用同类型，结构如下： 前馈神经网络能干什么？实现映射，映射能力有多大？将一个向量变成另外一个向量。 定理2.1 1 为有界非线性单调递增函数，K为Rn中的紧致子集 2 F x F x1,x2,…,xn 为K上的实值连续函数， 0 则： 存在整数N和实常数Ci, i，i 1,2,…,N,使 说明：一个神经元对应于 函数，定理说明，只要神经元足够多，实现任意函数可以使误差足够小。 2 式表达了神经网络实现的函数。 函数要求单调递增非线性。 2.2.1感知器 来历：Rosenblatt于1958年提出感知器神经网络，实际是多层前馈网络，每个神经元均为硬限函数神经元。第一称得上神经网络的神经网络。 1单层感知器 结构 实际就是MP神经元模型分层处理信息的连接，因为设计了学习算法，所以叫感知器。 作用函数：。 1950年实际的硬件就做出来了，1958年学习算法才提出来，方法的创新比较慢。 实际学习算法很简单，只针对一个神经元，但这是神经网络学习算法的第一次。 感知器干什么用？ 连接权值标记：用权值矩阵， W1 ， 这是m层的连接权值矩阵。 yk f f WkX- k ，wk wk1,…,wkn T，X x1,…,xn T。 k 1,2,…,m。 单层感知器实现与运算：y x1x2 y 问题：一般的怎么做，当作作业y x1 x2 … xk。 单层感知器实现或运算：y x1+x2 再来一个，y 问题：一般的怎样处理？ 定理2.3：单层感知器不能实现异或运算。y x1 x2 证明：若有w1,w2, 使得：f w1x1+w2x2- x1 x2， 说明这是不存在的。 则： 推出矛盾：由 3 、 4 得， 0，由 1 、 2 、 3 得2 w1+w2 。所以得证。 分析为什么 一个神经元的作用，线性分割空间，例如： 将 x1,x2 看作平面上的点，若该点在A区域，则神经元输出1，在B区域则输出0。 异或的几何解释为： 问题： 单层感知器到底能实现什么样的映射，线性可分的。 给定样本，怎样确定神经网络，实现样本中的映射，学习问题。 不仅要实现，样本给定的映射，没有给定的映射怎样？考察其泛化能力。 多层感知器 1 用于实现布尔函数 定理：任意布尔函数均可用两层感知器实现。 异或怎样实现， 证：任意布尔函数均可写成析取泛式：例如： y ，实现如下： 相与的形式用一个神经元可实现，相或的形式也可用一个神经元实现，当然任意布尔函数均可用两层神经网络实现。但是根据真值表构造神经网络不容易。 2 用于实现区域识别 鼠标进入那个图标的区域，计算机要知道？要判断鼠标是否在一个某种形状的区域中： 定理：任意凸区域可以用两层感知器实现。举例证明。 神经网络：四个边界线性方程， 1 -x1-x2 -3 -x1-x2+3 0 2 3x1-x2 -3 3x1-x2+3 0 3 x1+x2 -1 4 -x1+3x2 -3 -x1+3x2+3 0 任意输入 x1,x2 ，若输出0，则不在阴影区域，若输出1，则在阴影区域。 定理：任意凸区域均可用两层感知器识别。 为什么：每个边界可用一个线性方程表示，符号：L1,L2,…,Ln表示所有边界 L1：W1X- 1 0 L2：W2X- 2 0 ……………… Lm：WmX- 2 0 Wi wi1,…,win T 一个神经元一条边界就是了。 五道口生活网 /bbs 五道论坛 五道口生活网 /bbs 五道论坛 x1+x2 3 x1+x2 -1 x1-3x2 3 -3x1+x2 3 1 以后主要用到的神经元模型 2 1943年就有MP模型，一种最常用的 3 在MP模型基础上的变种。