神经网络与遗传算法课件.pptxVIP

神经网络与遗传算法（一）神经网络 10.1神经网络及几何意义 10.1.1神经网络原理 人工神经网络（ANN）是模拟人脑神经元活动的过程，其中包括对信息的加工、处理、存储、搜索等过程。 ANN不能对人脑进行逼真描述，但它是人脑的某种抽象、简化和模拟。人脑神经元的形状为：神经元组成；树突：神经纤维较短，是接收信息的。细胞体：对接收到的信息进行处理。轴突：较长的神经纤维，是发出信息的。突触：一个神经元的轴突末端与另一个神经元的树突之间密切接触。神经元具有如下性质：（1）多输入单输出；（2）突触具有加权的效果；（3）信息进行传递；（4）信息加工是非线性。神经元的数学模型图： 其中：V1、V2、…Vn为输入；Ｕi为该神经元的输出；Ｔij为外面神经元与该神经元连接强度（即权）， ?为阈值，f(X)为该神经元的作用函数。 MP（Mcculloch Pitts）模型每个神经元的状态Si（i＝1,2,…n）只取0或1，分别代表抑制与兴奋。每个神经元的状态，由M-P方程决定： 其中：Wij是神经元之间的连接强度，Wij（i≠j）是可调实数，由学习过程来调整。?i是阈值，f(x)是阶梯函数。 [0,1]阶梯函数 (0,1)S型函数： 神经网络的学习 神经网络的学习，主要是指通过一定的学习算法或规则实现对突触结合强度(权值)的调整。ANN学习规则主要有四种，即联想式学习、误差传播学习、概率式学习和竞争式学习。 (1)联想学习：联想学习是模拟人脑的联想功能，典型联想学习规则是由心理学家Hebb于1949年提出的学习行为的突触联系，称为Hebb学习规则。 Hebb规则若i与j两种神经元之间同时处于兴奋状态，则它们间的连接应加强，即：△Wij＝?SiSj (?＞0) 这一规则与“条件反射”学说一致，并得到神经细胞学说的证实。设α＝1，当Si＝Sj＝1时，△Wij＝1，在Si，Sj中有一个为0时，△Wij＝0。 (2)误差传播学习：以1986年Rumelhart等人提出的δ规则(BP算法)为典型 δ规则中，误差由输出层逐层反向传至输入层，由误差修改网络权值，直至得到网络权值适应学习样本。(3)概率式学习：典型代表是基于模拟退火的统计优化方法的BOLTZMANN机学习规则，又称为模拟退火算法。(4)竞争学习：利用不同层间的神经元发生兴奋性联结，距离较远的神经元之间产生抑制性联结。 Grossberg等将竞争学习机制引入其建立的自适应共振网络模型(ART) Kohonen提出的自组织特征映射网络(SOM)等采用的是竞争学习机制10.1.2神经网络的几何意义1．神经元与超平面由n个神经元（j=1,2,…,n）对连接于神经元i的信息总输入Ii为： 其中Wij为神经元j到神经元i的连接权值，?i为神经元的阈值。神经元xj(j=1,2,…,n)相当于n维空间（x1,x2,…,xn）中一个结点的n维坐标（为了便于讨论，省略i下标记）。令： 它代表了n维空间中，以坐标xj为变量的一个超平面。其中wj为坐标的系数，?为常数项。当n=2时，“超平面”为平面（x1,x2）上的一条直线：当n=3时，“超平面”为空间（x1, x2,x3）上的一个平面：从几何角度看，一个神经元代表一个超平面。2.超平面的作用n维空间（x1,x2,…,xn）上的超平面I=0，将空间划分为三部分。（1）平面本身超平面上的任意结点 满足于超平面方程，即： （2）超平面上部P超平面上部P的任意结点满足于不等式，即 （3）超平面下部Q超平面下部Q的任意结点满足于不等式，即 3.作用函数的几何意义神经网络中使用的阶梯型作用函数f（x）把n维空间中超平面的作用和神经网络作用函数结合起来，即 它的含义为：超平面上部P的任意结点经过作用函数后转换成数值1。超平面上任意结点和超平面下部Q上的任意结点经过作用函数后转换成数值0。4．神经元的几何意义通过以上分析可知，一个神经元将其它神经元对它的信息总输入I，作用以后（通过作用函数）的输出，相当于:该神经元所代表的超平面将n维空间（n个输入神经元构成的空间）中超平面上部结点P转换成1类，超平面及其下部结点转换成0类。结论：神经元起了一个分类作用。5．线性样本与非线性样本定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性样本。 若不能找到一个超平面将两者分开，则称该样本是非线性样本。6．非线性样本变换成线性样本利用超平面分割空间原理，对一个非线性样本它是不能用一个超平面分割开。用多个超平面分割空间成若干区，使每个区中只含同类样本的结点。这种分割完成了一种变换，使原非线性样本变换成二进制值下的新线性样本。10.2感知机模型(Perceptron)　神经元i的输入为 Ｉi＝∑ＷijＳj Ｓj为j神经元的输出，Ｗij为神经元j到神经元i的连