神经网络的构造性学习基本方法——覆盖算法.pptVIP

构造性学习方法;主要特点;构造型学习方法; 以多层感知器的网络结构为例，整个网络是一个密不可分的整体，各神经元间的功能、所要学习和处理的数据彼此相同或相似，并且网络基本功能就是建立从输入到输出的映射，无法或很难划分出输入到输出间逐步转化的过程，因此多层感知器不具有构造结构，也就是不能像造房似的，从低层的地基构造开始，打完地基建一层，建好一层建二层，如此构造，直至房屋造好。由此可见，构造型机器学习可分层逐步构造，学习系统的基本功能划分成若干独立的功能模块 。;传统的神经网络，如BP网络，是非构造性的，网络结构经常被认为是“黑盒子”。给网络一个输入，该网络可以有一个相应的输出，但是为什么会有这个结果，网络中各神经元和连接权在工作中起的作用是什么，这些问题很难回答。原因是在这些神经网络中，相邻层之间是全连接的，即每个神经元都接收前一层中全部神经元的输出，因此网络各部分间是紧密联系的，任何部分的微小改动都会对网络其他部分造成影响。 ;首先，虽然网络具备解决复杂问题的能力，但是缺乏行之有效的学习算法。神经网络能否取得理想的性能，关键在于网络的各连接权及其他参数是否得到合理的配置，但是这类神经网络中连接权的数目是巨大的，即参数空间的维数很高，要搜索到合适的参数配置十分困难，而且全连接的网络结构使得网络各部分联系紧密，任何部分的微小改动都会对网络其他部分造成影响，这使得网络很难到达理想的状态，一个典型的例子是BP算法中的局部极小点的问题。; 其次，这类网络的性能完全依靠对连接权的估计，很难将特定的知识、策略或要求融合到全连接的网络中。如BP网络用于模式识别时，对于属于任何类别的训练样本，所有连接权都参与训练，很难反映各类别样本各自的分布特性。而且从方法上讲，在求解复杂问题时一个常用的策略是将问题分解为若干子问题，然后针对各子问题构造功能模块分别予以解决，但是在非构造性的网络结构，人们很难将这种策略应用到网络的设计中。;第三，全连接的网络结构使得网络行为难于解释，它很象一个黑盒子，人们只能从其???入和输出的关系来对它进行认识，因而难于改进网络的性能。 第四，过于复杂的网络结构难于用硬件实现。 ;首先，构造性的网络结构中各功能模块相对简单，而且各模块主要是集中于问题的一部分，所要解决的问题也相对简单，不会受到各种不同信号的影响，因此容易训练，而且相对简单的网络结构有利于网络的泛化能力。 其次，网络的行为便于解释、分析，因而便于对网络的设计进行改进。 第三，各功能模块相对独立，有时可并行地进行训练，提高训练的效率。 第四，在解决实际问题时，经常需要建立大规模的神经网络，构造性的结构使得大规模网络的组织可按模块来构造，使得复杂问题变得相对容易。 第五，在硬件实现时，构造若干简单的模块再将它们连接起来比建立全连接的大规模网络要容易。 ;生物界的构造性;我们从另一角度给出多层前向网络(作为联想记忆器或分类器)的综合和学习算法。;M-P神经元的几何意义;将样本投影到球面的示意图;投影变换的几何意义;投影变换的作用;覆盖算法 1. 将训练样本集的输入，投影到超球面Sn+1上。 2. 求一组覆盖{Ci},将不同类的样本分隔开(每个覆盖就是一条规则）。 3. 令决策函数： F(x)=??ci(x), 其中?Ci(x)是Ci的特征函数 ;联想记忆器 ;联想记忆的几何解释;球形领域覆盖 ;对所有k类的样本点按类分别执行上述操作，最终我们将得到一个覆盖集合．根据这些覆盖我们可以构造一个神经网络，每个覆盖相当于一个神经元，并成为网络的隐节点。这样构造出来的神经网络虽然不是最优的、隐节点数目最少的或泛化能力最好的网络，但已可将训练样样本全部无误的分开，且直观性强，计算速度快。 ;覆盖分类器的神经网络;交叉覆盖算法;交叉覆盖算法的要点是:用“求重心+求领域”和“平移+求领域”交互进行,以求得较好的领域Ci。求交叉覆盖的步骤首先将K1,K2的点映射到球面Sn上(Sn是n+1维空间中,中心在原点,半径=R的n维球面,取其半径Rmax|xi|)仍记为K1,K2。 ;; 交叉覆盖与领域覆盖比较;覆盖算法的算法复杂度和时间复杂度都与样本集的维数n、个数p和类别数k有关,由于构造每一个覆盖领域时，领域的中心到所有样本的“距离”都必须计算，因此，相应的算法复杂度和时间复杂度与n、p2、k2有正比关系。 ;覆盖算法的理论分析 ;样本集的选择与学习的顺序;机器学习要能对所给的样本集中的信息自动进行“去伪存真”,同时也能对所学的东西不断进行总结提高,去掉多余的、非本质的信息,并随变化的环境不断地改变自身的状态，即要具备自适应和自学习能力。 ;“去伪存真”有两方面的意义;学习的顺序在覆盖算法中直接影响覆盖领