神经网络构造性学习方法覆盖算法.pptVIP

构造性学习方法 主讲:赵姝 zhaoshuzs2002@ 宏徽大学让算机科学与技术学院  主要特点 在对给定的具体的数据处理 过程中,同时给出网络的结构和 参数。即所得到的结构是在处理 数据过程中逐步构造的,而不是 在学习之前事先给定的。  构造型学习方法 构造型机器学习方法是建立在构造 型人工神经网络的基础上的,但是构造 型的神经网终(CNN, Constructive neural Networks)并没有一个精确的定义,称其 为构造型的,是相对于传统的神经网络 结构而言的。  以多层感知器的网络结构为例,整个网络 是一个密不可分的整体,各神经元间的功能、 所要学习和处理的数据彼此相同或相似,并且 网络基本功能就是建立从输入到输出的映射, 无法或很难划分出输入到输出间逐步转化的过 程,因此多层感知器不具有构造结构,也就是 不能像造房似的,从低层的地基构造开始,打 完地基建一层,建好一层建二层,如此构造, 直至房屋造好。由此可见,构造型机器学习可 分层逐步构造,学习系统的基本功能划分成若 干独立的功能模块。  传统的神经网络,如BP网络,是非构造性的, 网络结构经常被认为是“黑盒子”。给网络 个输入,该网络可以有一个相应的输出, 但是为什么会有这个结果,网络中各神经元 和连接权在工作中起的作用是什么,这些问 题很难回答。原因是在这些神经网络中,相 邻层之间是全连接的,即每个神经元都接收 前一层中全部神经元的输出,因此网络各部 分间是紧密联系的,任何部分的微小改动都 会对网络其他部分造成影响。  ·首先,虽然网络具备解决复杂问题的能力,但N 是缺乏行之有效的学习算法。神经网络能否取 得理想的性能,关键在于网络的各连接权及其 他参数是否得到合理的配置,但是这类神经网 络中连接权的数目是巨大的,即参数空间的维 数很高,要搜索到合适的参数配置十分困难, 而且全连接的网络结构使得网络各部分联系紧 密,任何部分的微小改动都会对网络其他部分 造成影响,这使得网络很难到达理想的状态, 个典型的例子是BP算法中的局部极小点的 问题。  其次,这类网络的性能完全依靠对连接权的估 计,很难将特定的知识、策略或要求融合到仝 连接的网络中。如BP网络用于模式识别时, 对于属于任何类别的训练样本,所有连接权都 参与训练,很难反映各类别样本各自的分布特 性。而且从方法上讲,在求解复杂问题时一个 常用的策略是将问题分解为若干子问题,然后 针对各子问题构造功能模块分别予以解决,但 是在非构造性的网络结构,人们很难将这种策 略应用到网络的设计中  第三,全连接的网络结构使得网络行为 难于解释,它很象一个黑盒子,人们只 能从其输入和输出的关系来对它进行认 因而难于改进网络的性能 第四,过于复杂的网络结构难于用硬件 实现。  构造型神经网络 构造型神经网络中各模块之间的连 接是松散的,即一个模块内的神经元与 另一个模块内的神经元之间的连接权数 目很少,甚至没有连接。各模块独自负 责解决问题的一部分,因此在学习阶段 所处理的数据也不完全相同。  ·首先,构造性的网络结构中各功能模块相对简单,而 且各模块主要是集中于问题的一部分,所要解决的问 题也相对简单,不会受到各种不同信号的影响,因此 容易训练,而且相对简单的网络结构有利于网络的泛 化能力。 其次,网络的行为便于解释、分析,因而便于对网络 的设计进行改进。 ·第三,各功能模块相对独立,有时可并行地进行训练, 提高训练的效率 第四,在解决实际问题时,经常需要建立大规模的神 经网络,构造性的结构使得大规模网络的组织可按模 块来构造,使得复杂问题变得相对容易。 ·第五,在硬件实现时,构造若干简单的模块再将它们 连接起来比建立全连接的大规模网络要容易