基于线性集成神经网络多库协同研究.docVIP

基于线性集成神经网络多库协同研究 　　摘 要:在网络时代,由于历史的原因,各种数据库没有形成一个统一的标准,多种数据库之间的协同工作基本上还处于理论研究阶段。本文从实际应用的角度,引入线性集成的神经网络,对多库协同进行了初步的研究,并和传统的多库协同进行了比较。 　　关键词:数据库 多库协同 神经网络 线性集成 　　中图分类号:G250.74 文献标识码:Ａ 文章编号:1672-3791(2011)11(c)-0246-01 　　 　　1 多库协同 　　多库协同系统是协同运行的、多库一体化的系统。传统的多库协同系统由多个库(数据库、模型库、方法库、图形库、图像库、语言库等)及多库协同器组成。其中,多库协同器是系统的核心部件,负责对各库进行总体控制、协调调度、相互通信,实现资源共享、协同运行。多库协同分为并列型、知识主导型、基础数据型三类。并列型中数据库、知识库、模型库、方法库、图形库、规则库、人机接口库等在各自的管理系统下,在多库协同器下协同工作。它的各库是地位平等,不分主次。既可以独立工作,又可以协同运行,共同完成任务。多库协同器是这个系统中的关键部件,也是最难实现的部件。它应具有运行规划、调度管理、相互通信、资源共享等功能。知识主导型是知识库直接连接到多库协同器下。知识库对整个系统起主导作用,它对数据库、模型库和方法库进行调度管理,实现多库协同。同时,我们可以把协同器(MBC)、知识库(KB)和知识库管理系统(KBMS)看成是一个专家系统,对数据库(DB)、模型库(MB)和方法库(WB)等进行管理,以便协同完成智能管理系统的任务。而基础数据型是以数据库为基础,组成了多库协同。本文主要是对并列型多库协同进行研究,它采用人工神经网络的方法实现它们之间的多库协同。 　　 　　2 人工神经网络 　　神经网络是一个并行、分布处理结构,它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存,并可以完成局部操作。每个处理单元有一个单一的输出联接,这个输出可以根据需要被分枝成希望个数的许多并行联接,且这些并行联接都输出相同的信号,即相应处理单元的信号,信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型,每个处理单元中进行的操作必须是完全局部的。也就是说,它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 　　 　　3 基于线性集成的神经网络的多库协同 　　由于对于多库协同问题我们缺乏它的先验知识,因此我们要花大量的时间、精力去实验摸索来确定神经网络模型、算法和参数等,使用的效果由使用者的经验水平决定。这是一个非常复杂的工程,对于这个问题,我们采用神经网络集成的方法来解决。通过简单地训练多个神经网络并将其结果进行合成,就能显著提高神经网络系统的泛化能力。 　　神经网络集成就是用有限个神经网络对同一问题进行学习,集成在输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定。一般来说,神经网络集成要重点考虑的两个问题:如何生成集成中的个体神经网络以及如何将个体神经网络的结论进行结合。对于第一个问题,为了保证个体网络之间的差异性,在生成神经网络时可以采用这几个方法:(1)对于不同的个体神经网络,采用不同的权重;(2)不同的个体神经网络采用不同的拓朴结构;(3)不同的个体采用不同的训练数据;(4)不同的个体神经网络采用不同的训练算法。对于第二个问题,我们采用线性集成的方法,即集成的输出由个体神经网络的输出通过简单的加权平均产生,它的集成权重由训练样本确定。 　　对于每一个个体神经网络,由于BP网络能实现任何复杂非线性映射,故采用它来对样本进行分类。但是它有几个必须在考虑的问题:(1)如何选择训练集和测试集数据?在此,一般需要将样本分成独立的三部分训练集(train set)、验证集(validation set)和测试集(test set)。其中训练集用来估计模型,验证集用来确定网络结构或者控制模型复杂程度的参数,而测试集则检验最终选择最优的模型的性能如何。一个典型的划分是训练集占总样本的50％,而其它各占25％,三部分都是从样本中随机抽取。(2)数据归一化问题。数据归一化属于数据的预处理。因为我们采用的转换函数sigmoid函数,输出在0～1或者-1～1之间,因此如果不做归一,就会出现样本输出超出神经网络输出的范围。归一化时一般选择最大值和最小值,然后进行变换,使之处于-1～1之间。(3)目标训练误差的设置以及LM训练算法。关于目标训练的误差值,不应该人为地设定误差平方和目标,设定太小的目标会出现过度拟合。倒是可以设定本次权值与上次权值的平方和距离除以所有的权值数目,这个指标反映了收敛性。然后多算几次,以避免局部收敛,保留验