一种新型组合神经网络模型的研究.docVIP

一种新型组合神经网络模型的研究 　　[摘要]神经网络是现代人工智能的最重要的研究领域之一，由于单一神经网络存在诸多的局限和不足，首先简要分析单一神经网络的局限，然后提出一种新型的综合神经网络模型，模型由多个神经网络组成，使各个网络之间有相互关联，是几个神经网络模型有机结合起来后综合的结果。 　　[关键词]神经网络 组合神经网络 模型 　　中图分类号：TP3文献标识码：A 文章编号：1671－7597（2008）1220013－01 　　 　　一、单一神经网络的局限 　　 　　神经网络作为一种通用的非线性辨识模型，已经广泛的应用于非线性时间序列的分析预测和控制中。但是，单个神经网络在应用中仍存在着一些问题： 　　1．可理解性差。神经网络在预测能力方面的优势是以牺牲其可理解性为代价的。由于在模型中引入非线性所增加的解析困难，难以像对现行模型那样发展出一套基于概率统计的模型辨识技术。 　　2．选择合适的模型比较困难。单个神经网络建立预测模型时有些因素直接影响着它的预测精度，这些因素包括：输入变量的选择、网络结构的确定以及需要多大的训练集。在实际运用过程中，研究者所掌握的全部资料可能仅是一个一维（或多维）的时间序列。由于缺乏用以进行模型辨识的先验知识，研究者或者不得不退而采用传统的线性模型；或者需要依靠经验和不完备的经验来进行神经网络模型的辨识。显然，这两种解决方法经常是不充分的：前者无法有效应用于非线性时间序列；后者无法保证对最优模型的选择。 　　3．选出的模型不能保证是最优的。尽管建立一个神经网络模型时需要考虑各种各样的参数，但通过训练一组不同的神经网络，然后根据各个神经网络在验证集上的预测效果选出最好的网络作为最终的预测器。这样选择的样本依然存在的缺陷，因为在验证机上取得好的效果并不能保证该神经网络在新的数据集上取得同样的效果。当数据有噪声并且时间序列本身是不平稳的情况下，这个问题就更突出了。 　　 　　二、新型组合神经网络模型的提出 　　 　　对于单个网络的局限，鉴于实际应用情况的不规律性，下面提出一种多角度建立多个单个子网络的组合神经网络，用以解决上述单个神经网络所面临的困难和不足。由于实际中的很多预测问题可以由不同角度分别建立不同的模型，并由其得到互不相同的预测值，而且大多数问题中基本上为非线性问题的，因此，可以由不同神经网络从不同角度分别对同一具体问题所建立的模型，从而会有多个神经网络对同一个问题做出预测，得出多个不同预测值。即我们可以得到的多个数学模型，都能从某个角度比较正确的反映真实系统中的输入输出以及状态之间的定量关系，但无从得知何者更为精确。对此，本文提出了一种新型的综合神经网络模型，模型由多个神经网络组成，使各个网络之间有相互关联，每个神经网络代表由该角度所建立的数学模型，在输出层得到各自模型的预测值，将各模型结果有机的关联起来，使之得到统一的结果，即为几个神经网络模型有机结合起来后综合的结果。在具体的实现中，可将各模型的输出值比较后的差值作为误差进行反向传播，按照梯度下降法调整各层神经元的权值和阈值，使误差信号逐步减小，最终使得各个神经网络模型输出层的各个输出值之间的差值减小到实际要求的精度范围，从而使各个神经网络模型得到统一的预测值。本文提出的新型综合神经网络通过由不同角度建立的不同神经网络（异因）有机结合起来，而建立的一个综合的神经网络（关联），使之最终得到统一输出结果（同果）。 　　 　　三、新型组合神经网络模型网络结构 　　 　　如前所说，这种新型关联神经网络是由多个神经网络组成的综合神经网络，为了清晰地展示其原理，本文将以从两个不同角度建立的关联神经网络模型为例来建立模型，其中的算法可容易地推广到多个角度的关联神经网络模型。其神经网络模型结构如图1所示。 　　 　　此关联神经网络由两个网络组成，根据已有样本来考虑实际问题时，可将样本数据划分为ur、uv分别为两个神经网络的输入向量，yr、yv为输出向量。由样本ur、yr。可建立角度一的神经网络模型，由样本数据uv、yv，可建立角度二的神经网络模型，此二模型均可独立对实际问题进行预测；在此二模型建立完备的基础上，关联神经网络模型将二者通过其共同的预测值关联起来，比较、反馈继而再训练，直到二模型的预测值差值达到一定的范围后方可结束模型训练。 　　 　　四、新型神经网络模型学习算法 　　 　　根据传统的梯度下降法，提出了本文的神经网络的算法，将其构成原理如下，新型神经网络模型由正向传播、终值比较和误差反向传播组成。 　　1．正向传播中，输入信号从ur、uv各自输入层经隐层传向输出层，得到各自输出yr和yv。 　　2．终值比较由两部分构成： 　　（1）r网络与v网络输出层预测值与各自实际历史数据进行比较