一种用于预测的BP算法的改进.docVIP

一种用于预测的BP算法的改进 旷昀 [摘 要] 数据挖掘技术能从海量数据中找出有价值的信息，神经网络中的BP算法虽然有较广泛的应用，但存在容易陷入局部极小点及网络的瘫痪等问题。而Cauchy训练的最大长处是，它有可能使网络逃离局部极小点。用通过结合Cauchy训练来改进BP算法，在收敛速度，局部极小点、网络瘫痪等问题上有所改善。 [关 键 词]　数据挖掘；BP算法；Cauchy训练 [作者简介] 旷昀，女，柳州运输职业技术学院信息工程系讲师。广西柳州，545007 一、数据挖掘 数据挖掘是从大型数据库或数据仓库中发现并提取隐藏在其中的信息的一种新技术，目的是帮助决策者寻找数据间潜在的关联，发现被忽略的要素[1]。数据挖掘技术涉及数据库、人工智能、机器学习和统计分析等多种技术。数据挖掘技术能从大型数据库或数据仓库中自动分析数据，进行归纳性推理，从中发掘出潜在的模式；或者产生联想，建立新的业务模型，帮助决策者调整策略，做出正确的决策。 数据挖掘技术中的常用算法有： 人工神经网络、 遗传算法、决策树、公式发现、统计分析方法等。这些方法各有千秋，总的来说，应该根据不同的问题环境和应用层面来选择合适的方法，并且灵活应用来解决数据挖掘中遇到的难题，BP算法是一种适用于预测的神经网络算法。 二、BP算法 BP算法是一种数据挖掘的方法。BP网络的神经元同一般的人工神经网络一样，但BP算法要求使用的激活函数必须是处处可导的。一般多数设计者都使用S形函数。实际上，也可以用其他函数作为BP神经网络的激活函数，只要该函数是处处可导的。 BP网络是非循环多级网络，但是实验表明，增加隐藏层的层数和隐藏层的神经元的个数不一定能够提高网络的精度和表达能力，在大多数情况下，BP网络一般都选用二级网络[2]。 （一）BP算法的训练过程 人工神经网络的训练过程是根据样本集对神经元之间的联接权进行调整的过BP网络也不例外，而且BP网络执行的是有导师训练。所以，其样本集是由形如 (输入向量 ，理想输出向量 ) 的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。 BP算法主要包含4步，这4步被分为两个阶段: (1)向前的传播阶段 ① 从样本集中取一个样本(，)，将输入网络； ② 计算相应的实际输出。 在此阶段，信息从输入层经过逐级的变换.传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。此过程中，网络执行的是下列运算: （1） (2) 向后传播阶段 ① 计算实际输出，与相应的理想输出的差: ② 按极小化误差的方式调整权矩阵。 这两个阶段的工作一般应受到精度要求的控制，在这里，取 (2) 作为网络关于第P个样本的误差测度。而将网络整个样本集的误差测度定义为 (3) 在调整神经元的联接权时，只能求出输出层的误差，而其他层的误差要通过此误差反响逐层后推才能得到。上述过程的第二阶段是向后传播阶段，也称之为误差传播阶段。 下面分别介绍一下输出层权的调整方法和隐含层权的调整方法。 ①输出层权的调整 图1 ANp到ANq的联接 为了说明清晰方便，我们使用图1中的相应符号来讨论输出层联接权的调整。 图1中是输出层的第个神经元，是从其前导层的第个神经元到的联接权。取 (4) 按照Delta规则，有 (5) (6) 所以 (7) 可以看成是所表现出来的误差。它由的输出值和理想输出值以及与直接相关联的的输出值确定。 ② 隐藏层权的调整 对隐藏层权的调整，仍然可以采用式(4),(5)，只不过在这里不再可以用式(6)去计算相应的神经元所表现出来的误差，因为此时无法知道该神经元的理想输出。 为使讨论更清晰，对隐藏层联接权调整的讨论将按参考图2进行。按照该图的表示，省去了其中有些符号上表示网络层号的上标。一方面，将相应的层号标注在图的下方。另一方面，仅在需要的地方让层号以下标的形式出现。 假定图2中的, ,…， 的调整已经完成。所以，此时,,…，的值是己知的。要想调整就必须知道，，由于的理想输出是未知的，所以，必须按照一定的方法来给一个合适的估计。 从图中可以看出，的值应该是和，，…，有关的，在,,…，中，都含有的“成分”。因此，自然地想到用,,…，来估计，通过, ,…， 与,,…，关联。从而的输出误差是与Wp1δ1k+Wp2δ2k +…+ Wpmδmk相关的.这样，可以用它近似地表示的理想输出与实际输出的差。