基于粒子群优化BP神经网络.docVIP

基于粒子群优化BP神经网络 　　【摘要】 人工神经网络的优化学习是其研究中的一个重要课题。将粒子群优化算法用于 BP神经网络的学习，将粒子优化算法的全局搜索和BP神经网的局部搜索相结合，并设计一网络实例加以训练，达到了比较满意的效果。 　　【关键词】 粒子群优化算法 BP神经网络 BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络，具有很强的信息处理能力。但是，由于BP算法的基本思想是最小二乘法，采用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。粒子群优化算法(Particle Swarm Optimaziton，简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法，源于对鸟群和鱼群群体运动行为的研究。由于其容易理解，易于实现，不要求目标函数和约束条件是可微的，并能以较大概率求得全局最优解，目前已在许多优化问题中得到成功应用。由于它具有并行计算的特点，而且可以提高计算速度。因此，可以用粒子群优化算法来优化BP网络。 　　 　　一、 BP神经网络及其算法 　　 　　BP网络是一种具有三层或三层以上的单向传播的多层前馈网络，其拓扑结构如图1。 　　图1 拓扑结构图 　　BP算法的执行步骤如下： 　　(1)对各层权系数置一个较小Wij的非零随机数。(2)输入一个样本X=(X1，X2，…，x?n)，以及对应期望输出) Y=(y1，y2，…，yn)。(3)计算各层的输出。对于第k 层第i个神经元的输出有：Uki=∑WijXk-1i，Xki=f(Uki)(一般为sigmoid函数，即f(x)=1/(1-epx(-x))。(4)求各层的学习误差dki。对于输出层，有， k=m，dmi=Xmi(1-Xmi)(Xmi-Ymi)。 　　对于其他各层，有dxi=Xki(1-Xki)∑Wijdk+1i。(5)修正权系数Wij。Wij (t+1)=Wij-η#8226;dki#8226;Xk-1j。(6)当求出各层权系数之后，可判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。 　　 　　二、粒子群优化算法 　　 　　粒子群优化算法与其它进化算法相类似，也采用“群体”与“进化”的概念，所不同的是，粒子群算法不像其它进化算法那样对于个体使用进化算子，而是将每个个体看作是在维搜索空间中的一个没有质量和体积的粒子，并在搜索空间中以一定的速度飞行，每个粒子的飞行速度由其本身的??行经验和群体的飞行经验调整。 　　假设在一个n维的目标搜索空间中，有个粒子组成一个群落，其中第i个粒子在n维搜索空间中的位置表示为一个n维向量，每个粒子的位置代表一个潜在的解。设?xi=(xi1，xi2，…xin)为粒子的当前位置；为粒子i当前飞行的速度；?pi=(pi1，pi2，…pin)为粒子所经历的最好位置，也就是粒子所经历过的具有最好适应值的位置，称为个体最优位置；?pg=(pg1，pg2，…pgn)为整个粒子群迄今为止搜索到的最优位置，称为全局最优位置。将带入目标函数就可以计算出其适应值，根据适应值的大小衡量的优劣。每个粒子的位置和速度按下述2个公式进行迭代。 　　(1)vij(t+1)=wvij(t)+c1r1j(t)(pij(t)-xij(t))+c2r2j(t)(pgj(t)-xij(t)) 　　(2)xij(t+1)=xij(t)+vij(t+1) 　　其中，下标j表示粒子的第j维(j=1，2，…，n)表示第i个粒子(i=1，2，…，n)t表示第t代，c1 、c2 为加速度常数，通常在0～2间取值，c1调节粒子向自身最优位置飞行的步长，c2调节粒子向全局最优位置飞行的步长。r1j～U(0，1)，r(2j)(0，1)为两个相互独立的随机函数。为了减小在进化过程中粒子离开搜索空间的可能性，通常限定于一定范围内，即vij∈[-vmax；vmax]。如果问题的搜索空间限定在[-xmax，xmax]内，则可设定。迭代中若粒子的位置和速度超出了对其限定的范围，则取边界值。代表第个粒子目前位置到其迄今为止搜索到的最优位置的距离，pgj(t)-xij(t)代表第个粒子目前位置到整个粒子群迄今为止搜索到的最优位置的距离。公式(1)用于计算粒子的速度，如当前是t时刻，则粒子在t+1时刻速度是由当前时刻的速度、当前位置与该粒子的局部最优位置的距离、当前位置与全局最优位置的距离共同决定的；公式(2)用于计算粒子速度更新后的位置，它由粒子当前位置和粒子更新后的速度决定。所有粒子的初始位置和速度随机产生，然后根据上述2个公式进行迭代，不断变化它们的速度和位置，直到找到满意解或达到最大的迭代次数为止(粒子的位置即是要寻找的解)。