人工神经网络论文改进BP算法在数据仓库中的应用.docVIP

人工神经网络论文：改进BP算法在数据仓库中的应用 【中文摘要】本文的就是针对BP算法的这些局限性,如BP算法的学习速率较慢,网络会产生部分平坦区,网络权重的误差变化量在平坦区的变化几乎为零,致使整个网络的训练过程停止等,通过对算法结构及原理的分析,提出新的改进算法,使新算法较原算法在收敛速度和训练次数等方面有显著的提高。文中分别从标准权重更新公式中加入新的比例因子,并将训练中为常数的学习速率调整为随着训练逐渐改变的量,利用增益变化项可以修改本地梯度的同时给每次的迭代训练提供一个改进的梯度搜索方向,及基于拟牛顿法的Levenberg–Marquardt算法三个方向分别改进。在反向传播算法中,学习速率的大小直接影响着整个网络的收敛速度。因为学习速率和梯度是权重连接数变化量的直接影响因素。但是,在标准BP算法中,学习速率在网络训练开始前已经初始化为一个常数。固定学习率的梯度下降法是低效的。因此提出了一种新的高效的方法,让学习速率适时调整,即第K次网络训练的学习速率与第K-1次的学习速率有关,并在权值变化公式中在原来两个影响因子(动量因子和学习速率因子)的基础上加入一个新的比例因子来调节每一次迭代所得到的输出和目标的差异,使网络的训练更准确,并且改善了标准算法存在的... 【英文摘要】The purpose of this paper is introduct a new improved algorithm through the analysis ofstructureandprincipleandthelimitationsoftheBPalgorithm,Suchaslearningrateisslowof BP algorithm, the network will have some flat areas, the weight change of the networkerror in the flat areas is almost zero, which result in the training process of the wholenetwork stops. The new algorithm is better than the original algorithm in convergencespeed and frequency of training ,which has improved significantly. The paper from th... 【关键词】人工神经网络 BP神经网络 比例因子 改进共轭梯度法 非二次模型 牛顿法 Levenberg–Marquardt算法 【英文关键词】Artificial Neural Network BP Neural Network Scale Factor Improved Conjugate Gradient Method Newton Method Non-Quadratic Model Levenberg-Marquardt Algorithm 【目录】改进BP算法在数据仓库中的应用 摘要 4-6 Abstract 6-7 第1章 引言 10-14 1.1 本课题的研究背景和意义 10-11 1.2 国内外的研究现状 11-12 1.3 本文的主要工作 12 1.4 本文的组织结构 12-14 第2章 人工神经网络 14-25 2.1 基于生物神经元的人工神经网络 14-16 2.1.1 生物神经元模型 14-15 2.1.2 人工神经网络原理及结构 15-16 2.2 神经网络的分类方法 16-19 2.2.1 基于网络结构的分类方法 16-18 2.2.2 其他分类方法 18-19 2.3 神经网络的学习规则 19-20 2.3.1 Hebbian 学习规则 19 2.3.2 感知器学习规则 19-20 2.3.3 反向传播学习规则 20 2.4 BP神经网络 20-25 2.4.1 BP神经网络结构 20-21 2.4.2 BP算法的原理分析及数学模型 21-23 2.4.3 算法程序实现 23-25 第3章 针对BP 算法局限性的改进 25-42 3.1 基于动量与学习率结合的算法优化 26-33 3.1.1 附加动量法 27-28 3.1.2 自适应学习率 28 3.1.3 基于附加动量与自适应学习率结合的算法改进 28-33 3.2 基于共轭梯度法的算法优化 33-38 3.2.1 共轭梯度法 33-34 3.2.2 优化的共轭梯度法 34-38 3.3 基于梯度下降法及拟牛顿法的算法优化 38-42 3.3.1 梯度下降法与拟牛顿法 38 3.3.2 优化的Levenberg-Marquardt法 38-42 第4章 基于M