梯度下降BP训练函数traingd().pptVIP

智能优化算法 随着仿生学、遗传学和人工智能科学的发展，从20世纪70年代以来，研究人员相继将遗传学、神经网络科学的原理和方法应用到最优化领域，形成了一系列新的最优化方法，如：人工神经网络算法、遗传算法、蚁群算法等。这些算法不需要构造精确的数学搜索方向，不需要进行繁杂的一维搜索，而是通过大量简单的信息传播和演变方法来得到问题的最优解。这些算法具有全局性、自适应、离散化的特点。 神经网络 算法概述 应用实例 遗传算法 算法概述 应用实例 神经网络-算法概述 基本原理 假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络（Neural Networks, NN）的基本原理。 通常可用于分类和预测问题。 神经网络-算法概述 亦称为人工神经网络，是由大量处理单元（神经元Neurons）广泛互连而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。 人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是根植于神经科学、数学、统计学、物理学、计算机科学及工程等学科的一种技术。 人工神经网络的模型 人工神经网络是由大量处理单元广泛互连而成的网络 ，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为神经元模型应具备三个要素： (1)具有一组突触或联接，常用wij表示神经元i和神经元j之间的联接强度，或称之为权值。与人脑神经元不同，人工神经元权值的取值可在负值与正值之间。 (2)具有反映生物神经元时空整合功能的输入信号累加. (3)具有一个激励函数用于限制神经元输出。激励函数将输出信号压缩（限制）在一个允许范围内，使其成为有限值。 三种常用的基本激励函数 阈值函数（Threshold Function） 阈值函数（Threshold Function） 分段线性函数（Piecewise-Linear Function） Sigmoid函数（Sigmoid Function）也称为s型函数 Sigmoid函数也可用双曲正切函数（Signum Function）来表示 人工神经网络的分类 （1）从网络性能角度可分为：连续型与离散型网络、确定性与随机性网络； （2）从网络结构角度可分为前向网络与反馈网络； （3）从学习方式角度可分为有教师学习网络和无教师学习网络； （4）按连接突触性质可分为一阶线性关联网络和高阶非线性关联网络。 单层前向网络 多层前向网络 反馈网络 竞争神经网络 神经网络的学习 神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络的自由参数，使神经网络以一种新的方式对外部环境作出反应的一个过程。 能够从环境中学习和在学习中提高自身性能是神经网络的最有意义的性质。 神经网络经过反复学习对其环境更为了解。 神经网络的学习 学习算法是指针对学习问题的明确规则集合。 学习类型是由参数变化发生的形式决定的，不同的学习算法对神经元的突触权值调整的表达式有所不同。 没有一种独特的学习算法用于设计所有的神经网络。 选择或设计学习算法时还需要考虑神经网络的结构及神经网络与外界环境相连的形式。 神经网络的学习 学习方式可分为：有导师学习(Learning with a teacher)和无导师学习(Learning without a teacher)。 有导师学习又称为有监督学习(Supervised Learning)，在学习时需要给出导师信号或称为期望输出（响应）。 无导师学习包括强化学习(Reinforcement Learning)与无监督学习 (Unsupervised Learning) 或称为自组织学习（Self-Organized Learning）。 Hebbian学习 Hebb学习规则： （1）如果一个突触（连接）两边的两个神经元被同时（即同步）激活，则该突触的能量就被选择性的增加。 （2）如果一个突触（连接）两边的两个神经元被异步激活，则该突触的能量就被有选择的消弱或者消除。 纠错学习 纠错学习，也称为delta规则或者Widrow－Hoff规则。 实际输出yi (n)与期望输出d (n)之间存在着误差，用 e (n)表示: 要调整突触权值，使误差信号e(n)减小。为此，可