数学建模神经网络算法.ppt

数学建模经典算法 陈旺虎 chenwh@ 学习目标 拓宽视野 感受神经网络算法的应用背景 能够用神经网络算法解决一些简单问题 不探究详细的理论基础 内容安排 人工神经网络简介 人工神经网络的基本功能 人工神经网络的发展历史 人工神经网络的生物学基础 M-P模型 前馈神经网络 单层感知器 多层感知器 BP算法 BP网络 应用案例（MATLAB计算） 1. 人工神经网络简介 生物神经网络 人类的大脑大约有1.4×1011个神经细胞，亦称为神经元。 每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。 人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。 对人类大脑系统的一阶特性的一种描述。 （生理角度的模拟） 基本原理 存在一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚 把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。 当训练结束后，给定一个输入，网络便会根据已调节好的权值计算出相应的输出。 严格定义——ANN 最典型的定义由Simpson在1987年提出 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 ANN算法 根据人的认识过程而开发出的一种算法 2. 人工神经网络的基本功能 （1）联想记忆功能 由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。 联想记忆有两种基本形式 自联想记忆 异联想记忆 自联想记忆 网络中预先存储（记忆)多种模式信息 当输入某个已存储模式的部分信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息 异联想记忆 网络中预先存储了多个模式对 每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分 不完整模式的自联想 神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息 这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值 2. 人工神经网络的基本功能（续） 非线性映射功能 在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。 设计合理的神经网络，通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。 神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。 具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。 2. 人工神经网络的基本功能（续） 分类与识别功能 神经网络对外界输入样本具有很强的识别与分类能力。 对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。 传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。 但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。 神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。 2. 人工神经网络的基本功能（续） 优化计算功能 优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。 某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。 神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。 这种优化计算不需要对目标函数求导，其结果是网络自动给出的。 2. 人工神经网络的基本功能（续） 知识处理功能 知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。 神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。 神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。 另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一步提升。 3. 神经网络的发展历史（续） （2） 低潮期（1