205470神经网络原理及应用课程技术研究.ppt

题目:神经网络原理及应用 授课人:刘志刚 部门:技术研究院 一、 神经网络与FPGA基础知识 1.神经网络 人工神经网络（ Artificial Neural Networks， 简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model） ，是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础 的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者 与领导人Hecht—Nielsen给人工神经网络下的定义就是：“ 人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连 续或断续的输入作状态相应而进行信息处理。” 这一定义是恰当的。 人工神经网络的研究，可以追溯到 1957年Rosenblatt提出的感知器(Perceptron)模型 。它几乎与人工智能——AI（Artificial Intelligence）同时起步，但30余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧条。直到80年代，获得了关于 人工 神经网络切实可行的算法，以及以Von Neumann体系为依托的传统算法在知识处理方面日益显露出其力不从心后，人们才重新对 人工神经网络发生了兴趣，导致神经网络的复兴。 目前在神经网络研究方法上已形成多个流派，最富有成果的研究工作包括：多层网络 BP算法，Hopfield网络模型，自适应共振理 论，自组织特征映射理论等。人工神经网络是在现代神经科学的基础上提出来的。它虽然反映了人脑功能的基本特征，但远不是自然 神经网络的逼真描写，而只是它的某种简化抽象和模拟。 数学表达式为： 1957年美国计算机科学家森布拉特提出了著名的感知器模型，此模型类似于MP模型，但Wji是可变的，因而神经网络具有学习能力，即在一定的输入值或样本情况下，通过搜索方式改变连接权值以便获得一组适当的权值。即经过训练可以达到对一定的输入向量模式进行分类和识别的目的。 1969年美国人工智能专家明斯基和帕伯特提出单层感知器只能进行线性分类，不能解决异或问题，也不能解决非线性问题，随后的十几年人工智能处于萧条状态。 1982年美国物理学家霍普菲尔得提出了全互联网络模型，该网络模型可以用电子线路模拟实现，这种神经网络所执行的运算在本质上不同于布尔运算，从而兴起了电子神经计算机研究的热潮。 1986年鲁默哈特与麦勒兰德发展了BP网络算法（1974年就提出过此算法），在多层神经网络基础上提出了多层神经网络模型的反向传播学习算法，解决了多层神经网络的学习问题，解决了明斯基和帕伯特所提出的问题，使神经网络的研究迅速发展起来。 BP网络在工程应用中最为广泛，占了80%以上的应用领域，所以我们在此主要讲解BP网络。 BP网络（Back-Propagation Network,反向传播网络)是对非线性可微分函数进行权值训练的多层前向网络。在人工神经网络的实际应用中，80%到90%的人工神经网络模型是采用BP网络或它的变化形式，它主要用于以下几个方面： 函数逼近：用于输入矢量和相应的输出矢量训练一个网络逼近一个函数。 模式识别：用一个特定的输出矢量将它与输入矢量联系起来。分类：把输入矢量以所定义的合适方式进行分类。 数据压缩：减少输出矢量为数以便于传输或储存。 可以说，BP网络是人工神经网络中前向网络的核心内容，体现了人工神经网络最精华的部分。在人们掌握反向传播网络的设计之前，感知器和自适应线性元件都只能适用于对单层网络模型的训练，只是在BP网络出现后才得到进一步的拓展. 一个三层BP网络结构图 二、BP网络设计与仿真 1.BP网络结构设计 1）网络层数 3层网络 2）输入层、隐层、输出层神经元数选择 隐层神经元数选择公式 3）隐层激活函数、输出层函数 隐层激活函数 4）BP学习算法的优化方式、学习方式、误差性 能函数、学习率、最大学习次数。 2.BP网络C语言仿真程序框图 3.BP网络仿真实验 1）异或问题仿真实验 2）逼近函数 C语言仿真输出结果 Matlab仿真结果 三、 BP网络在FPGA上的实现 过程 1.浮点数二进制表示方法 IEEE 754 标准 -1.59=1011111111001011100001010001 1111(二进制) 0.