人工神经网络模型剖析.ppt

第一讲  从生物神经网络到人工神经网络 From Biological Neural Network To Artificial Neural Network 大脑Brain 虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，以模拟“人脑”的某些功能。 生物神经元 生物神经元的信息传递与处理 生物神经元的信息传递与处理示意图 第二讲  人工神经网络模型应用与仿真 Applications Simulation of Artificial Neural Network Models 人工神经网络的应用 人工神经网络的模型 关于神经网络的实现技术 神经网络的软件仿真系统 MATLAB及其工具箱 MATLAB及其工具箱 MATLAB Neural Network Toolbox 感知器模型 感知器神经网络特点 感知器的学习规则 感知器的学习规则 感知器的MATLAB仿真 感知器的MATLAB仿真 感知器的MATLAB仿真 感知器的MATLAB仿真 线性神经网络 线性神经网络的学习 线性神经网络的学习规则 线性神经网络的MATLAB仿真 对消原理 MATLAB仿真程序设计 BP神经网络 BP网络的学习规则 BP网络的MATLAB仿真 BP网络的结构设计 Hopfield网络 Hopfield神经网络特点 Hopfield网络的设计 Hopfield网络的MATLAB仿真 Hopfield网络的MATLAB仿真程序设计 设计的感知器神经网络结构 感知器神经网络的MATLAB程序实现 神经网络的创建与训练 神经网络的仿真 线性神经元模型 线性神经网络模型 线性神经网络特点 与感知器一样，只适于解决线性可分问题，但比感知器的抗噪能力强。 具有较广泛的实际用途，特别是在数字信号处理方面，比如，实现高性能的自适应滤波器。 一般为单层，也可为多层网络（MADALINE） 线性神经网络采用均方误差最小的学习规则，即LMS（Least Mean Squares）算法，来调整网络的权值和阈值，它是一种沿误差的最陡下降方向对前一步权值向量进行修正的。 对Q个训练样本构成的训练样本集为： LMS算法的基本思想是找到合适的权值和阈值，使下列均方误差最小： 每一步学习过程，线性神经元的权值阈值进行调整的算法可表示为： 式中，?是决定权值和阈值的收敛速度和稳定性参数，称之为学习速率，学习率越大，学习的速度越快，但过大的学习率会使修正过度，造成不稳定，反而使误差更大。在MATLAB神经网络工具箱中，可以通过 maxlinlr 函数确定最大的学习率。 线性神经网络的应用实例 以自适应线性网络实现噪声对消。 问题分析 利用自适应线性网络实现噪声对消的原理框图如图所示 ： 假设信号为一正弦信号，受到随机噪声的污染。根据以上分析，ADALINE自适应线性神经元的输入向量为随机噪声；正弦波信号与随机噪声之和为ADALINE神经元的目标向量；输出信号为网络调整过程中的误差信号。 本例线性神经网络MATLAB仿真程序设计的主要步骤： 以newlin创建线性神经网络 构造训练样本集 以adapt自适应调整所创建的网络，获得网络训练的误差信号，即为输出信号。 BP神经元模型 BP神经网络特点 多层网络 理论上，如果隐层神经元数不加限制，两层BP网络可以完成输入到输出的任意函数影射。 传输函数为非线性函数，多为logsig和tansig函数，最后一层也可为purelin函数。 BP网络广泛应用最为广泛，80％～90％的人工神经网络模型是采用BP网络或它的变化形式，体现了人工神经网络最精华的部分。 标准的BP算法和LMS学习规则一样是一种梯度下降学习算法，其权值的修正是沿着误差性能函数梯度的反方向进行的。针对标准BP算法存在的一些不足，出现了几种基于标准BP算法的改进算法，如变梯度算法、牛顿算法等。 BP网络的MATLAB仿真 BP网络的应用实例 设计基于BP神经网络的印刷体字符0-9的识别系统。 问题分析 识别的对象是印刷体数字，这里我们以画图工具获得的不同字体、字号的数字0-9的BMP图形作为原始数据，编程对其进行预处理，获得16?16的二值图像，如图所示，其二值图像数据作为神经网络的输入。 我们选用两层BP网络，其输入节点数为16?16=256；隐