神经网络【神经科】.pptx

神经网络的概念 泛指生物神经网络与人工神经网络 生物神经网络 由中枢神经系统（脑和脊髓）及周围神经系统（感觉、运动、交感等）所构成的错综复杂的神经网络，最重要的是脑神经系统。 人工神经网络(ANN) 由大量简单的处理单元广泛地互相连接而形成地复杂网络系统，以简化，抽象，和模拟人脑神经网络。;概述;过渡期（1970—1986） 1980年，Kohonen提出自组织映射理论 1982年，Hopfield提出离散的Hopfield网络模型 1984年，又提出连续的Hopfield网络模型，并用电 子线路实现了该网路的仿真。 1986年，Rumelhart等提出BP算法 发展期（1987--） 1993年创刊的“IEEE Transaction on Neural Network”;;;;;;连接 辐射 一个神经元的轴突末梢与许多神经元的树突相连接。 聚合 许多神经元的轴突末梢与一个神经元的树突相连接。;特性 信息以预知的确定方向传递 一个神经元的树突、细胞体－轴突－突触－另一个神经元树突 时空整合功能 对不同时间通过同一突触传入的信息具有时间整合功能 对同一时间通过不同突触传入的信息具有空间整合功能;;;;;M-P模型输入输出关系表;;;神经元的连接 人工神经网络是由神经元广泛互联构成的，不同的连接方式构成了不同的网络模型 ;;;;互连网络 任意两个神经元之间可以互相连接。 互连网络一直处于动态变化之中，最后 到达某种稳定状态，也可能进入周期振荡。 ;;人工神经网络的分类 根据拓扑结构 无反馈网络 有反馈网络 根据学习方法 有教师的学习网络 无教师的学习网络;根据网络的状态 静态网络 动态网络 根据处理的信息 连续型网络 离散型网络 ;感知器 罗森勃拉特(Rosenblatt)于1957年提出,把神经网络的研究从纯理论探讨引向了工程实践。 感知器是只有单层计算单元的前向神经网络,由线性阈值单元组成。 1）线性阈值单元 1 y = 0或-1;2) 单层感知器 只有输入层和输出层组成，输入层的每个处理单元均与输出层互连，层内各神经元无连接，网络无反馈。 ;学习算法:假设只有一个输出y(t) ;3) 多层感知器(MLP) 在单层感知器的输入和输出层之间增加一个或多个隐层。可产生复杂的决策界面和任意的布尔函数。 ; 前向多层神经网络也即多层感知器(MLP)，也叫BP网。BP(Back-Propagation)算法，是用于前向多层神经网络的反传学习算法，是目前应用最广泛且重要的训练前向神经网络的学习算法。 ;前向多层神经网络;节点的特性要求是可微的，通常选S型函数。 Sigmoid函数的特点： 连续可微 单调 取值在[0,1];B-P算法 学习的目的：对网络的连接权值进行调整，使得对任一输入都能得到所期望的输出。 学习的方法：用一组训练样本对网络进行训练，其中每一个样例都包括输入及期望的输出两部分。 应用：对待识别的样本进行模式识别。;BP算法的具体步骤： 从训练样例集中取一样例，把输入信息输入到网络中。 由网络分别计算各层节点的输出。 计算网络的实际输出与期望输出的误差。 从输出层反向计算到第—个隐层，按一定原则向减小误差方向调整网络的各个连接权值－反向传播。 对训练样例集中的每一个样例重复以上步骤，直到对整个训练样例集的误差达到要求时为止。 在训练时，需要反向传播，而一旦训练结束，求解实际问题时，则只需正向传播。 ;具体算法： 1) Oi：节点i的输出； netj：节点j的输入； wij：从节点i到节点j的连接权值。 2) 误差函数 分别表示输出层上节点k的期望输出与实际输出 ;3) 连接权值的修正 wjk(t+1)和wjk(t)分别表示t+1和t时刻上从节点j到节点k的连接权值， ?wjk为修正量。 ;;;;;; 以上学习过程是按照样本p的误差ep减小最快的方式改变连接权值，直到获得满意的连接权值的。也可以基于E来完成在权值空间的梯度搜索。 ; 此时，按反向传播计算样本p在各层的连接权值变化量?pwjk，但并不对各层神经元的连接权值进行修改，而是不断重复这一过程，直至完成对训练样本集中所有样本的计算，并产生这一轮训练的各层连接权值的改变量?wjk 此时才对网络中各神经元的连接权值进行调整，若正向传播后重新计算的E仍不满足要求，则开始下一轮权值修正。;;;;;;;;;;;;;;;;;;;;;;