神经网络基础知识.ppt

2.4神经网络学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。第30页，共45页，星期日，2025年，2月5日神经网络的学习类型：有导师学习(有监督学习)无导师学习(无监督、自组织)死记式学习(灌输式)第31页，共45页，星期日，2025年，2月5日日本学者Amari在1990年提出了一种神经网络权值调整的通用学习规则，如下图：通用学习规则：权向量Wj在t时刻的调整量ΔWj(t)与t时刻的输入X(t)和学习信号r的乘积成正比，即：第32页，共45页，星期日，2025年，2月5日神经网络基础知识第1页，共45页，星期日，2025年，2月5日2.1人工神经网络的生物基础神经元(Neuron)也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。2.1.1生物神经元结构每个神经元都包括四个部分：细胞体(cellbody)、树突(dendrite)和轴突(axon)和突触(synapse)。每个神经元大约有1000~100000个突触。若干神经元以突触相连构成神经网络。第2页，共45页，星期日，2025年，2月5日(a)简单神经元网络图c)简化后的网络示意图图2.1简单神经元网络及其简化结构图b)突触结构图第3页，共45页，星期日，2025年，2月5日??2.1.2生物神经元的信息处理机理一、信息的产生研究认为，神经元间信息的产生、传递和处理是一种电化学活动。由膜内外离子浓度决定。神经元状态：静息兴奋抑制膜电位：极化polarization去极化depolarization超极化hypeypolarization第4页，共45页，星期日，2025年，2月5日膜电位变化图第5页，共45页，星期日，2025年，2月5日神经元对信息的传递与接收通过突触进行。二信息的传递与接收神经电脉冲神经质产生神经质释放结合过程电生理反应突触信息传递过程第6页，共45页，星期日，2025年，2月5日三、信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。四、生物神经网络以确定方式和拓扑结构互连而成，完成信息采集、存储、综合处理等功能。人类社会关系亦如此。第7页，共45页，星期日，2025年，2月5日2.2人工神经元模型2.2.1神经元的建模最早提出且影响巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6点假设：(1)每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；(6)神经元本身是非时变的，即其突触时延和突触强度均为常数。(3)神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；(5)忽略时间整合作用和不应期；第8页，共45页，星期日，2025年，2月5日(a)表明人工神经元有许多输入信息，一个输出信息；(b)表示突触强度和性质不同，导致作用不同，即权重不同；(c)表明信号整合；(d)总和超过阈值时，神经元被激活。第9页，共45页，星期日，2025年，2月5日2.2.2神经元的数学模型令xi(t)表示t时刻神经元j接收的来自神经元i的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可用如下数学式表示：τij——输入输出间的突触时延；Tj——神经元j的阈值；wij——神经元i到j的突触连接系数或称权重值；f()——神经元转移函数。(2.1)第10页，共45页，星期日，2025年，2月5日若取突触时延为单位时间，则式(2.2)全面表达了神经元模型的6点假设。令：(2.2)(2.3)上式是神经元j在t时刻的净输入，体现了神经元j的空间整合特性，但未考虑时间整合。第11页，共45页，星期日，2025年，2月5日利用