第2章 神经网络基础知识.pptVIP

第二章 神经网络基础知识 2. 1 人工神经网络的生物基础 2. 2 人工神经元模型 2. 3 人工神经网络模型 2 .4 神经网络学习 2. 1 人工神经网络的生物基础 神经元(Neuron)也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。 2.1.1 生物神经元结构 每个神经元都包括四个部分：细胞体(cell body)、树突(dendrite)和轴突(axon)和突触(synapse)。 每个神经元大约有1000~100000个突触。若干神经元以突触相连构成神经网络。 ?? 膜电位变化图 二 信息的传递与接收 神经元对信息的传递与接收通过突触进行。 2. 2 人工神经元模型 2. 2. 1 神经元的建模 最早提出且影响巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6点假设： (a)表明人工神经元有许多输入信息，一个输出信息； (b)表示突触强度和性质不同，导致作用不同，即权重不同； (c)表明信号整合； (d)总和超过阈值时，神经元被激活。 2.2.2 神经元的数学模型 令xi(t)表示t时刻神经元j接收的来自神经元i的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可用如下数学式表示： 若取突触时延为单位时间，则 式(2.2)全面表达了神经元模型的6点假设。 令： 利用矩阵表示如下： 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 拓扑结构是神经网络特征的第二大要素 日本学者Amari在1990年提出了一种神经网络权值调整的通用学习规则，如下图： 2.4.1 Hebb学习规则 例2.1 设有4个输入和1个输出的神经网络，阈值T=0，学习率η=1，三个样本为：X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,初始权：W(0)=(1,-1,0,0.5)T。利用Hebb学习法计算权值。 解：设转换函数为符号函数f(x)=sgn(net) (1) 2.4.2 Perceptron学习规则 2.4.3 δ学习规则 例2.2 设有4个输入1个输出的神经网络，阈值内含，学习率η=0.1，三个样本为：X1=(-1,1,-2,0)T，X2=(-1,0,1.5,-0.5)T,X3=(-1,-1,1,0.5)T,初始权：W(0)=(0.5,1,-1,0)T，期望输出： d1=-1，d2=-1，d3=1。利用δ学习法计算权值。 解：设转换函数为： (1) 2.4.4 LMS学习规则(最小均方) 2.4.5 Correlation（相关）学习规则 2.4.6 Winner-Take-All学习规则 2.4.4 Outstar学习规则 本章完 通用学习规则：权向量Wj在t时刻的调整量ΔWj(t)与t时刻的输入X(t)和学习信号r的乘积成正比，即： 学习信号： 权调整公式： 权分量调整公式： 要求：使用小的随机数初始化权值 特点：前馈、无导师学习 (2) (3) 学习信号： 权调整公式： 权分量调整公式： 由于采用符号函数，符合期望时不调整，否则，权值特征公式为： 要求：只适应二进制神经元 特点：有导师学习 学习信号： 权调整公式： 权分量调整公式： 要求：转换函数连续可导 特点：多层前馈，有导师学习 (2) (3) 学习信号： 权调整公式： 权分量调整公式： LMS是δ学习规则的特例 特点：有导师学习 学习信号： 权调整公式： 权分量调整公式： 要求：权值初始化为 0 特点：有导师学习 学习信号： 权调整公式： 权分量调整公式： 要求：权值归一化 特点：胜者为王、无导师学习 权调整公式： 权分量调整公式： 要求：转换函数连续 特点：有导师学习 * (a) 简单神经元网络图 c) 简化后的网络示意图 图2. 1 简单神经元网络及其简化结构图 b) 突触结构图 2.1.2 生物神经元的信息处理机理 一、信息的产生 研究认为，神经元间信息的产生、传递和处理是一种电化学活动。由膜内外离子浓度决定。 神经元状态： 静息 兴奋 抑制 膜电位： 极 化polarization 去极化depolarization 超极化hypeypolarization 神经 电脉冲 神经 质产生 神经 质释放 结合 过程 电生理 反应 突触信息