有监督和BP神经网络剖析.pptVIP

讨论 隐层的数目和节点的数目,何谓合适? 是否收敛到全局最优?(涉及多维误差曲面的不确定性) 3)收敛的速度问题。(涉及隐层节点输出的相互耦合和梯度下降法本身的缺点） 4)紧集的确定 小结 神经网络模型及其分类 BP网络及其学习算法 第七讲 基于神经元网络的智能控制 提要 Outline 生物神经元和神经系统 人工神经元和神经网络系统模型 神经网络系统分类 BP网络的学习算法 神经网络系统的公开问题 生物神经元和神经系统 生物神经元的结构：一个神经元由树突、轴突和细胞体三部分组成。 树突：是神经元的输入部分，它接受来自其它神 经元对它的激励。 轴突：是神经元的输出部分，它将该神经元的状态作用于其它神经元。 细胞体：是神经元的主体，它对来自于其它神经元的激励发生生理作用，它产生该神经元的状态（激发或抑制状态）。 生物神经元和神经系统（续） 生物神经系统：由许许多多神经元经过广泛互连接而形成的复杂系统。 ●人工神经元的简化模型 ai1 ai2 a in bi1 bi2 bim wi y1 y2 y n u1 uk um 1 vi x i y i ●神经元的一般模型框架 1）加法器 2）线性动态系统（SISO） 3）静态非线性系统 ︰ ︰ 式中 aij 和bik 为权系数，i,j =1,2,…,n, k= 1,2,…m. n 个加法器可以写成向量形式： —— N维列向量 —— N维列向量（单元输出） ——N×N维矩阵 ——N×M维矩阵 —— M维列向量（外部输入） —— M维常向量 ▲ 线性动态系统 典型的有： ▲静态非线性系统 典型的有： g(x) g(x) g(x) x x x 阈值函数 阈值函数 Sigmoid函数 神经网络模型的分类 ∑ ∑ （双极型） Sigmoid u1 ui ?i u1 ui ?i y i y i Adline(自适应线性网） 单层感知器(Perceptron) ▲不同的部件可以组成不同的网络 ︰ ︰ ? K ui y j yi 离散Hopfield网 y1 y2 y3 y4 u1 u2 u3 u4 ? yj yi ui xi 连续的Hopfield单个神经元 ●按学习的方法神经元网络可分成二类： 1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络 ● 有监督的神经网络 1）感知器网络 感知器是前馈(正向传输)网络,所有节点都是线性的. ● ● ● ● ● ● ● ● ● ● ● ● x1 x2 xn b1 b2 bm 权向量W 2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机 输入与输出的关系： 权矩阵可以按下式求解： 学习规则： 代表输入与输出的差别。 是学习因子 这学习规则即是著名的 学习规则。 随着学习迭代次数k的增加， 保证网络的收敛。 BP网络及其学习算法 ● 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。 j p p1 xp1 x pn t pk t pm Op1 O pn Op2 隐层 wj1 wjn 输入层 隐层 输出层 信息流 · · · · · · pm 隐层节点j输出和输入节点p的关系： 输出节点k和隐层输出节点p的关系： 学习过程： 定义输出误差 学习的目的是要使以下定义的误差平方和最小： 因此，要求以下的偏导， 最后得到二个权值改变的重要公式： 初始化 加输入和期望输出 计算隐层和输出层的输出 迭代次数加1 调节输出层和隐层的连接权值 改变训练样板 训练样终止？ 迭代终止？ BP算法的基本流程 No No y y 重要结论 具有至少一个隐层的多层前馈网络，如果隐层单元足够多，那么，利用扁平激励函数和线性多项式集成函数，可以对任意感兴趣的函数逼成到任意精度。 扁平激励函数定义：f : R [0,1] 或[-1,1]是非减函数, 扁平激励函数的参数. 理论证明:多层前馈网络是一种通用逼近器 神经网络的公开问题