神经网络讲义part感知机与Adline.ppt

人工神经网络及其应用第3讲 感知机及BP网络 何建华 电信系，华中科技大学 2003年2月25日 内容安排 一、内容回顾 二、感知机 三、自适应线性元件 四、内容小结 一、内容回顾 生物神经元 人工神经网络结构 神经网络基本学习算法 一、内容回顾 生物神经元 生物神经元模型 突触信息处理 信息传递功能与特点 人工神经网络结构 神经网络基本学习算法 一、内容回顾 生物神经元模型 一、内容回顾 生物神经元 人工神经网络结构 人工神经网络 人工神经元模型 常见响应函数 人工神经网络典型结构 神经网络基本学习算法 一、内容回顾 生物神经元 人工神经网络结构 神经网络基本学习算法 权值确定 Hebb学习规则 误差校正学习规则 相近（无教师）学习规则 Hebb学习规则 Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则 如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 a为学习速率，Vi, Vj为神经元i和j的输出 Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形 误差校正规则 用已知样本作为教师对网络进行学习 学习规则可由二次误差函数的梯度法导出 误差校正学习规则实际上是一种梯度方法 不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感 无教师学习规则 这类学习不在于寻找一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域响应，从而调整参数一反映观察事件的分部 输入可以为连续值，对噪声有较强抗干扰能力 对较少输入样本，结果可能要依赖于输入序列 在ART、Kohonen等自组织竞争型网络中采用 二、感知机 2.1 感知机简介 2.2 神经元模型 2.3 网络结构 ni 第i个神经元加权输入和 ai第i个神经元输出,i＝1,2,…,s 2.4 功能解释 感知器的基本功能是将输入矢量转化成0或1的输出 根据输出值通过测试加权输入和值落在阈值函数的左右对输入数据进行分类 三、自适应线性元件 3.1 Adline简介 3.2 网络结构 3.3 网络学习 3.4 网络训练 3.5 应用举例 3.6 局限性 3.1 Adline简介 自适应线性元件(Adaptive Linear Element 简称Adaline) 由威德罗(Widrow)和霍夫(Hoff)首先提出 自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。 它与感知器的主要不同之处 在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1 它采用的是W-H学习法则，也称最小均方差(LMS)规则对权值进行训练 3.2 网络结构 神经元(a)与网络(b) 3.3 学习规则 W-H学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则 采用W-H学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association) 定义一个线性网络的输出误差函数 目的是通过调节权矢量，使E(W，B)达到最小值所以在给定E(W，B)后，利用W-H学习规则修正权矢量和偏差矢量，使E(W，B)从误差空间的某一点开始，沿着E(W，B)的斜面向下滑行 3.3 学习规则 根据梯度下降法，权矢量的修正值正比于当前位置上E(W，B)的梯度，对于第i个输出节点有： 或表示为 3.3 学习规则 η为学习速率。在一般的实际运用中，实践表明，η通常取一接近1的数，或取值为： 自适应线性网络还有另一个潜在的困难，当学习速率取得较大时，可导致训练过程的不稳定 采用W-H规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象 3.4 网络训练 自适应线性元件的网络训练过程可归纳为以下四个步骤 初始化。权值W,B和T 表达。计算训练的输出矢量A=W*P+B，以及与期望输出之间的误差E=T-A 检查。将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练已达到事先设定的最大训练次数，则停止训练；否则继续 学习。采用W-H学习规则计算新的权值和偏差，并返回到“表达”过程 3.5 应用举例 考虑一个较大的多神经元网络的模式联想的设计问题 输入矢量P和目标矢量T 3.5 应用举例 求解－精确解 这个问题的求解同样可以采用线性方程组求出，即对每一个输出节点写出输入和输出之间的关系等式 3.5 应用举例 求解－神经网络 训练误差记录 训练后权值 3.5 应用举例 求