章+基础知识+(续)人工神经网络常用学习规则.pptVIP

决定网络整体性能的三大要素包括：(1)神经元（信息处理单元）的特性；(2)神经元间相互联接的形式—拓扑结构；(3)为适应环境而改善性能的学习规则。表5-1为对神经网络发展有重要影响的神经网络 * 神经网络通过相继给网络输入一些样本模式，并按照一定的规则（或学习算法）不断改变网络各层的连接权值，使网络的输出不断地接近期望的输出值，这一个过程称为神经网络的学习或训练。学习的实质是可变权值的动态调整的自适应过程。改变权值的规则称为学习规则或学习算法（相应也称训练规则或训练算法）。单个处理单元，无论采用哪一种学习规则进行调整，其算法都十分简单。大量处理单元集体进行权值调整时，网络就呈现出“智能”的特性。 * 神经网络结构和功能不同，学习方法也各不相同。在人工神经网络的结构和转移函数决定以后，如何设计权使网络达到一定的要求，就成为决定神经网络信息处理性能的第三大要素。学习问题归根结底就是网络连接权的调整问题，其方法有以下几种： * 名称 提出者 年代 典型应用领域 局限性 特点 Perceptron(感知器) Frank Rosenblatt(康奈尔大学) 1958 文字识别、声音识别、声纳信号识别、学习记忆问题研究 不能识别识别复杂字符，对字的大小、平移和倾斜敏感 最早的神经网络，已很少应用；有学习能力，只能进行线形分类 Adaline(自适应线形单元)和Madaline(多个Adaline的组合网络) Bernard Widrow(斯坦福大学) 1960 ~ 1962 雷达天线控制,自适应回波抵消，适应性调制解调，电话线中适应性补偿等 要求输入-输出之间为线性关系 学习能力较强，较早开始商业应用，Madaline是Adaline的功能扩展 Avalanche(雪崩网) S.Drossberg(波士顿大学) 1967 连续语音识别，机器人手臂运动的教学指令 不易改变运动速度和插入运动 Cerellatron（小脑自动机） D.Marr（麻省理工学院） 1969 ~1982 控制机器人的手臂运动 需要复杂的控制输入 类似于Avalanche网络，能调和各种指令序列，按需要缓缓地插入动作 Back Propagation(误差反传网络) P.Werbos(哈佛大学) David umlhart(斯坦福大学)James MeClelland(斯坦福大学) 1974 ~1985 语音识别，工业过程控制，贷款信用评估，股票预测，自适应控制等 需要大量输入-输出数据，训练时间长，易陷入局部极小 多层前馈网络，采用最小均方差学习方式，是目前应用最广泛的学习网络 * Self-organizing feature map(自组织特征映射网络) Tuevo Konhonen(芬兰赫尔辛基技术大学) 1980 语音识别，机器人控制，工业过程控制，图像压缩，专家系统等 模式类型数需预先知道 对输入样本自组织聚类，可映射样本空间的分布 Hopfield网络 John Hopfield(加州理工学院) 1982 求解TSP问题，线性规划，联想记忆和用于辨识 无学习能力，连接要对称，权值要预先给定 单层自联想网络，可从有缺陷和有噪声输入中恢复完整信息 Boltzman machine(玻尔兹曼机) Cauchy machine(柯西机) J.Hinton(多伦多大学) T.Sejnowski(霍尔金斯大学) 1985 ~1986 图像、声纳和雷达等模式识别 波尔兹曼机训练时间长，柯西机在某些统计分布下产生噪声 采用随机学习算法的网络，可训练实现全局最优 Bidirectional Associative Memory(BAM,双向联想记忆网) Bart Kosko(南加州大学) 1985 ~1988 内容寻址的联想记忆 存储的密度低，数据必须适应编码 双向联想式单层网络，具有学习功能，简单易学 Counter Propagation(CPN,双向传播网) Robert Hecht- Nielsen 1986 神经网络计算机，图像分析和统计分析 需要大量处理单元和连接，需要高度准确 一种在功能上作为统计最优化和概率密度函数分析的网络 * Adaptive Resonance Theory(自适应共振理论ART)有ART1、ART2和ART3 3种类型 G.Carpenter and S Grossberg(波士顿大学) 1976 ~1990 模式识别领域，擅长识别复杂模式或未知的模式 受平移、旋转及尺度的影响；系统比较复杂，难以用硬件实现 可以对任意多和任意复杂的二维模式进行自组织学习，ART1用于二进制，ART2用于连续信号 Brain State in a Box(盒中脑BSB网络) James Anderson（布朗大学） 1977 解释概念形成，分类