第9章 机器学习.pptVIP

9.2.2人工神经元对生物神经元作以适当的结构简化和功能抽象，就得到所谓的人工神经元。人工神经元的结构模型如图。它是一个多输入单输出的非线性阈值器件。其中:x1，x2，…xn:神经元的n个输入信号量；w1，w2，…，wn对应n个输入的权值，它表示各信号源神经元与该神经元的连接强度；Σ：表示神经元的输入总和，相应于生物神经细胞的膜电位，称为激活函数；y为神经元的输出；θ表示神经元的阈值。第30页，共69页，星期日，2025年，2月5日人工神经元的输入输出关系可描述为：函数y=f(A)称为特性函数(亦称作用函数或传递函数)。特性函数可以看作是神经元的数学模型。常见的特性函数有以下几种:1.阈值型第31页，共69页，星期日，2025年，2月5日2.S型这类函数的输入－输出特性多采用指数、对数或双曲正切等S型函数表示。S型特性函数反映了神经元的非线性输出特性，例如：3.分段线性型神经元的输入－输出特性满足一定的区间线性关系，其特性函数表达如下，式中，K、Ak均表示常量。4.概率型神经元：一类二值型神经元,其输出状态为0或1是根据激励函数值的大小，按照一定的概率确定的。第32页，共69页，星期日，2025年，2月5日9.2.3人工神经网络(ANN)如果将多个神经元按某种的拓扑结构连接起来，就构成了神经网络。根据连接的拓扑结构不同可分为四大类：1.分层前向网络网络由若干层神经元组成，一般有输入层、中间层（又称隐层，可有一层或多层）和输出层，各层顺序连接；信息严格按照从输入层进，经过中间层，从输出层出的方向流动。第33页，共69页，星期日，2025年，2月5日2.反馈前向网络其输出层到输入层具有反馈连接；反馈的结果形成封闭环路；具有反馈的单元也称为隐单元，其输出称为内部输出。第34页，共69页，星期日，2025年，2月5日3.互连前向网络也是一种分层前向网络；同层神经元之间有相互连接，使得同一层内单元之间有彼此牵制作用。第35页，共69页，星期日，2025年，2月5日4.广泛互连网络广泛互连：网络中任意两个神经元之间都可以或可能是可达的，即存在连接路径；著名的Hopfield网络、波尔茨曼机模型结构均属此类。第36页，共69页，星期日，2025年，2月5日ANN至少可以实现如下功能：数学上的映射逼近:通过一组映射样本(x1，y1)，(x2，y2)，…，(xn，yn)，网络以自组织方式寻找输入与输出之间的映射关系：yi=f(xi)。数据聚类、压缩:通过自组织方式对所选输入模式聚类。联想记忆:实现模式完善、恢复，相关模式的相互回忆等。优化计算和组合优化问题求解利用ANN的渐进稳定态，特别是反馈网络的稳定平衡态，进行优化计算或求解组合优化问题的近似最优解。模式分类现有的大多数神经网络模型都有这种分类能力。概率密度函数的估计根据给定的概率密度函数，通过自组织网络来响应空间Rn中服从这一概率分布的一组向量样本X1，X2，…，Xk。第37页，共69页，星期日，2025年，2月5日9.2.4ANN学习学习（训练）是神经网络的最重要特征之一。ANN能够通过学习，改变其内部状态，使输入—输出呈现出某种规律性。ANN学习过程：利用一组样本数据作为网络的输入；网络按照一定的训练规则(学习规则/学习算法)自动调节神经元之间的连接强度或拓扑结构；当网络实际输出满足期望的要求，或者趋于稳定时，则认为学习成功。第38页，共69页，星期日，2025年，2月5日1.学习规则权值修正学派认为：神经网络的学习过程就是不断调整网络的连接权值，以获得期望的输出的过程。所以，学习规则就是权值修正规则。2.学习方法分类从不同角度考虑，神经网络的学习方法有不同的分类。常见的几种分类情况如下：第39页，共69页，星期日，2025年，2月5日9.2.5BP网络及其学习举例BP(BackPropagation)网络即误差反向传播网络是应用最广泛的一种神经网络模型。?(1)BP网络的拓扑结构为分层前向网络；(2)神经元的特