3 神经网络.ppt

反向传播（BP）学习 1 x1 2 -2 s2 u x2 -2 3 3 3 1 -2 1 s1 1 2 1 3 -2 r2 -4 2 2 r1 1 -2 反向传播 Δwx2s1← Δwx2s2← Δws1r1←η(δr1os1)=0.8*0.04*0.5 Δwx0s1← Δwx0s2← Δws1r2 Δws2r1 Δws2r2 Δws0r1 Δws0r2 Δwr1u←η(δuor1)=0.8*0.125*0.122 Δwr2u← Δwr0u← 自组织特征映射 非监督神经网络 聚类：训练集的类的归属是未知的， 通过学习发现类的归属 自组织特征映射 使用相似性度量发现簇 欧几里德平方距离（公式，图1） 聚类方法：（图2） 生成k个n维向量，它们代表k个簇的中心。 使用欧几里德平方距离分配每个训练样本到最近的簇。 通过对分配给每个簇的所有样本取平均，对每个簇进行更新。 重复步骤2与3，直至满足指定的停止准则。 自组织特征映射 聚类算法应具有的所希望的特性为： 自动确定原型数。 一个原型与另一个原型相似的一种度量。 代表原型的主要特征。 自组织特征映射 自组织特征映射神经网络： 其输入节点个数对应于训练向量的维数 输出节点（簇节点 ）充当原型 射入到每个簇节点的全部权的数目与输入向量的维数相同 人工神经网络 人工神经元是组成人工神经网络的基本处理单元，简称为神经元。 心理学家麦克洛奇(W．McCulloch)和数理逻辑学家皮兹(W.Pitts)于1943年首先提出了一个简化的神经元模型，称为M-P模型 。 人工神经元 决定神经网络性质的两个因素 网络的拓扑结构 网络的权值、工作规则 1、前向网络：神经元分层排列，分别组成输入层、中间层和输出层。每一层神经元只接收来自前一层神经元的输入。输入信息经各层变换后，最终在输出层输出。 神经网络的结构 2、反馈网络：这种网络与上一种网络的区别仅仅在于，输出层上的某些输出信息又作为输入信息送入到输入层的神经元上。 神经网络的结构 3、 层内有互连的网络：同一层上的神经元可以互相作用。 神经网络的结构 4、互连网络：在这种网络中，任意两个神经元之间都可以有连接。在该网络中，信息可以在神经元之间反复往返地传递，网络一直处在一种改变状态的动态变化之中。 神经网络的结构 人工神经元及感知机模型 感知机(perceptron)模型：仅有一个神经元，无隐层 S x1 w1 X３ W３ x2 w2 y = f(s) X０ W０ 单层感知器：只有一个计算层，它以信号模板作为输入，经计算后汇总输出，层内无互连，从输出至输入无反馈，是一种典型的前馈网络。 人工神经元及感知机模型 人工神经元及感知机模型 神经元由输入向量uj和单个输出yi组成。wij表示连接第j个输入的权向量; bi表示一个偏置常数。 人工神经元及感知机模型 计算输出信号的规则（激励函数）： 阈值函数 sigmoid函数 人工神经元及感知机模型 例 0.7 0.1 0.3 -0.3 si 3.1 0.5 1、Si = 0.7×(-0.3) + 0.1 × 3.1 + 0.3 × 0.5 = 0.25 2、利用阈值函数计算输出、得： yi = f(0.25) = 1 决定神经网络性质的两个因素 网络的拓扑结构（节点怎样安排） 网络权值、工作规则（如何选择权值和激励函数） 神经网络的学习问题就是 网络权值的调整问题 神经网络的学习算法 感知器学习算法： 初始化：将权值向量（偏置）赋予随机值，t=0(迭代次数) 连接权的修正：对每个输入样本xk及期望输出dk完成如下计算 计算网络输出：y = f(S)，其中S =∑wixi，f为激活函数 计算输出层单元期望输出dk与实际输出y间的误差： ek = dk - y 若ek为零，则说明当前样本输出正确，不必更新权值，否则更新权值： w(t+1) = w(t) + α×ek ×xk t = t + 1 0α1为学习率。 对所有的输入样本重复步骤(2)，直到所有的样本输出正确为止 感知器学习规则 与Xi对应的期待输出： d1=-1, d2=-1, d3=1 一组输入训练样本： X1= 1 -2 0 -1 X2= 0 1.5 -0.5 -1 X3= -1 1 0.5 -1 感知器学习规则 3、学习率： α= 0.1 W1= 1 -1 0 0.5 1、初始权向量： y = sgn(s) 1， s≥0 － 1， s＜0 2、激励函数： 感知器学习规则 感知器的学习过程如下： 第一步 输入X1，（对应的期待输出是d1 ）