机器学习专题ppt课件.ppt

* P1 P2 P3 P ？ * P P3 P2 P1 Inputs: Outputs: Input: Output: ??? * 基于heb神经网络的PCA 传统PCA算法的缺点： 需要大量的计算 属于批量学习 基于神经网络的PCA的优点： 不需要计算协方差矩阵 属于在线学习 * 基于hebb规则的权值更新公式： 数据集 基于hebb规则的神经网络已被证明 当迭代次数无穷大时，方差趋向于 NN High dimensional data One dimensional data 64 pages * Sanger proposed the Generalized Hebbian Algorithm (GHA) 多维压缩 64 pages * GHA Learning Algorithm 64 pages * 2维压缩 (Oja Algorithm based on Hebb rules) 第一个输出神经元权值向量 第二个输出神经元权值向量 64 pages * … … 感知机 感知器是用于线性可分模式分类的最简单的神经网络.它由一个具有可调突触权值和偏置的神经元组成。 … X1 X2 xm w1 w2 wm 偏置b v Φ（·） 输出Y 感知器权值自适应公式 1.假如训练成员第N个成员x(n)根据算法中的第N次迭代的权值向量w(n)能正确分类，那么感知器的权值向量不做修改 2.否则，感知器的权值向量根据以下规则进行修改: w(n+1)=w(n)-η(n)x(n) 假如预测结果为1，实际属于类2 w(n+1)=w(n)+η(n)x(n) 假如预测结果为2，实际属于类1 这里η(n)是学习参数，控制这第n次迭代中作用于权值向量的调节 BP神经网络 反向传播算法也称BP算法。由于这种算法在本质上是一种神经网络学习的数学模型，所以，有时也称为BP模型。 BP算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而．有时也称无反馈多层前向网络为BP模型。 基本原理：利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计 BP神经网络 具有一层隐藏层的多层感知器 函数信号的前向传播和误差信号的反向传播 BP模型的学习过程 反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简述如下。 1．正向传播 输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。 2．反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。 步骤1,2不断循环 直到网络输出误差减少到可接受程度或者进行到预先设定的次数为止。 自组织映射 当人脑接收外界的时空信息时，大脑皮层的特定区域会兴奋，而且类似的外界信息在对应的区域是连续的。因此Kohonen认为，一个神经网络在接受外界输入模式时，将会分为不同的对应区域，且各个区域对输入模式有不同的响应特征，而且这个特征是自动完成的。 SOFM只有两层：输入层和竞争层，竞争层神经元的排列有多种形式：一维线阵、二维平面、三维栅格等等。 权值调整方法是在胜者为王基础上改进的，即优胜领域内的神经元都可以调整权值。理论上应该是离胜者越近，学习率的越大，但是为简化计算，实际中优胜领域内一般取相同的学习率。优胜领域开始定的很大，随着训练次数的增加，最终应该收缩到0。 SOFM分为训练阶段和工作阶段，要训练阶段，权向量被训练为输入样本空间的聚类中心。在工作阶段，当输入向量与某个竞争层的内星权值相似时，自然会被分到对应的聚类上去。因此SOFM可用作模式分类器。注意当输入模式在训练集中从未出现过时，SOFM网只能将它归入最接近的模式分类中去。 自组织映射主要有三个过程： 1.竞争。对每个输入模式，网络中的神经元计算它们各自判别的函数值。具有最大函数值的特定神经元成为竞争的胜利者 2.合作。获胜神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这样的相邻神经元合