学习向量量化网络.pptVIP

学习向量量化网络 目录 概述 向量量化 LVQ网络结构与工作原理 LVQ网络的学习算法及其在MATLAB上的实现 1.概述 学习向量量化（Learnig Vector Quantization，LVQ）网络： （1）在竞争网络结构基础上提出的； （2）将竞争学习思想与有监督学习算法结合在一起； （3）在网络学习过程中，通过教师信号对输入样本的分配类别进行规定； （4）克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。 2.向量量化 在信号处理领域，量化是针对标量进行的，将信号的连续取值近似为有限多个或较少的离散值的过程。 向量量化是对标量量化的扩展，适用于高维数据。 向量量化的思路：将高维输入空间分成若干不同区域，对每个区域确定一个中心向量作为聚类中心，与其处于同一区域的输入向量可作为该中心向量来代表，从而形成以各中心向量为聚类中心的点集。 2.向量量化 2.向量量化 自适应解决模式分类问题的步骤： 第一步：自组织映射——起聚类的作用，但不能直接分类或识别； 第二步：学习向量量化——采用有监督方法，在训练中加入教师信号作为分类信息对权值进行细调，并对输出神经元预先指定其类型。 3.LVQ网络结构与工作原理 3.1 LVQ网络结构 3.LVQ网络结构与工作原理 组成：输入层神经元、竞争层神经元和输出层神经元 输入层：有n个神经元接受输入向量，与竞争层之间完全连接； 竞争层：有m个神经元，分为若干组并呈一维线阵排列 输入层：每个神经元只与竞争层中的一组神经元连接，连接权值固定为1. 3.LVQ网络结构与工作原理 3.2 LVQ网络工作原理 (1)在LVQ网络的训练过程中，输入层和竞争层之间的连接权值被逐渐调整为聚类中心。 (2)当一个输入样本被送到LVQ网时，竞争层的神经元通过胜者为王竞争学习规则产生获胜神经元，容许其输出为1，而其他神经元输出为0. (3)与获胜神经元所在组相连接的输出神经元，其输出也为1，其他的输出为0，从而给出当前输入样本的模式类。 子类：竞争层学习得到的类 目标类：输出层学习得到的类 3.LVQ网络结构与工作原理 LVQ网络各层的数学描述： 输入向量X=(x1，x2，…，xn)T； 竞争层的输出Y=(y1，y2，…，ym)T,yi∈{0,1}，i=1,2，…，M； 输出层的输出O=(o1，oj，…，ol)T； 网络的期望输出d=(d1，d2，…，dl)T； 输入层到竞争层之间的权值矩阵 W1=(W11，W21，…,Wj1，…,WM1) 其中列向量Wj1为隐层第j个神经元对应的权值向量； 3.LVQ网络结构与工作原理 竞争层到输出层之间的权值矩阵 W2=(W12，W22，…,Wk2，…,Wl2) 其中列向量Wk2为输出层第k个神经元对应的权值向量。 4.LVQ网络的学习算法及其在MATLAB上的实现 4.1 LVQ网络的学习算法 LVQ网络的学习规则结合了竞争学习和有导师学习规则，需要一组有教师信号的样本对网络进行训练。 设训练样本集： {(X1,d1),…,(Xp,dp),…,(XP,dP)}, 其中每个教师向量dp（p=1,2，…,P）中只有一个 分量为1，其他分量均为0。 通常把竞争层的每一个神经元指定给一个输出神经元，相应的权值为1，从而得到输出层的权值矩阵W2。 4.LVQ网络的学习算法及其在MATLAB上的实现 假设某个LVQ网络竞争层有6个神经元，输出层有3个神经元，代表3个类；将竞争层的1、3号神经元指定为第1个输出神经元，第2、5号神经元指定为第2个输出神经元，第4、6号神经元指定为第3个神经元，则权值矩阵W2定义为 4.LVQ网络的学习算法及其在MATLAB上的实现 W2的列表示类，行表示子类，每一行只有一个元素为1，该元素所在的列表示这个子类所属的类。对任一输入样本，网络的输出为 O=(W2)TY LVQ网络在训练前预先定义好W2，从而指定了输出神经元的类别。训练中W2不再改变，网络的学习是通过改变W1来进行的。 根据输入样本的类别（教师信号）和获胜神经元所属类别，可判断当前分类是否正确。若分类正确，则将获胜神经元的权向量向输入方向调整； 若分类错误，则向相反方向调整。 4.LVQ网络的学习算法及其在MATLAB上的实现 4.LVQ网络的学习算法及其在MATLAB上的实现 LVQ网络学习算法的步骤： (1)初始化：竞争层各神经元权值向量Wj1(0)，(j=1,...,M)赋小的随机数，确定初始学习速率?(0)和训练次数K. (2)输入样本向量X. (3)寻找获胜神经元j*： ║X-Wj*1║=min║X-Wj1║ j=1,2