GNG-SVM构架-基于生长型神经气的支持向量机队大数据集进行分类.docVIP

GNG-SVM构架-基于生长型神经气的支持向量机队大数据集进行分类 Ondrej Linda, Milos Manic 摘要：在数据分类领域，支持向量机是一种很著名的技术。然而，由于训练过程的复杂性，导致SVM不适用于对大数据集进行分类。目前的解决方案就是对输入数据集进行抽样或者对其进行聚类。在另一方面，生长型神经气它可以学习拓扑型数据，是一种具有很好鲁棒性的聚类分析方法。它克服了在绝大多数聚类中需要预先知道聚类数目或者聚类半径的问题。该文提出了一种通过学习数据的拓扑结构解决大数据集分类问题。这种解决方案结合GNG和SVM，形成为大数据集分类的GNG-SVM框架。输入数据首先经过GNG进行预处理。通过拓扑网络的学习，构造了一个新的压缩的数据集。因为数据集的规模被明显减小了，处理过程所需要的内存消耗也明显的减少了。在人工合成的和机遇显示世界数据集上，GNG-SVM框架的性能得到了验证。 关键字：数据分类，生长型神经气， 大数据集，支持向量机引言 数据分类和模式识别这些年被予以很高的重视[1]-[3],支持向量机(SVM)被证明是一种非常成功的数据分类工具[4],[5].在预先看不到的实例上，这种算法尽量找出不同类别之间的最大分界面。为了处理非线性可分问题，输入空间被核函数转换到一个特征空间[5]. 在训练阶段，标准支持向量机的解决方案的一个不足之处是需要很多的内存空间。这成为他在训练大样本时的重大需解决的问题[6],[7].因为训练的复杂程度直接取决于数据集的大小。因此，缩减数据集大小变得非常必要。 传统的，这个问题通过各种各样的聚类或者抽样方法解决。抽样方法是选取可以代表元数据集合的子数据集[8][9].聚类方法通过把相似的实例聚合在一起，用以去除冗余的信息或者以之为蓝本建立聚类代替原数据集[7],[10],[11]. 这篇论文通过拓扑学习，研究数据集缩小的概率。拓扑信息对于SVM的训练是极其重要的。它描述了在输入空间中的数据集的密度和分布情况。这些知识被SVM用于构架一个理想的分类器。虽然数据集的大小被显著的减小，但该学习算法的分类精度被保存下来。 前面介绍的GNG-SVM构架利用生长新神经气（GNG）算法，用以明显的减少输入样本集[12].GNG是一种基于增量向量的模型，不管是什么样维数的数据集，它都可以学习数据的拓扑机构。GNG对每个类的拓扑结构进行学习，然后从拓扑网络中抽取相关拓扑信息得到一个新的缩小的样本规模的训练集。这个小的样本集大体上反应了原数据集的分布状况。明显地，在缩小样本集的过程程中会有大量的信息损失。但这是为了问题复杂性的一个经过权衡的办法。进一步说，在训练过程，GNG算法本身中对于噪声有很强的鲁棒特性，在这种情况下可以提高分类性能。最后，在新的小规模数据集上训练SVM算法。在线性数据集合非线性数据集，GNG-SVM框架的性能得到了综合测试。 下面为篇论文的组织方式：第二部分给出SVM的一个基本的概述。第三部分，提出GNG-SVM框架。第四部分用于讨论实验结果，第五部分提出一个最终结果。 背景概述 1．1 支持向量机 支持向量机（SVMs）是一种应用很广泛的而且性能很好的分类器和回归分析方法[14],[15].它的主要优势是具有可靠地数学支撑。而且支持向量机时给予结构风险最小化的原则[4]. 在不同类别数据点之间构造最优分界面。在支持向量机理论中，构建最大分割面意味着分类器有跟强的泛化能力。 对于一个数据集S,它由N个m维空间向量 组成，这项空间向量属于两个不相交的类别组成，用li表示： （1） 在线性可分问题中，存在一个超平面由于确定一个最大分界面。这个超平面可以被看作是m维的带权重的向量 ，和一个标量偏移量组成： （2） 构造一个拉格朗日乘子并且求解一组对偶问题求解： （3） 约束条件为： 在这里表示拉格朗日乘子中的一组向量。 对于输入向量中，如果它的不为0，则称之为支持向量（SVs），决策面仅仅由支持向量决定。另一句话说，剩余非支持向量都与最后的分类结果无关。 例如：的系数可以被二次方乘子技术或者序列最小优化学习(SMO)算法[16][17]确定。这个决策面被下列公式决定： （5） （6） 这里是数据集S中的支持向量，是这些支持向量的数目。 目前有多种处理SVM大样本数据集的方法。训练任务可以划分为一系列子问题，然后分别处理这些子问题。分解算法或者SMO都是这种算法的应用[17]-[19].进一步而言，通过去除无关实例，数据集的大小可以被缩小。选择抽样，主动学习或者随机抽样都试图最大化学习性能而同时尽可能最小化输入数据集[