基于分层聚类和重采样大规模数据分类.doc

基于分层聚类和重采样大规模数据分类 　　摘 要：针对大规模数据的分类问题，将监督学习与无监督学习结合起来，提出了一种基于分层聚类和重采样技术的支持向量机（SVM）分类方法。该方法首先利用无监督学习算法中的kmeans聚类分析技术将数据集划分成不同的子集，然后对各个子集进行逐类聚类，分别选出各类中心邻域内的样本点，构成最终的训练集，最后利用支持向量机对所选择的最具代表样本点进行训练建模。实验表明，所提方法可以大幅度降低支持向量机的学习代价，其分类精度比随机欠采样更优，而且可以达到采用完整数据集训练所得的结果。 关键词：海量数据； 分类； 聚类； 重采样； 支持向量机 0 引言 由于较高的分类精度和良好的泛化能力，基于统计学习理论的支持向量机（Support Vector Machine， SVM）是最有效的分类方法之一[1]。然而，近年来随着社会网络的发展与计算机技术的不断进步，人们能够获得的信息量与日俱增，比如各种大型视频库、图像库、语料库等，其数据规模越来越大。要分类规模如此庞大的数据集，支持向量机在学习过程中需要占用大量内存，寻优速度非常缓慢，因此支持向量机对大规模数据集训练速度慢的瓶颈凸显出来[2]。 为此，学者们进行了大量的研究，试图解决支持向量机对大规模数据集训练速度慢的瓶颈，其方法大致可以分为两类：一类是改进SVM求解算法，比如，Chen等[3]通过引入分而治之的思想，采用序列最小优化算法将SVM的二次规划问题分解为多个子问题，以期提高SVM的训练速度；Huang等[4]结合人工神经网络算法来简化SVM的训练过程；Dong等[5]引入了并行优化步骤，用块对角矩阵近似代替原始的核矩阵，从而加快SVM训练速度。这些方法在某种程度上确实提高了样本训练速度，但对于大规模数据集依然不是很理想。另一类方法是借助一些其他算法来缩减数据规模，约简训练集，比如基于随机采样的SVM算法、基于聚类的SVM算法[6-8]；Cervantes等[9]将聚类与SVM相结合，计算每一类的质心并作为此类的代表样本点，提出了基于最小内附球的SVM快速训练算法；陈光喜等[10]针对SVM对大规模数据集训练速度慢的瓶颈，提出了一种聚簇消减数据集方法。但这些方法在缩减数据规模的同时，忽略了数据样本本身的分布特性，可能导致被选择的分类样本信息含量减少，从而影响分类精度。 本文采用约简训练集的算法思想，提出一种新的学习策略：首先利用kmeans聚类算法将大数据集划分成K个规模减小了的子集，对于各个子集，基于其分布密度，按照某种规则对各个子集块中的每一类进行模糊C均值（Fuzzy CMeans， FCM）聚类，选取出类中心邻域内的样本点进行SVM训练建模。该方法在遵循减少样本点数量的前提下，最大限度地保证了训练数据集的信息含量，同时还加入了原数据样本点的分布信息，将各类样本在原数据分布中的重要性考虑进来。实验结果表明，该方法在保证分类精度的基础上提高了SVM的分类速度。 1 基于分层聚类及重采样的数据分类方法 1.1 基于分层聚类与重采样的样本选取策略 聚类是无监督学习算法的典型代表之一，它能够按照一定的要求和规律对数据集进行区分，把一个没有类别标记的数据集划分成若干个子集，使相似的数据尽可能地划分到同一子集中。聚类在大规模数据约简中具有广泛的应用。 为了约简大规模数据集，同时保证数据集的信息含量，即挑选出最具代表性的训练样本点，本文提出了基于分层聚类与重采样的样本选取方法。基本思想包括两部分：首先，利用kmeans算法将数据集D划分成K块，每一块都是D的子集，即有D=D1∪D2∪…∪DK，且Di∩Dj=（i， j=1，2，…，K， i≠j）。其次，对于每个子集Di，根据其样本分布特性，采用基于密度的FCM算法，对其所含的每一类样本（不妨设为第j类）进行聚类，选出各类中心邻域内的样本点作为第i个子集块Di中第j类的候选训练样本，并将其加入到新的训练集中。 本文提出的样本选取策略的关键在第二步，即采用基于密度的FCM算法来选取适当的样本进行训练。为了更好地选取样本，本文需要解决两个问题：其一，确定每个子类中选取的样本数；其二，确定类中心邻域。首先给出类中心邻域的定义。 定义1 类中心邻域。对于给定的某个样本类，类中心标记为v，mean_dist表示类间样本平均距离，则以v为中心，mean_dist为半径的圆形区域，称为类中心邻域。落在其邻域内的样本点的数目称为类中心密度，记为density（v）。density（v）计算如下： 明确了类中心邻域后，算法还需确定每个子类中选取的样本数。显然，为了保证提出方法的有效性，所选取的样本不仅要包含丰富的信息，而且还要尽量不影响数据的分布特性。为此，给出