基于Universum学习核聚类方法.docVIP

基于Universum学习核聚类方法 　　摘要： 　　为解决原始核聚类（Kernel Clustering， KC）中模式信息不足、聚类结果不佳的缺点，以KC为基础，利用Universum学习带来的优势，提出基于Universum学习的核聚类（Universum learningbased Kernel Clustering， UKC）方法.首先利用Universum学习生成相应的Universum模式，再利用KC算法把数据集分割成多个簇，最后利用每个簇中所包含的Universum模式和训练模式来更新该簇，从而使得这些簇更加合理.实验表明，该算法可以更好地改善聚类效果和分类器的分类性能、泛化能力和计算效率.虽然该方法的步骤比KC多，但是其较好的聚类性能可以帮助人们处理分类问题. 　　关键词： 　　Universum学习； 核聚类； 先验知识 　　0引言 　　Universum学习由WESTON等[1]提出，旨在把有关应用域的先验知识引入到学习过程中.这些知识是以附加的无标签的和有标签的训练模式的形式表示的.基于Universum的优点，CHERKASSKY等[2]提出基于Universum的支持向量机（Universum Support Vector Machine， USVM），LIU等[3]提出自学习的Universum下的支持向量机（SelfUniversum Support Vector Machine， SUSVM）.笔者把USVM与支持向量机（Support Vector Machine，SVM）进行比较，发现Universum模式的质量会影响分类器的性能.CHEN等[4]发现在目标类之间分布的Universum模式对生成分类界面更有用.由相关实验可知，Universum学习可使模型更符合模式分布、结构等，从而提高算法有效性.如今Universum学习已广泛运用于文本聚类[5]、身体姿势识别[6]、Boosting策略[7]、降维技术[8]和多视角学习[9]等方面. 　　大部分数据集拥有可以改进分类器性能的局部信息或结构[10]，而聚类是得到这些局部信息或结构的一个较好的方法.聚类旨在把一个由所有模式组成的全局空间分成多个子集，这些子集被称为簇、核或子类.它们有较高的簇内相似度和较低的簇间相似度.一般地，每个簇也可被看作一个局部空间.典型的聚类方法有k均值（kmeans）[11]、合成聚类（Agglomerative Hierarchical Clustering， AHC）[12]和核聚类（Kernel Clustering， KC）[13].通过聚类，可以更好地挖掘模式的局部结构信息.然而，k均值和AHC或生成的簇不一定合适，或计算复杂度高，或聚簇结果对初始设置敏感，所以相比而言，KC才是一个比较合适的聚类方法. 　　尽管如此，KC所使用的模式都是原始模式.如果可以得到除原始模式之外的新模式，则可以得到更多的模式信息，并进一步提升聚类效果，从而提高分类器性能.鉴于此，本文借助Universum学习的优点[59]，提出基于Universum学习的核聚类（Universum learningbased Kernel Clustering， UKC）方法.首先利用文献[9]中使用的方法，通过Universum学习生成更多有用的Universum模式，然后把这些Universum模式和原始模式都用到原始的KC中，从而提升聚类效果. 　　1UKC方法 　　1.1生成Universum模式 　　采用文献[9]中使用的方法来创建Universum模式.假设有两类模式集，分别从一个类中选取一个模式，然后计算这两个模式的均值，从而得到一个Universum模式.若两类分别有a，b个模式，则可以得到a×b个Universum模式. 　　1.2KC生成簇 　　利用文献[13]的方法生成簇.对一个两类问题，把其中一类作为目标类，另一类作为非目标类.计算目标类中尚未被簇所覆盖的模式的均值，并逐步扩大簇，直到遇到一个非目标类模式为止，则一个簇生成完毕.针对该目标类，重复上述步骤，直到目标类中的每个模式都至少被一个目标簇所覆盖. 　　1.3更新簇 　　原始KC算法生成的簇仅包含原始训练模式的信息，而Universum模式往往包含更多的模式信息.为此，本文提出的UKC方法中，使用Universum模式来更新生成的簇，从而使得簇中包含更多的模式信息，并进一步提升分类器性能. 　　假设有Universum模式集U={u1，u2，…，um}，相应的簇集为C={C1，C2，…，Cn}.对任一簇Cj，其内部所包含的Universum模式集为Uj={uj1，uj2，…，ujp}，训练模式集为Dj={dj1，dj2，…，d