基于核鲁棒k―均值的模糊支持向量机算法.docVIP

基于核鲁棒k―均值的模糊支持向量机算法 　　摘 要：支持向量机对训练数据中的噪声敏感，为了解决这一问题，本文提出基于核鲁棒k-均值算法的模糊支持向量机算法。算法首先在每类训练样本上应用核鲁棒k-均值算法，得到每个样本的模糊隶属度，将该隶属度赋予训练样本，得到模糊训练集，然后在模糊训练集上训练模糊支持向量机，得到分类决策函数。实验表明，对于带噪声的训练样本，本文的算法能够为噪声样本赋予小的隶属度，提高分类准确率。 　　关键词：模糊支持向量机；核鲁棒k-均值；模糊训练集；噪声 　　中图分类号：TP391.41 文献标识号：A 文章编号：2095-2163（2015）03- 　　Fuzzy Support Vector Machine based on Kernel Robust k-means 　　WANG Xiaotong， CHENG Yuanzhi 　　（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China） 　　Abstract： The support vector machine （SVM） is sensitive to noises in the training set. In order to deal with this problem， a fuzzy support vector machine （FSVM） based on kernel robust k-means is proposed in this paper. Kernel robust k-means is applied to samples of each class respectively， and all samples are given membership degrees， which is combined with the original training set to yield a fuzzy training set. FSVM is then trained on the fuzzy training set to get a decision function. The experiment result shows that noises obtain small membership degrees， and the classification accuracy is improved when the training set is polluted with noises. 　　Keywords： Fuzzy Support Vector Machine； Kernel Robust k-means； Fuzzy Training Set； Noise 　　0 引 言 　　支持向量机是模式识别和机器学习领域中解决分类问题[1]以及非线性函数估计问题[2]的一种重要方法。针对二类分类问题，支持向量机在高维特征空间中构建最大化两类分类间隔的分类超平面，通过核函数，可以学习非线性支持向量机[3]。 　　分类问题中通常存在一部分输入训练样本的类别标错的情况，这种错误的类别标号称为错误类别噪声[4]，简称噪声。错误类别噪声经常出现在两类样本具有相似的特征的时候。由于拟合这些样本，支持向量机学习的最优分类面与不存在错误类别噪声时的最优分类面产生偏差，从而降低了支持向量机的准确性。也就是说，支持向量机的训练过程对训练集中的错误类别噪声敏感[5]。 　　支持向量机对于错误类别噪声的敏感性主要是由于在支持向量机理论中，所有的训练样本均同等对待[6]，而支持向量机的分类决策面则依赖于在训练集中占少数的支持向量。由于错误类别噪声样本与其他训练样本具有相同的重要性，但却更容易被分类器错分，从而成为支持向量，为了减小错分惩罚，支持向量机将拟合这些样本，因而对分类超平面产生较大影响。 　　为了减少噪声对分类决策的影响，研究者提出了模糊支持向量机（FSVM）算法[6][7]，作为标准支持向量机的推广。通过为噪声赋予更小的隶属度权重，就减少了其对分类决策的影响，同时也提高了支持向量机的抗噪性。基于此，如何为训练集设置合理的隶属度即已随之而成为模糊支持向量机的一个关键研究问题。 　　本文提出了一种基于核鲁棒k-均值的模糊支持向量机算法，对两类训练样本分别应用核鲁棒K-均值聚类算法，得到每个样本的隶属度，与原始的训练样本结合得到模糊训练样本集，而后通过模糊支持向量机算法训练分类器，提高了支持向量机的抗噪性。 　　1 核鲁棒K-均值算法 　　1.1 鲁棒k-均值