一种基于聚类的SVM反问题求解算法-机器学习研究中心.PPT

主要内容 支持向量机及其反问题 聚类后求解SVM反问题 试验结果及分析 进一步的研究 总结与展望 支持向量机 SVM的理论基础来自于Vapnik等提出的统学习理论。 图形描述 数学描述 对线性可分的训练集 支持向量机反问题 对于给定的一个没有决策属性的训练集S： 我们可以随机的把其分为两类。　　　　　　　SVM反问题就是如何对样本点进行划分，才能使最优分类超平面的间隔达到最大。 数学描述 用聚类求解反问题 首先：对原有数据进行聚类 其次：用新的生成的聚类中心作为新的数据集合 最后：用新数据集合求解SVM反问题 实验数据分布 聚类中心个数和时间的关系 精度和聚类中心个数的关系 从UCI 数据库中提取60个点 在聚类中心个数不同的情况下比较与原有数据的精度比较 Margin 在聚类中心个数不同的情况下的变化趋势 总体是中心越少，margin 越大，数据越稀疏 聚类中心个数对最优超平面的影响 wX+b=0 为最优超平面的方程 总结与展望 这种基于聚类的SVM反问题算法在不影响对数据准确性的情况下大大提高反问题的速度。 * * 一种基于聚类的SVM 反问题求解算法 其基本思想是，对于一个给定的具有有限数量训练样本的学习任务，如何在准确性和机器容量（机器可无错误地学习任意训练集的能力）进行折衷，以得到最好的泛化能力。 最优分类超平面 相应的间隔 解决二次规划问题： 对于给定的一个函数,样本集被划分为两个子集，并可以计算出其相应的间隔： SVM反问题就是要求解问题： 自己造的数据 用枚举的方法计算时间：指数级增长 个数为10以后margin变化很小，证明聚类在类数接近总数量的时候对SVM反问题的margin影响不大 W 和 b确定以后超平面就可以确定 很难找到提高速度减少数据和不影响准确性之间的结合点，也就是分成多少类不影响准确性，切最大可能的减少数据