支撑矢量机与核法研究.pdfVIP

摘要 统计学习理论研究基于样本的机器学习问题，由于最初的发展主要停留在对学习 模型和学习算法的理论分析上，并没有得到一些实际有效的结果。但是到九十年代早 期，在Vapnik等人的不断努力下，统计学习理论得到了进一步完善和发展，已基本形 成一套比较完整的理论体系，并且由该理论直接导出了一种非常有效的全新的学习算 法：支撑矢量机。支撑矢量机是一种普适的算法，已经广泛地用于模式识别、回归估 计、函数逼近、密度估计等方面。本论文研究的主要内容包括四个方面：支撑矢量机 算法的改进、核函数的构造、核方法的应用以及基于统计学习理论构造新的学习机。 主要的工作有： I．在算法改进方面，提出了支撑矢量预选取的中心距离比值法。已有的支撑矢量 机分类学习算法的优化过程中不仅包含了对支撑矢量的优化，也包括了对非支撑矢量 的优化，这大大增加了不必要的计算量。而在通常情况下支撑矢量在训练样本集中只 占很小的比重。我们严格证明了支撑矢量机的学习过程、学习结果以及决策函数与非 支撑矢量无关。我们提出的方法是在给定的样本集中提取一个包含支撑矢量的边界矢 量集合作为新的训练样本集合。如果中心距离比值的阈值选择合适，我们的算法能够 在给定样本中提取出一个包含了所有支撑矢量的边界矢量集合作为新的训练样本集。