svm分类器中的最优化问题.pdf

SVM 分类器中的最优化问题 电子工程学院 周娇 201622021121 摘要 支持向量机（Support Vector Machines,SVM）是一种分类方法，它通过学 会一个分类函数或者分类模型，该模型能把数据库中的数据项映射到给定类别 中的某一个，从而可以用于预测未知类别数据的类别。所谓支持向量机，顾名 思义，分为两个部分了解：一，什么是支持向量（简单来说，就是支持或支撑 平面上把两类类别划分开来的超平面的向量点）；二，这里的“机（machine， 机器）”便是一个算法。支持向量机是基于统计学习理论的一种机器学习方 法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范 围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的 目的。在本文中，主要介绍了如何通过求解最优化问题来得到SVM分类器的最佳 参数，使得SVM分类器的性能最好。 一、 线性分类 如图（1），在二维平面上有两种不同的数据点，分别用红色和蓝色来表 示，红颜色的线就把这两种不同颜色的数据点分开来了。这些数据点在多维空 间中就是向量，红颜色的线就是一个超平面。 图（1） 图（2） 假设xi = (xi1,xi2 ,,xim ) T 是m 维空间中的一个数据点，其中 x ,x ,,x 是x 这个数据点的m 个特征，令z  f (x ) , y  h(z ) i1 i2 im i i 1, ≥ 0 y  h(z )  { ‒ 1, < 0 (1.1) 在图（1）中，处在红线左边的数据点，其y 值为-1，反之，处在红线右边的数 据点其 y 值为 1。这样，根据 的值就 x 把这个数据点分类了。那么分类的重点 y i 就在如何构造z  f (x ) 这个函数。 i 设图（1）中的超平面（即红线）其表达式为 T ，则 ω X +b  0 T ω x  b z  f (x ) = i (1.2) i 直观上ω| T xi  b| 表示数据点到超平面的几何间隔，去掉分子的绝对值就有了正 ω|| T || T T b ω x  b 负性，ω 是法向量， 是截距。 i 表示了数据点到超平面的函数间隔，如 T