svm理论和算法分析报告.docxVIP

范文范例 指导参考 硬间隔线性支撑向量机 假设给定一个特征空间上的训练数据集： T = {( x1,y 1) ，( x2 ,y2) ， ，( xN,yN)} 其中，x n, y { +1,- 1 } , i = 1,2, , N, xi 为第 i 个特征向量或实例， y 为x 的类标记，当 y i = 1时，称 i ∈R i ∈ i i xi 为正例，当 yi = - 1时，称xi 为负例； ( x i ，yi) 为样本点。 假设训练数据集是线性可分的（存在硬间隔），那么学习的目标是在特征空间找到一个分离超平面，能将实 例分到不同的类。分离超平面方程w ?x + b = 0，它由法向量 w和截距 b 决定，可用 (w,b) 表示。分离超平面将特征空间分为两部分，一部分是正类，一部分是负类。法向量指向的一侧为正类，另一侧是负类。 一般地，当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开，感知机利用误分类最小的策略，求得分离超平面，不过这是的解有无穷多。线性可分支撑向量机利用间隔最大化求最优分离超平面，解唯一。 一、模型推导 1. 函数间隔： 一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面w ?x + b = 0 确定的情况下， |w?x + b| 能够相对地表示（注意：真实距离为 |w?x+ b| ）点 x距离超平面的远近。而w ?x + b的符 w ( ) 号与类标记 y的符号是否一致能够表示分类是否正确。所以可用标量y w?x + b 来表示分类的正确性及确信度， 值为正表示分类正确，值为负表示分类错误。 超平面 ( ??, ??) 关于样本点 ( ????，????) 的函数间隔为： ? ???? = ????(?? ????? + ??) 超平面 ( ??, ??) 关于训练数据集 T 的函数间隔： ?? = ?????? ???? = ?????? ????(?? ????? + ??) ??= ??,??, ,?? ??= ??,??, ,?? 几何间隔： 函数间隔可以表示分类预测的正确性及确信度，但是选择分离超平面时，只有函数间隔还不够。 因为只要成比例地改变 w和 b，虽然超平面并没有改变，但函数间隔（它是 ( w,b) 的线性函数）却依原比例同 等改变。为了将 (w,b)表示的超平面的唯一化，即每个超平面对应R n+ 1中的唯一向量 (w,b) ，可以对法向量 w加以规范化约束 ∥w∥=1，这时函数间隔称为几何间隔。 超平面 ( ??, ??) 关于样本点 ( ????，????) 的几何间隔为： ???? = ???? ?? ?? = ???? ( ????? + ) ∥?? ∥ ∥?? ∥ ∥?? ∥ 超平面 ( ??, ??) 关于训练数据集 T 的几何间隔为： ?? = ?????? ???? = ?????? ???? ( ?? ?? ????? + ) ??= ??,??, ,?? ??= ??,??, ,?? ∥?? ∥ ∥?? ∥ 间隔最大化 支撑向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对于线性可分的训练数据集而言，线性可分分离超平面有无穷多个，每一个都是一个感知机，但是几何间隔最大的分离超平面时唯一的。 间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的却新都对训练数据进行分类。也就是说，不仅将正负实例点要分开，而且对最难分的实例点（离超平面最近的点）也有足够多大的确信度将它们分开。 因此所要 优化的问题 表示为： ?????? ?? ??,?? ?? ?? ) ≥??, ?? = ??, ??, , ?? ??.??. ???? ( ????? + ∥?? ∥ ∥?? ∥ 改写为， ?????? ?? ∥?? ∥ ??,?? ? ?? = ??,??, , ?? ??. ??. ????(?? ????? + ??) ≥??, ?γ 的取值不影响最优化问题的解（如果w ? ,b?是最优解，那么λw ?, λb?也是最优解，因此γ? 是变动的可以取到 ? ? ? ? = 1, 等价变换为， 任意值，如果固定γ ，w, b 也就变得唯一了），令γ 学习资料整理 范文范例 指导参考 ?? ?????? ??,?? ∥?? ∥ ??. ??. ????(?? ????? + ??) ≥??, ?? = ??,??, , ?? （目标函数是支撑间隔，约束是样本点在间隔边界或外侧，目标是寻找支撑向量使得间隔最大化）等价变换为（标准无等式约束的凸二次规划，这是为了运算方便）， ?? ?? ?????? ∥?? ∥ ??,?? ?? ??.??.