向量机基础知识点.doc

向量机基础知识点

一、向量机的定义与概念

向量机是一种基于向量空间理论的机器学习模型。它的核心思想是将输入数据映射到一个高维向量空间中，然后在这个空间中寻找一个最优的超平面来进行分类或者回归任务。在分类问题中，这个超平面能够将不同类别的数据分隔开来；在回归问题中，超平面则用于拟合数据点的分布趋势。

向量机基于结构风险最小化原则，旨在在模型的复杂性和训练误差之间找到一个平衡，以避免过拟合现象的发生。与传统的基于经验风险最小化的方法相比，这种基于结构风险最小化的向量机往往具有更好的泛化能力。

二、线性向量机

1.线性可分情况

-当数据在原始特征空间中是线性可分的时候，我们可以找到一个超平面\(w\cdotx+b=0\)（其中\(w\)是权重向量，\(x\)是输入向量，\(b\)是偏置项）将不同类别的数据完全分开。对于二分类问题，假设我们有两类数据，标记为\(y=+1\)和\(y=-1\)，那么满足\(y_i(w\cdotx_i+b)0\)对于所有的训练样本\((x_i,y_i)\)。

-我们的目标是找到能够最大化两类数据间隔的超平面。这个间隔定义为两类数据中距离超平面最近的点到超平面的距离之和。通过求解一个优化问题，可以得到最优的\(w\)和\(b\)。

2.线性不可分情况

-在实际数据中，很多时候数据是