svm面试题.docVIP

1.SVM的原理是什么？ SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机） （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机； （2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机； （3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。 注：以上各SVM的数学推导应该熟悉：硬间隔最大化（几何间隔）---学习的对偶问题---软间隔最大化（引入松弛变量）---非线性支持向量机（核技巧）。 ?2.SVM为什么采用间隔最大化？ 当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果对未知实例的泛化能力最强。 ?3.为什么要将求解SVM的原始问题转换为其对偶问题？ 一、是对偶问题往往更易求解,（当我们寻找约束存在时的最优点的时候，约束的存在虽然减小了需要搜寻的范围，但是却使问题变得更加复杂。为了使问题变得易于处理，我们的方法是把目标函数和约束全部融入一个新的函数，即拉格朗日函数，再通过这个函数来寻找最优点。） (a)目前处理的模型严重依赖于数据集的维度d，如果维度d太高就会严重提升运算时间； (b)对偶问题把SVM从依赖d个维度转变到依赖N个数据点，最后计算时只有支持向量有意义，所以计算量比N小很多。 二、自然引入核函数，进而推广到非线性分类问题。 ?4.为什么SVM要引入核函数？ 当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。引入映射后的对偶问题： ? 在学习预测中，只定义核函数K(x,y)，而不是显式的定义映射函数?。因为特征空间维数可能很高，甚至可能是无穷维，因此直接计算?(x)·?(y)是比较困难的。相反，直接计算K(x,y)比较容易（即直接在原来的低维空间中进行计算，而不需要显式地写出映射后的结果）。 核函数的定义：K(x,y)=?(x),?(y)，即在特征空间的内积等于它们在原始样本空间中通过核函数K计算的结果。 除了 SVM 之外，任何将计算表示为数据点的内积的方法，都可以使用核方法进行非线性扩展。 5.svm RBF核函数的具体公式？ Gauss径向基函数则是局部性强的核函数，其外推能力随着参数σ的增大而减弱。 这个核会将原始空间映射为无穷维空间。不过，如果?σ?选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上相当于一个低维的子空间；反过来，如果?σ?选得很小，则可以将任意的数据映射为线性可分——当然这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数σ?，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。 6.为什么SVM对缺失数据敏感？ 这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。 7.SVM是用的是哪个库？Sklearn/libsvm中的SVM都有什么参数可以调节？ 用的是sklearn实现的。采用sklearn.svm.SVC设置的参数。本身这个函数也是基于libsvm实现的（PS: libsvm中的二次规划问题的解决算法是SMO）。 SVC函数的训练时间是随训练样本平方级增长，所以不适合超过10000的样本。 对于多分类问题，SVC采用的是one-vs-one投票机制，需要两两类别建立分类器，训练时间可能比较长。 sklearn.svm.SVC(C=1.0,?kernel=rbf,?degree=3,?gamma=auto,?coef0=0.0,?shrinking=True,?probability=False,tol=0.001,?cache_size=200,?class_weight=None,?verbose=False,?max_iter=-1,?decision_function_shape=None,random_state=None) 参数： C：C-SVC的惩罚参数C，默认值是1.0。C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。 kernel?：核函数，默认是rbf，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomp