（四）支持向量机SVM（下）.pdfVIP

支持向量机SVM （下） JerryLead csxulijie@ 2011 年3 月17 日星期四 7 核函数 （Kernels ） 考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x ，这里的x 是实数， 结果y 是房子的价格。假设我们从样本点的分布中看到x 和y 符合3 次曲线，那么我们希望 使用x 的三次多项式来逼近这些样本点。那么首先需要将特征x 扩展到三维(x, 2, 3) ，然后 寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping ）。映射 函数称作ϕ，在这个例子中 2 ( ) ϕ x = [ 3] 我们希望将得到的特征映射后的特征应用于 SVM 分类，而不是最初的特征。这样，我 ( ) 们需要将前面 公式中的内积从 ( ), ，映射到 ( ), () 。 至于为什么需要映射后的特征而不是最初的特征来参与计算，上面提到的（为了更好地 拟合）是其中一个原因，另外的一个重要原因是样例可能存在线性不可分的情况，而将特征 映射到高维空间后，往往就可分了。（在《数据挖掘导论》Pang-Ning Tan 等人著的《支持向 量机》那一章有个很好的例子说明） ( ) 将核函数形式化定义，如果原始特征内积是 x, ，映射后为 x , () ，那么 定义核函数（Kernel）为 ( ) ( ) ( ) , = ( ) 到这里，我们可以得出结论，如果要实现该节开头的效果，只需先计算 ，然后计 ( ) ( ) 算 即可，然而这种计算方式是非常低效的。比如最初的特征是n 维的，我们将其 2 2 映射到n 维，然后再计算，这样需要O(n ) 的时间。那么我们能不能想办法减少计算时间呢？ 先看一个例子，假设x 和z 都是n 维的， ( ) 2 , = ( ) 展开后，得 ( ) ( )2 , = = (∑ ) (∑ ) = ∑ ∑ =1 =1 =1 =1 ( ) ( )