降维算法 非线性降.pptVIP

降维算法(二)非线性降维 、核技巧( Kernel method) 等距映射( Isomap) 核函数发展历史 早在1964年 Aizermann等在势函数方法的研究中 就将该技术引入到机器学习领域,但是直到1992年 Vapnik等利用该技术成功地将线性SVM 推广到非线性SVMs时其潜力才得以充分挖掘 而核函数的理论则更为古老, Mercer定理可以 追溯到1909年,再生核希尔伯特空间 ReproducingKernel Hilbert Space, RKHS 研究是在20世纪40年代开始的 核方法 ■核方法的思想 核方法的主要思想是基于这样一个假设:“在低维空间中不能线性分割的点集 通过转化为高维空间中的点集时,很有可能变为线性可分的”,例如下图 F(×)=(x-a)(x-b 左图的两类数据要想在一维空间上线性分开是不可能的,然而通过Fx)=(xa)(xb) 把一维空间上的点转化为右图上的二维空间上,就是可以线性分割的了 如果直接把低维度的数据转化到高维度的空间 中,然后再去寻找线性分割平面,会遇到两个 大问题。 是由于是在高维度空间中计算,导致 curse of dimension问题 是非常的麻烦,每一个点都必须先转换到高 维度空间,然后求取分割平面的参数等等;怎 么解决这些问题? 答案是通过核方法( kernel method) 核方法的原理 定义一个核函数K(x1X2)=q(x),q(x2) 其中x1和x是低维度空间中点(在这里可以是 标量,也可以是向量),φ(×)是低维度空 间的点x转化为高维度空间中的点的表示, ,表示向量的内积 注意:这里核函数K(×1X2)的表达方式一般都不会显式 地写为内积的形式,即我们不关心高维度空间的形式 核函数巧妙地解决了上述的问题,在高维度中向量的 内积通过低维度的点的核函数就可以计算了