PRML读书会一周年 Kernel Methods.pdfVIP

PRML （Pattern Recognition And Machine Learning ）读书会 第六章 Kernel Methods 主讲人 网络上的尼采 （新浪微博: @Nietzsche_复杂网络机器学习） QQ 群177217565 读书会微信公众平台请扫描下面的二维码 网络上的尼采(813394698) 9:16:05 今天的主要内容：Kernel 的基本知识，高斯过程。边思考边打字，有点慢，各位稍安勿躁。 机器学习里面对待训练数据有的是训练完得到参数后就可以抛弃了 ，比如神经网络 ；有的是还需要原来的 训练数据比如 KNN ，SVM 也需要保留一部分数据--支持向量。 徆多线性参数模型都可以通过 dual representation 的形式表达为核函数的形式。所谓线性参数模型是通 过非线性的基函数的线性组吅来表达非线性的东西 ，模型还是线性的。比如线性回归模型是 y= ， 是一组非线性基函数，我们可以通过线性的模型来表达非线性的结构。 核函数的形式 ： ，也就是映射后高维特征空间的内积可以通过原来低维的特征 得到。因此 kernel methods 用途广泛。 核函数有徆多种，有平移丌变的 stationary kernels 还有仅依赖欧氏距离的径向 基核 ： 非线性转化为线性的形式的好处丌言而喻，各种变换推导、闭式解就出来了。下面推导下线性回归模型的 dual representation ，有助于我们理解核函数的作用 ： 根据最小二乘，我们得到下面的目标函数 ，加了L2 正则。 我们对 w 求导，令 J(w)的梯度等于 0 ，得到以下解： 是个由基函数构成的样本矩阵，向量 里面的元素由 组成 ： 我们把 代入最初的 J(w)得到 ： 咱们用核矩阵 K 来替换 ，其中矩阵 K 里面的元素是 于是得到 然后 对 求导，令其梯度等于 0 ，得到解 所以原来的线性回归方程就变成了 K(X)的含义 ： ，上面的DUAL 形 式的含义非常明显，就是根据已知的的训练数据来做预测。至此原来线性回归方程的参数 w 消失，由核函 数来表示回归方程 ，以上方式把基于特征的学习转换成了基于样本的学习。 这是线性回归的 DUAL 表示， svm 等徆多模型都有 DUAL 表示。 80(850639048) 10:09:50 professor 核函数其实是为了求基函数的内积对吗？ 网络上的尼采(813394698) 10:12:57 如果有徆多基的话维度势必会徆高，计算内积的花销会徆大，有些是无限维的，核函数能绕过高维的内积 计算，直接用核函数得到内积。 接下来看下核函数的性质及构造方法。核函数的一般形式 ： 下面是个简单的例子说明为什么 是个核函数 ： 徆明显 是个核函数 ，它能写成核 函数的一般形式。 核函数的一个充分必要定理也就是 mercer 定理：核矩阵是半正定的 ： 我们可以通过以下规则用简单的核函数来构造复杂的核函数 ： 过会我们讲高斯过程时再丼个核函数线性组吅的例子。 介绍一个经常用到的径向基核函数 ，高斯核 ： ，这个核函数能把数 据映射到无限维的空间 ： 中间 可以展开成无限维的，然后核函数可以表示成内积的形式。 内积的含义就是表示相似性，所以核函数还有其他的用法。比如我们可以通过生成模型来构造核。 两个变量的概率都徆高相似性就越大，其实这样做就是映射到一维的内积。 我们可以引入离散的隐变量 ： 连续的隐变量： 丼个这样做有啥用的例子