KernelMethod课程.pptVIP

今天内容 核回归 核方法 Kernel trick 正则化理论 非参数回归 参数回归（线性回归）时，假设r (x) 为线性的 。当r (x) 不是x的线性函数时，基于最小二乘的回归效果不佳 非参数回归：不对r (x)的形式做任何假定 局部加权方法：用点x附近的Yi的加权平均表示r (x) 回忆：knn 回归函数： Knn： 用训练样本中最邻近x0的k个样本的均值估计条件期望 其中 为x0的邻域，由训练样本中最邻近x0的k个点xi 定义 回忆：knn 例： 核回归：Nadaraya-Watson 邻域中点的权重不是等权重，而是每个样本的权重随其到目标点的距离平滑衰减 其中参数h称为带宽(bandwidth)，核函数有时可写为： K可为任意平滑的函数，满足 常用核函数 Epanechnikov 核： 使风险最小的核函数 高斯核： 三次方核： 核回归：Nadaraya-Watson 回忆一下回归方程的定义： 分别对 用核密度估计，得到 核回归：Nadaraya-Watson 证明： 核回归：Nadaraya-Watson 证明（续） 核回归：Nadaraya-Watson 这可以被看作是对y取一个加权平均，对x附近的值给予更高的权重： 其中 核回归：Nadaraya-Watson 将核回归估计写成如下形式： 其中 ， 核回归：Nadaraya-Watson 类似核密度估计中求期望的展开，得到 同理， 其中 核回归：Nadaraya-Watson 最后，得到估计的风险为 最佳带宽以 的速率减少，在这种选择下风险以 的速率减少，这是最佳收敛速率（同核密度估计） 核回归：Nadaraya-Watson 实际应用中，利用交叉验证对求最佳带宽h。交叉验证对风险的估计为 实际上不必每次留下一个计算单独估计，可以写成以下形式 例：Example 20.23 核回归：Nadaraya-Watson 模型类型：非参数 损失：平方误差 参数选择：留一交叉验证 局部线性回归 问题：加权核回归在训练数据中靠近边界的点的估计很差 核在边界区域不对称，局部加权平均在边界区域上出现严重偏差 ? 局部线性回归 局部线性回归：在每一个将要被预测的点x处解一个单独的加权最小二乘问题，找到使下述表达式最小的 局部线性回归 核回归：局部线性回归 则估计为： 其中W(x)是一个 的对角矩阵且第i个对角元素是 估计在yi上是线性的，因为权重项 wi(x)不涉及yi ，可被认为是等价核 局部线性回归 局部线性回归通过自动修改核，将偏差降至一阶 由于 , 偏差 为 局部线性回归 局部多项式回归 局部多项式回归：用d次多项式回归代替线性回归 可以考虑任意阶的多项式，但有一个偏差和方差的折中 通常认为：超过线性的话，会增大方差，但对偏差的减少不大，因为局部线性回归能处理大多数的边界偏差， 可变宽度核 可变宽度核：如使每一个训练点的带宽与它的第k个近邻的距离成反比 在实际应用中很好用，虽然尚未有理论支持怎样选择参数 不会改变收敛速度，但在有限样本时表现更好 注意：上述这些扩展（包括局部线性/局部多项式）都可应用到核密度估计中 核方法 为什么要用核方法？ 得到更丰富的模型，但仍然采用同样的方法 如岭回归方法?核岭回归 内容 Kernel trick 再生Hilbert空间 线性模型 线性模型： 方便、应用广泛 有很强的理论保证 但还是有局限性 可以通过扩展特征空间增强线性模型的表示能力 如 特征空间为R6而不是R2特 该特征空间的线性预测器为 岭回归 对给定的 最小化正则化的残差 则最优解为 对偶表示 一种对偶表示为： 其中 对偶岭回归 为了预测一个新的点 其中 此时只需计算Gram矩阵G 特征空间中的线性回归 基本思想： 将数据映射到高维空间（特征空间） 然后在高维空间中用线性方法 嵌入式特征映射： 核函数 则核函数为 其中 为将数据映射到高维空间的映射 有许多可能的核函数 最简单的为核 特征空间中的岭回归 为了预测一个新的点 其中 计算Gram矩阵G 另一种对偶表示推导方式 线性岭回归最小化： 等价于 满足约束 则拉格朗日函数为 Wolfe对偶