Kernel Method 核回归 核方法.pptVIP

今天内容 核回归 核方法 Kernel trick 正则化理论 非参数回归 参数回归（线性回归）时，假设r (x) 为线性的 。当r (x) 不是x的线性函数时，基于最小二乘的回归效果不佳 非参数回归：不对r (x)的形式做任何假定 参考核密度估计 局部加权方法：用点x附近的Yi的加权平均表示r (x) 权重为核函数的值，邻域由核函数的宽度控制 核回归：Nadaraya-Watson 回忆一下回归方程的定义： 分别对 用核密度估计，得到 核回归：Nadaraya-Watson 证明： 核回归：Nadaraya-Watson 证明（续） 核回归：Nadaraya-Watson 这可以被看作是对y取一个加权平均，对x附近的值给予更高的权重： 其中 核回归：Nadaraya-Watson 将核回归估计写成如下形式： 其中 ， 核回归：Nadaraya-Watson 类似核密度估计中求期望的展开，得到 同理， 其中 核回归：Nadaraya-Watson 最后，得到估计的风险为 最佳带宽以 的速率减少，在这种选择下风险以 的速率减少，这是最佳收敛速率（同核密度估计） 核回归：N