Kernel-Method-核回归-核方法全.pptVIP

*核回归:Nadaraya-Watson模型类型:非参数损失:平方误差参数选择:留一交叉验证*局部线性回归问题:加权核回归在训练数据中靠近边界的点的估计很差核在边界区域不对称，局部加权平均在边界区域上出现严重偏差?局部线性回归局部线性回归:在每一个将要被预测的点x处解一个单独的加权最小二乘问题，找到使下述表达式最小的*局部线性回归边界上的N-W核:核在边界不对称?偏差大边界上的局部线性回归:将偏差降至一阶蓝色曲线:真实情况绿色曲线:估计值黄色区域:x0的局部区域*核回归:局部线性回归则估计为:其中W(x)是一个的对角矩阵且第i个对角元素是估计在yi上是线性的，因为权重项wi(x)不涉及yi，可被认为是等价核*局部线性回归局部线性回归通过自动修改核,将偏差降至一阶由于,偏差为*局部线性回归边界上的局部等价核（绿色点)内部区域的局部等价核（绿色点)*局部多项式回归局部多项式回归:用d次多项式回归代替线性回归可以考虑任意阶的多项式，但有一个偏差和方差的折中