回归分析 刘超 第11章 非参数回归.pdf

回归分析 ——方法、数据与R的应用 刘超 statchao@buaa.edu.cn 北京航空航天大学数学科学学院 2020年1月20 日 课件仅供教学使用 刘 超 ，回归分析——方法、 数据与R的应用，高等教育 出版社，2019年10月 第11章 非参数回归 上课之前的话 对于n 组观测值(x ,y ) ，假设回归模型为y =f(x )+ε i i i i i (i=1,2,…,n) 如果知道f (x)的具体形式，只是参数未知 • 可以使用线性和非线性等参数化方法来估计回归函数f (x) • 实际上,盲目地使用线性假设会带来毫无意义的结果 • 无论指定什么样的有限参数族,总是会排除许多合理的函数 如果不知道f (x)的具体形式 • 可以使用非参数回归灵活地拟合数据 • 例如, 最近邻法(nearest neighbor) 。使用带估计点(x ,y ) 附近的 观测(x ,y ),对y 取平均或取中位数得到f (x) 的估计 i i i 上课之前的话 与参数回归一样，非参数回归也是要消除随机误差 的影响，寻找出因变量与自变量之间的统计规律 • 除了必要假设(例如,要求f(x)具有一定程度的平滑性和连续性), 非 参数回归不对f(x) 的形式做任何假定,可以更精确地估计回归函数 • 其代价是更多的计算以及在某些情形下的结果更难以理解 • 当过去的经验较少时，非参数方法特别有用 由于f (x)形式未知，非参数回归不能得到显性的函 数解，只能得到逐点的数值解 • 非参数回归也称为散点图平滑, 因为它会在y 关于x 的散点图上绘 出一条经过若干点的平滑曲线 • 虽然f (x)形式未知,但并不可以任意选择。否则,可以选择通过每一 个样本点的折线,然而这样的回归毫无意义 上课之前的话 本章将介绍几个广泛使用的非参数回归方法,也 称为平滑器(smoother) ，包括核估计、局部回归 、样条、小波、加法模型等方法，这些平滑器体 现了寻找y 和x 之间统计规律的不同侧重点 除了本章介绍的方法，第12章机器学习的回归模 型也属于非参数回归建模方法 目的与要求 (1) 了解使用非参数回归的必要性 (2)掌握核估计、局部回归、样条、小波、加法模 型等方法 (3) 了解高维情况下的非参数回归建模方法 (4)掌握非参数回归的各种方法在R软件中的实现 11.1 核估计 11.1 核估计 核估计(kernel estimator)是对二维散点图进行平滑的最简单 的非参数方法。 核估计的基本思想是: • 在估计待估计点x 值对应的f (x) 时,给予接近x 值的观测更高的权重,远离x 值 的观测更低的权重 • 令z =(x-x )/h 表示第i个观测的x 值与待估计点x 值的相对距离,通过一个核 i i i 函数K(z) 来定义权重w =K − i ℎ • 将最大权重赋予最接近x 的观测, 然后权重随着距离 的增长而对称、平 滑地下降 ✓ 一般来说,只要K(z)能满足这一特征,选择哪一个核函数并不重要 ∞ ✓ 此外,核函数还要满足׬−∞ K(z)dz =1 • 最后,我们对全部y 值以相应观测的权重进行加权平均,计算出待估计点x i