非参数估计方法.pdfVIP

第 32 卷第 7 期 武 　汉 　工 　程 　大 　学 　学 　报 Vol . 32 　No . 7 　　　　 20 10 年 07 月 J . 　Wuhan 　In st . 　Tech . J ul . 　20 10 　　　 文章编号 :1674 - 2869 (20 10) 07 - 0099 - 08 非参数估计方法 1 ,2 1 1 1 张煜东 ,颜 　俊 ,王水花 ,吴乐南 ( 1. 东南大学信息科学与工程学院 ,江苏 南京 2 10096 ; 2 . 哥仑比亚大学精神病学系脑成像实验室 ,纽约州 纽约 10032) 摘 　要 :为了解决函数估计问题 ,首先讨论了传统的参数回归方法. 由于传统方法需要先验知识来决定参数模 型 ,因此不稳健 ,且对模型敏感. 因此 ,引入了基于数据驱动的非参数方法 ,无需任何先验知识即可对未知函数 进行估计. 本文主要介绍最新的 8 种非参数回归方法 :核方法 、局部多项式回归、正则化方法 、正态均值模型、 小波方法 、超完备字典 、前向神经网络 、径向基函数网络. 比较了不同的算法 ,给出算法之间的相关性与继承 性. 最后 ,将算法推广到高维情况 ,指出面临计算的维数诅咒与样本的维数诅咒两个问题. 通过研究指出前者 可以通过智能优化算法求解 ,而后者是问题固有的. 关键词 :参数统计 ;非参数统计 ;核方法 ;局部多项式回归 ;正则化方法 ;正态均值模型 ;小波 ;超完备字典 ;前向 神经网络 ;径向基函数网络 中图分类号 :O2 12 . 7 　　　文献标识码 :A 　　　doi :10 . 3969/ j . i ssn .. 20 10 . 07 . 025 ( ) ε ( ) y i = r x i + i 1 0 　引　言 ( ) ( ) ε 式 1 中 x i , y i 为观测样本, 假定误差 具有方差 函数估计[ 1 ] 是一个经典反问题 , 一般定义为 齐性, 则 r = E ( y | x) 称为 y 对 x 的回归函数, 简称 给定输入输出样本对 ,求未知的系统函数[2 ] . 传统 回归. 一般地, 可以假设 x 取值在[ 0 , 1] 区间内. 定 的方法为参数方法 , 即构建一个参数模型 ,再定义 ( ) 义“规则设计”为 x i = i/ n i = 1 , 2 , …, n . 并定义 某个误差项 ,通过最小化误差项来求解模型的参 风险函数为 数[3 ] .