相互近邻域的函数型回归估计.pdfVIP

第27卷 第6期 武 汉 纺 织 大 学 学 报 V0l1_27NO．6 2014年 12月 J0URNAL 0F W UHAN TEXTILE UN IVERSITY DeC．2014 相互近邻域的函数型回归估计 黄收友 (北京航空航天大学 数学与系统科学学院，北京 100083) 摘 要：令 为可分的希尔伯特空间，(X，Y)是在H 上取值的随机对。本文通过对每个 进行d项傅里叶级 数展开，从而将无穷维降到有限维，进而证明了MTVN 估计的相容性。其中维数和邻域数都是从观察样本 中自动 选取的。 关键词：希尔伯特空间；相互最近邻域；回归函数；相容性 中图分类号：0212．4 文献标识码：A 文章编号：2095—414X(2014)06—0082—04 1 引言 回归函数估计在经济、医学和模式识别等众多领域有广泛的应用 ．除了分类以外 ，k一近邻域(kNN) 方法已被广泛用于回归函数估计 ，在过去的几十年，这方面已有大量的研究，上世纪五十年代，Fix和 Hodges 首次提出近邻域的方法，随后，Stone在文献 中用kNN的方法研究了一类非参回归函数的估计， 并证明了一个结论．即：kNN估计是普遍相容的．本文研究了相互近邻域(MNN)的相容性，关于MNN的 研究可以追溯到上世纪七十年代 ，由Chidananda等人首次提出MNN的概念，已应用于决策分析、数据挖 掘和模式识别等方面．与标准的kNN方法相 比，MNN方法会增加一定的计算复杂度，但是它能得到比 kNN更好的估计效果，文献[1]阐述了MNN方法的相关理论性质，并证明了其在欧氏空间的相容性及最优 收敛率．本文证明了MNN在可分希尔伯特空间中的相容性． 2 相互近邻域的相容性 下面先介绍一些基本定义．令 是可分的希尔伯特空间，(，y)为在Z=H× 上取值的随机对． {(X，y…n为，z个独立的样本点，且与随机对(X，Y)同分布．假设{妒}『『是H上的一组标准正交基，对任 意的 ，则有 =∑。 ，其中 =(Xi，)，(’，)表‘示内积 众所周知，函数型数据研究中经常遇到维数灾难的情形，为了克服这一问题，通常不得不使用一些降 维技巧来处理高维甚至无数维的数据．通过考虑 在希尔伯特空间中一组正交基下的前d项展开，我们把 无穷维降至有限维．具体说来，就是选择一个合适的维数d，用∑：： 去逼近样本点 ．另一方面， H ‘是由{) 线性扩张而成的，对每个向量 )∈ (，则有 = ∑：： ． 在本文中，我们假设】，是有界的．回归函数 ()=E[YJX=]，其相应的误差为 =e(y一 ())dp(x,y)． 类 似 的 ， 我 们 分 别 定 义 和 为 上 的 回 归 函 数 和 相 应 误 差 ． ， ， O nd((x()，、，=[)())，…，(x()，Y()()))表示按照Ilx()一ll大小单调递增的顺序重排的数据，定义 N()是X在集合 上的七邻域，N (xl’)表示 在集合 ( )＼{x )u{}上最近k邻域．令 的相互 最近邻域为 Q ()={xl∈N ()：∈N (xl)} 作者简介：黄收友 (1982一)，男 ，博士研究生，研究方向：统计学习理论． 基金项 目：国家 自然科学基金 91130009)；国家重点基础研究发展计划项 目(973—2010CB731900) 第 6期 黄收友：相互近邻域的函数型回归估计 83 令M=JQ()J表示 的相互最近邻域中所含点的个数，显然， 取值于0和k之间，利用MNN的定义，我 们给出回归函数的如下估计 ()=1 ∑ )· 接下来，我们将数据分成两部分，其中一部分是包含，个样本点的训练集 {(