概率密度估计与非参数回归-Quantsummaries.pdf

概率密度估计与非参数回归 曾焰 版本 1.0，最后修订于2017-11-05 摘要 陈希孺等 [1] 第六章的内容摘要。 1 概率密度估计 1.1 几种重要的密度估计方法 1. 直方图法。这个方法可描述如下：假设随机变量 有密度 ，并有 的独立同分布样本 ， ， 。选择一个适当的正数，把全直线分为一些长为 的区间。任取这些区间之一，记为 。对 ，我们有 ∑ (1.1) 这一方法重要的是 的选择。 太大了，平均化的作用突出了，而淹没了密度的细节部分。太小 了，则受随机性影响太大，而产生极不规则的形状。 的选择无现成规则可循。实际操作中，我们可能 需要取一些不等长的区间，这样的直方图估计称为“Data-based ”的直方图估计。 直方图估计的优点是简单易行，缺点是它不是连续函数（这可以通过适当地修匀来解决），且从统 计角度看一般说效率较低。例如，在这一方法下，每一区间中心部分密度估计较准，而边缘部分则较差。 2. Rosenblatt 法。为克服直方图法的一个缺点——对每个区间边缘部分密度值的估计较差， [ ] ， Rosenblatt 在 1955 年提出了一个简单的改进。指定一个正数 ，对每个，定义 并对密度函数 作如下估计 ∆ ∑ (1.2) Rosenblatt 法与直方图法不同之处仅在于，它事先不把分割区间定下来，而让区间随着要估计之点 跑，使 始终处在区间之中心位置，而获致较好的效果。理论上可以证明，从估计量与被估计量接近 的数量级上看，Rosenblatt 方法确实优于直方图法。 3. Parzen 的核估计。直观上可以设想：为估计 ，与 靠近的样本，所起作用似应比远离 的样本要大些。这些在Parzen 于 1962 年提出的核估计方法中都得到了体现。为介绍 Parzen 的思想， 我们先将 (1.2) 式变换一个形式，引进一个函数 1 1 概率密度估计 2 则 (1.2) 式可改写为 ( ) ∑