受侦测限影响的缺失数据的借补方法及其应用的中期报告.docxVIP

受侦测限影响的缺失数据的借补方法及其应用的中期报告 本文介绍了一种受侦测限影响的缺失数据的借补（imputation）方法，并通过模拟数据和实际数据的应用进行了评估。该方法基于一个简单的假设：缺失数据和非缺失数据在变量分布上没有显著差异。 简单的假设为： 对于一个变量X，我们有一些具有完整信息的观测值（即，非缺失数据），称为R，和一些缺失观测值，称为M。我们希望将M填补到X中的缺失值。我们假设X的分布在R和M中是相同的。这个假设是一个比较弱的假设，通常是可接受的，但也可能与数据实际情况不符。 基于此假设，可以使用已知的观测值，例如均值、中位数或众数等，来填补缺失值。但是，我们需要区别使用参数方法和非参数方法。 参数方法的基本思想是，假设观测数据符合某个参数化模型，并使用已知的参数来拟合模型，然后用该模型预测缺失值。常用的参数方法有：多元线性回归模型、概率密度函数及Bayesian数据分析等。 非参数方法则尝试估计观测数据的分布函数，然后基于该函数来进行缺失值补充。常用的非参数方法有：KNN方法、决策树方法以及随机森林等。 本文实现了两种不同的方法: 模拟和实际。在模拟数据中，通过对有侦测限的连续变量进行处理，比较了两种方法在缺失值估计方面的效果。在实际数据方面，我们评估了两种方法的在股票市场的开盘价和收盘价的缺失值估计方面的效果。 结果表明，在模拟数据方面，参数方法的效果优于非参数方法。在实际数据方面，两种方法的效果都较好，但参数方法更为可靠。本文证明：受侦测限影响的缺失数据的借补方法是在实际应用中具有潜在优势的。