一种改进的缺值属性填补方法.pdf

w E H 14^ D EvEKLO0 PP ．． EN T 一 种改进的缺值屙陛填补方法 晁 静 (陕西省 商贸技工 学校 ，陕西 咸阳 712000) 摘 要 ：在现 实数据库数据挖掘属性值缺失的情况经常发 生，对于为决策分析提供支持 的数据仓库需要 高质量的数据 ，因此必须对数 据进行处理 ．本文就数据处理提 出了新的观点，采用抽样 的方法对于缺失数据填补 。 关键词 ：缺值属性 ；数据处理 ；数据挖掘 中图分类号：TP311 文献标识码：A 文章编号：1009—8631(2012)08—0107-02 1问题 的提 出 采样间隔。在实际中，如果信号是时间的函数 ，通常他们的采样间隔 在现实数据库数据挖掘过程中，南于受各种条件限制 ，数据挖掘 都很小 ．一般在毫秒、微秒的量级。采样过程产生一系列的数字，称 的数据对象集合中，属性值缺失的情况经常发生甚至是不可避免 为样本。样本代表了原来地信号。每一个样本都对应着测量这一样 的。造成这种现象的原因是多方面的 。比如 ：某些令人感兴趣 的属 本 的特定时间点，而采样间隔的倒数 ，1T／即为采样频率 ，fs，其单位 性 。如销售事务中顾客的信息 ，并非总是可用 的；其他数据没有包含 为样本／秒 ．即赫兹(hertz)。 在 内，可能只是 因为输人时认为是不重要的 ；相关数据没有记录可 信号的重建是对样本进行插值的过程，即从离散的样本 xln】中， 能是由于理解错误 。或者因为数据采集或存储设备发生故障；此外 ， 用数学的方法确定连续信号x(t)。 记录历史或修改的数据可能被忽略。 从采样定理中，我们可以得出以下结论 ： 对于为决策分析提供支持的数据仓库而言 ，参与数据挖掘和知 如果已知信号的最高频率 fH，采样定理给出了保证完全重建信 识发现数据的质量，是挖掘出知识精确 、实用 的前提。无法想象在虚 号的最低采样频率。这一最低采样频率称为ll每界频率或奈奎斯特采 假 、劣质数据泛滥 的数据集上 ，能发现、找到有用的知识和规则 。因 样率，通常表示为 。相反 ，如果已知采样频率 ，采样定理给出了保 为脏数据能够使挖掘过程陷入混乱 ．导致不可靠 的输 出，并且数据 证完全重建信号所允许的最高信号频率。 挖掘算法本身更致力于避免数据过分适合所建的模型 ，这一特性使 以上两种情况都说明，被采样的信号必须是带限的，即信号中高 得它难 以通过 自身的算法去很好地处理不完整数据。因此 ．在进行 于某一给定值 的频率成分必须是零 ．或至少非常接近于零 ，这样在 数据挖掘前 ，对数据进行相关的处理 ，例如 ：填补空缺数据项 、平滑 重建信号中这些频率成分的影响可忽略不计。 噪声数据 、识别或去除异常数据和解决不一致数据等过程 ，对于提 3．2缺值填补算法规则 高数据质量 ，为随后的数据挖掘、知识发现提供优质的数据 ，是一个 我们将训练属性值看作是一个带 限的、有一定周期的被采样信 非常必要的步骤 、程序．一般称为数据预处理 号 ．用一个一定频率的信号对其进行采样 ，采样出来 的数值将其填 2缺值属性的一般处理 入缺值 中，这样就可 以保证填入 的属性值具有随机性，但是仍然有 数据预处理完成的工作主要有 ：数据清理 、数据集成 、数据转换 一 定的规律。下面是算法的流程： 和数据归约等 。在实际数据预处理过程 中，碰到的 问题是数据中存在着相当数量的空缺值 ，为此 ，需 要花费相当的精力 、时间填补这些空缺值。填补空 缺值是数据挖掘前数据预处理的重要环节 ，其方法 技术 比较多，主要有删除元组 、数据补齐和不处理 三类 。在数据补齐 中多采用手工填补 、利用缺省值 填补 、利用均值填补 、利用同类别均值填补 、利用最 有可