kNN填充算法的分析和改进的研究.pdf

K N N 填 充算法 的分 析和 改进 研 究 专 业 名称 : 计 算机 软件 与理 论 研 究生 姓 名 : 黄 棵 昌 导师 : 张师超 教授 、严 小卫 教授 摘 要 数 据挖 掘 是 一个 热 门的新 兴领 域 ，在 经 历 了近 10 几年 的高速 发展 之后 ，现 已开发 出了很 多成 熟 的算法 用 于有 效 的处理海 量 数据 ，并且这 些 算法 和 技术在 数 据 挖 掘 领 域 都有 良好 的表 现 。但 是 由于 应 用催 生 的数据 挖 掘 技 术 绝 大 部 分 处 理 的 都 是现 实生活 中的 问题 ，而对 于算法 需要 使 用 的数据 而 言 ，现 实生 活 中产 生和搜 集 的数据通 常都是充满 各种 各样 的噪声 、不一致和缺 失等情 况 。因此 数据预 处理 技 术在 数据 挖 掘 过程 中 占有 越 来越 重 要 地位 。 通 常 面 临 的各种 现 实数据 的 问题 中，数据缺 失是最 常见 的 。在 己经 开发 出的 大 部 分经 典算 法 中 ，处 理 带有 缺 失 的数 据 是 非 常 困难 的 。因为 数 据 缺 失产 生 的原 因 比较 复杂 ，不 同的应 用 中数 据 生成 的过 程 迥 异 ，所 以算法 开 发 和 设 计 的 时候 通 常假 设数据 是按照 理想 状 态 收集 的 。但 是使 用含 有缺 失 的数据进 行挖 掘 ，会 对挖 掘 过 程 和 结果 都产 生严 重 的影 响 ，甚 至 导致 得 出错 误 的模 型和 结 论 。因此 数 据 挖 掘 算 法 和 实 际可 用 的数据 之 间存 在 一 条 巨大 的鸿 沟 。 针 对 数据 缺 失 的预 防 、避 免和 处理 等 问题 ，国 内外 己经 有 很 多学 者 进 行 了相 关 的研 究 ，这 些相 关 的研 究吸 收 了统计 、机器 学 习 、概 率 等 学科 的成 果 ，他们 在 缺 失值 填 充领 域 开 发 出来 的很 多算法 被 实验 和 工业 应 用证 明是 非常成 功 的 。在 通 常 意 义 下 ，即使 填 充 效 果 一般 的填 充算 法 ，对 挖 掘 算 法 的执 行 和挖 掘 效果 的提 高 的作 用 都 是 明显 的 。 本 文 主 要 是 对 应 用 最 为 广 泛 、可 扩 展 性 和 适 应 性 最 好 的算 法 之 一— K N N 算 法 的分 析和 改进 。K N N 算 法 是 N N 算 法 的推广 形 式 。N N 算 法 (最 近 邻 算 法 ) 最 早 由 C over 和 H art 在 1967 年 提 出 ，最 早 用 于 分类 的研 究 。其 基 本 思想 是 使 用 距 离 待 分类 的事 例 最近 的类 标 签 来 分类 未 知事例 。 由于 该 算 法 易于 理 解 和 编 程 ， 并 且适 用 范 围广 泛 ，在 提 出之 后被 广 泛 用 于 分类 、聚类 、信 息检 索 和 查询 、缺 失 值 填 充等 领 域 ，其 中 K N N 算 法 就 是 N N 算 法 在 缺 失值 填 充 方 面 的改进 版 本 。 K N N 算 法 使 用 缺 失 点 附近 的数据 点对 缺 失值进 行 估 计 并进 行填 充 。传 统 的 K N N 算法 有 很 多 的不足 ，例 如计 算 量 比较 大 等 。己经 有 很 多针 对 K N N 的改进 算 法 ，这 些 算法 通 常 专注 于距 离度 量 、距 离计 算 、填 充值 的计 算 和 计 算 结 果存 贮 索 引等方 面 的改进 。 在 目前 所 参 阅过 的文献 中 ，所 有 的补值 算 法 均 是 使 用 某 一特 定算法 或 者 使 用 某 几种 算 法 依 次对 整 个 数据 集 进 行 填 充 ，而本 文提 出的缺 失 点分类 思想 指 出 ，即 少 使对 于 同一个 数据 集 来 说 ，不 同的缺 失 点其适 合 的补 值 方 法 也是 不 同的 ，算 法特 别 是基 于 密度 和近 邻 等 的局 部 算 法 ，应 该考 虑对 待 填 充 的点进 行 分类 ，分 别 使 用 合