数据挖掘中的数据预处理与维度优化 - 北京电子科技职业学院特色库.pdf

维普资讯 第 3l卷 第 3期 东 北 林 业 大 学 学 报 Vo1．3lNo．3 2003年 5月 JOURNALOFNORTHEASTFORESTRY UNIVERSITY Mav2o03 数据挖掘 中的数据预处理与维度优化 李 姑 王仁超 褚春超 (天津大学建筑工程学院，天津 ，300072) 摘 要 介绍 了数据挖掘 的研 究发展现状 ，以及数据预处理与维度 问题在数据挖掘过程 中的重要性 ，并对数 据 的预处理和维度优化方面提 出了一些 问题及其解 决方法。最后提 出了在数据挖掘过程 中所面临的挑战 。 关键词 数据挖掘 ；维度优化 ；数据预处理 分类号 TP3l1．13l DataPreprocessingandDimensionalityOptimizationintheDataMining／LiZhe，WangRenchao，ChuChunchao (CivilEngineeringCollegeofTianjinUniversity，Tianjin300072，P．R．China)／／JournalofNortheastForestryUniversi— ty．一2003，31(3)．一70—72 The statusofdataminingisintroduced，and essentialityofdimensionality optimization and datapreprocessingin the dataminingisalsodiscussed．Someissueandresolutionareputforward indimensionalityoptimization anddataprepro- cessing．Atlast，thechallenge in thedatamining isgiven． Keywords Datamining；Dimensionalityoptimization；Datapreprocessing 数据挖掘通常又称数据库 中的知识发现 (KDD)，是 自动 侵扰 问题 ，经常由于数据库太大而使我们对此无可奈何 ，那么 的或方便 的模式提取 ，这些模式代表隐藏在大型数据库 、数据 如何通过预处理数据来提高数据质量 ，从而提高数据挖掘结 仓库或其他大量信息存储中的知识。数据库系统特别是关系 果的质量呢? 数据库系统的成功建立 ，使我们有了强有力的事务处理工具。 有大量 的数据预处理技术、数据清理可 以去除数据 中的 人们试图将数据库技术应用到更广泛的领域 ，所 以开始了对 噪声，纠正不一致 。数据集成将数据 由多个源合并成一致 的 时间数据库、空间数据库、多媒体数据库、工程数据库 、统计数 数据存储，如数据仓库和数据立方体。数据变换 (如规范化) 据库等面向特殊应用领域 的数据库系统 的研究与开发 。于 通过规范化可以改进涉及距离度量挖掘算法的精度 和有效 是 ，数据挖掘——从大量数据 中用非平凡的方法发现有用 的 性。数据归约可以通过聚集、删除冗余特性或聚类等方法来 知识 ，就成为一种 自然的需求 。 压缩数据 。这些数据处理技术在数据挖掘之前使用 ，可 以大 数据挖掘是一个多学科交叉领域 。现代公司保存商业数 大提高数据挖掘模式的质量，降低实际挖掘所需要的时间。 据 的数量 日益增加 ，而这些数据通常具有不 同的数据结构与 而数据归约 (datareduction)得到数据集 的压缩表示 ，它 行业交叉性 ，在各行业之 中，特别是在企业单位 中，在最小的 虽小但能够产生 同样