数据挖掘质量问题探讨.pdfVIP

维普资讯 2004年第7期 统计研究 No．7 舢 StatisticalResearch 49 数据挖掘质量问题探讨 李金昌 徐雪琪 ABSTRACT Thepapercomprehensivelydescribesthequalitativeproblemsofdatamining． 关键词 ：数据挖掘 ；质量 ；信息 日益广泛，比如银行业通过信用卡消费记录，连锁超市通 一 、 数据挖掘质量 问题的提 出 过POS机记录销售情况，企业通过专题市场调查或者直 随着数据库、数据仓库技术的发展 以及数据库管理 接通过向外购买数据来搜集信息等等，这些收集到的数 系统的广泛应用，人们积累的数据越来越多。在这些大 据储存到企业的数据库或数据仓库 中，构成 了企业用于 量数据的背后隐藏了很多具有决策意义的信息，但是人 数据挖掘 的源数据 。但是 由于各种各样 的原因，如市场 们怎么锝到这些 “知识”呢?数据挖掘(DataMining)i]~是在 调查中的无回答，数据输入错误等，导致了源数据的各种 这样 的应用需求环境下产生并迅速发展起来的，它的出 质量问题。主要包括： 现为自动和智能地把海量的数据转化为有用的信息和知 1．数据缺失：在一些记录的属性上没有记录值 ，这往 识提供了重要手段。 往是由于市场调查中的无回答、误操作、数据库或数据仓 数据挖掘集人工智能、统计学、数据库管理、数据仓 库某些数据损坏等原因而引起的。 库、可视化、并行计算、决策支持为一体 ，利用数据库、数 2．数据异常：即数据集中存在孤立点，它们不符合数 据仓库技术存储和管理数据 ，利用统计学方法和人工智 据的一般模型。孤立点可能是度量或执行错误所导致 能分析数据，旨在发现大量复杂数据 中蕴含 的有价值的 的，如：一个人的年龄为一1，可能是数据输入时产生的错 知识和信息，从而为正确的决策提供可靠的依据。数据 误，或是程序对缺失年龄 自动生成的替代值；另外孤立点 挖掘的结果及其质量与被挖掘数据的质量息息相关，也 也可能是事物现象的正常反映，如：一个公司总裁的工资 与数据挖掘过程 中的处理方法与控制技术有关，同时还 远远高于其它员工的工资，形成一个孤立点。我们所要 与数据分析的角度与要求有关。因此高质量的数据挖掘 检测和纠正的是前者。 结果依赖于高质量 的源数据、科学的数据集成和客观的 3．数据重复：数据集中有多条记录表示现实世界中 数据分析，否则就会 出现所谓的 “垃圾进 ，垃圾出”(g~bage 的同一个实体 。 in，g out)的现象。 4．数据缩写：如将 DataMining缩写成 DM。 数据挖掘质量 问题存在于数据挖掘的全过程 ，是一 5．拼写错误：如将 DataMining拼写成 DataMinging。 个非常复杂又非常重要的问题 ，它直接关系到数据挖掘 (二)数据集成时的质■问题 的成败。而且随着Web数据挖掘、Text数据挖掘、Image数 某一主题数据挖掘所需要的数据通常存在于不 同的 据挖掘等各种技术的不断发展，数据挖掘将处理更多不 数据源中，如各个部门的数据库 中，所 以数据挖掘经常需 同类型、不 同结构的数据 ，数据挖掘质量 问题将更为复 要将数据集成：由多个数据源合并数据，建立数据挖