直方图数据预处理技术创新.pdfVIP

直方图数据预处理技术创新 一北京交通大学计算机与信息技术学院 左志军 一摘要： 数据丰富但知识贫乏是信息时代的一个重要现象 数据挖 掘是应实际需求而出现的技术。数据预处理是数据挖掘过程中 重要环节 对数据预处理技术进行研究具有现实意义 本文简单 介绍了数据挖掘的概念、系统组成、及其发展前景等， 重点讨 论了几种常用的数据预处理方法．即数据清理、数据集成、数据 变换、数据归约．并详细论述并实现了直方圈算法 一关键词：数据挖掘 知识发现 直方图 数据预处理 典型的数据挖掘系统结构 -1 数据挖掘 (3)数据挖掘的主要方法 (1)什么是数据挖掘 数据挖掘的方法一般都是建立在一定的数据结构之上的 ． 当今数据库的容量已经达到上亿万字节的水平． 在这些大 它们对数据都有～些基本假设一认为数据是满足某种格式的 量数据的背后蕴涵了很多具有决策意义的信息。为了满足“从 如是经过数据清理、数据平滑处理过的。其方法主要有以下几 海量信息中及时发现有用的知识 提高信息利用率 的目的， 数 种 据挖掘技术应运而生，并且引起了信息产业界的极大关注。 1)分类法 系统通过学-j得到预先定义好的～组分类的分 数据挖掘(Data Mining)，又称为数据库中的知识发现过程 类规则，利用该规则可实现对数据的分类。 (KDD—— Knowledge Discovery in Database) E9 2) 回归法 系统通过学习得到对一组数据进行趋势分析 ． 疋 伯从大量的、 不完全的、有躁声的、模糊的、随机的实际应用数据中． 提取 的结果。 出隐合的 先前未知的．并且具有潜在决策价值的信息和知识 3)聚集法：通过聚集的方法寻找一个对数据进行分组的方 的过程。简单而言．数据挖掘就是从大量数据中提取或 挖掘” 法。允许同～数据可同时归八不同的层次。例如． 对市场的客 知识。 户进行分组。 这一定义包括以下几层含义 4)汇总法：对数据子集进行概括描述的方法。主要用于对 数据进行分析和自动生成报表。 1)数据源是真实的、大量的、可能含有噪声： 5)依赖模型：寻找变量间有意义的依赖关系或模型． 主要 2)发现的知识是用户感兴趣的 有结构层的依赖关系．数量级的依赖关系 3)发现的知识是相对的．而非普遍意义的真理： 6)异常偏离发现法：用于发现与原规律偏离较大的且有意 4 J发现的知识是可接受的、可理解的、可运用的， 义的变化 (2)数据挖掘系统的组成 I 2。数据预处理 数据挖掘是从存放在数据库 数据仓库．电子表格或其他 信息库的大量数据中挖掘有趣 (Interesting)知识的过程。典型 近年来．数据挖掘引起信息产业界的极大关注，其主要原 的数据挖掘系统结构如图1 1所示