数据挖掘技术概论.pdfVIP

I 一 中国高新娃术企业 数据挖掘技木概论 文／阴晋岭 【摘要】 本文介绍了数据挖掘技术产生的背景，数据挖掘的定义及主要功能类别，并在总结目前数据挖掘 应用情况的基础上．对其未来发展的几个关键方面进行了展望。 【关键词】数据挖掘 信息获取 关联规则 一 、 引言 最小支持计数一样。 当今世界正处在一个信息迅速发展的时代，信息数量急剧增 ②由频繁项集产生强关联规则：这些规则必须满足最小支持度 长．信息来源渠道也更加多样，物质载体变得日益繁多，信息内涵更 和最小置信度。 加精深。与之相应的利用需求也变得更加复杂，这使信息的组织存 (3)分类分析 储和选择利用比以往任何时代都更为复杂。 分类要解决的问题是为一个事件或对象归类、分类工作的特点 面对浩如烟海的海量数据．把这些数据转换成被人类充分利用 是先对不同类别加以定义，并且由预先分类的样本构成训练集，为 的有价值信息的强烈需求，激发了数据挖掘技术的产生。然而，数据 每个类别做出准确的描述或建立分析模型或挖掘出分类规则，对其 挖掘成为业界关注的对象是有时代条件的，它是信息技术自然进化 他数据库中的数据进行分类。 的结果．它的产生和发展伴随着许多相关技术的不断进步，其中最 (4)聚类分析 为显著的见证就是数据库工业的功能开发过程．即数据收集和数据 聚类分析是指将数据对象的集合分组成为多个类或簇，在同一 创建阶段、对数据进行存取和事务处理的数据管理阶段、涉及数据 个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较 仓库和数据挖掘的数据分析与理解阶段等。强有力的数据挖掘工 大。将物理或抽象对象的集合分组成为由类似的对象组成的多个类 具．可以帮助决策者从海量数据中发现重要的数据模式，从而提取 的过程，被成为聚类。它与分类不同的是。它要划分的类是未知的。 有价值的知识，逾越丰富数据到有用信息之间的鸿沟，对商业决策 (5)回归分析 和科学研究做出巨大贡献。 回归是通过具有已知值的变量来预测其他变量的值。它与分类 二、数据挖掘技术 类似．差别在于前者的预测是连续的，而后者是离散的。在最简单的 l、数据挖掘定义 情况下，回归采用的是线性回归这样的标准统计技术。但是大多数 数据挖掘是随着数据库和人工智能技术的发展而出现的一种 现实世界的问题是不能用简单的线性回归所能预测的。因为要描述 全新的信息技术。数据挖掘概念的定义有若干表述，一个被普遍采 这些事件的变化所需的变量成百上千。而且这些变量本身往往是非 用的定义是：数据挖掘(Data Mining，简称DM)，又称为数据库中知 线性的。为此，人们又发明了许多新的手段试图解决这个问题，如逻 识发现(Knowledge Discovery in Database，简称 KDD)，它是一个从数 辑回归、决策树、神经网络等。 据集中识别有效的、新颖的、潜在有用的以及最终可理解模式的高 (6)序列模式分析 级处理过程。KDD的过程一般包括数据清理、数据集成、数据选择、 序列模式分析侧重于分析数据问的前后或者因果关系，就是挖 数据变换、数据挖掘、模式评估、知识表示。其中，数据挖掘是 KDD 掘相对时间或其他模式出现频率高度模式。许多有关序列模式挖掘 中的核心部分，数据挖掘就是从大量的、不完全的、有噪声的、模糊 的研究主要针对符号模式，因为数字曲线模式通常属于统计时序分 的、随机的数据中提取隐含在其中的、事先未知而潜在有用的信息 析中的趋势分析和预测范畴。 和知识的过程．也就是通过挖掘数据仓库中存储的大量数据，从中 三、数据挖掘的应用及发展方向 发现有意义的新的关联模式和趋势的过程。 目前，在很多领域中，数据挖掘