论数据挖掘技术.pdf

论数据挖掘技术 于 丽 300110 （天津交通职业学院，天津市 ） ［摘 要］随着数据库技术的迅猛发展以及现代信息技术、通讯技术、网络技术和计算机技术发展及数据库管理系统的广泛应用，数据库存 储的数据量急剧增大，人们面临无法从数据中有效地提取信息、从信息中及时地发现知识，基于此，数据挖掘技术应运而生。 ［关键词］数据挖掘技术；数据库；任务；方法 随着数据库技术的迅猛发展以及现代信息技术、通讯技术、网络技 4 数据挖掘的方法 术和计算机技术发展及数据库管理系统的广泛应用，数据库存储的数据 数据挖掘本身是多种技术综合在一起实现的，数据挖掘方法也是 量急剧增大。大量信息在给人们带来方便的同时也带来了一大堆问题： 由人工智能、机器学习的方法发展而来，结合传统的统计分析方法、模 信息过量，难以消化；信息真假难以辨识；信息安全难以保证；信息形 糊数学方法及可视化技术，以数据库为研究对象，形成了数据挖掘的方 式不一致，难以统一处理。面对这一问题，数据挖掘技术应运而生。 法和技术。数据挖掘的方法和技术可分为以下几大类。 数据挖掘的定义 1 1 ）集合论方法。集合论方法是开展较早的方法。近年来，由于粗 数据挖掘概念有若干种表述方式，一个被普遍采用的表述方式是： 集理论的发展使集合论方法得到了迅速的发展。这类方法中包括：覆盖 AQ 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据 正例排斥反例方法（典型的方法有 系列方法）、概念树方法和粗糙 2 中，提取隐含在其中的、人们事先不知道的、但又有潜在的有用信息和 集方法。）决策树方法。决策树方法是利用训练集生成一个测试函数， 知识的过程。这个定义包括几层含义：数据源必须是真实的、大量的、 根据不同取值建立树的分支，在每个分支子集中重复建立下层结点和分 含噪声的，发现的是用户感兴趣的知识，发现的知识要可接受、可理 支，这样便生成一棵决策树，然后对决策树进行剪枝处理，最后把决策 解、可运用，并不要求发现放之四海皆准的知识，仅支持特定的发现问 树转化为规则。由于决策树方法是比较直观的，因而比较易于理解。决 3 题。数据挖掘技术从一开始就是面向应用的，它不仅面向特定数据库的 策树方法主要用于分类挖掘。）聚类方法。聚类分析是直接根据事物 简单检索查询调用，而且要对这些数据进行微观或宏观的统计、分析、 的特征对其进行聚类或分类。通过聚类以后，数据集就转化为类集，同 综合和推理，以指导实际问题的求解，发现事件间的相互联系。数据挖 一类的数据具有相似的变量值，不同类的数据的变量值不具有相似性。 4 掘是一门广义的交叉学科，它汇聚了不同领域的研究者，尤其是数据 ）可视化技术。可视化技术这是一类辅助方法，它拓宽了传统的图表 库、人工智能、数理统计、可视化、