什么是数据挖掘(总17页).docVIP

什么是数据挖掘     数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有效的、最终可理解的模式的非普通进程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。     并非所有的信息发现任务都被视为数据挖掘。例如，利用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（information retrieval）领域的任务。虽然这些任务是重要的，可能涉及利用复杂的算法和数据结构，可是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。虽然如此，数据挖掘技术也已用来增强信息检索系统的能力。 数据挖掘的起源     为迎接前一节中的这些挑战，来自不同窗科的研究者聚集到一路，开始着手开发可以处置不同数据类型的更有效的、可伸缩的工具。这些工作成立在研究者先前利用的方式学和算法之上，在数据挖掘领域达到高潮。特别地，数据挖掘利用了来自如下一些领域的思想：(1) 来自统计学的抽样、估量和假设查验，(2) 人工智能、模式识别和机械学习的搜索算法、建模技术和学习理论。数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处置、可视化和信息检索。     一些其他领域也起到重要的支撑作用。特别地，需要数据库系统提供有效的存储、索引和查询处置支持。源于高性能（并行）计算的技术在处置海量数据集方面常常是重要的。散布式技术也能帮忙处置海量数据，而且当数据不能集中到一路处置时更是相当重要。 数据挖掘能做什么 1)数据挖掘能做以下六种不同事情（分析方式）： · 分类 （Classification） · 估值（Estimation） · 预言（Prediction） · 相关性分组或关联规则（Affinity grouping or association rules） · 聚集（Clustering） · 描述和可视化（Des cription and Visualization） · 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等) 2)数据挖掘分类     以上六种数据挖掘的分析方式可以分为两类：直接数据挖掘；间接数据挖掘 · 直接数据挖掘     目标是利用可用的数据成立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 · 间接数据挖掘    目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中成立起某种关系 。 · 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3)各类分析方式的简介 · 分类 （Classification）     首先从数据当选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，成立分类模型，对于没有分类的数据进行分类。 例子： a. 信用卡申请者，分类为低、中、高风险 b. 分派客户到预先概念的客户分片 注意： 类的个数是肯定的，预先概念好的 · 估值（Estimation）    估值与分类类似，不同的地方在于，分类描述的是离散型变量的输出，而估值处置持续值的输出；分类的类别是肯定数量的，估值的量是不肯定的。 例子： a. 按照购买模式，估量一个家庭的孩子个数 b. 按照购买模式，估量一个家庭的收入 c. 估量real estate的价值     一般来讲，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，取得未知的持续变量的值，然后，按照预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，按照阈值，将贷款级别分类。 · 预言（Prediction）     通常，预言是通过度类或估值起作用的，也就是说，通过度类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必需通过一按时间后，才知道预言准确性是多少。 · 相关性分组或关联规则（Affinity grouping or association rules）     决定哪些事情将一路发生。 例子： a. 超市中客户在购买A的同时，常常会购买B，即A = B(关联规则) b. 客户在购买A后，隔一段时间，会购买B （序列分析） · 聚集（Clustering）     聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先概念好的类，不需要训练集。 例子： a. 一些特定症状的聚集可能预示了一