数据挖掘在大数据时代下的应用 .pdfVIP

数据挖掘在大数据时代下的应用

【摘要】数据挖掘一直是各个行业的关注的重点。

近几年，数据挖掘伴随着大数据的火热开始迎来更大的机遇。

本文介绍了数据挖掘相关的概念，一些常用的数据挖掘的分

析方法，最后介绍了数据挖掘技术几个常见的应用领域。

【关键词】数据挖掘分析方法应用

一、基本概念介绍

1、大数据。2011年5月，麦肯锡全球研究院在《大数

据：创新、竞争和生产力的下一个新领域》中指出，大数据

是一种规模大到在获取、存储、管理、分析方面大大超出了

传统数据库软件工具能力范围的数据集合，具有海量的数据

规模、快速的数据流转、多样的数据类型和价值密度低四大

特征。数据已经渗透到每一个行业和业务职能领域，逐渐成

为重要的生产要素；而人们对于大数据的运用预示着新一波

生产率增长和消费者盈余浪潮的到来。据估计，在未来，数

据将至少保持每年50%的增长速度。

2、数据挖掘。数据挖掘是一门新兴的学科，它诞生于

20世纪80年代，主要面向商业应用的人工智能研究领域.

从技术角度看，数据挖掘就是从大量的、复杂的、不规则的、

随机的、模糊的数据中获取隐含的、人们事先没有发觉的、

有潜在价值的信息和知识的过程.从商业角度来说，数据挖掘

就是从庞大的数据库中抽取、转换、分析一些潜在规律和价

值，从中获取辅助商业决策的关键信息和有用知识。

二、数据挖掘的基本分析方法

分析方法是数据挖掘的核心工作，通过科学可靠的算法

才能实现数据的挖掘，找出数据中潜在的规律。通过不同的

分析方法，将解决不同类型的问题，在现实中针对不同的分

析目标，找出相对应的方法。目前常用的分析方法主要有聚

类分析、分类和预测、关联分析等。

1、聚类分析。聚类分析就是将物理或抽象对象的集合

进行分组，然后组成为由类似或相似的对象组成的多个分类

的分析过程，其目的就是通过相似的方法来收集数据分类。

它是一种无先前知识，无监督的学习过程，从数据对象中找

出有意义的数据，然后将其划分在一个未知的类。这不同于

分类，因为它无法获知对象的属性。“物以类聚，人以群分”，

通过聚类来分析事物之间类聚的潜在规律。聚类分析广泛运

用于心理学、统计学、医学、生物学、市场销售、数据识别、

机器智能学习等领域。聚类分析根据隶属度的取值范??可分

为硬聚类和模糊聚类两种方法。硬聚类就是将对象划分到距

离最近聚类的类，非此即彼，也就是说属于一类，就必然不

属于另一类。模糊聚类就是根据隶属度的取值范围的大小差

异来划分类。一个样本可能属于多个类。常见的聚类算法主

要有密度聚类算法、层次聚类算法、划分聚类算法、网格聚

类算法、模型聚类算法等。

2、分类和预测。分类和数值预测是问题预测的两种主

要类型。分类是预测分类（离散、无序的）标号，而预测则

是建立连续值函数模型。分类是数据挖掘的重要基础，它是

对已知的训练数据集表现出来的特性，获得每个类别的描述

或属性来构造相应的分类器或者分类。分类是一种有监督的

学习过程，它是根据训练数据集发现准确描述来划分类别。

常见的分类算法主要有决策树、粗糙集、贝叶斯、遗传算法、

神经网路等。预测就是根据分类和回归来预测将来的规律。

常见的预测方法主要有局势外推法、时间序列法和回归分析

法。

3、关联分析。在自然界，事物之间存在着千丝万缕的

联系，当某一事件发生时，可能会带动其它事件的发生。关

联分析就是利用事物之间存在的依赖或关联知识来发现事

物之间存在的规律性，然后通过这种规律性进行预测。如经

典实例购物篮分析，就是通过分析顾客购物篮中物品的管理

规律，来分析顾客的购物心理和习惯，然后根据这种规律来

帮助营销人员制定营销策略。

三、大数据时代的数据挖掘的应用领域

1、科学研究。在科学研究中，经常需要分析各种大量

的实验和观测数据，并找出相关的规律和知识.这些数据分析

和挖掘都需要一定的算法，利用数据挖掘技术能科学的找出

数据之间的规律以及找出我们未发现的知识.例如，对外空星

体的探索、对DNA数据的分析等等.

2、制造业。在制造业领域，通过对零部件生产的各种

数据分析，来提高生产效率和提高良品率，如分析造成产品

缺陷的环节及数据，找出生产过程影响生产率的因素，暴露

制造和装配操作过程中变化情况等各种因素，从而通过重点

改进相关环节及工艺，来提高企业的生产效率及利益.

3、电信业。近些年，随着电信业的蓬