大数据分析与应用研究 .pdfVIP

大数据分析与应用研究

摘要：现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的

交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着

大数据时代的来临，大数据分析也应运而生。所周知，大数据已经不简简单单是

数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取

很多智能的，深入的，有价值的信息。

关键词：大数据分析；大数据处理；大数据应用

1.大数据分析的含义

大数据正在改变我们工作、生活、饮食、睡眠和娱乐的方式重新定义人与企业及彼此互

动的方式，为不同领域的许多类型的公司带来价值。

大数据分析是将描述性的、诊断性的、预测性的和规定性的模型用于数据，来回答特定

的问题或发现新的见解的过程。分析技术的范围从告诉决策者最近发生了什么的历史报告，

到展望未来、预测即将发生的事件，以及相应的行动路线建议等。大数据分析的第一步是数

据的抽“取-转换-加载”这就是所谓的数据处理三部曲。该环节需要将来源不同、类型不同的数

据如关系数据、平面数据文件等抽取出来，然后进行清洁、转换、集成，最后加载到数据仓

库或数据集市中，使其成为联机分析处理、数据挖掘的基础。它们常常是同步进行的。

2.大数据分析的方法

2.1.大数据分析的五个基本方面

2.1.1.可视化分析

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视

化可以直观的展示数据，让数据自己说话，让观众听到结果。

2.1.2.数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算

法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速

度。

2.1.3.预测性分析能力

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和

数据挖掘的结果做出一些预测性的判断。

2.1.4.语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工

具去解析，提取，分析数据。语义引擎需要被设计成能够从文档“”中智能提取信息。

2.1.5.数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行

处理可以保证一个预先定义好的高质量的分析结果。

2.2.大数据处理

2.2.1.采集

大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数

据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle

等来存储每一笔事务数据。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万

的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上

百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均

衡和分片的确是需要深入的思考和设计。

2.2.2.预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应

该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且

可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自

Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

2.2.3.统计

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进

行普通的分析和分类汇总等，以满足大多数常见的分析需求

2.2.4.挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在

现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分

析的需求。

3.大数据分析的应用

3.1.社会需求

随着互联网技术的广泛应用与全面普及，数据洪流汹涌而至。自2008年《自然》杂志

提出大数据“”概念起，大数据技术开始涉及我们日常生活的各个领域。在实际生产、消费等

过程中会产生大量的数据，这些数据对指导生产过程、市场宏观调控等发挥着重要的作用。

这些数据每天以TB量级产生，传统的单机数据处理模式难以应对如此量级的大数据，而大

数据技术正好能克服单机处理能力不足的问