大数据处理及分析理论方法技术.pdfVIP

大数据处理及分析理论方法技术--第1页

大数据处理及分析理论方法技术

（一）大数据处理及分析建设的过程

随着数据的越来越多，如何在这些海量的数据中找出我

们需要的信息变得尤其重要，而这也是大数据的产生和发展

原因，那么究竟什么是大数据呢？当下我国大数据研发建设

又有哪些方面着力呢？

一是建立一套运行机制。大数据建设是一项有序的、动

态的、可持续发展的系统工程，必须建立良好的运行机制，

以促进建设过程中各个环节的正规有序，实现统合，搞好顶

层设计。

二是规范一套建设标准。没有标准就没有系统。应建立

面向不同主题、覆盖各个领域、不断动态更新的大数据建设

标准，为实现各级各类信息系统的网络互连、信息互通、资

源共享奠定基础。

大数据处理及分析理论方法技术--第1页

大数据处理及分析理论方法技术--第2页

三是搭建一个共享平台。数据只有不断流动和充分共享，

才有生命力。应在各专用数据库建设的基础上，通过数据集

成，实现各级各类指挥信息系统的数据交换和数据共享。

四是培养一支专业队伍。大数据建设的每个环节都需要

依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂

技术、懂管理的大数据建设专业队伍。

（二）大数据处理分析的基本理论

对于大数据的概念有许多不同的理解。中国科学院计算

技术研究所李国杰院士认为：大数据就是“海量数据”加“复

杂数据类型”。而维基百科中的解释为：大数据是由于规模、

复杂性、实时性而导致的使之无法在一定时间内用常规软件

工具对其进行获取、存储、搜索、分享、分析、可视化的数

据集合。

对于“大数据”（Bigdata）研究机构Gartner给出了这

样的定义。“大数据”是需要新处理模式才能具有更强的决

大数据处理及分析理论方法技术--第2页

大数据处理及分析理论方法技术--第3页

策力、洞察发现力和流程优化能力的海量、高增长率和多样

化的信息资产。

体量大速度快多模态

（volume（velocity（variety

不确定价值大

（veracity（value）

图2.1：大数据特征概括为5个V

（三）大数据处理及分析的方向

众所周知，大数据已经不简简单单是数据大的事实了，

而最重要的现实是对大数据进行分析，只有通过分析才能获

取很多智能的，深入的，有价值的信息。那么越来越多的应

用涉及到大数据，而这些大数据的属性，包括数量，速度，

多样性等等都是呈现了大数据不断增长的复杂性，所以大数

据的分析方法在大数据领域就显得尤为重要，可以说是决定

大数据处理及分析理论方法技术--第3页

大数据处理及分析理论方法技术--第4页

最终信息是否有价值的决定性因素。基于如此的认识，大数

据分析普遍存在的方法理论有哪些呢？

表2.1：数据分析的五个方面

可视数据挖掘耍预语数据质

化分析法测性分义引擎量与数据管