大大数据概念、技术、特点、应用与案例.pdfVIP

标准实用文案

大数据

目录

一、大数据概念

二、大数据分析

三、大数据技术

四、大数据特点

五、大数据处理

六、大数据应用与案例分析

一、大数据概念

大数据大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数

据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据大数据首先是

指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实

际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；

其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，

已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着

是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据

的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企

业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈

发需要有效的信息之力以确保其真实性及安全性。

大数据大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程

优优化化能力能力的的海海量、量、高增长率高增长率和多样化的和多样化的信息资产信息资产。。从从数据的类别数据的类别上看上看，，大数据大数据

文档

标准实用文案

指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理

范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、

大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计

算机处理能力的庞大数据量。研发小组对大数据的定义：研发小组对大数据的定义：大数据是最大的宣传

技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。说：说：

大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分

认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你

的技术的技术达达到到极限极限时，时，也也就是数据的就是数据的极限极限。大数据不是关于如何定义，最重要的

是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况

如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，

这些非结构化的数据服务的价值在哪里。

二、大数据分析

从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实

是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信

息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，

多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数

据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于

如此的认识，大数据分析普遍存在的方法理论有哪些呢？

1、可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者

对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现

大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了

2、数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的

数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被

全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，

文档

标准实用文案

挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的

处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无

从说起了。

3、