大数据概念技术特点应用与案例.pdfVIP

大 数 据 目录 一、大数据概念 1 二、大数据分析 2 三、大数据技术 3 四、大数据特点 4 五、大数据处理 4 六、大数据应用与案例分析 6 一、大数据概念 大数据大数据 是一个体量特别大，数据类别特别大的数据集，并且这样的数 据集无法用传统数据库工具对其内容进行抓取、管理和处理。据集无法用传统数据库工具对其内容进行抓取、管理和处理。 大数据大数据 首先是 指数据体量(volumes)?大，指代大型数据集，一般在 10TB?规模左右，但在实际 应用中，很多企业用户把多个数据集放在一起，已经形成了 PB 级的数据量；其 次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富， 已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着 是数据处理速度（Velocity ）快，在数据量非常庞大的情况下，也能够做到数据 的实时处理。最后一个特点是指数据真实性 （Veracity ）高，随着社交数据、企 业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈 发需要有效的信息之力以确保其真实性及安全性。 大数据大数据 是需要新处理模式才能具有更强的决策力、洞察发现力和流程 优化能力的海量、高增长率和多样化的信息资产。从从数据的类别数据的类别上看上看，， 大数据大数据 指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理 范围和大小、迫使用户采用非传统处理方法的数据集。 亚马逊网络服务 （AWS ）、 大数据科学家 JohnRauser 提到一个简单的定义：大数据就是任何超过了一台计 算机处理能力的庞大数据量。 研发小组对大数据的定义：研发小组对大数据的定义： 大数据是最大的宣传 技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。 说：说： 大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部 分认知在于，它是如此之大，分析它需要多个工作负载，这是 AWS 的定义。当你 的技术达到极限时，也就是数据的极限也就是数据的极限 。 大数据不是关于如何定义，最重要的 是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况 如何。这与传统的数据库相比，开源的大数据分析工具的如 Hadoop 的崛起，这 些非结构化的数据服务的价值在哪里。 二、大数据分析 从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实 是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信 息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度， 多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数 据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于 如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 1、可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者 对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现 大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了 2、数据挖掘算法 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的 数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被 全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部， 挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的 处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无 从说起了。 3、预测性分析能力 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点， 通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 4、数据质量和数据管理 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理， 无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方