大数据的概念.pdfVIP

一、大数据概念 大数据 是一个体量特别大，数据类别特别大的数据集，并且这样的 数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 大数据 首先是指数据体量 (volumes)?大，指代大型数据集，一般在 10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在 一起，已经形成了 PB 级的数据量；其次是指数据类别 (variety) 大， 数据来自多种数据源， 数据种类和格式日渐丰富， 已冲破了以前所限 定的结构化数据范畴， 囊括了半结构化和非结构化数据。 接着是数据 处理速度（ Velocity ）快，在数据量非常庞大的情况下，也能够做到 数据的实时处理。最后一个特点是指数据真实性（ Veracity ）高，随 着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数 据源的局限被打破， 企业愈发需要有效的信息之力以确保其真实性及 安全性。 百度知道—大数据概念 大数据 (bigdata)，或称巨量资料，指的是 所涉及的资料量规模巨大到无法透过目前主流软件工具， 在合理时间 内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的 的资讯。大数据的 4V 特点：Volume、Velocity 、Variety 、Veracity。 互 联网周刊—大数据概念 大数据 的概念远不止大量的数据（ TB ） 和处理大量数据的技术，或者所谓的 4 个 V 之类的简单概念，而是 涵盖了人们在大规模数据的基础上可以做的事情， 而这些事情在小规 模数据的基础上是无法实现的。 换句话说， 大数据让我们以一种前所 未有的方式， 通过对海量数据进行分析， 获得有巨大价值的产品和服 务，或深刻的洞见，最终形成变革之力 研究机构 Gartner—大数据概 念 大数据 是需要新处理模式才能具有更强的决策力、 洞察发现 力和流程优化能力的海量、 高增长率和多样化的信息资产。 从数据的 类别上看， 大数据 指的是无法使用传统流程或工具处理或分析的信 息。它定义了那些超出正常处理范围和大小、 迫使用户采用非传统处 理方法的数据集。 亚马逊网络服务 （AWS ）、大数据科学家 JohnRauser 提到一个简单的定义： 大数据就是任何超过了一台计算机处理能力的 庞大数据量。 研发小组对大数据的定义： 大数据是最大的宣传技术、 是最时髦的技术，当这种现象出现时，定义就变得很混乱。 Kelly 说： 大数据是可能不包含所有的信息，但我觉得大部分是正确的。 对大数据的一部分认知在于， 它是如此之大， 分析它需要多个工作负 载，这是 AWS 的定义。当你的技术达到极限时， 也就是数据的极限 。 大数据不是关于如何定义， 最重要的是如何使用。 最大的挑战在于哪 些技术能更好的使用数据以及大数据的应用情况如何。 这与传统的数 据库相比，开源的大数据分析工具的如 Hadoop 的崛起，这些非结构 化的数据服务的价值在哪里。 二、大数据技术