云计算环境下大数据及其智能处理技术.pdfVIP

云计算环境下大数据及其智能处理技术 1、什么是大数据 “大数据”“是一个体量特别大，数据类别特别大的数据集，并且这样的数 据集无法用传统数据库工具对其内容进行抓取、管理和处理。 “大数据”首先 是指数据体量(volumes) 大，指代大型数据集，一般在 10TB 规模左右，但在实 际应用中，很多企业用户把多个数据集放在一起，已经形成了 PB 级的数据量； 其次是指数据类别 (variety)大，数据来自多种数据源，数据种类和格式日渐丰 富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。 IBM 将大数据归纳未三个标准，即 3V：类型（variety）、数量（volume）和 速度（velocity）。其中类型（variety）指数据中有结构化、半结构化和非结构 化等多种数据形式；数量（volume）指收集和分析的数据量非常大；速度 （velocity）指数据处理速度要足够快。 大数据对于悲观者而言，意味着数据存储世界的末日，对乐观者而言，这里 孕育了巨大的市场机会，庞大的数据就是一个信息金矿，随着技术的进步，其财 富价值将很快被我们发现，而且越来越容易。大数据本身是一个现象而不是一种 技术，伴随着大数据的采集、传输、处理和应用的相关技术就是大数据处理技术， 是系列使