大数据(参考效果)幻灯片.pdfVIP

目录 大数据1 一、 历史1 二、 定义及其意义2 三、 大数据技术盘点1 （1） HadoopMapReduce1 （2 ） 内存分析1 （3 ） 集成设备2 四、 结构和特点2 五、 作用及其用途3 （1） 大数据的作用3 （2 ） 大数据的用途3 （3 ） 最核心的价值：4 六、 应用4 七、 大数据的故事7 大数据 大数据 大数据技术(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前 主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极 [2] 目的的资讯。（在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中 大数据 指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）大数据的 4V 特点： [3] Volume （大量）、Velocity （高速）、Variety （多样）、value （价值）。 一、 历史 大数据”这个术语最早期的引用可追溯到apacheorg 的开源项目Nutch。当时，大数据 用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌 MapReduce 和 GoogleFileSystem （GFS）的发布，大数据不再仅用来描述大量的数据， 还涵盖了处理数据的速度。 图 1 大数据 早在 1980 年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热 情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009 年开始，“163 大数据”才成为互联 网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%， 每两年便将翻一番，而目前世界上 90% 以上的数据是最近几年才产生的。此外，数据又并 非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传 第1 页共13 页 数据时代的故事 感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化， 也产生了海量的数据信息。 二、 定义及其意义 对于“大数据” （Bigdata）研究机构Gartner 给出了这样的定义。“大数据”是需要新处理 模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息 资产。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行 专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提 高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然 无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式 数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2] 随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。《著云台》的分析 师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构 化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常 和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce 一样的框架来向数十、 数百或甚至数千的电脑分配工作。 大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的 技术