大数据读书报告精要.pdfVIP

大数据报告 大数据—未来的石油 小组成员：韦德城，彭浩宇，孙亚威 指导老师：苗俊杰 2013/12/14 摘要： 大数据有三个重要的特征：数据的量很大、数据的形态更多样、数据产生和处理的速度 极快。大数据包含两个方面的内涵，一方面它是指那些具备以上三个特征的海量数据资 源本身，另一个方面是对这些庞大而又杂乱无章数据的处理和深度挖掘。大数据对决策、 设备管理、基层管理等社会的各个方面都有它独特的应用，有利于我们更好的分析和处 理问题。但是大数据现阶段的发展也有他自身的问题：技术不够完善，成本消耗过高， 不够环保，占用很大的内存空间，缺乏时效性等等。不过随着科技的发展和越来越多的 机构企业对大数据的重视和投入，大数据的前景十分宽广，相信未来人类会从大数据这 个“未来的石油”中得到更大的益处。 关键词：大数据、未来的石油、数据挖掘分析 2 目录 摘要：2 1 引言4 2 大数据的定义4 2.1 三个特征5 2.2 一些背景 5 2.3 有趣的例子 6 2.4 大数据的分析对象 7 3 大数据的作用7 3.1 商业智能7 3.2 政府决策 7 3.3 公共服务 7 4 处理技术8 4.1 hadoop8 4.2 NoSQL8 4.3 分析型数据库 9 4.4 流数据 10 5.弊端和展望10 5.1 大数据本身存在的问题： 10 5.2 大数据所产生的问题 11 5.3 发展前景 12 参考文献12 3 1 引言 大数据是如今最热门的话题之一，无论是微软、谷歌还是苹果都将大数据看为了最 重要的战略方向。其实所谓的大数据已经不只是一个方向，而是正在成为一个现实，人 类已经进入了大数据时代，数据的影响已经渗入到了产业、科研、教育、家庭和社会等 各个层面。本文主要大数据的特征、产生背景、处理方法、作用和弊端以及其发展的前 景等几个部分进行简要分析，使读者们对大数据有个初步和直观的认识。 2 大数据的定义 什么是大数据呢？ 麦肯锡（美国首屈一指的咨询公司）是研究大数据的先驱。在其报告《Big data: The next frontier for innovation, competition, and productivity》中给出的大数据定义是：大数据 指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。但它同时强 调，并不是说一定要超过特定TB 值的数据集才能算是大数据。 国际数据公司（IDC ）从大数据的四个特征来定义，即海量的数据规模（Volume ）、 快速的数据流转和动态的数据体系（Velocity ）、多样的数据类型（Variety ）、巨大的数据 价值（Value ）。 亚马逊的大数据科学家John Rauser 给出了一个简单的定义：大数据是任何超过了 一台计算机处理能力的数据量。 百度百科中是这样介绍大数据的：大数据(big data)，或称巨量资料，指的是所涉及 的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、 并整理成为帮助企业经营决策更积极目的的资讯。 而维基百科中则是这样介绍大数据的：大数据指的是所涉及的数据量规模巨大到无 法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。 “对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而 获得具有洞察力和新价值的东西。”微软公司全球资深副总裁、微软亚太研发集团主席 张亚勤博士接受记者采访时说。 大数据是一个宽泛的概念，见仁见智。上面几个定义，无一例外地都突出了“大” 字。诚然“大”是大数据的一个重要特征，但远远不是全部。 而我们认知的大数据包含两个方面的内容，一方面它是指那些具备3V 特征（Volume 、 Variety、Velocity ）的数据本身，就是海量的数据资源。另一个方面是对这些庞大数据的 处理和深度挖掘。 4 2.1 三个特征 第一，数据的量很大（Volume ），以现在的技术，