大数据研究现状.pdfVIP

选题理由：移动互联网和云计算都是我们可以触及到的东西，而大数据是一个抽象的概念， 现在媒体总在说大数据时代的到来，那大数据到底是什么，为什么它如此受关注，为何它对 人们的生活和生产具有如此深刻的影响，借这个机会我也想深入地了解了一下，并在此与大 家分享有关大数据的知识。 最早提出大数据时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出， 数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。而人们对于海量数 据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。 何为大数据 大数据是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交 互数据与传感数据。 所涉及的数据量规模巨大到无法通过人工在合理时间内完成信息的采集、处理、管理，并将 其整理成为人类所能解读的信息。 当今世界经济中，企业为了发现新的盈利长机会，更加依赖来自消费者的喜好和见解。在发 现和挖掘这些喜好和见解的过程中，产生数量巨大、结构复杂、类型众多的数据，这些数据 通过集成共享，交叉复用，成为有价值的经济信息资源，形成一种智力资源和知识服务能力。 大数据有多大 how big is big data 大，即海量，巨型。 领域内的大多数专业人士认为TB （太字节，百万兆）或PB级是目前大数据的基准。但也 有业内人士认为无法为大数据定义一个具体的数量级，因为当今科技迅猛发展，今天的“大” 可能是明天的“正常”数量。也就是说大数据是附着在人力和技术基础设施无法跟上公司的数 据需求步伐的情况下的主观标签。 各大公司的数据情况 Google 公司通过大规模集群和MapReduce 软件，每个月处理的数据量超过400PB 。 百度的数据量：数百PB，每天大约要处理几十PB 数据，大多要实时处理，如微博、团购、 秒杀。 Facebook：注册用户超过8.5 亿，每月上传10 亿照片，每天生成300TB 日志数据 淘宝网：有3.7 亿会员，在线商品8.8 亿，每天交易数千万，产生约20TB 数据。 Yahoo!的数据量：Hadoop 云计算平台有34 个集群，超过3 万台机器，总存储容量超过100PB。 工业革命以后，以文字为载体的信息量大约每十年翻一番；1970 年以后，信息量大约每三 年就翻一番；如今，全球信息总量每两年就可以翻一番。2011 年全球被创建和被复制的数 据总量为1.8ZB （1ZB=1021Byte）其中75%来自于个人。互联网数据中心（IDC）认为，到下 一个十年（2020 年），全球所有IT 部门拥有服务器的总量将会比现在多出10 倍，所管理的 数据将会比现在多出50 倍。根据麦肯锡全球研究院（MGI）预测，到2020 年，全球数据使 用量预计将暴增44 倍，达到35ZB 数据如此膨胀，大数据的处理及应用成为企业经营及价值创造上非常重要的课题。 大数据特点：3V Volume:数据量大：目前一般认为PB 级以上数据看成是大数据； Variety:种类多：包括文档、视频、图片、音频、数据库数据等； Velocity:速度快：数据生产速度很快，要求数据处理和I/O 速度很快； Veracity:真实性:数据是完整的和可信任，并能自信地用它来做出关键的决定的能力的组织。 大数据处理流程 数据采集：数据抽取（ETL）工具负责将分布的、异构数据源中的数据如关系数据、平面数 据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集合中， 成为联机分析处理、数据挖掘的基础。 数据存取：关系数据库、NoSQL、SQL 等。 基础架构：云存储、分布式文件存储等。 数据处理：自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问 题的一门学科。处理自然语言的关键是要让计算机理解 自然语言，所以自然语言处理又叫 做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(Computational Linguistics 。一方面它是语言信息处理的一个分支，另一方面它是人工智能 (AI, Artificial Intelligence)的核心课题之一。 统计分析：假设检验、显著性检验、差异分析、相关分析方差分析、卡方分析、偏相关分析、 距离分析、回归分析、简单回归分析、多元回归分析等。 数据挖掘：分类、估计、预测、相关性分组或关联规则、聚类 （Clustering）、描述和可视化、 复杂数据类型挖