互联网中的大数据.docVIP

互联网中的大数据 华中科技大学 软件学院 软件工程1105班 李浩宇U座机电话号码0、李新维U座机电话号码2、李全锋U座机电话号码4、徐平茂U座机电话号码5 2014-3-11 摘要：介绍了大数据的概念和特点：“4V+1C”，列举了国内外主要互联网公司在大数据上的应用，对比了中国和美国对推进大数据的发展所作出的行动，最后对大数据业务的未来发展作出展望分析。 关键词：大数据、应用、信息化、互联网、云计算 Abstract: This paper introduces the concept and characteristics of big data: 4V +1 C, lists the major domestic and foreign Internet companies in the big data, comparing the action to promote the development of China and the United States have made big data, the last of the big future analysis of the prospects for the development of data services. Keywords: big data, applications, information technology, internet, cloud computing 目录 1 “大数据的产生” 1 2 “大数据”的特点 2 3 大数据的相关技术与解决方案 3 4 国内外主要互联网公司对大数据的战略布局与应用 6 5 国内外大数据布局与应用比较 10 6未来大数据在互联网中的应用 11 1 “大数据的产生” “大数据”是一个术语，是一个带有文化基因和营销理念的词汇，但同时也反映了科技领域中正在发展中的趋势，这种趋势为理解这个世界和作出决策的新方法开启了一扇大门！“大数据”的出现不是一个偶然的事情，它是在信息化、网络化高度发达的今天，在这个数据整天飞的时代所必须要经历的过程。这个现象的出现同时又给网络安全及维护，信息攻击及防御带来了新的问题和挑战。 那么到底什么是“大数据”呢? 维基百科上说：大数据指的是“网络公司日常运营所生成和积累用户网络行为”，在互联网飞速发展的当代，数据增长如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、探索、共享、分析和可视化等方面。数据量的增长到现在，已经不是以我们所熟知的多少G和多少T来描述了，而是以P 1千T ，E 1百万T 或Z 10亿T 为计量单位。百度对此给予了更形象的描述：光是其新首页导航每天就要从超过1.5PG的数据中进行挖掘，这些数据如果打印出来将超过5千亿张A4纸，摞起来会超过4万公里高，接近地球同步卫星轨道长度，平铺可以铺满海南岛。而2020年新增的数字信息成长幅度将是2009年的近45倍。如今，只需要两天就能创造出自文明诞生以来到2003年所产生的数据总量。 这些数据的规模、形式超出了传统数据处理方法所能捕获、管理和处理的能力。人类的这种能力是不断进步的，所以，大数据的数据量是一个不断变化的目标。美国地理空间情报基金会 USGIF 的一个关于大数据的情况讨论会中提到人类现在处理数据能力的增长速度如今跟不上数据量的增长速度，所以，在数据面前，处理能力总是有很大的空缺。过去做信息处理的方法应该要尽快做出调整，掌握大数据的处理能力，会使得在之后的信息处理各个领域掌握主动权。 另外，大数据，不仅仅是指大量的数据，也不是仅仅指数据的指数增长速度，它是对需要对当前架构需要做出调整的数据进行在理解上的新的方式和理念。对数据整合算法，数据结构理解使用上的新的方法的研究势在必行。 2 “大数据”的特点 Variety（多样化） 大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。 Volume（海量） 通过各种智能设备产生了大量的数据，PB 级别可谓是常态，估计国内外大型互联网企业每天的数据量已经接近 TB 级别。 Velocity（快速） 大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。 Vitality（灵活） 在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析和处理模型必须快速地适应新的业务需求。 Complexity（复杂） 虽然传统的商务智能 BI 已经很复杂了，但是由于前面 4 个 V 的存在，使得针对大数据的处理