大数据与云计算.doc

大数据与云计算 刘亚文 （西北农林科技大学 信息工程学院 软件工程141） ? 摘 要： 云计算是当今计算机领域最热门的话题,大数据时代的发展趋势和用户需求迫使研宄者们前赴后继地投身这一领域.这是充满挑战的时代,也是充满机遇的时代,突破了网络发展的这一质变过程,计算机学界势必迎来一个更加辉煌的时代.对于广大用户而言,云计算带来的服务将会大大提高工作效率和质量,提高生活品质,为人们幸福生活做出贡献. 关键词 ：云计算； 大数据； 数据分析； 一、 引 言 以2011年5月麦肯锡发布《大数据的下一个前沿：创新、竞争和生产力》为起点，大 数据概念开始持续发酵。2012年，大数据从技术圈进入主流市场[1] ，得到许多国家、社会组织和企业的看好和广泛应用。2012年1月，达沃斯世界经济论坛发布了一份题为《大数据，大影响》（Big Data， Big Impact）的报告，3月，美国政府发布《大数据开发倡议》，之后英国、日本、德国、加拿大等国纷纷效仿，推出与大数据应用相关的战略研究，自此一场关于“大数据”的战略争夺已经拉开战幕…… 那么，到底什么是大数据？它与云计算是什么关系？ 认识大数据 1. 大数据的含义与特征 地球上的煤炭、石油、天然气等自然资源在消耗中不断减少，面临枯竭；而数据随着应用的不断创新，在使用中生长和丰富。大数据的出现，就是数据的快速增长带来质的变化的结果。 对于大数据还没有一个正式的定义，目前最为普遍的定义就是“用传统方法或工具不能 处理或分析的数据”。大数据具有大量、速度快和多样性三大特征[2] ，这些特征是传统数据处理方法和工具所无法胜任的。 大量（Volume）是指数据量非常庞大，主要体现在数据存储量大和计算量大。根据IDC《数字宇宙膨胀：到2010年全球信息增长预测》中统计的数据，2006年全球每年制造、复制出的数字信息量共计16.1万PB，当年信息产生量大约是历史上图书信息总量的3000倍；至2010年，数字信息总量达98.8万PB。专家指出，2020年年度数据将增加43倍。因此，大数据中的数据不再以几个GB或几个TB为单位来衡量，而是以PB（1千个T）、EB（1百万个T）或ZB（10亿个T）为计量单位。 速度(Velocity)一方面是指数据在不断更新，增长的速度快，另一方面是指数据存储、传输等处理速度很快。短短60秒，YouTube用户会上传48小时的视频；Google会收到200万次搜索请求并极快地返回结果； Twitter要处理100万条Tweets信息；网购产生27.2万美元的交易；App Store有4.7万次下载；全球新增网页571个。数据处理的速度也要求越来越快，甚至是实时处理，比如灾难的预测，需很快的对灾难发生的程度、影响的区域范围等进行量化。如日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警。 多样性(Variety)指数据包含结构化的数据表和半结构化、非结构化的文本、视频、图像等信息，而且数据之间的交互非常频繁和广泛。 大数据的作用与意义 商业智能的深入发展使得商业决策已经越来越依赖于数据。然而，传统的商业智能系统中用以分析的数据，大都是企业内部的运营数据，它们只占到了企业所能获取的全部数据的15%。大数据使得企业能够分析更多的数据，从而使得分析结果更真实，能够获取新的洞察力，因此大数据能带来更大的价值。 对于国家和政府，大数据能够强化国家安全，推动政府开放，提高公共决策的预见性和响应性[3] 。各国军队都重视掌握技术优势，最大限度提升自己的存储、挖掘和使用“海量数据”的能力，通过海量数据挖掘高价值情报，提高快速反应能力。 对于企业，大数据将开启商业智能的新阶段。《纽约时报》撰文称，“大数据”正在对各个领域都造成影响，在贸易、经济和其他领域中，越来越多的决策基于数据解析做出，而不是像昔日更多凭借经验和直觉。IBM和麦肯锡的研究都表明，应用大数据的企业确实呈现出明显竞争优势，如收入增长更快。大数据对企业竞争力的影响主要表现在客户洞察、营销规划、产品创新、物流管理、流程优化、人力资源管理、风险控制等七个方面。 对于个人，大数据将对人们的衣、食、住、行、健康、娱乐等都将产生深刻的影响。比如借助戴在手臂上或装在口袋里的各种传感器，你的血压、心跳、情绪等多种体征信息被实时传送到远程健康平台，系统会根据你当天的运动量、饮食、心情、工作等情况给你最佳的锻炼和调节建议。 总之，大数据的战略意义和对社会的重大影响已毋庸置疑，它有望开启继互联网、物联网之后有一个新的时代——大数据时代即将到来。 三、云计算简介 正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征