大数据、云计算与云GIS研究发展现状20151221详解.docx

第PAGE \* MERGEFORMAT16页 大数据、云计算与云GIS研究发展现状 大数据 （1）定义 迄今为止，对于“大数据”（Big data）无论从学术界、产业界都尚未形成统一成熟的定义。简单来讲，可以看作是人们为了面对“信息爆炸”的现实挑战与机遇所需的一项数据分析前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。 研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 从产业界看，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 大数据需要特殊的数据分析计算技术，以快速有效地处理大量数据并分析得出有价值的信息或知识，包括大规模并行处理（MPP）数据库、机器学习、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。 （2）特点 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。 大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”——Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。 （3）发展现状 继“物联网”、“云计算”之后，2012年始，“大数据”一词被越来越多地提及。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”（Big Data Research and Development Initiative），这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺焦点。谷歌公司通过大规模集群和MapReduce软件，每个月处理的数据量超过400 PB；百度每天大约要处理几十PB数据；Facebook注册用户超过10亿，每月上传的照片超过10亿张，每天生成300 TB以上的日志数据；淘宝网会员超过3.7亿，在线商品超过8.8亿，每天交易数千万笔，产生约20 TB数据；雅虎的总存储容量超过100 PB。近年来大数据的飙升主要还是来自人们的日常生活，特别是互联网公司的服务。据IDC（Internet Data Center）统计，2011年全球被创建和复制的数据总量为1.8 ZB，其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200 PB）。基因组学、蛋白组学、天体物理学和脑科学等都是以数据为中心的学科，这些领域的基础研究产生的数据越来越多。例如，用电子显微镜重建大脑中的突触网络，1 mm3大脑的图像数据就超过1 PB。传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监控每时每刻都在采集巨量的流媒体数据。工业设备的监控也是大数据的重要来源，例如，劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送PB量级的数据。 由于大数据技术巨大的产业价值和应用潜力，并且信息爆炸已经成为一种不可逆转的时代潮流，大数据技术引起了政府、产业界和学术界的高度重视甚至到了火热的程度。REF _Ref426965771 \h \* MERGEFORMAT 图11当前国