大数据国内外研究现状及发展动态分析.docVIP

大数据国内外研究现状及发展动态分析 　　摘 要随着计算机网络的使用，产生了越来越多的数据，因此数据的分析技术逐渐发展起来，大数据的分析对社会各界的发展都产生了很大的影响。大数据研究和应用已经成为当今时代的热点。下面从大数据的产生、发展和大数据研究存在的不足等方面进行了介绍。 　　【关键词】互联网 数据时代 大数据现状 　　1 大数据的产生 　　随着人类的进步和科技的发展，计算机已经成为我们生活和工作中必用的设备。在计算机应用增多的前提下，数据量的增长成为了必然，并且带动了互联网产业的发展。这次发展又带来了一次数据增长的高潮。在互联网时代下，每个人都是数据的制造者。 　　近年来，物联网、云计算、移动互联网的进一步应用，使数据已呈指数级增长。正是因为数据疯狂式增长，“大数据”才慢慢的被各界所研究。 　　2 大数据的定义与特征 　　2.1 大数据的定义 　　大数据是指在不可承受的时间范围内用常规软件工具进行获取、管理和处理的数据集合。 　　大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 　　随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 　　大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 　　2.2 大数据的特征 　　容量（Volume）：至少PB级； 　　种类（Variety）：数据类型的多样性； 　　速度（Velocity）：指获得数据的速度； 　　可变性（Variability）：妨碍了处理和有效地管理数据的过程； 　　真实性（Veracity）：数据的质量； 　　复杂性（Complexity）：数据量巨大，来源多渠道。 　　3 国内外发展现状 　　“大数据”这个概念在上个世纪80年代就出现了，到了2008年，“大数据”这个词已经不在陌生，并有了广泛传播之势。 　　国内发展状况：在大数据风靡全球的同时，我国也加快了对大数据相关技术攻关的进程，工信部发布的《物联网十二五规划》里，把信息处理技术作为关键技术创新工程之一而提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析等大数据技术的重要组成部分。大数据技术的成熟发展，使我国大数据产业链雏形呈现，给企业带来商机。 　　国外发展状况：国外在研究大数据不仅仅是研究概念还研究了大数据技术，并且把技术研究作为了重点。以美国为例，他们部门中的大数据研究计划，绝大多数都是以重视数据工程为重点，并从分析算法和系统效率两方面考虑进行设计。 　　4 大数据发展动态分析 　　目前大数据和云计算的发展不相上下，大数据的发展甚至有超过云计算的苗头。未来大数据的成长不可估量，有关人士预测以后每年大数据的市场将以40%的速度增长下去。未来大数据将有哪些新的发展趋势，现总结以下几个方面： 　　4.1 Hadoop加速发展 　　Hadoop是大数据技术代表先锋，目前用户基本上注重的都是Hadoop的硬件优化，却忽略了在众多的数据中心中的配置以及技术的发展。 　　4.2 大数据的开源 　　开源软件给大数据带来了很多的发展机会。不仅不会制抑市场商业机会，相反在服务等多方面的有关领域都带来了更多的机遇。 　　4.3 大数据行业的打包应用分析 　　大数据的发展不仅带动了各行各业发展，还也带动了打包应用需求的增长。要想在未来的市场中打开一个新的大数据技术市场，就要以预打包的形式对特定的行业和业务流程的应用进行专业分析。也因为这些分析覆盖很多行业的专业知识，所以可以作为吸引软件公司投入的资本。 　　4.4 降低大数据的复杂度 　　目前大数据的技术有：逐步减少对MapReduce的依赖和在企业架构中置入Hadoop技术应用这两个特点。 　　4.5 大数据与云计算的融合 　　大数据与云计算是相互影响和共同发展的，云计算为大数据的服务提供了支撑环境以及高效的模式，而大数据也为云计算带来了新的商业价值。同时，云计算，互