大数据应用的技术演变_new重点分析.docVIP

统计调研 第18期2013年12月23日 大数据应用的技术演变、关键技术需求及管理创新的研究 摘要：大数据浪潮汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器，在统计工作中，大数据的应用不可避免，如何能让政府统计抓住大数据这个利器，实现统计工作的跃升，将是我们面临的一项紧迫任务。 关键字：大数据 统计 创新发展 一、大数据的概念 1、大数据的概念。“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”是“大数据”的显著特征。 2、大数据的价值体现。大数据在5个方面创造价值，一是先见之明，通过已经发生的，正在发生的事件或实验结果发现或预测需求，洞察变化倾向；二是英明决策，通过自动算法代替来生成支持人类的决策；三是一目了然，能够及时有效的发现数据之间的关系；四是有的放矢，能够细化人群，定制行动；五是推陈出新，提供创新的商业模式、产品和服务。 二、大数据的发展演变 大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代。 数据技术发展历史如图所示： 大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值，而且未来急剧增长的数据迫切需要寻求新的处理技术手段。 目前，IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术。大数据并行处理没有通用和现成的解决方案，对于应用行业来说，云计算平台软件、虚拟化软件都不需要自己开发，但行业的大规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现，这些都为大数据处理技术的发展提供了巨大的驱动力。 三、大数据应用的核心技术需求 （一）分析技术 分析技术意味着对海量数据进行分析以实时得出答案，由于大数据的特殊性，大数据分析技术还处于发展阶段，老技术会日趋完善，新技术会更多出现。大数据分析技术涵盖了以下的的五个方面 1、可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。 2、数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据、挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。 3、预测分析能力。数据挖掘可以让分析师对数据承载信息更快更好地消化理解，进而提升判断的准确性，而预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。 4、语义引擎。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。 5、数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。 （二）存储数据库 存储数据库(In-Memory Databases)让信息快速流通，大数据分析经常会用到存储数据库来快速处理大量记录的数据流通。比方说，它可以对某个全国性的连锁店某天的销售记录进行分析，得出某些特征进而根据某种规则及时为消费者提供奖励回馈。 　 NoSQL数据库是一种建立在云平台的新型数据处理模式，NoSQL在很多情况下又叫做云数据库。其在处理海量数据同时请求时，它也不会有任何问题。比方说，如果有1000万人同时登录某个Zynga游戏，它会将这些数据分布于全世界的服务器并通过它们来进行数据处理，结果与1万人同时在线没什么两样。 （三） 分布式计算技术 如果想要同时处理实时分析与NoSQL数据功能，那么你就需要分布式计算技术。分布式技术结合了一系列技术，可以对海量数据进行实时分析。更重要的是，它所使用的硬件非常便宜，因而让这种技术的普及变成可能。SGI的Sunny Sundstrom解释说，通过对那些看起来没什么关联和组织的数据进行分析，我们可以获得很多有价值的结果。比如说可以分发现一些新的模式或者新的行为。运用分布式计算技术，银行可以从消费者的一些消费行为和模式中识别网上交易的欺诈行为。 分布式计算技术让不可能变成可能，分布式计算技术正引领着将不可能变为可能。Skybox Imaging就是一个很好的例