浅谈大数据对云计算作用.docVIP

浅谈大数据对云计算作用 　　摘 要：我们目前正处在一个数据爆炸性增长的大数据时代，大数据在我们社会的各个方面都正在产生着深远的影响，具有优势的云计算必将是大数据的存储、管理的重要技术，大数据也肯定会对云计算的发展产生重要影响。 　　关键字：大数据； 云计算； 发展 　　1 云计算 　　1.1 云计算的概念 　　云计算是一种基于互联网的计算方式，通过云计算，共享的软件、硬件资源以及信息可以按需求提供给计算机和其它设备，一般是基于互联网相关的服务的增加、使用和交付模式，一般涉及通过互联网来提供动态、易扩展且虚拟化的资源。云是网络、互联网的一种比喻说法，狭义云计算一般指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算一般是服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其它服务。 　　1.2 云计算的特征 　　云计算具备的主要特征是以网络为中心、资源配置动态化、需求服务自助化以及资源的池化和透明化。 　　1.3 云计算的技术 　　云计算的核心技术就是并行计算。并行计算一般指同时使用多种计算资源解决计算问题的过程，通过并行计算集群完成数据的处理，再将处理的结果返回给用户。 　　2 大数据 　　2.1大数据的概念 　　大数据成为了近两年来的一个热门话题，它指无法在一定时间内用常规软件工具对其内容进行提取、处理和管理的数据的集合。大数据技术是指从各种各样类型的数据中快速获得有价值信息的能力。 　　2.2 大数据的特点 　　大数据主要具有4个基本特征，分别是数据体量巨大、数据类型多样、处理速度快和价值密度低。 　　2.3大数据的处理 　　大数据处理步骤是这样的，首先进行数据采集，接着是导入或预处理，然后是统计及分析，最后是数据挖掘。整个大数据处理的一般流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。 　　3 大数据技术和云计算的关系 　　在大数据时代，特大超大数据量和占相当大比例的半结构化以及非结构化的数据已经超越了目前大型数据库管理能力，大数据技术必然是IT领域新一代的技术与架构，它将帮助我们存储、管理好大数据，并从大数量、及其复杂的数据中提取有价值信息，相关的技术和产品必将不断涌现，很有可能使得IT行业开拓一个新的时代。大数据技术的本质仍是数据，它关键的技术不外乎大数据的存储管理和大数据的检索使用。围绕着大数据，很多数据挖掘、数据存储、数据处理与分析技术必将不断出现，让我们处理海量数据更加容易、更加便宜和快捷，成为企业经营的好助手，甚至可能改变许多行业的经营方式。 　　首先，云计算及其分布式结构将是大数据的商业模式与架构的重要途径。大数据处理技术正在改变目前计算机的运行模式，同时也正在改变着这个世界，它将能处理各种类型的海量数据，无论是文章、文档、电子邮件、微博、音频、视频，还是任何其它形态的数据，它工作的速度应该是非常快速几乎实时的，它也必须具有普及性，因为它可以使用最普通、低成本的硬件。而云计算是将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务，云计算及其技术给了人们使用廉价就可获取大量计算和存储的能力，云计算的分布式架构能够很好地支持大数据存储和处理需求，这样的低成本硬件加上低成本软件并配以低成本运维，更加经济实惠，使得大数据处理和使用成为可能。 　　此外，大数据的存储和管理必然是云数据库。一部分人把NoSQL叫做云数据库，因为其处理数据的模式完全是分布于各种低成本服务器和存储磁盘，因此它可以帮助网页或各种交互性应用快速处理过程中的海量数据，它采用分布式技术结合了一系列技术，可以对海量数据进行实时分析，满足了大数据环境下一部分业务需求。但我说这是不正确的，至少是片面的，是无法彻底解决大数据存储管理需求的。云计算对关系型数据库的发展将产生巨大的影响，而绝大多数的大型业务系统、电子商务平台所使用的数据库还是基于关系型的数据库，随着云计算的大量应用，势必对这些系统的构建产生影响，进而影响整个业务系统及电子商务的发展和系统的运行模式。基于关系型数据库服务的云数据库产品将是云数据库的主要发展方向，云数据库可以提供海量数据的并行处理能力和良好的可伸缩性等特性，提供同时支持在在线分析处理和在线事务处理能力，可提供超强性能的数据库云服务，并成为集群环境和云计算环境的理想平台。 　　云数据库必然是一个高度可扩展、安全和容错高的系统，客户能通过整合降低成本，管理大量数据，提高所有应用程序的性能和实时性，做出更好的业务决策服务。这样的云数据库首先要能够满足海量数据处理，需要能够处理PB级的数据，同时应对百万级的流量。还要能够进行大规模集群管理，采用分布