基于云计算大数据分析.docVIP

基于云计算大数据分析 　　摘 要：大数据是随着云计算的兴起逐渐走进人们视野当中的，云计算为大数据提供平台，大数据又是云计算的主要对象，两者相辅相成。本文将从云计算和大数据的基本概念、基于云计算的大数据分析流程、基于云计算的大数据分析技术等多个方面对其进行深入的研究，以期更好地探讨其日后的发展方向。 　　关键词：云计算；大数据；虚拟技术；联机分析；分布式采集 　　随着互联网技术的不断发展，云计算作为传统计算方式的补充和发展逐渐被大家接受，随后出现的大数据更是以人类前所未有的视角还原了整个客观世界。基于云计算的大数据分析结合了大数据数据容量大、种类多、速度快和价值高的特点和云计算的计算优势，更是给互联网以及人类的进一步发展提供了更多的可能。 　　1.云计算和大数据的基本概念 　　1.1云计算的概念 　　云计算是一种数据密集型的新型计算方式，指通过网络将各个客户端连接起来的，将其中储存的大量内容和用以计算的信息资源制作成一个巨大的资源库，然后随时随地针对不同客户各异的需求对资源进行统一调控和管理的方式。这种计算方式是对传统的网格计算的衍生，是对分布式计算和并行计算的进一步发展。利用虚拟的“云”，客户端的用户可以便捷地使用这种计算方式以互联网技术为基础的强大储存空间、计算能力。这种计算技术的本质是对存储、服务器、软件这些资源进行虚拟化处理，因此云计算具有虚拟化的显著特征，进而其在数据储存方面的发展有着无限潜力，同时其巨大的储存能力也使之在数据管理方面有着传统计算方式不可比拟的优势。 　　1.2大数据的概念 　　大数据是需要近年来流行起来的一个热词，其本身的含义是需要具有更强的决策力、洞察发现力和流程优化能力的新处理模式才能适应的海量、高增长率和多样化的信息资产。大数据一般具有以下四个特征：巨量的数据规模、丰富的数据类型、较低的价值密度和快速的数据流转，即所谓的4V概念。最近，一些学者又补充了数据精确性的观点，被视为是大数据的5V模式。大数据不同于传统数据的线性模式，他是离散的、随机的，具有复杂性和爆发性的特点。有一句话说：大数据只会告诉你“是什么”而从来不会告诉你“为什么”。大数据讲究结果而不是关系。 　　1.3云计算和大数据的关系 　　云计算强调的计算，大数据注重的则是海量的信息资源和巨大的储存，大数据是云计算的计算对象，云计算的强大储存能力和信息处理能力（即计算能力）可以更加迅速方便地处理大数据急速增长的海量信息，在一定意义上云计算给大数据的处理提供了很好的平台。因此大数据的进一步发展和使用离不开云计算这种新型的对数据的处理模式。同时大数据海量的信息、丰富的数据类型和快速的信息流转的特征也给云计算的实施找到了更多的实践途径。 　　2.基于云计算的大数据分析流程 　　传统意义上的大数据分析需要经过数据收集、数据储存、数据传输和数据分析这四个步骤，基于云计算的大数据技术流程也一样。 　　2.1数据收集 　　大数据的收集方式主要有两种。第一种是集中式收集，这种收集方式的优点是易于控制整体数据，一般在企业内部数据采集当中使用。另一种是分布式收集，这种收集方式的优势是采集灵活性好，多在企业之间数据信息收集当中使用。基于云计算的大数据收集一般采用集中式收集和分布式收集相结合的方式，即在每个企业内部设置多个服务器作为虚拟组织内的集中式信息中心，然后将企业间的服务器进行连接实现资源的共享。 　　2.2数据储存 　　传统的数据存储是按行储存，需要大量的的牵引、时间和空间，同时其在维护上的成本也相当高。但是从定义中我们可以看出，大数据是信息的指数增长模式，大数据海量信息的特性是传统的数据储存方式无法适应的，因此大数据的进一步发展势必需要新的储存模式。针对这种情况，云计算就可以提供很好的解决方案。首先，基于云计算的数据储存是按照数据属性进行分类、单独存放的列式储存。这种储存方式由于数据类型相同，各列之间相似度较高，因此可以实现更高的压缩率。同时在进行数据查询的时候，用户也只需要访问涉及的属性列就可以了，因此不仅大大提高了系统输入和输出效率，也降低了了系统输入、输出的成本。其次，云计算技术的基本特征就是信息获取的高效便捷和安全可靠，因此基于云计算的大数据储存的最关键的技术之一就是及时储存数据。云计算采用分布式的储存技术将大数据海量的信息存储在服务器集群当中，然后也相当于在各个客户端进行备份。这就在保证存储、查询的高效性的基础上大大提高了数据储存的安全性。 　　2.3数据传输 　　基于云计算的大数据传输过程需要确保数据在云端，因此首先要解决的问题就是如何将数据传输到云端。这个问题曾经是业内很多人头疼的难题，但是后来压缩、协议优化、缓存、重复数据删除等广域网优化组合技术的出现使其最终解决成为了可能。但是上传的速率依旧有很