基于云计算环境下的大规模数据处理技术探究.pdfVIP

理论与算法 2016.01 基于云计算环境下的大规模数据处理技术研究 李慧玲 （长治学院，山西长治， 046000） 摘要：随着计算机技术与互联网技术的发展，网络信息和数据量日益增长。诸多领域当中，都具有极大规模的数据信息。而在 这些领域当中，需要对这些大规模数据进行处理和计算，需要完成极其庞大的运算量。基于此，采用基于云计算环境下的大规 模数据处理技术，能够有效的打破这些限制，从而实现更加高效、快速的数据计算。 关键词 ：云计算环境；大规模数据；处理技术 Research on large scale data processing technology based on cloud computing environment Li Huiling (Changzhi University,Shanxi Changzhi,046000) With the development of computer technology and Internet technology, network information and data Abstract ： is increasing.In many areas,it has a great scale of data information.In these areas,the need for these large-scale data processing and computing,the need to complete a very large amount of computation.Based on this,the large-scale data processing technology based on cloud computing environment,can effectively break the restrictions,so as to achieve more efficient and fast data computing. cloud computing environment;large scale data;processing technology Keywords ： 1 大规模廉价计算平台 处理的时候，部署存储和计算资源，同时设定计算流程和数据处 理方案。将相关参数设置信息在存储和计算资源的配置文件当中 利用虚拟化技术，能够实现大规模廉价计算平台，将存储、应 进行写入之后，以此对计算流程进行分配，从而在计算节点中启 用程序、网络、计算等资源作为虚拟化实体。利用虚拟化技术，在 动相关的资源，并且管理和部署计算节点的定制处理服务。 单个节点计算平台中进行应用，并利用虚拟化技术有效的利用和 在大规模数据处理当中，需要应用很多软硬件资源，对这些 组织闲置的计算平台。对闲散的计算资源进行抽象，使之形成相 资源要进行管理和监测。部署工具通过网络连接到目标计算节点 互之间完全独立的虚拟服务器实例，从而独立的完成数据处理和 和计算流程，然后执行大规模数据处理方案。然后根据相应的方 计算。通过这种方式，就能够实现底层硬件的虚拟化。 案，通过代码对存储和计算资源进行分配和