基于云计算大规模图数据处理技术研究.docVIP

基于云计算大规模图数据处理技术研究 　　摘要：云计算是一种新型的互联网应用模式，更新了传统的IT产业，为IT产业的带来更大的发展空间，随着云计算的应用，对大规模图数据处理的要求越来越高，在这一背景下，需要在云计算的环境下进行大规模图数据处理技术的研究，从而提升大规模图数据的处理能力，该文通过对云计算的概述，在大规模图数据处理技术中应用云计算的优势，大规模图数据处理技术中云计算的应用三个方面进行具体的阐述，希望对未来我国基于云计算的大规模图数据处理技术更好的发展提供可参考性建议。 　　关键词：云计算；大规模图数据；处理技术 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）34-0244-02 　　在计算机科学中，应用最常见的抽象类数据结构之一就是图，有着比线性表更复杂的语义，也更具有表述能力。所以，对当前的大规模图数据处理提出了更高的要求。要实现对大规模图数据处理技术的优化，更加高效的处理大规模图数据，在云计算环境下，运用大规模图数据处理技术是非常重要的。 　　1 云计算的概述 　　云计算的概述主要从以下两个方面进行具体的论述：（1）云计算的核心是互联网，是一种类型的应用程序，也可以将其定义为一个系统平台，主要具有以下特点：虚拟化，云计算不具有实体，是一种网络工具；可扩展性和通用性，云计算的功能较多，可以支持不同的程序，使得云计算具有动态伸缩性，可以满足不同的程序的要求；高经济性，云计算拥有超强的容错性，在大规模的云计算过程中，可以应用廉价的云计算集群服务器支撑，发挥计算机的作用；（2）云计算技术，为保障云计算更广泛的应用，研究相关的云计算技术在其应用的过程中有着重要的作用，云计算技术主要包括：海量分布式储存技术，这一技术是云计算中最重要的储存数据的方式，具有高安全性、高经济性、高可用性的特点；数据管理技术，在云计算的过程中，需要对大量的数据进行分析、比较和储存等处理，在这一过程中需要更好的管理数据避免丢失；并行编程技术，在云计算的编程模式有效的运行的基础之上，提高云计算的运行质量和运行效率。 　　2 在大规模图数据处理技术中应用云计算的优势 　　根据上述中对于云计算的了解，本文将简要论述和分析基于云计算的大规模图数据的处理技术的优势：（1）便于图数据的储存和维护。在应用大规模图数据处理技术的过程中，可以处理GB级别的图数据量，甚至可以处理PB级别的数据量，远大于传统的数据内存，使其在数据库中不能被运用[1]。但是，在云计算的过程中，采用的是分布式的储存方式，可以储存大规模的数据。在云计算环境下应用大规模图数据处理技术，可以根据需要进行数据储存，保护数据的一致性，从而保证大规模图数据的储存过程中的数据安全；（2）大规模图数据的应用性得到提高。在云环境下，运用云计算的特点，对图数据进行分割处理，将图数据分割为若干小图，便于子图的应用，从根本上提高图数据的应用效果；（3）合理处理大规模的图数据。在技术和经济的角度看，云计算有更好的灵活性和伸缩性，适合处理弹性变化较大的图数据。 　　3 基于云计算的大规模图数据处理技术研究 　　3.1 基于云计算的图数据存储方式 　　现阶段，进行大规模图数据的管理过程中，比较常用的数据模型一般包括两种，一种是单数据模型，另一种是超图数据模型，两者均可进行有向图和无向图的处理工作，区别在于存储的格式不相同。作为大规模图数据的存储基础，云计算的分布式存储系统可以划为分布式的文件系统和分布式的数据库两种形式。前一种形式的代表为GFS、HDFS，其可以直接实现诸如邻接表、矩阵等不同结构的存储。后一种形式的代表为Big Table、Hbase，而其中的数据库模型直接可以划分为文档储存、列族存储、KV存数模型等。其中，文档存储的模型具有灵活性强、便捷度高的存储格式，比较适用于存储非结构化的数据内容；KV存储模型则比较适用于本文中研究的大规模图数据存储工作，并且其具有模式简单、支持海量存储的优势。当进行诸如Page Rank等?D数据处理工作时，KV存数模型无需经过繁杂、重复的查询操作，就能够完成数据的处理工作。例如：利用KV存储模型进行处理邻接表形式的图数据时，就可以将Key设定为图数据的源顶点，将Value设定为点的值与出边信息，该种方式比较有助于图数据的合并与迁移处理，从而提升空间原有的局部性，进而降低数据读取在查询处理期间的次数，最终提高数据的读取效率。 　　3.2 基于云计算的图数据分割 　　一般情况下，进行基于云计算的大规模数据处理工作时，都需要针对图数据开展分布式存储并行处理工作，主要是根据图数据原有的连通行、图计算的强耦合性等特征进一步提升图数据的处理工作效率，与此同时，为了使得处理效果更加，还需要降低各个子图数据之间的耦合度，此时，就