大图数据启发式划分与管理在BC-BSP系统中的深度融合与应用探索.docxVIP

大图数据启发式划分与管理在BC-BSP系统中的深度融合与应用探索

一、绪论

1.1研究背景与意义

随着社交网络、知识图谱、生物信息网络等新型应用的兴起，以及云计算、物联网等新技术的快速发展，人类获取数据的规模正以前所未有的速度爆炸式增长，大数据时代已然来临。在众多领域和行业中，数据之间通常具有关联性，从而产生了大图数据。图作为一种表示对象与对象之间关系的方法，由若干顶点和连接它们的边组成，是计算机科学中常用的抽象数据结构，具有比线性表和树更为复杂的结构和语义，以及更强的一般性表示能力。

现实世界中的诸多应用场景都依赖图结构来表示，与图相关的处理和应用广泛存在。例如，在传统应用中，最优运输路线的确定、疾病爆发路径的预测、科技文献的引用关系分析、生物信息网络研究等；在新兴应用中，社交网络分析、知识图谱构建、数据万维网、人脑网络研究等，都涉及到大图数据的应用。然而，随着实体规模的不断扩张，图模型的数据规模迅速增长，往往包含数十亿个顶点和上万亿条边，除了庞大的结构信息，顶点和边上还附带各类丰富的属性信息，这使得大图数据的规模更加惊人。此外，大图上的统计分析算法通常需要基于图的结构进行循环和递归操作，直至达到收敛条件，这导致在并行迭代过程中会产生大量的消息数据等中间结果。同时，很多大图是动态变化的，如时序图、动态图等，其规模和结构会随着某种特定属性不断改变，需要对这些变化过程进行详细记录