基于图计算的大数据分析系统 .pptx

基于图计算的高性能大数据分析系统 技术创新，变革未来大数据对分析平台的挑战大数据是指无法在一定时间内用常规软件工具对其 内容进行抓取、管理和处理的数据集合（维基百科 定义）大数据 = “海量数据”+“复杂类型的数据”大数据的特性（ Volume，Variety，Velocity）数据量大：PB、TB、EB、ZB级别的数据量种类多：包括文档、视频、图片、音频、数据库、层次状数据等速度快：数据生产速度很快；要求对数据处理和I/O速度很快2主流大数据平台 - Hadoop基于内存的大数据分析平台 -SparkSpark的局限性-数据模型层面Spark：只读数据对象次细粒度的数据更新时，间片由段 于spark基于粗大数据应用:部分数据更每新粒数度据RDD只读的数据对象模型，需要RDD变图遍历（BFS）换，即有大量数据的复制，导致处理效率 不高。...RDD5Spark的局限性-实现层面Spark基于Scala语言，运行在JVM上内存表示冗余，占用内存大内存分配与回收开销大GraphLab在某些任务上比Spark快10倍Gonzalez, Joseph E., et al. Graphx: Graph processing in a distributed dataflowframework. Proceedings of OSDI. 2014.图计算 – 折衷的大数据分析平台MPI，OpenMP GraphLab,Gemini MapReduce，Spark只读数据集容错方便，扩展 性好自动负载平衡可读写的数据容错困难不支持自动负 载平衡可读写的数据容错性能较好一定程度的自动 负载平衡扩展性性能图数据的重要意义图能够表达丰富的数据和关系网络连接网页链接社交关系蛋白质交互人与人，人与公司，人与产品图的计算与分析PageRank最短路径连通分支极大独立集最小代价生成树Bayesian Belief Propagation…代表性图计算系统PowerGraph OSDI’12Polymer PPoPP’15Galois SOSP’13GraphLabUAI’10Gemini OSDI’16PowerLyra EuroSys’15Distributed GraphLab VLDB’12Pregel SIGMOD’10Ligra PPoPP’132016201320152010201120122014PowerGraph/PowerLyra的问题计算性能低，处理小图时8台机器性能还不如单机系统twitter-2010数据集上，20 轮PageRank迭代(41.7M 结点, 1.47B 边)性能数据对比瓶颈在计算！1Galois8PowerLyra结点数 系统网络带宽远远没有饱和 执行了更(1多00指Gb令ps和) 更(38.1*8/2多/2访6.存9/8=0.708Gbps)19.326.9运行时间 (s)482G6.06T指令数分布式计算开销23.4G 87.2G内存访问数-38.1通信量(GB)IPC0.4140.655局部性差49.7%54.9%L3 缺失率计算不够优化CPU利用率低96.8%68.4%CPU 利用率twitter-2010数据集上，20 轮PageRank迭代(41.7M 结点, 1.47B 边)14分布式图计算系统Gemini在高效性的基础上支持扩展性避免没有必要的“分布式”副作用优化图的划分与计算设计理念的变化以计算性能为中心的分布式系统分布式系统有快速的通信网络计算可以与通信重叠效率优化自适应push-pull转换层次化的分块划分扩展性优化局部性感知的分块基于分块的任务窃取稠密-稀疏双模式的计算模型图计算中的活跃结点数在不同迭代步骤时不同活跃结点多，适合稠密模式活跃结点少，适合稀疏模式bxdenseSlotzsparseSignalasparseSlotadenseSignalzcycommunicationcomputationmastermirror双模式: 以BFS 为例 (1)Dual mode updates proposed in|Active edge set| / |E| threshold? Sparse mode? Push operationsshared-memory systems (Ligra[PPoPP ’13])Active edge set13Active vertex set240957Selective scheduling:only access out-edges68from active vertices1st iterationLocks/atomic operations required for correctness of concurr