Greenplum Database 的分布式查询优化.pdfVIP

Greenplum Database 的分布式查询优化 吕正华 Pivotal Inc. 内容安排 • Greenplum Database架构 • 分布式查询计划和分布式执行器 • 如何修改Planner生成分布式查询计划 • 其他关于分布式查询计划的细节 Greenplum Database架构 • Greenplum是多个Postgres实例(segment)构成的集群 • 一个segment作为Master, 其余的是数据节点(也负责计算) • Share Nothing架构, 不同的segment直接没有数据共享 • Catalog在Master上是完整的, Segment上也维护一部分 • StandBy和Mirror也是segment, 和Master, Primary在不同机 器 • gp_segment_configuration维护了集群的架构信息 Greenplum Database架构 gp_segment_configuration 为什么需要MPP架构 • MPP(Massively Parallel Processing) • 数据量太大, 单机存不下, 因此只能将数据分片存到不同机器 • 数据量太大, 期待靠并行计算提升性能, 因此需要分布式执行 • MPP数据库必须解决的问题 • 数据分片策略(Greenplum支持hash, random, replicated) • 分布式查询计划(Locus, Motion) • 分布式执行器(Slice, Gang, Dispatch) 简单的执行策略 • 在master上利用做出单机的查询计划, 下发到各个segment执 行 • Master汇总各segment结果会返回给客户端 • 类似中间件, 支持的查询比较简单(不涉及到跨segment数据连 接) • 复杂查询(j oin, agg等)如汇总到单机执行效率太低 分布式查询例子 • 分布式执行器 • 必然涉及到多组进程协同工作 • 必须正确处理多组进程之间的数据通信 • 分布式查询计划 • SPMD(single program, multiple data) • 查询计划切片 • 查询计划能描述数据通信 典型的Greenplun分布式执行流程 分布式类型系统 ：locus • 分布式查询计划需要对数据分布建模 • Greenplum引入locus的概念 • 基础表的scan path的locus从分布策略中获取 gp_distribution_ policy • Motion path可以改变locus类型 • locus可以看做是path的分布式意义下的类型 • 在Postgres的Path结构里加了locus结构 • 自底向上推理每个path的locus Locus的种类和具体例子 Locus的推理 • cdbpathlocus_from_ baserel(由gp_ policy设置tablescan的 locus) • Catalog: entry • Table distributed replicated: seggeneral • Table distributed by (c1): hash locus • Table distributed randomly: strewn locus • cdbpathlocus_from_exprs(构建hash locus) • cdbpathlocus_from_subquery • 从subplan获取loc