- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
GreenPlum的并行查詢优化策略doc
GreenPlum的并行查询优化策略
文章分类:数据库
1、GreenPlum这种share nothing的架构:
?
??? 良好的发挥了廉价PC的作用。自此I/O不在是DW的瓶颈,相反网络的压力会大很多。但是greenplum的查询优化策略能够避免尽量少的网络交换。对于初次接触greenplum的人来说,肯定耳目一新。
?
?
2、greenplum的查询优化器
?
?????greenplum的查询优化器负责将SQL解析成每个节点(segments)所要走的物理执行计划。也是基于成本的优化策略:评估若干个执行计划,找出最有效率的一个。主节点master负责SQL解析和执行计划的生成。
?
?不像传统的查询优化器,Greenplum的查询优化器必须全局的考虑整个集群,在每个候选的执行计划中考虑到节点间移动数据的开销。一旦执行计划确定,比如有join,那么join是在各个节点分别进行的(本机只和本机的数据join)。所以它的查询很快。
?
?
3、查询计划包括了一些传统的操作,比如:扫描、Join、排序、聚合等等。greenplum中有三种数据的移动操作:
?
?? A: ?Broadcast Motion (N:N) ,即广播数据,每个节点向其他节点广播需要发送的数据。
?
?? B: Redistribute Motion (N:N)?,重新分布数据,利用join的列值hash不同,将筛选后的数据在其他segment重新分布。
?
?? C: Gather Motion (N:1),聚合汇总数据,每个节点将join后的数据发到一个单节点上,通常是发到主节点master。
?
?
4、一个简单的例子:
?
?
Sql代码
?explain?select?d.*,j.customer_id?from?data?d?join??jd1?j?on?d.partner_id=j.partner_id?where?j.gmt_modified?current_date?-80;??
???????????????????????????????????????QUERY?PLAN?????????????????????????????????????????
----------------------------------------------------------------------------------------??
?Gather?Motion?88:1??(slice2)??(cost=3.01..939.49?rows=2717?width=59)??
???-??Hash?Join??(cost=3.01..939.49?rows=2717?width=59)??
?????????Hash?Cond:?d.partner_id::text?=?j.partner_id::text??
?????????-??Seq?Scan?on?data?d??(cost=0.00..260.74?rows=20374?width=50)??
?????????-??Hash??(cost=1.91..1.91?rows=88?width=26)??
???????????????-??Broadcast?Motion?88:88??(slice1)??(cost=0.00..1.91?rows=88?width=26)??
?????????????????????-??Seq?Scan?on?jd1?j??(cost=0.00..1.02?rows=1?width=26)??
???????????????????????????Filter:?gmt_modified??(now::text::date?-?80)??
explain select d.*,j.customer_id from data d join jd1 j on d.partner_id=j.partner_id where j.gmt_modified current_date -80;
QUERY PLAN
----------------------------------------------------------------------------------------
Gather Motion 88:1 (slice2) (cost=3.01..939.49 rows=2717 width=59)
- Hash Join (c
您可能关注的文档
最近下载
- Android应用开发课程思政教案.doc
- 汽车用PA66类材料技术要求.doc
- prEN 50483-42007(中文版) 低压架空集束电缆附件的测试要求 第4部分连接器.pdf
- 化学药品原料药相关行业投资方案.docx VIP
- 2023大连市物理八年级上册期末试卷.doc
- 化学药品原料药相关项目投资计划书.pptx
- 中考作文指导:审题立意选材ppt(附范文)省公开课获奖课件说课比赛一等奖课件.pptx
- 2020-2021学年北师大版数学小学二年级上册第三、第四单元测试题及答案(各一套).docx
- 2023-2024学年天津市河北区高二(上)期末语文试卷.doc
- 回转圆筒干燥器设计的计算.doc
文档评论(0)