Greenplum资源管理器.PDFVIP

Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国 （杭州站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国 （杭州站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 • OLAP • MPP(Massively Parallel Processing) 2017 年象行中国 （杭州站）第一期 Greenplum数据库 2017 年象行中国 （杭州站）第一期 Resource Queue • SQL语句并发控制 • 基于cost的并发控制 • 基于priority的CPU控制 • 内存控制 2017 年象行中国 （杭州站）第一期 Running Example • CREATE RESOURCE QUEUE rq WITH ( active_statements = 6, max_cost = 5e+06, cost_overcommit = true, min_cost = 50000, priority = high, memory_limit = ‘1024MB ); • CREATE ROLE r1 RESOUCE QUEUE rq; • SELECT * FROM gp_toolkit.gp_resqueue_status; 2017 年象行中国 （杭州站）第一期 内存控制 • virtual memory note keeping (gp_malloc) • statement_mem • gp_resqueue_memory_policy • work_mem spill files • gp_vmem_limit_per_query • gp_vmem_protect_limit • redzone runaway detector 2017 年象行中国 （杭州站）第一期 Redzone Runaway Detector 2017 年象行中国 （杭州站）第一期 Resource Queue • Deadlock – active_statements = ‘等待’ – SQL级并发控制= 可能持有锁 – 拿着锁等待= 环状等待 – Tx1: LOCK tbl; -- AccessExclusiveLock Tx2: INSERT INTO tbl; -- RowExclusiveLock, hang Tx1: SELECT * FROM tbl; -- hang 2017 年象行中国 （杭州站）第一期 Resource Queue • Self-deadlock – 每条SQL语句占用一个slot – extended query • prepare/bind/execute libpq protocol • cursor • named portal – SQL结束不一定释放slot – 一个事务用光所有slot 2017 年象行中国 （杭州站）第一期 Resource Queue • System PANIC – 需要睡眠/唤醒机制 – Count + LWLock + Lock • Count ：记录并发数 • LWLock ：保护count • Lock ：睡眠/唤醒，死锁检测，状态报告 – 维护Lock在共享内存的状态 – bug = lock table corruption = PANIC 2017 年象行中国 （杭州站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国 （杭州站）第