深入理解Oracle的并行执行上.pdf

作者: 陈焕生 目录: Oracle 的并行执行 2 术语说明: 2 测试环境和数据 2 并行初体验 3 串行执行 3 并行执行 4 小结 6 生产者-消费者模型 6 Broadcast 分发, 一次数据分发 6 生产者-消费者模型工作原理 7 小结 9 如何阅读并行执行计划 9 HASH 分发方式, 两次数据分发 10 小结 12 Replicate, Broadcast 和Hash 的选择 12 Hash 分发, 有时是唯一合理的选择 12 使用broadcast 分发, 糟糕的性能 14 小结, Broadcast 和Hash 分发的陷阱 16 Partition Wise Join, 消除分发的额外开销 17 Partition Wise Join, 不需要数据分发. 17 当DoP 大于分区数时, Partition Wise Join 不会发生 19 小结 20 数据倾斜对不同分发方式的影响 20 Replicate 方式, 不受数据倾斜的影响 21 Hash 分发, 数据倾斜造成执行倾斜 22 小节 24 HASH JOIN BUFFERED, 连续hash 分发时执行计划中的阻塞点 24 使用Broadcast 分发, 没有阻塞点. 24 连续hash 分发, 执行计划出现阻塞点 25 小结 27 Hash join 和布隆过滤 27 关于布隆过滤. 27 布隆过滤对hash join 性能的改进 28 使用布隆过滤时的性能 28 不使用布隆过滤时的性能 29 HASH 分发时布隆过滤的生成, 传输, 合并与使用 30 小结 31 并行执行计划中典型的串行点 31 Rownum, 导致并行执行计划效率低下 32 自定义PL/SQL 函数没有设置parallel_enable, 导致无法并行 34 并行DML, 没有enable parallel dml, 导致DML 操作无法并行. 36 小节 37 总结 37 致谢 38 作者简介: 38 Oracle 的并行执行是一种分而治之的方法. 执行一个sql 时, 分配多个并行进程同时执行数据扫描, 连接以及聚合等操作, 使用更多的资源, 得到更快的sql 响应时间. 并行执行是充分利用硬件资源, 处理大量数据时的核心技术. 在本文中, 在一个简单的星型模型上, 我会使用大量例子和sql monitor 报告, 力求以最直观简单 的方式, 向读者阐述并行执行的核心内容: • Oracle 并行执行为什么使用生产者-消费者模型. • 如何阅读并行执行计划. • 不同的数据分发方式分别适合什么样的场景. • 使用partition wise join 和并行执行的组合提高性能. • 数据倾斜会对不同的分发方式带来什么影响. • 由于生产者-消费者模型的限制, 执行计划中可能出现阻塞点. • 布隆过滤是如何提高并行执行性能的. • 现实世界中, 使用并行执行时最常见的问题. 1. S: 时间单位秒. 2. K: 数量单位一千. 3. M: 数量单位一百万, 或者时间单位分钟. 4. DoP: Degree of Parallelism, 并行执行的并行度. 5. QC: 并行查询的Query Coordinator. 6. PX 进程: Parallel Execution Slaves. 7. AAS: Average active session, 并行执行时平均的活动会话数. 8. 分发: pq distribution method, 并行执行的分发方式, 包括replicate, broadcast, hash 和adaptive 分发等 4 种方式, 其中adaptive 分发是12c 引入的