DW业务在MySQL上dump数据缓慢问题解决.docxVIP

DW业务在MySQL上dump数据缓慢问题解决 DW业务在MySQL上dump数据缓慢问题解决 作者：淘宝希羽/hickey 编辑：江西新华电脑学校 本文出自阿里巴巴数据库技术团队的微博，主要对数据挖掘业务在MySQL数据库上拉数据慢的问题进行分析和解决。以下是原文内容： 问题背景： 北京的DBA同学反馈，最近DW从MySQL拉数据，发现拉数据缓慢，当时进行了切换处理。后来经过DBA与业务方的分析，定位在某一台备库的拉数据速度明显比其主库要慢。 和DBA板桥进行详细沟通后背景后，看了板桥抓取的系统层面的信息后，发现iostat对比非常明显，大致怀疑是IO调度算法导致。用pt-summary看，发现内核版本和硬盘的调度不一样： 主备硬件环境差异对比： Kernel | 2.6.32-220.17.1.tb619.el6.x86_64 2.6.18-164.el5 sda | [deadline] 128 [cfq] 128 在板桥的组织下，我们拉上DW的同学重新测试了一把。 原始的sda硬盘IO调度策略为cfq： $ cat /sys/block/sda/queue/scheduler noop anticipatory deadline [cfq] Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util sda 4.95 21017.82 1697.03 144.55 53600.00 83889.11 74.66 39.44 16.24 0.54 99.11 sda 4.00 7135.00 196.00 470.00 6112.00 153664.00 239.90 71.69 122.19 1.50 100.10 sda 5.00 173.00 1567.00 276.00 49544.00 14152.00 34.56 19.00 9.87 0.54 100.10 sda 6.00 240.00 1317.00 206.00 41704.00 6600.00 31.72 21.21 14.13 0.66 100.10 sda 5.00 123.00 1956.00 54.00 61872.00 1288.00 31.42 18.25 9.14 0.50 100.10 sda 6.00 3368.00 1515.00 85.00 47880.00 27544.00 47.14 22.12 13.61 0.63 100.10 sda 6.00 190.00 1664.00 66.00 52720.00 2288.00 31.80 19.19 11.24 0.58 100.10 sda 9.00 533.00 999.00 1329.00 30960.00 54736.00 36.81 18.79 7.68 0.43 100.10 sda 18.00 466.00 1771.00 864.00 54032.00 36336.00 34.30 13.07 5.38 0.38 100.10 sda 4.95 95.05 1401.98 15.84 44435.64 641.58 31.79 21.46 14.08 0.70 99.11 sda 13.00 291.00 1639.00 67.00 50296.00 3128.00 31.32 16.82 10.70 0.59 100.10 sda 4.00 191.00 1512.00 17.00 47792.00 1136.00 32.00 23.93 15.50 0.65 100.10 sda 8.00 108.00 1699.00 52.00 53792.00 1280.00 31.45 25.18 13.85 0.57 100.10 sda 7.00 143.00 1429.00 27.00 45344.00 1824.00 32.40 18.71 13.19 0.69 100.10 sda 13.00 186.00 990.00 19.00 30888.00 1176.00 31.78 18.06 18.11 0.99 100.10 sda 3.00 102.00 763.00 12.00 24184.00 1232.00 32.79 16.64 20.77 1.29 100.10 将硬盘sda 的IO调度策略更改为deadline进行对比： $ sudo su -c “echo deadline | sudo tee /sys/block/sda/queue