MySQL压测时Linux中断异常飚高.docxVIP

MySQL压测时Linux中断异常飕高，原 来是因为….系统环境 OS： CentOS Linux release 7.8.2003 (Core) MySQL：用5.0、5.7均有此问题，应该和版本无关.压测工具 benchyou^l mysql_random_load ［刃.问题现象 利用mysql_random_load工具连接 MySQL写入数据 时，性能非常非常低。 由于 mysql_random_load 工具不支持通过 sock6t连接， 只好放弃，改用benchyou。顺便说一下，benchyou和 sysbench极为相似，也非常好用。 改用benchyou工具后，压测正常。看来确实不是MySQL 版本的问题。 用mysql_random_load工具进行压测时，系统负载非常 高，同时可观测到系统的中断也很高并且也很不均衡。 root@yejr.run]/ -S /〃）「ocsmemoryswapiosystemcpu■ r b swpd freebuff cachesisobi bo in cs us5 00 7358325704 55854 9838615 2 83 0 0| 可以看到system.in这列的值非常高，改成benchyou工 具后，这列的值从5.5万降到1.6万。 [root@yejr.run]#「〃，、/〃/ -S /〃 1procs procsmemoryswap procsmemoryswaposystem procsmemoryswap osystemcpu 4 0 0 77238 2 38371 0 0 118 88 2 3 0 0 99 0 2 0 0 77234 2 38374 0 0 0 31620 16039 77988 3 2 95 0 0 2 0 0 77231 2 38377 0 0 0 31996 16091 78926 3 2 95 0 0 3 0 0 77229 2 38378 0 0 0 33028 16347 81006 3 2 95 0 0 0 0 0 77226 2 38383 0 0 0 52412 15496 75715 3 2 95 0 0 2 0 0 77224 2 38384 0 0 0 32252 16167 79352 3 2 95 0 0 再看下有问题时的系统中断表现 “oot@yejr.run]# mpstat -/ SUM -P ALL / )5:37:41 PM 21 1130.0005:37:41 PM 22 1750.00 05:37:41 PM 23 1653.0005:37:41 PM 24 1417.00 05:37:41 PM 25 1547.005:37:41 PM 26 1500.00 05:37:41 PM 31 1549.00可以看到每秒中断总量有5.5万，但多个CPU间并不均 衡。 .问题分析初步认定是因为系统中断太高导致的写入性能差，并且 也认定是因为多个CPU间中断不均衡导致的这个问题。 观察是都有哪些中断比拟高，发现主要是LOC和RES 这两个每秒的增长比拟大。 |[root@yejr.run]# watch -d cmpMI:0000 Performance monitoring interrupts^M CAL: 5131479 653971511211131 Function call internipts| TR\I:()()()() Thein】” e\e】i inie「「iipl、，BE^^^M在尝试修改相关中断号绑定的CPU后(参考：SMP affinity and proper interrupt handling in Linux [3]), 问题还是没有得到缓解。 后来某神秘大佬给指点了下，才发现原来是个内核的 bug,涉及到参数kernel.timer_migration,需要将其设 置为。才行。 [root@yejr.run]# sd/ -山 ke门ieLlinier_niix「a[i()n = ()当然了，最好持久化写入到/etc/sysctl.conf文件中。 [] ( 〃/sv.s kernel.timer mioration=() oot@yeir.runl# .vv.sc// 再次用mysql_random_load工具进行压测就没事了。 下面是关于该bug的描述he bug is when linux os receive too many tcp packages, bnd the lep may add too many limer, butket」argel_base?get_nohz」imer」arget it chec