DATAGURU专业数据分析社区参数优化.ppt

大纲 参数优化 系统优化 参考资料 参数优化 参数优化--innodb_buffer_pool_size 参数优化--innodb_buffer_pool_instances 将innodb_buffer_pool划分为不同的instance 每个instance独立的LRU、FLUSH、FREE 独立的mutex控制 参数优化--innodb_log_file_size 参数优化--innodb_log_buffer_size 先写入innodb_log_buffer buffer写满或事务提交，刷新数据 大事务频繁，增加innodb_log_buffer_size大小 参数优化--innodb_thread_concurrency innodb_thread_concurrency = 0，innodb内部自己控制 kernel_mutex竞争 CPU上下文切换 innodb_thread_concurrency设置为cpu的核心数 参数优化--innodb_io_capacity innodb每秒后台进程处理IO操作的数据页上限 innodb_buffer_pool_size总的io处理能力上限 innodb_buffer_pool_instances分割成多个内存块时，每个内存块的IO处理能力为：innodb_io_capacity/innodb_buffer_pool_instances 参数优化--innodb_max_dirty_pages_pct innodb从innodb buffer中刷新脏页的比例 刷新脏页，产生checkpoint 脏页刷新innodb_max_dirty_pages_pct * innodb_io_capacity 参数优化--innodb_flush_method O_DSYNC：使用O_SYNC打开和刷新log文件，使用fsync()刷新数据文件。 O_DIRECT：使用O_DIRECT打开数据文件，使用fsync()刷新日志文件和数据文件。 在raid设备上，为了避免数据被innodb_buffer和raid多次cache，设置为O_DIRECT方式。 参数优化--innodb_file_per_table 不同的表空间可以灵活设置数据目录的地址 避免共享表空间产生的IO竞争 参数优化--innodb_flush_log_at_trx_commit 0：每秒将log buffer的内容写事务日志并且刷新到磁盘； 1：每个事务提交后，将log_buffer的内容写事务日志并数据磁盘； 2：每个事务提交，将log_buffer内容写事务日志，但不进行数据刷盘 参数优化--sync_binlog 刷新binlog的数目 双1模式，即：innodb_flush_log_at_trx_commit = 1，sync_binlog = 1，这样主备的数据是一致的，不会丢失数据。 系统优化--NUMA 在os层numa关闭时，打开bios层的numa会影响性能，QPS会下降15-30%； 在bios层面numa关闭是，无论os层面的numa是否打开，都不会影响性能。 系统优化--malloc 1、下载jemalloc源码包 wget /download/jemalloc/jemalloc-3.6.0.tar.bz2 tar -xjf jemalloc-3.6.0.tar.bz2 2、编译安装 cd jemalloc-3.6.0; ./configure;make make install 3、配置MySQL [mysqld_safe] malloc-lib=$PATH/libjemalloc.so 系统优化--网卡 RSS: Receive Side Scaling。网卡多队列，需要硬件支持。网卡接收到网络数据包之后，要发送一个硬件中断，通知CPU取数据包。默认配置，都是由CPU0去做。 RPS: Receive Packet Steering。向某CPU发送一个软中断，来接收数据包，并递交给应用程序。 RFS: Receive Flow Steering。维护两张hash表，实现将软中断分散到多颗CPU去处理。 系统优化--内存插法 6根内存在4通道里的插法为：2/2/1/1，简称42插法 6根内存在4通道里的插法为：2/2/2/0，简称33插法 HP/DELL/华为/英业达对比： HP/DELL/华为保持42插法性能会比33插法性能高。NUMA开启，QPS提升8-20%；NUMA关闭，QPS值能提升12-38%。 英业达无论何种插法都表现良好 参考资料 1、《innodb parameters》/doc/refman/5.5/en/innodb-parameters.html 2、