中间件在多路平台上的NUMA调优指南修改版4.DOCVIP

PAGE \* MERGEFORMAT 1 PAGE \* MERGEFORMAT 1 中间件在多路平台上的NUMA调优指南  文档更新记录 文档编号: 文档名: 中间件在多路平台上的NUMA调优指南 版本号 0.1 创建人: 王雪倩 创建日期 : 2016.9.18 更新历史 序号. 更新日期 更新人 更新内容 1 2016.9.18 王雪倩 第一版 2 3 4 5  目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc2139954805 1. NUMA调优原理 PAGEREF _Toc2139954805 4 HYPERLINK \l _Toc921420411 2. 多路服务器的NUMA绑定优化方法 PAGEREF _Toc921420411 4 HYPERLINK \l _Toc1196626586 2.1 查看系统cpubind数 PAGEREF _Toc1196626586 5 HYPERLINK \l _Toc550857140 2.2 复制多份中间件，修改端口号 PAGEREF _Toc550857140 5 HYPERLINK \l _Toc1862438501 2.3 对中间件启动脚本进行numa绑定 PAGEREF _Toc1862438501 6 HYPERLINK \l _Toc1888303176 2.4 配置负载均衡器 PAGEREF _Toc1888303176 6 HYPERLINK \l _Toc1472577487 2.5 检查numa绑定状态 PAGEREF _Toc1472577487 7 HYPERLINK \l _Toc1510751868 3. 性能提升案例 PAGEREF _Toc1510751868 7 1. NUMA调优原理 在龙芯的多路服务器上，可能会出现这样一种现象：多路服务器的性能比单路服务器的性能提升不明显。典型的是运行中间件这种多线程的并发应用。 原因是多路服务器上是有多个CPU和多个物理内存条，普遍使用的SMP（对称多处理）模型，即操作系统将多个物理内存条作为一大块连续内存，所有CPU都能够访问到这个共享内存的所有单元。但是，由于处理器之间互联进行通讯时要有一定的开销，因此所有CPU到所有物理内存的访问速度是不同的，是NUMA（Non-Uniform Memory Access）模型。 以图1为例，一台机器有2个处理器（cpu0, cpu1），在每个处理器上接两个内存条（memory0.1, memory0.2, memory1.1,memory1.2），总共有4个内存块。一个处理器和直接相连的两个内存条合起来，称为一个NUMA node，这样这个机器就会有两个NUMA node。在物理分布上，一个NUMA node之内的处理器和内存块的物理距离更小，因此访问也更快。而如果跨node访问内存，则速度会变慢。在NUMA node1中，cpu1访问memory1.1和memory1.2就比访问memory0.1和memory0.2更快。 基于这一个原理，可以解释“多路服务器的性能比单路服务器的性能提升不明显”的问题。对于运行在多路服务器上的多线程应用程序，操作系统默认会随机分配物理内存，从而导致线程运行在CPU0上、而访问的数据位于CPU1所连接的memory上，这样会导致应用程序运行速度下降。 为了充分发挥多路服务器上应用程序的性能，可以利用操作系统提供的命令工具，对应用程序使用的CPU和物理内存进行绑定，保证本node内的CPU只访问本node内的内存块。本文档就介绍这样一种优化方法，在实施之后一般都能够使多路服务器上的中间件提升80%性能。 CPU0CPU1SLOWFASTFASTFASTFASTmemory0.1 CPU0 CPU1 SLOW FAST FAST FAST FAST memory0.1 memory1.2 memory1.11 memory0.2 图 1 NUMA架构 比如一个OA系统在3B2000双路服务器上运行，进行压力测试时发现性能较低，不能满足用户需求，那么接下来就需要进行多路服务器的NUMA绑定调优。以3B2000双路服务器为例，介绍具体实现方法。 2.1 查看系统cpubind数 在终端中执行命令（以3B2000双路服务器为例）： # numactl --show policy: default preferred node: current physcpubind: 0 1 2 3 4 5 6 7 cpubind: 0 1 nodebind: 0 1 membind: 0 1 cpubind后面的数字说明机器是2路，意味着需要绑定2个中间件。