FT2000+DPDK 网卡性能优化和性能测试.pdfVIP

FT2000+DPDK 网卡性能优化和性能测试 （V1.0 ） 天津飞腾信息技术有限公司 二零二零年四月 更新记录 版本号 发布部门 作者 发布日期 备 注 1.0 飞腾软件技术方案部 李文成 潘全通 2020-04-17 初稿 版权所有© 天津飞腾信息技术有限公司2019 。保留一切权利。 注意 天津飞腾信息技术有限公司对其发行的或与合作公司共同发行的包括但不限于产品的全部内容及材料所拥 有版权等知识产权，受法律保护。非经本公司书面许可，任何单位及个人不得擅自摘抄、复制本文档内容 的部分或全部，并不得以任何形式传播。 免责声明 我们仅仅提供技术上的咨询，对利用文档搭建环境所从事的研发活动没有技术支持责任，对相关研发成果 没有连带责任。 目 录 1. 文档目的 1 2. 飞腾2000+CPU 影响 IO性能的因素 1 2.1 外设访问NUMA 性能差异 1 2.2 报文首地址4 字节对齐 2 2.3 PCIE 桥接 2 3. FT2000+ 确定网卡对应的NUMA 节点的方法2 4. FT2000+ DPDK 网卡性能优化方法2 5. DPDK 网卡性能测试2 4.1 40G XL710 网卡性能测试一 2 4.2 40G XL710 网卡性能测试二 3 4.3 40G XL710 网卡性能测试三 4 4.4 40G XL710 网卡性能测试四 5 4.5 10G XL520 网卡性能测试五 6 1. 文档目的 文档主要记录了针对DPDK 在飞腾平台上的一些优化点，作为用于提高DPDK 网络测试性能的一些建 议。 2. 飞腾2000+CPU 影响 IO性能的因素 2.1 外设访问NUMA 性能差异 首先介绍一下飞腾2000+CPU 的内部体系结构。飞腾2000+CPU 内部分为8 个NUMA ，每个NUMA 上 有8 个CPU 。CPU0-7 在NUMA0 ，CPU8-15 在NUMA1 ，CPU16-23 在NUMA2 ，CPU24-31 在NUMA3 ， CPU32-39 在NUMA4 ，CPU40-47 在NUMA5 ，CPU48-55 在NUMA6 ，CPU56-63 在NUMA7 。内部PEU0 有一个PCIEX16 控制器， 一个PCIEX1 控制器；PEU1 有一个PCIEX16 控制器。通常一个PCIEX 16 控制 器又可以拆分成两个PCIEX8 控制器。目前FT2000+服务器上通常两个X 16 控制都拆分变成4 个X8 控制器， 这样在系统内部看见5 个PCIE 控制器。其中PEU0 接在NUMA0 ，PEU1 接在NUMA6 。接在对应PEU0 上 PCIE 插槽上的网卡，如果从NUMA0 上分配资源，报文收发传输路径最短；如果从NUMA6 上分配资源， 报文收发传输路径最长；因此从NUMA0 上分配资源性能最佳。同理接在对应PEU1 上PCIE 插槽上的网卡， 需从NUMA6 上分配资源性能最佳。 图1.FT2000+多核处理器体系结构 1 2.2 报文首地址4 字节对齐 影响IO 传输的效率，主要对于小包性能产生较大影响。DPDK 代码中数据包默认是128B 对齐。 2.3 PCIE 桥接 不同的桥接芯片，PCIE2.0 和PCIE3.0 IO 性能差异大。 3. FT2000+ 确定网卡对应的NUMA 节点的方法 FT2000+ 内部PEU0 有一个PCIEX16 控制器， 一个PCIEX1 控制器；PEU1 有一个PCIEX16 控制 器。一个PCIEX16 控制器又可以拆分成两个PCIEX8 控制器。目前FT2000+服务器上常见把两个X 16 控制都拆分变成4 个X8 控制