VSAN性能测试（基于三台浪潮认证服务器，IOPS大于9W） 201504.docx

VSAN性能测试指导By gaoyuan in 2014 June 本文档参考官方测试指导：/vsphere/2014/03/supercharge-virtual-san-cluster-2-million-iops.html官方标杆测试详解通用配置Virtual SAN 5.5的32个节点的集群，在VMware实验室中测得的IOPS达到每秒200万的高性能指标。下面详述了实验中的硬件和软件配置，及两个标杆测试的设置方法。两个标杆测试：一个100%读工作负载，另一个70%读30%写工作负载。根据Virtual SAN 推荐的最佳实践，集群中的节点采用统一型号和配置的服务器：Dell PowerEdge R720 。服务器硬件配置处理器: Dual-socket Intel Xeon CPU E5-2650 v2 @ 2.6GHz (Ivy Bridge). 8 cores per socket with Hyper-Threading enabled.内存: 128 GB DDR3. 8 x 16GB DIMMs @ 1833MHz网络: Intel 82599EB 10GbE存储控制器: LSI 9207-8i controller with phase 18 firmware.SSD: 1x 400GB Intel S3700 (INTEL SSDSC2BA40), firmware revision DL04.磁盘HDDs: 4 x 1.1TB 10K RPM Hitachi SAS drives (HUC101212CSS600), firmware revision U5E0; 3 x 1.1TB 10K RPM Seagate SAS drives (ST1200MM0007), firmware revision IS04网络基础设施Arista 7050 交换机, 10Gbe, 标准 MTU (1500 byte)软件配置集群中节点安装含有Virtual SAN 5.5 的vSphere 5.5 U1版本。修改了以下vSphere的默认值:下面 ESXi 的高级参数被重新配置了。更多关于ESXi高级参数的信息，详询下面链接/kb/1038578 .为vSphere网络堆栈增加堆（ heap ）的尺寸到 512MB. “esxcli system settings advanced set -o /Net/TcpipHeapMax -i 512”. 可以用下面方法验证这个设置 “esxcli system settings advanced list -o /Net/TcpipHeapmax”允许 VSAN 建立32个主机的集群. “esxcli system settings advanced set -o /adv/CMMDS/goto11 1”. 为 LSI 存储控制器安装 Phase 18 LSI 驱动 (mpt2sas version 18.00.00.00.1vmw).配置 BIOS 电源管理 (System Profile 设置) 为 ‘Performance’, i.e., 所有的省电功能都被关闭. (更多关于电源管理设置对性能峰值影响的背景资料请参考this whitepaper).Virtual SAN配置每个主机上一个单独的磁盘组. 每个磁盘组包括1个SSD和7个HDD每个主机分配1个独立的 Virtual SAN vmkernel 端口, 专用的10GbE 上行链路.100% 读基准测试下面配置用来测试 100% 读 IO 场景。VM 配置每个主机分别运行一个单独的VM，配有4-vcpu安装32-bit Ubuntu12.04 操作系统，每个VM 在VSAN数据存储中分配8个虚拟磁盘 (vmdk 文件) 。磁盘分布在两个 PVSCSI 控制器上。采用默认的 pvscsi驱动 – version -k.在测试中我们修改了pvscsi的引导时间参数来更好地支持带有高outstanding IO值的大规模的工作负载（来自百度文库：outstanding IO代表模拟多个应用的IO，默认是1）: “vmw_pvscsi.cmd_per_lun=254 vmw_pvscsi.ring_pages=32″. 更多背景设置信息，请参考/kb/2053145.在基准测试中, 我们对vmdks应用基于存储策略的管理配置 HostFailuresToTolerate=0。工作负载配置每个 VM内, 用 IOMeter 运行8 个worker的线程. 每个线程运行在一个单独的8GB vmdk上。每线程运行100% 读,80% 随机的4k的工作负载，边界与4k对齐，每个worker设置16 个Outstandi