基于OpenstackKVM虚拟机调优.docVIP

基于OpenstackKVM虚拟机调优 　　【摘 要】针对Openstack平台中KVM虚拟机CPU利用率异常过高的问题，从虚拟机CPU模式、NUMA运行状况两方面入手进行分析，通过调整Openstack参数、升级虚拟机操作系统等策略，提升了Openstack平台的可用性。未来，将通过cloud-init云个性初始化、Ceph系统维护与能力挖掘等措施进一步优化平台性能，在最大程度地发挥Openstack优势的同时规避其存在的短板和缺陷。 　　【关键词】Openstack KVM 虚拟机 调优 　　1 引言 　　浙江移动已经建设了面向业务支撑系统与管理信息系统等业务的私有云平台，平台虚拟化软件采用Vmware Vsphere 5.5 enterprise edition，目前已稳定运行了较长时间，但同时也存在以下不足： 　　（1）商业计算虚拟化软件价格过高，总体拥有成本偏高，有必要进行开源计算虚拟化软件验证研究。 　　（2）存储资源池是IaaS层的核心能力之一，能够提供灵活的分布式存储服务，现有存储资源池能力仅局限于传统磁盘阵列虚拟化，且占比较低，缺少基于X86服务器本地磁盘架构的分布式存储架构。 　　为了解决上述不足，浙江移动引入Openstack开源云化技术与Ceph开源分布式存储系统，将两者进行结合形成一个新模式的IaaS服务平台： 　　（1）基于一组思科UCS刀片服务器搭建Openstack平台（Juno版），采用KVM虚拟化技术，使Openstack具备Live Migration的能力。 　　（2）在Openstack网络模式选型上，综合考虑浙江移动IT系统自身架构的特点与Openstack的技术原理，定制了基于DVR的L3与Flat并存的网络模式，不仅为虚拟机提供了良好的网络性能，同时也具备了SDN的功能。 　　（3）选择阵列存储与Ceph分布式存储并存的模式，其中阵列存储主要用于主机操作系统的SAN Boot Disk，Ceph则为Openstack提供云存储。 　　2015年11月上旬，CRM APP系统所使用的KVM虚拟机的CPU出现了使用率过高异常的现象，异常率达到70%以上，相同业务压力下同性能配置的Vmware虚拟机的负载却非常低，只在10%以内波动，并且发现KVM宿主机的CPU使用率也异常高。由此可见，Openstack不是一个商业产品，为达到安全生产的标准，需要对其在虚拟机、网络、存储以及高可用性等方面进行模式选定与优化，在最大程度发挥Openstack优势的同时规避其存在的短板和缺陷。 　　2 原因分析 　　本文从两方面入手分析KVM虚拟机的CPU使用率过高异常的原因。 　　2.1 KVM虚拟机CPU模式 　　通过比较Vmware与KVM的虚拟机CPU信息，发现KVM虚拟机CPU模式存在如下问题： 　　（1）缺少L3 Cache：初步分析是虚拟机CPU虚拟化模式选择不合理所导致。 　　（2）CPU不是NUMA架构并且CPU Topology不合理：KVM宿主机物理CPU属于NUMA多node的结构，虚拟机的CPU只有一个NUMA node，所有CPU Core都在这一个node中，且虚拟机CPU的Topology是多Socket单Core的形式。KVM虚拟机CPU信息和Vmware虚拟机CPU信息分别如图1和图2所示。 　　2.2 KVM宿主机与NUMA运行状况 　　在NUMA的CPU内存架构下，无论是物理主机还是虚拟机，如果NUMA的配置不合理对应用程序的性能都有较大的影响，并且不同类型的应用都有不同的配置需求。 　　Vmware ESX 5.0及之后的版本支持vNUMA特性，它将Host的NUMA特征暴露给了GuestOS，从而使得Guest OS可以根据NUMA特征进行更高性能的调度。SUSE与Redhat作为原生的操作系统在NUMA调度上需人为根据应用程序类型做特殊配置。 　　在优化之前，CRM APP的KVM虚拟机的NUMA调度状态非常不理想，表现为所有NUMA节点的numa_miss统计数值大于numa_hit，这意味着CPU访问内存的路径不是优化的，存在大量CPU访问remote memory的情况。因为宿主机Ubuntu 12.02自身带有Automatic NUMA balancing，所以物理主机NUMA调度运行状态良好。 　　3 调优策略与效果 　　针对上述的原因分析，采取的调优策略如下所示。 　　3.1 KVM虚拟机CPU模式调优 　　（1）缺少L3 Cache 　　针对该问题，检查了Openstack的nova.conf配置文件libvirt部分的cpu_mode的参数配置是host-model，该参数含义是根据物理C