虚拟化环境下的网络IO性能优化.docVIP

上海交通大学硕士学位论文 第一章 绪论 背景综述 云计算是一种基于互联网的计算方式，它共享软硬件资源，并通过合理的方 式按需求分配给不同的计算机和其它设备。不同于传统的网格计算和分布式计算， 云计算依照客户的需求自由定制，弹性扩种，并且保证非常好的稳定性，可用性 和扩展性。云计算的兴起不仅是技术的一次革新，更是传统计算方式的一次重大 变革。 狭义的云计算是 IT 基础设施的购买，交付和使用模式，以互联网为载体获得 计算资源。广义的云计算是指计算服务的交付和使用，按需求购买，并容易扩充。 而这样的服务可以是和互联网相关，也可以是其它更广义的服务。随着云计算技 术的成熟，越来越多的企业通过部署云计算简化了 IT 环境配置，减少了硬件采购 成本，提升了企业竞争力，并且这样的集中资源整合和分配也使得整体效能达到 最大化[1]。 体系结构虚拟化（Architecture Virtualization）作为云计算技术的基础，扮演着 至关重要的作用，并且已被广泛应用于数据中心和计算集群中。云计算将统一的 计算资源进行统一分配，使得多个不同的操作系统共同运行于同一台物理机，共 享宿主机的计算、存储、网络等资源，并且可以根据不同虚拟机的负荷灵活调整 计算资源分配，保证每一个客户服务的高可用性。虚拟化技术保证了不同虚拟机 之间严格的隔离性，确保了每个虚拟机实例的运行安全。除此之外，虚拟化技术 提供的动态迁移特性使得每个虚拟机可以在业务不被中断的情况下整体转移到其 它的计算节点，从而保证了服务的高可用性。 研究目的 目前体系结构虚拟化技术已经有很多比较成熟的产品，比如 Xen[2]，KVM[3] 和 QEMU[4]等，它们采用不同的技术方法实现了体系结构虚拟化。并且已有的很 多研究对虚拟化环境下的特定场合的 I/O 性能做了积极的优化尝试，比如同一个 宿主机上的不同虚拟机之间的通信，借助虚拟机管理程序的协助以及共享内存， 虚拟机间的网络通信性能得到了极大的提升。不过这样的应用也是仅仅是针对特 定的场合做的优化，并不具有普遍性。 - 1 - 万方数据 上海交通大学硕士学位论文 虚拟机是以一个普通的进程运行于宿主机操作系统的，因此在理想状态下， 虚拟机间的 I/O 通信效率理论上可以达到或接近操作系统中不同进程间的通信效 率（IPC），而虚拟机和宿主机在本质上是共用一块物理内存的，因此虚拟机和宿 主机的 I/O 性能也可以通过优化达到更好的性能表现。因此本课题的研究目的就 在于优化虚拟机环境下虚拟机的 I/O 效率，通过共享内存传递虚拟机的 I/O 请求和 数据，通过 I/O 请求合并缓冲，减小系统切换的开销，从而使得虚拟机的 I/O 效率 得到提升。 研究意义 I/O 密集型系统应用越来越多地被部署在云计算环境下，比如数据检索模型， 分布式数据库或者 Map-Reduce 计算模型，都是较为普遍的案例，因此虚拟化环境 下的 I/O 优化研究有着现实而重要的意义。并且随着数据中心的规模越来越大， 越来越多的企业将复杂的应用部署在云上，更加优秀的 I/O 性能表现同时也意味 着更高的资源利用率，更少的资源浪费，更低的运营成本，其意义不言而喻。 本文结构 本文的结构组织如下：第二章介绍了虚拟化的一些基本信息，并且详细介绍 了 KVM 虚拟化环境下的 CPU 管理、内存管理和 I/O 管理。并最终提出了当前虚 拟化网络 I/O 效率低下的原因。第三章介绍了当前虚拟化领域内 I/O 优化的一些方 案；第四章介绍了基于共享内存虚拟化网络优化设计与实现，即 virtsocket，一个 基于共享内存的虚拟化 I/O 优化解决方案。第五章做了 virtsocket 的性能测试，通 过吞吐量和延时 2 个指标，对比测试了 virtsocket 和其它几种网络的性能表现。第 六章总结了本课题的研究成果，并提出了后续工作。 - 2 - 万方数据 上海交通大学硕士学位论文 第二章 虚拟化概述 虚拟化综述 虚拟化技术出现于上个世纪，并在 70 年代逐渐流行起来。计算机通过运行一 个虚拟机监控器（Virtual Machine Monitor）的程序，使得许多独立的操作系统实 例可以在其上运行。随着技术的不断发展，虚拟化技术被应用到更多更广泛的场 合。虚拟化技术的利用可以明显降低 IT 成本，减少资源损耗，提升系统性能的一 种行之有效的方式。 虚拟化技术通常是指体系结构虚拟化（Architecture Virtualization）。通过虚拟 化技术模拟出的计算机我们称之为虚拟机，而承载多个虚拟机的计算机我们称之 为宿主机。 从技术实现层面来讲，体系结构虚拟化可以分为全虚拟化和半虚拟化。 全虚拟化 全虚拟化（Full-Virtualization）是指虚拟机管理程序完