《乐视和小米基于openstack云计算方案.docxVIP

乐视云计算基于OpenStack的IaaS实践[日期：2015-09-22]来源： KVM虚拟化实践? 作者：[字体：大?中?小]　　本文作者岳龙广，现在就职于乐视云计算有限公司，负责IaaS部门的工作。　　从开始工作就混在开源世界里，在虚拟化方面做过CloudStack/Ovirt开发，现在是做以OpenStack为基础的乐视云平台。所以对虚拟化情有独钟，也对虚拟化/云计算的未来充满了信心。　　乐视网的所有服务是跑在乐视云上的，乐视云提供所有的底层支撑，包括IaaS/PaaS/Storage/CDN等等。为了带给用户更好的体验，乐视网的服务到哪，乐视云的底层服务就会跟到哪。　　其中虚拟化是必不可少的部分，它的快速提供、按需分配、资源隔离显得特别重要，但我们会遇到什么问题呢?　　今天的主要目的是分享我们在OpenStack项目中做的一部分工作，它们解决了内部的一些需求，也是实际经验，希望对大家有所启发。　　开始之前首先感谢肖总、浩宇、victor等朋友给予的大力支持，感谢群友、技术爱好者的围观。　　很荣幸有这次机会来与大家做这个分享。　　提纲：　　1. IaaS Architecture　　2. OpenStack Deploy QOS　　3. Multiple Regions　　4. LeTVLBaaS　　5. DEV　　乐视云计算IaaS的基本架构　　首先就是介绍一下乐视云计算基础架构，再介绍OpenStack网络组件的部署，Multiple Regions是什么样子的，更方便于使用的LeTVLBaaS，最后是开发/上线流程。　　乐视云计算IaaS采用了OpenStack和Ceph的开源方案，为乐视提供了云主机、虚拟网络、云硬盘和 S3 对象存储。　　?　　我们采用了Ceph RBD 作为统一存储，OpenStack使用的Cinder，后端接的是Ceph，Glance也是共享Ceph存储。　　我们同时还提供了 S3 对象存储，用作于 CND 源站，存储乐视网的视频以及客户需要分发的资源。　　S3 也是全国分布式部署，用户可以就近上传，再推送到北京。　　目前乐视云OpenStack规模已达 900 个物理节点，对象存储的数据达到数PB。　　Neutron Deployment QOS　　?　　我们 Havana 版本采用了 nova-network 的FlatDHCP类型。　　Icehouse 版本采用了 Neutron，再做足调研的前提下，我们对 Neutron 做了大量的减法，所用服务仅为 Neutron Server 和OpenvSwitch Agent，控制节点部署 Neutron Server(with ML2 plugin)，计算节点部署OpenvSwitch Agent。　　没有网络节点，因而没有用到DHCP Agent，L3 agent 和 Metadata Agent。物理网络使用 VLAN 做隔离。由于 Region 数量较多，每个 region 有不同的物理网络(对应ml2_conf 中的physical_network字段)，可以缓解 VLAN 数量的限制。　　私有云环境通过Config Drive 配置虚拟机网卡和 metadata，Public IP 地址直接配在虚拟机网卡上，走物理路由器。无论是 nova-network 还是 neutron，我们都采用了稳定可靠的网络，由于不存在网络节点的单点问题，因此集群在满足私有云的需求前提下，兼顾了可靠性、稳定性和可扩展性。　　优点：简单稳定，性能更好，这也是业务最需要的，线上业务稳定、可用性是最重要的。　　缺点：牺牲了灵活性，和物理网络的耦合度高　　为了防止某个虚拟机负载过高而影响其它虚拟机或者宿主机，我们做了了 CPU，Network 和 Disk IO 的QoS，其中Cpu的QoS采用cgroup实现，虚拟机网卡的QoS通过 TC 实现。　　一开始我们采用了cgroup限制 Disk IO，由于ceph采用了 Non-host-block，故cgroup无法限制基于ceph的 Disk IO, 因此我们采用了qemuio throttling。和cgroup相比，qemuio throttling 不仅仅能支持 non-host-block IO，同时限速的效果也更为出色，限速后，虚拟机的 IO 不会有太大抖动。　　此外，如果基于cgroup的 Disk IO 设置过小，会导致虚拟机删除失败。原因在于qemu提交的 Direct IO 必须完成后才能退出，使用过小的磁盘带宽导致此动作需很长时间才能完成，导致qemu进程不能及时响应libvirt发出的 SIGTERM 和 SIGKILL 信号。　　而如果使用qemuio throttling，则