OpenStack在天河二号的大规模部署实践(转) .pdfVIP

OpenStack在天河⼆号的⼤规模部署实践（转） OpenStack正在成为事实上的IaaS标准，其本⾝的设计架构赋予了其⾼度的可扩展性。尽管如此，在千节点量级的⼤规模部署中，仍然有许 多因素决定了实际实施中需要在整体架构和细节优化上进⾏多⽅⾯的尝试与探索。本⽂分享在天河⼆号千节点规模上进⾏⼤规模部署的实践 经验，并介绍团队在基于OpenStack构建企业级解决⽅案KylinCloud上所取得的进展。 OpenStack⼤规模部署所遭遇的挑战 随着本⾝不断的成熟及在多个⽣产环境中的成功应⽤，开放、开源的云服务平台OpenStack正在成为事实上的IaaS标准。在其官⽅的介绍 中，易于实施（Simple to Implement）、⾼可扩展（Massively Scalable）和特性丰富 （Feature Rich）是主要的特⾊，这得益于 OpenStack本⾝松耦合的架构设计、活跃且强有⼒的社区贡献和不断成熟的⽣态圈。 然⽽，需要管理数据中⼼千以上的物理节点时，如基于OpenStack构建公有云，如何发挥OpenStack的可扩展性优势提供稳定、⾼效的服 务，仍然有许多因素需要考虑，其主要的挑战主要来⾃以下两个⽅⾯： OpenStack本⾝的因素：由于定位在松耦合、功能丰富，OpenStack所包含的组件在多个开源平台⾥⾯是相对较多的，当前的最新版Juno的组件数为11，即 将发布的Kilo会达到12 （包含Ironic），⽽且这个数字可能还在继续增长；同时，各个组件间存在依赖关系，如每个组件都会依赖Keystone，Nova还依赖于 Glance、Neutron和Cinder ；此外，多个组件，如Neutron、Cinder和Glance还存在多种存储后端实现机制，以实现对各种部署环境的灵活⽀持；最后，每 个组件都有⼤量的配置⽂件，⽽每个配置⽂件⼜有⼤量的配置选项⽤于对系统进⾏定制与优化； 部署环境的因素：在数据中⼼中，物理节点数⽬达到⼀定量级之后其本⾝的运维会⾯临部署配置复杂、调试困难等因素，仅OS安装及软件包的部署与维护就 带来很⼤的⼯作量；同时硬件故障率、⽹络压⼒、数据库压⼒甚⾄⽇志压⼒都给OpenStack的部署带来诸多挑战，典型的表现之⼀是消息超时、响应变慢等 问题。 天河⼆号的云计算需求 在世界超算Top500排名中取得四连冠的天河⼆号已经于2014年初部署在国家超算⼴州中⼼并对外提供服务。与已有超级计算机系统的⼀个 重要区别是，天河⼆号不仅仅定位在⾼性能计算，⽽是通过异构多态的体系结构设计与实现，期望能够为⼴州市、⼴东省甚⾄更⼤范围的政 府部门和企事业单位的信息化建设和⼤数据处理提供强有⼒的资源⽀撑。 图1 天河⼆号 为了满⾜信息化和数据处理类应⽤对按需、弹性计算资源的需求，天河⼆号的软件体系中融合了当前不断成熟与普及的云计算模式。经过⽐ 较与测试，研发团队选取了具有良好扩展性和社区基础的OpenStack作为软件栈的组成部分。本⽂再现了在天河⼆号千节点规模上进⾏ OpenStack⼤规模部署的⼀次试验。 软硬件配置 在开始之前，简单介绍⼀下此次部署的软硬件配置。 硬件：天河⼆号定制⼑⽚，每个节点配有双路12核CPU，64GB内存，两块千兆⽹卡、⼀块THNI⾼速⽹卡以及⼀块1TB的SATA本地硬盘； 软件的具体版本信息如下： OpenStack ─ IceHouse （2014.1）； OS ─ 内核为3.8.0的Ubuntu Server 12.04； Ceph ─ 0.67.0 ，⽤于提供后端存储，取代Swift ； Puppet ─ 2.7.11 ，实现⾃动化的部署与配置； Rabbitmq ─3.24，缺省的消息队列； MySQL ─ Ver 15.1 Distrib 5.5.35-MariaDB，OpenStack的后台⽀撑数据库； kvm ─ QEMU emulator version 1.7.91，以KVM作为底层的虚拟化机制； libvirt ─ 1.2.2 ，虚拟化层接⼝； OpenvSwitch ─ 2.0.1 ，虚拟机⽹络的管理后端。 部署架构 为了实现OpenStack千级节点的部署，经过调研和尝试，在确定其架构时确定了如下五个重要的选择： 使⽤Cell进⾏逻辑划分。OpenStack中使⽤Cell来解决可扩展性和规模瓶颈，实现对横向扩展和⼤规模部署的⽀持。Cell在Grizzly版本引 ⼊，并不断成熟。前⾯提到，OpenStack由