高可靠部署和运维实践.pdfVIP

移动” 大云(BigCloud)” 高可靠部署和运维实践 目录 公司和个人介绍 ”大云(BigCloud)” – 部署 ”大云(BigCloud)” – 监控与告警 ”大云(BigCloud)” – 踩过的坑 公司和个人介绍 中移(苏州)软件技术有限公司  中国移动通信集团公司2014年注资成立的一级子公司  云计算、大数据、IT支撑系统的技术研究、产品研发及应用  产品已在移动云、一级私有云、省级云计算资源池、大数据中心和部分政企客户 中形成规模化商用 刘 军 卫  中国科学技术大学，计算机系统结构专业  云计研发总监，负责“大云”弹性计算系统的研发  OpenStack和Qemu社区的贡献者。  微博：@Marshal_liu  博客：/ ”大云(BigCloud)” – 介绍 移动 “大云(BigCloud)”基于OpenStack进行定制化开发，集成了弹性可扩 展计算、分布式块存储和软件定义网络(SDN)等IaaS核心技术，并在此基础上提 供应用市场 ，资源弹性伸缩、服务编排以及”一键式” 自动化安装部署等特色服务。  秒级资源操作  自动横向伸展和收缩  CPU、内存利用率等指标  纵向热伸展  CPU、内存、磁盘等资源  应用市场  Docker 、Kubernete等  Mysql cluster 、Spark cluster等  高可用  虚拟机、物理机、管理服务 三个级别高可用  实时监控、告警  可视化运维和健康检查 ”大云(BigCloud)” – 部署 单分区200节点规模  标准的Fuel （6.1 ，7.0 ）  3控制节点HA  3 ceilometer + mongodb  所有neutron agents多活(L2-*,L3-*)  mysql galera cluster  rabbitmq cluster （mirror mode ）  mongodb cluster (replica mode)  100t ，1user/tenant,1vm/req 单分区500节点规模（定制化Fuel + 手动优化）  角色分离  服务配置参数优化  Cinder + Rabbitmq Cluster + Mysql Galera Cluster  api_rate_limit = false  Neutron + Rabbitmq Cluster + Mysql Galera Cluster  mysql连接数max_connections = 100 （默认）16384  Ceilometer + Rabbitmq Cluster + Mongo Cluster  磁盘容量相关问题  正在调研Zeromq  Ceilometer 日志增长过快，与node数量，metric数量以及  增加Cache机制 监控周期密切相关  Redis Cluster （平台与服务层之间）  Rabbitmq 消息持久化占用大量磁盘空间，触发low disk告  Keystone使用memcache缓存token 警，导致节点异常，尤其在内存 硬盘的情况下 ”大云(BigCloud)” – 部署 多分区 1000节点规模  多分区（Region ）统一认证  异构Hypervisor分区（AZ ）管理  尝试ZeroMQ和Nova Cell  尝试Intel RSA架构（Rack Scale Architecture ）