容器云平台多集群管理设计之多集群规划准备.docx

? ? ? ? ? ? ? 容器云平台多集群管理设计之多集群规划准备 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  本文基于在容器云平台建设中的实践和多集群需求，探索基于Kubernetes的多集群管理方案，包括多集群实际需求场景、kubernetes多集群概况及存在的问题、多集群规划准备。本文包括三视角四层次一闭环的多集群设计方案等阐述。如果您对系统学习该方面知识有兴趣，请关注本文后附介绍。 1 概述 随着容器平台项目的落地和应用的深入，构建与实现多集群的统一管理成为一个亟待解决的问题。Kubernetes作为容器调度管理框架，是实现容器化PaaS(平台即服务)平台的主要工具，当前众多的公司也纷纷发力实现基于Kubernetes的多集群的统一管理能力，不过大部分都是基于kubernetes的集群联邦来实现的，很少从PaaS平台来考虑整体的规划和设计。我们基于在容器云平台建设中的实践和多集群需求，探索基于Kubernetes的多集群管理方案，对多集群管理及后续多云管理的主要问题提出了一种可行的解决方案。 主要内容如下： (1）多集群需求场景 (2）Kubernetes集群联邦介绍 (3）多集群部署潜在问题 (4）基于Kubernetes的多集群规划准备 (5）基本概念定义 (6）多集群容器云平台设计 (7）多集群安全 多集群设计工作主要包括多集群资源管理设计、多集群应用管理设计、多集群服务注册设计、多集群服务访问管理或多集群服务治理等内容。如果使用我们的“三视角四层次一闭环”的设计架构，这些问题将很容易解决，而且整个容器云平台设计是一个有机的整体，各个部分形散神聚，以松耦合架构实现平台的完整和统一。 2 多集群需求场景 虽然Kubernetes + Docker提供了容器调度管理的基本能力，但对于一个集群跨机房部署、日常升级维护、应用的备份升级等都带来了一些不便，多集群跨机房跨数据中心的部署场景日趋明晰。在容器云平台使用过程中逐步提出了以下多集群需求场景： 2.1 场景一：高可用 多集群场景很重要的一个用途是为了业务应用服务集群级的高可用部署，防止意外情况下整个集群不可用，特别是生产环境。在虚拟化平台上构建容器云平台将会比较便利，但也存在虚拟化平台异常、网络异常等导致整个集群不可用的情况；这种情况下仅在一个集群里部署服务多实例无法满足高可用要求。这就需要考虑多集群部署实现高可用。 2.2 场景二：灾备 一些关键业务传统是采用两地三中心的模式实现灾备。容器云平台涉及部署一些面向C端的重要业务，要求能实现灾备部署。不同集群往往要求位于不同的数据中心，从而实现关键应用的灾备部署。 2.3 场景三：集群升级 Kubernetes在不断变化和完善之中，基于kubernetes的容器云平台也需要及时升级。单kubernetes集群升级时不可避免的影响到业务运行。在多集群环境下，实现业务应用的蓝绿部署，可以一个一个的升级集群而不影响到正常的业务运行，实现用户无感知。 集群升级场景需要容器云平台多集群管理支持不同版本的kubernetes集群管理能力。 2.4 场景四：负载分发 集群提供单一的访问出入口，在高并发场景下可能会存在性能瓶颈，通过多集群负载分发流量到不同集群，解决高并发场景下可能的性能瓶颈问题。 2.5 场景五：业务就近处理 客户遍及全国各地的情况下，在不同地域的数据中心部署多个集群，实现客户访问的就近分发处理。这可能会涉及到不同地域客户数据的分库处理。 在多集群场景下应用管理设计需要考虑这些不同的场景需求，这不同于单集群场景，如何能无缝使用不同集群的资源满足高可用等需求，使租户不增加额外的配置和操作，无感于多集群资源区别，是需要认真考虑的问题。 首先我们看下Kubernetes多集群的介绍。 3 Kubernetes多集群联邦介绍 Kubernetes使用集群联邦实现多集群管理。Kubernetes在1.3版本之后，增加了“集群联邦”Federation的功能。这个功能使企业能够快速有效的、低成本的跨区跨域、甚至在不同的云平台上运行集群。这个功能可以按照地理位置创建一个复制机制，将多个kubernetes集群进行复制，即使遇到某个区域连接中断或某个数据中心故障，也会保持最关键的服务运行。在1.7版以后支持本地多个集群联邦管理，不需要使用依赖云平台。 3.1 管理多个kubernetes集群 K8s集群 “集群联邦”在架构上同kubernetes集群很相似。有一个“集群联邦”的API server提供一个标准的Kuber-netes API，并且通过etcd来存储状态。不同的是，一个通常的Kubernetes只是管理节点计算，而“集群联邦”管理所有的kubernetes集群。 3.2 跨集群服