新一代智能可靠可调度的大型骨干网络建设方案.docx

? ? ? ? ? ? ? ? 新一代智能、可靠、可调度的大型骨干网络 建设方案 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 前言随着网络技术的发展和云计算业务的快速普及，当前各行各业的客户都有迫切上云的需求，越来越多的关键业务，如：web前端、视频会议、办公应用、数据存储等开始部署在云端；新的网络架构设计特别是骨干网，必然要适应云计算和互联网应用的发展，而传统的MPLS骨干网不能适应这种变化，面临如下诸多挑战：1、如何实现用户云下与云上、云上VPC之间、云下不同物理位置之间业务的灵活开通；2、如何利用本地专线和最后一公里互联网线路构建混合组网能力；3、如何确保关键业务的优先级和服务质量；4、如何简化开通流程、快速部署和统一策略管理；5、如何提升专线带宽利用率和流量可视化；6、如何实现新一代骨干网智能、可靠、可调度。本文将结合UCloud基础网络团队新一代骨干网的架构演进过程，介绍Segment Routing技术在UCloud骨干网的落地细节，并详细阐述当前骨干网如何通过SR-TE技术实现智能、可靠、可调度的新一代骨干网架构。DCN网络快速迭代UCloud数据中心基础架构网络（以下简称DCN）在最近这几年经历了野蛮式的快速发展阶段，从北上广三地的数个可用区发展到全球25个地域31个可用区；业务云化和分布式数据中心的建设，推动了城域网（以下简称MAN）和骨干网规划建设，如下图所示：DCN网络迭代过程如下：1、同城单可用区升级至同城多可用区；2、单Region多可用区升级至多Region多可用区。DCN网络快速迭代带来的网络挑战：1、MAN网络高带宽与可靠性要求：同城分布式DCN网络建设带来的问题是：客户业务扁平化部署，导致同城跨可用区有大量的东西向业务互访流量，对MAN网络的带宽和可靠性有严格的要求。2、骨干网架构升级与流量工程要求：随着UCloud全球节点DCN网络的建设部署，跨地域客户开始有业务互访和跨域流量优化需求，对骨干网规划和流量工程提出了新的要求。全球专线资源布局当前UCloud全球CDN节点有500+，25个地域，31个可用区；通过运营商专线打通全球25个地域，如下图所示： 1、全球机房专线接入骨干网?骨干网依托UCloud全球DCN网络以及专线资源，可为用户提供全球范围的就近接入，实现端到端网络稳定，解决跨域业务互访丢包和高延迟问题。2、全球节点灵活组网为用户提供基于本地专线和最后一公里互联网接入，实现用户的混合组网能力。3、提供稳定、可靠的基础架构点到点专线资源提供物理层的带环保护，一方面通过SR-TE技术实现流级别调度和快速容灾备份能力；另一方面基础网络提供一张1:1基于Internet级的备份骨干网，保证整个骨干网达到99.99%可用率。UCloud骨干网架构演进历史012018年之前骨干网架构 UCloud基础网络团队在2016年下半年开始规划第一代骨干网（以下简称骨干网1.0），2017年底完成了骨干网1.0设计规划，骨干网1.0架构规划专线资源接入到各Region的MAN网络核心设备（以下简称M-Core）,各Region的M-Core之间通过供应商二层专线进行全球组网；M-Core之间运行ISIS协议，打通全球骨干网ISIS域，每个地域双M-Core或者四M-Core和控制面RR建立IBGP邻居关系，M-Core通过IBGP协议将本地域DCN网络路由信息通告至RR，RR反射给全球所有M-Core节点；数据转发面通过IBGP路由进行迭代，最终通过ISIS转发至目标DCN网络。为优化骨干网流量转发，在关键设备上开启如下功能：1、为实现骨干网等价路由（以下简称ECMP），必须在M-Core和RR上开启BGP ADD-PATH属性；2、为保证IGP最短路径转发，跨域之间ISIS 开销值设置为两地域直连专线实际延迟*100，如：北京-上海专线延迟为30ms，那么北京-上海地域的ISIS开销设置为3000。骨干网1.0设计目标：1、实现Region级别DCN网络互通，提供云业务跨地域容灾能力；2、支持云上用户通过UCloud高速通道产品UDPN打通跨域VPC资源。骨干网1.0新挑战：1、MAN网络与骨干网高度耦合，专线开通配置复杂，增加运维难度；2、不支持客户不同物理位置之间资源互通；云下资源到云上VPC之间资源开通复杂、周期冗长；3、不支持跨地域级别的流量智能调度。022020年之前骨干网架构 针对骨干网1.0所面临的一些问题，2018年UCloud基础网络团队设计规划了第二代骨干网（下简称骨干网2.0）。在骨干网2.0中，我们新增了租户隔离的特性，而要在骨干网上实现大规模的租户隔离，MPLS-VPN技术最合适不过，但由于考虑到整体的部