互联网公司新一代骨干网架构探析腾讯.pdfVIP

互联网公司新一代骨干网架构探析 作 者：腾讯科技网络平台部网络解决方案架构师 马志强 互联网上有两大主要元素“内容和眼球”，“内容”是互联网公司（或称 ICP）提供 的网络服务，如网页、游戏、即时通信等，“眼球”则是指海量的互联网用户。“内容”与 “眼球”之间的桥梁是网络运营商。互联网公司的内容分布在运营商多地的 IDC 中，二者 的合作密不可分。但信息爆炸使得网络资源日趋紧张，互联网公司与运营商之间的紧耦合关 系弊端日益增多，尝试新型网络架构的自建模式成为互联网企业的最新关注点。 国内互联网公司的网络架构 国内互联网公司的网络架构 国内互联网公司的网络架构国内互联网公司的网络架构 互联网公司主要是根据用户服务体验的覆盖经验，向运营商租用 IDC 机架和网络出口 资源，在不同的运营商、不同的省份/城市，批量部署业务服务器对外提供服务，并为业务 模块间通信而建立 IDC 内部网络、城域网和广域网，同时通过自建 CDN 或 CDN 专业服务 公司对服务盲点进行覆盖。其网络架构如图 1 所示。 图 1 互联网公司网络架构图 IDC 网络通常用于承载上千台服务器的通信，满足日益增多的东西向通信需求，要求 扁平化、易扩展，现阶段较为流行的架构方式为 CLOS 架构，以“核心＋接入”的方式提 供上千台服务器的网络接入，甚至无阻塞通信。 城域网主要是应分布在多个 IDC 中业务之间需要通信而产生的，通常由于其以汇聚出 口带宽为主要目的，采用大容量的以太网交换设备、通过租用运营商裸光纤实现互联，更有 超前的互联网公司出于提高网络可靠性和质量、降低投资成本等考虑，自行铺设 DWDM 传 输系统，基本上打造了运营商级别的传输系统。 广域网主要是由于跨全国部署业务，满足业务模块间内网通信需求而铺设的长途网络， 广域网的范围和网络带宽视互联网公司业务规模和覆盖模式不同而不同，有些互联网公司业 务众多且部署范围广，那么通过租用运营商长途线路，组建 2.5G/10G 级别的广域骨干网 就非常重要。 CDN 的形式有两种，一是自建；二是外包，将 CDN 选址、网络铺设、服务器部署、 CDN 分发系统交由服务公司完成，双方仅需签订服务合同。CDN 是互联网通过 IDC 之外 改善用户体验的一种补充，对视频、下载等业务具有非常重要的作用。 现有架构面临三大瓶颈 现有架构面临三大瓶颈 现有架构面临三大瓶颈现有架构面临三大瓶颈 在现有的架构下，内部基础设施不仅要支持大规模服务器和网络建设，更要能以更低、 更精简的团队保障其良好运营，因此需对架构重新审视。同时，外部环境的变化，如运营商 IDC 资源供给速度放缓、运营商网络扩容速度缓慢且网络质量不稳定、全球 IPv4 地址耗尽 等，都要求我们对互联网公司下一代网络架构进行认真思考。 IDC 资源日益匮乏 在飞速发展的互联网时代，ICP 面临激烈竞争，公司业务要求“敏捷迭代、小步快跑”， 对 IDC 资源、网络资源的供给量要求非常大，同时供给速度必须保障足够快，可称之为“爆 发式需求”。以某互联网公司为例，2011 年其服务器新建量就已与此前的服务器总量持平； 再以某互联网公司的合作伙伴业务服务器需求量为例，短短 3 个月时间里，其业务服务器 需求量从 0 激增到了 1000 多台，这给 IDC 机房、服务器、网络带宽等基础设施造成了巨 大冲击。 在现有 IDC 供给模式和网络架构下，需大量向运营商租用 IDC 资源（机房、服务器机 架、网络出口带宽等），但从东南沿海到中西部城市，可快速批量供应的 IDC 数量并不充 足，再加上长达 3 个月的建设周期，基本上无法满足业务的爆发式需求。从现实情况看，IDC 资源已成为互联网公司业务发展瓶颈。 所以我们需要探讨更好的网络架构，以更快速支撑业务覆盖。 运营商网络强耦合困境 互联网公司基本上不会通过一个运营商的 IDC 覆盖全国用户，因为现实情况是，国内 运营商网络间互联互通质量不容乐观。 即便是想在同一个运营商内，挑选优质的运营商省网/城域网的 IDC 进行业务部署，用 于覆盖该运营商