京东数据中心网络服务如何支撑大流量.docx

京东数据中心网络服务 如何支撑618大流量 Welcome - 3 - 我们面对的是怎样一个618？ - 4 - 正处于IPO的蜜月期！ - 5 - 业务对接和应用调试！ - 6 - 2013.11.12 2012 2013 2014 2014年618 互联网流量将翻倍！ - 7 - 压力山大！ 但我们绝不能 掉链子！ - 8 - 承认差距，超越自我 - 9 - 2014年618网络概况 数据中心规模 主机规模 POD内主机规模 互联网出口流量 专线流量 内部调用流量 - 10 - 我们面对的不仅仅是互联网流量翻倍！ CDN 负载均衡 基础网络 ? 京东从2009年开始自建 ? 2013年双11时，京东主 ? 2013年双11时，数据中 CDN服务 要负载均衡业务使用的是 心TOR上联带宽拥塞 ? 承担90%互联网流量 商用产品 的问题愈发突显 ? 随着业务发展，商业负载 ? 需要解决一些性能和 ? 大量的跨机房服务调用 均衡产品暴露出一些突出 和数据传输需求，对 结构上的问题 问题：负载过高、 POD间、DC间的专线 宕机增加、不易 带宽和可靠性要求越来 扩容 越高 ? 机架不足 - 11 - 核心问题 性能 容量 监控 可靠性 扩展性 - 12 - CDN应对大流量措施 单机性能提高1倍 服务器升级10G网卡  集群容量提升6倍 基于热点的URL负载 秒级清除缓存  性能 监控 可靠性  新增20%CDN节点 容量 将50%节点互联网出口从GE升级为10GE 全面向一级ISP迁移  扩展性 分钟级的流量和质量监控 架构优化， 从Active-Standby到Multi-Active - 13 - 负载均衡应对大流量措施 单机性能提高1倍 服务器升级10G网卡 集群容量提升10倍 解决HA-Proxy多CPU 部署了10倍规模的集群 负载不均问题 性能 容量 监控 接管了商业LB设备的 可靠性 90%业务 扩展性 增加内核监控模块，实现对VIP流量 应用了30多个Patch （Bps/pps/qps）的实时统计 将故障率降低10倍 HTTP Anti-Flood  架构优化， 从Active-Standby到Multi-Active - 14 - 基础网络应对大流量措施 消除已知性能隐患 提升TOR上联收敛比 解决设计上的缺陷 产品选型和设计优化 提高网络容错能力 降低故障downtime 为关键业务提供高可靠网络方案  增加数据中心出口带宽 性能 增加机房间专线带宽 监控 容量 数据中心规模扩大1倍 可靠性 扩展性 全网设备的分钟级流量监控、质量监控 模块化、标准化、规范化的网 络设计 - 15 - 案例分享 - 16 - Multi-Active Load Balancing Network Network A S A A A A Load Balance Cluster Load Balance Cluster - 17 - HTTP Anti-Flood Internet Data Analyzer http sampling http api Load Balancer policy depolyment policy db Controller Web Servers - 18 - 网络优化 网络功能结构层次化 使用冗余可靠的设计 关键资源要一步到位 降低不必要性能开销 能用三层就不用二层 最大程度降低STP影响 规模会颠覆已有设计  Internet DC-1 DC-2 PoD PoD DC-N - 19 - 网络监控 - 20 - 优先解决用户的迫切需求 平衡短期需求和长期目标 架构设计不能向问题妥协 - 21 - 谢谢