平台化CDN基础架构.PDF

平台化 CDN 基础架构 -- ATS 缓存系统 赵永明 引言 CDN 技术发展经历了 10 多年的推演 , 相当多的领域已经有稳定的方案 . 而随着互联 网的进一步发展 , 越来越多的 ugc 内容挑战着 CDN 系统的健壮性 , 同时新的 http 2. 0 协议等新兴技术也开始挑战传统 CDN 的的方案 . 如何在新的形势下 , 让 CDN 系统 健康向上发展 ? 我们从运维的挑战为起点 , 介绍 ATS 系统方案 . 赵永明 自我介绍 ● 花名永豪 , 现就职于阿里巴巴集团技术共享平台系统部 , 负责 CDN 架构 . ● 多年机房建设系统运维经历．目前带领一个小团队参与 CDN 基础软件 Apache Traffic Server 的开发工作，已经有３个人成为项目 PMC ． ● 经过２年的磨练，正从一个写 shell 的码农转变成一个写 c++ 的大龄码农． ● 任何 CDN 相关系统问题 , 都很乐于跟大家探讨 ● 个人主要技术领域： 系统运维　 CDN 架构 ● 参与的主要开源项目 : ats tsar 提 纲 ● 光纤时代 CDN 的挑战 ● cache 系统的维度 ● 性能指标 ● 成本 ● 可用性 ● 平台扩展性 ● 后 http 1. 时代 光纤时代 CDN 的挑战 ● 用户带宽大 : 很多城市已经推行 10-20M 带宽 ● 在线时间长 :3G 手持设备如 Ipad 等可以提供更长的在线能力 ● 交互数据多 : 页面丰富程度更高 ● 移动客户端流行 :Adroid 和 IOS 设备大行其道 ● CDN 发展 : 容量更大 , 单个数据文件更大 , 命中率更低 , 业务逻辑需求增多 Cache 系统的维度 ● 功能 ● 可用性 – 内容管理 – 磁盘, 网络, 源服务器等故障处理 – 流量管理 – 检测, 统计, 日志, 报警数据支持 ● 性能 ● 可扩展性 – 连接管理能力 – 能够支持多变的用户需求 – 本地cache 的 RT – 多种功能需求并存而不冲突 – 动态proxy延迟 – 扩展功能可快速开发 – IO 效率 – 核心框架和核心功能维持稳定 CDN 系统的性能指标 ● 连接管理能力 , 并发连接数 , 维持长连接 ● QPS/CPU=? 决定了 CPU的效率 的能力 ● 处理复杂业务的能力 : ● 本地cache 的 RT, 本机 (本集群)已经 – Https 缓存的内容响应时间 (分内存和磁盘) – 大文件缓存 ● 动态proxy延迟, 对TCP 网络优化的 – 甚至部分动态内容 :fast cgi, gzip 等 能力 –