大型视频网站单点分析与可用性提升.pdfVIP

大型视频网站单点分析与可用性提升 Achilles Xu 2011.03 议程  单点分类  常规去单点方法介绍  案例分析  总结 单点分类  数据单点  应用单点  性能单点  地域单点 常规去单点方法介绍  DNS 、调度  虚拟IP 、nginx upstream 、ha-proxy  主从热备、RAID 、分布式存储 后台流程 用户 上传接口 转码集群 分发中心 编辑 内容平台 冷点存储 热点存储 服务流程 1 用户 播放器 DNS 2 3 调度接口 存储数据库 冷热点存储 上传接口  问题：  全国用户访问  解决方法：  使用动态DNS按地域分调用户  域名再做随机哈希：upload1 … upload4 内容平台  分析：  编辑主要集中在北京甚至公司内网  外地编辑配置合适的代理即可 转码集群  情况和问题：  转码设备集中在北京  全国的上传接口都要往转码集群传送文件  大的文件会消耗较长时间、阻塞队列  解决办法：  使用较好的链路（北京电信、北京网通）  未来改成边缘转码结构，但是分发系统也要统一规划 调整  按视频事长划分不同的队列（长视频转码队列、普通 队列、短视频转码队列） 分发中心  情况分析  转码中心和分发中心都处在北京，彼此网络畅通，转码后的 视频文件能够瞬间传到分发中心  抓站程序和编辑在夜间上传大量视频，无法在有限时间内（ 一天）传送出去，中心出口带宽成为瓶颈  全网都从中央抓取视频，速度太慢  如果边缘的服务器尚未完成视频抓取，那么用户流量就全压 在中央。  解决方法  P2P方式，或者叫SP2SP方式，只要从中央传送出去一份，外面 的各服务器就会就近互相抓取。  切割视频，减小单个视频大小  升级成按块分发。  升级使调度精确到设备。  未来转码集群边缘化了，分发中心也不存在了。 服务节点 存储1 存储2 虚拟IP C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12 虚拟IP Domain1 Domain2 Domain3 Domain4 Domain5 Dom