负载均衡和容错机制.doc

第 PAGE 6页 WEBP2Pcache 技术方案 西安千喜网络科技有限公司 2014年10月 目 录 TOC \o 1-5 \h \z 1 名词解释 10 1.1 术语定义 10 1.2 缩略语 10 2 项目需求分析 13 2.1 项目背景 13 2.2 系统原理 14 2.3 系统价值 15 2.4 系统功能概述 16 2.4.1 网络视频缓存 16 2.4.2 P2P缓存 17 2.4.3 WEB缓存 18 2.4.4 协议优化及网络加速 18 2.4.5 支持多种请求引导模式和部署方案 20 2.4.6 支持代理模式和非代理模式 22 2.4.7 系统管理功能 23 2.5 系统设计原则 23 3 综合CACHE系统的软件系统 25 3.1 总体架构 25 3.2 转发子系统（DTM） 27 3.2.1 总体架构 27 3.2.2 NETMAP网络接口驱动模块 28 3.2.3 DPI模块 29 3.2.4 协议处理模块 30 3.2.5 黑白名单过滤 30 3.2.6 特征码过滤模块 30 3.2.7 缓存过滤模块 31 3.2.8 流量统计模块 31 3.2.9 重定向模块 32 3.2.10 任务下发模块 32 3.2.11 DNS劫持 32 3.2.12 协议干扰 33 3.2.13 Cache节点扩展 33 3.2.14 DTM级联 33 3.3 缓存子系统（DCM） 34 3.3.1 总体结构 34 3.3.2 负载均衡设备 35 3.3.3 网页对象缓存功能 36 3.3.4 大文件下载缓存功能 37 3.3.5 视频对象缓存功能 38 3.3.6 P2P缓存功能 38 3.3.7 Cache Cluster 39 3.3.8 数据复用与URLHash规则 40 3.3.9 代理下载功能 42 3.3.10 分片缓存 42 3.3.11 热点复制功能 43 3.3.12 分级缓存功能 43 3.3.13 插件机制 44 3.3.14 URL防盗链功能 46 3.3.15 持久连接功能 47 3.3.16 协议优化功能 47 3.3.17 数据压缩功能 47 3.3.18 内容热度更新功能 48 3.3.19 本地DNS功能 49 3.3.20 回源带宽限制功能 49 3.3.21 内容预取功能 49 3.3.22 超期校验功能 50 3.3.23 内容过滤功能 50 3.3.24 Remap功能 51 3.3.25 用户访问控制功能 52 3.4 任务调度子系统（TDM） 52 3.4.1 总体结构 52 3.4.2 任务接收模块 53 3.4.3 热点计数模块 54 3.4.4 任务下发模块 55 3.4.5 任务状态上报模块 55 3.4.6 批量调度模块 56 3.4.7 预加载模块 56 3.5 监控子系统 56 3.5.1 健康状况检查 56 3.5.2 故障恢复与服务发现 58 3.6 DNS Forward子系统 58 3.6.1 DNS Service 59 3.6.2 域名黑白名单 60 3.6.3 DNS重定向模块 60 3.6.4 DNS Resolve 61 3.7 网络加速和协议优化 61 3.7.1 传输网络请求优化 61 3.7.2 传输内容压缩 62 3.7.3 传输协议优化 62 4 系统部署方式 63 4.1 分光（镜像）模式 63 4.2 DNS Forward模式 64 4.3 IPv4及IPv6环境下的部署 64 5 主要业务流程 66 5.1 分光与转发流程（HTTP） 66 5.1.1 缓存命中的流程-代理模式 66 5.1.2 缓存命中的流程-非代理模式 67 5.1.3 缓存未命中的流程-代理模式 68 5.1.4 缓存未命中的流程-非代理模式 70 5.2 分光与转发流程（P2P） 72 5.2.1 缓存命中的流程 72 5.2.2 缓存未命中的流程 73