数据直连通道Traceroutefromxxxxxxxxxxxx深圳电信-PPT宝藏.PPTVIP

* * * 刚从事后台开发的苦恼：半夜电话和短信 * 刚从事后台开发的苦恼：半夜电话和短信 * * * * * 这种负载均衡，增加新机器，会很柔和，不会抖动 * * * * * * * * 亿级业务演变 — 文件、音视频 即通\ 王帅 A 需求背景 B 主架构设计 C 海量服务机群管理 D 服务器设计理念改革 目录 Contents 通过QQ文件、音视频的后台架构设计， 与大家分享大数据传输后台架构及海量服务器管理的方法。 背景需求--- QQ传文件 数据中转服务器 消息通道 数据直连通道 Traceroute from xxx.xxx.xxx.xxx [深圳市 电信] To xxx.xxx.xxx.xxx [上海市 联通] XXXXXXXXXX [广东省深圳市 腾讯计算机公司] 0.286 ms 121.xx.72.xx [广东省深圳市 电信IDC机房] 3.329 ms 3 202.97.46.xx [广东省 电信省际互联骨干网] 10.304 ms 4 * * * 5 219.158.22.xx [中国 联通骨干网] 136.584 ms 6 219.158.9.xx [北京市 联通骨干网] 137.206 ms 7 219.158.97.xx [北京市 联通ADSL] 147.207 ms 8 112.64.243.xx [上海市 联通IDC机房] 150.270 ms 9 211.95.77.xx [上海市 联通] 161.787 ms 10 XXXXXXXXXXX [上海市 联通IDC机房] 166.039 ms 背景需求---运营商间互换数据 背景需求---运营商间互换数据 北京 深圳 上海 运营商间没有省级交换点 交换点最容易网络拥塞 跨ISP的用户进行直接连接效果一般会比较差 用户连接和自己ISP不相同的服务器，效果也会比较差 好的服务要解决不同运营商接入问题 背景需求---中国特色的运营商 背景需求---传文件关键点 提高NAT穿透成功率 压缩传输 中转直连双通道保证 最佳服务器接入 海量服务器运营 主架构设计---逻辑架构 主架构设计---配置中心功能 ConfigCenter是整个机群的运营核心 负责中转SET服务机群的配置 负责中转SET服务机群的状态总结 “机器故障直接重启，不用给机器负责人打电话” 主架构设计---配置中心功能 主架构设计---配置中心设计原理 静态信息：存储在数据库，可视化配置。程序启动后把数据从数据库刷入共享内存 动态信息：存储在共享内存，由各个set服务器定时上报而来 主架构设计---策略中心流程 主架构设计---策略中心流程 根据双方ip，得到IDC[服务场景] [服务器地域]机器列表信息。 然后去掉最后上报时间超时的机器。 得到可以提供满足当前场景的服务器列表，接下来就是如何从这批机器中选一台？ 负载均衡 主架构设计---负载均衡 平均分配 最小分配 随机分配 LVS 一致性哈希 带权值的随机负载均衡 ? 主架构设计---负载均衡 带权值的随机负载均衡 计算出每台服务器的空余率（0.01～1.0）。 将所有的空余率加在一起，得到集群的空余率 I 将 I 乘以一个[0.0,1.0)0到1的随机数，得到D 将D逐个减去每台服务器的空余率，当D小于0时，取对应的服务器即可。 主架构设计---负载均衡对比 新产品，新人用最小值实现的负载均衡，实际运行一段时间，发现抖动，重新改为带权值的随机数 新挑战---音视频的崛起 音视频沟通效率高，对延迟、抖动的处理更高 手机天然具备摄像头、话筒、耳麦，更方便 精细化控制，cpu、摄像头、网络环境 手机的爆发点还没到， 手机需要服务器更大的支持 即：TAF = 400~600ms [分析]： 服务器抓包：TCD = 3~4ms 客户端自环：TAB+TEF = 200~300ms 新挑战---数据包的延迟 服务器处理音视频数据包时限短，且是平滑 可能一个简单操作，会引起每隔一段时间的小波动 新挑战---数据包的延迟 新挑