大数据迁移Redis-文承科(精品·公开课件).pptVIP

大数据迁移Redis 2013年5月 未来属于懂心理学的程序猿 目录 为什么要迁移Redis？ 如何迁移Redis？ Redis评估 性能评估 容量评估 连接数 LRU过期策略 持久化评估 容灾方案 为什么要迁移Redis 现有目录服务总体情况 运行机器数 10台[AMD 2.4G/ 6核12线程/16G]（另4台备机） 单机缓存数 1200W 内存占用 4G 服务CPU峰值 40% 服务RPC峰值 3000 线程数 80~90 总结：总业务量3w/s，缓存总量1.2亿。（预计最大可承担业务7w/s，也就是单机承载7000） 为什么要迁移Redis 接口 Requests/s 占用比例 命中率(1200W) 命中率(600W) 通过UserId获取目录接口 1500 60% 89% 79% 通过手机号获取目录接口 700 26% 66% 59% 通过手机号获取目录命中率较低，即使缓存增加一倍之后仍然只有66%命中率（很多手机号目录为null，导致去查DB）。 高峰期间目录服务接口平均调用次数 为什么要迁移Redis 服务总结 1.全局Hash，宕机后需要手工修改策略，需要全网刷新。一台机器宕掉导致1/10用户无法登录。 2.服务性能还是有待提高。 3.命中率较低，导致DB单点压力大。 如何迁移Redis 取消目录服务进程内缓存，缓存移到Redis。 访问Redis数据时主备。 应用需要获取目录服务的数据，先访问Redis，如果Redis没有命中再访问目录服务。 Redis-性能评估 Redis-Server 长度 速度/sec 带宽(MByte/s) 发送+接收 CPU 20Byte 18w 24M+12M 98.00% 100Byte 18w 37M+12M 97.00% 512Byte 13w 76M+9M 87.00% 1K 10w 94M+8M 81.00% 2K 6w 105M+6M 77.00% 5K 2.5w 119M+3.2M 77.00% 10K 1.3w 119M+1.7M 70.00% 20K 0.67w 120M+1M 58.00% Redis-性能评估 Redis-Client Redis-protocol 简单，解析速度非常快，虽然文本协议，解析速度不比二进制协议慢多少（后面有比较）。 C#对 SET 操作，本机2核4线程机器：4W/s，CPU占用50%， Python 脚本15byte SET 单线程 1.3w/s Redis-容量评估 .Net进程内缓存 生产环境：10台，每台1200W目录对象、占用内存4G。占用内存对象：key object；value dict；linkedList 每条记录占用内存：250字节 缓存1亿数据需要内存：25G Redis-容量评估 使用Redis HSET 1.redis默认参数情况下，value512，长度64；测试每个HSET下100个目录对象，debug object查看占用内存2000字节（15字节），HGET相同负载压力情况下与GET对比redis-server占用CPU基本无差别。 Redis-容量评估 2.测试 for mobile in range13900000000): if(mobile%2==1): continue client.hset(mobile/100,mobile%100,abcdefghigklimn) doitems+=1 5kw时： redis占用1.04G dump文件：966M bgsave：5.5s dump加载时间：7s Redis-容量评估 10kw时： redis占用2.07G dump文件：1.9G bgsave：25s dump加载时间：10s 缓存量使用 很明显使用HSET内存使用率节俭很多。按1亿数据3G内存来算，目前目录服务DB有10亿行数据，如果有效数据5亿，3个维度即15亿，全部需要45G内存，为了防止可能的膨胀，需要打