FreeWheel用户数据管理——从0到10亿.pdf

FreeWheel⽤户数据管理 从0到10亿 孙大伟 2015年4 月 © 2014 FreeWheel 主要内容 •  FreeWheel⽤户数据管理概述 •  系统演化 –  青铜时代 ：LevelMemcached –  白银时代：RocksMemcached –  黄金时代 ：AerospikeDB •  总结展望 2 FreeWheel用户数据管理 FreeWheel Powering the Future of Television •  视频广告解决方案 –  视频广告管理、投放、监测、预测、增值等业务 –  支撑美国在线视频广告30%流量 •  美国70%高端在线内容 •  美国几乎所有大型赛事网上直播的广告支持 –  跨⺴络、跨平台 4 FreeWheel AMS Powering the Future of Television •  用户数据管理（Audience Management System) –  用户群体细分 –  用户精准定位 –  对用户进行分组、管理、制定广告计划 5 技术挑战 – 数据量大 •  用户数量 –  3亿美国人 •  更新快速 •  跨DC同步 –  美国 ：四个DC –  欧洲 ：一个 –  在建 ：澳洲、南美 6 技术挑战 •  查询时间 •  可扩展性 –  流量增长 –  用户量增长 7 青铜时代 青铜时代 2011.12 - 2012.10 •  数据商 ：Bluekai ，AOL •  客户 ：AOL ，ABC •  数据规模 –  用户总数 ：2亿 –  读取频率 ：5000每秒 –  峰值频率 ：11K –  写入频率 ：1000每秒 –  更新频率：每天100G （GZ压缩后） 9 青铜时代 2011.12 - 2012.10 Master 处理 User log Processor 更新 UserDB 新数据文件 DC1 DC2 DC3 DCn UserDB UserDB UserDB UserDB ADS ADS ADS ADS 10 青铜时代 - LevelMemcached 2011.12 - 2012.10 •  解决方案 ：Memcached + LevelDB - LevelMemcached –  Memcached ：内存对象缓存K