FreeWheel用户数据管理——从到亿.docVIP

FreeWheel用户数据管理——从0到10亿 ?? 2014 FreeWheel 孙大伟 2015年4月 FreeWheel??用户数据管理 从0到10亿 ???? FreeWheel??用户数据管理概述 ???? 系统演化 –?? 青铜时代：LevelMemcached –?? 白银时代：RocksMemcached –?? 黄金时代：AerospikeDB ???? 总结展望 2 主要内容 FreeWheel用户数据管理 ???? 视频广告解决方案 –?? 视频广告管理、投放、监测、预测、增值等业务 –?? 支撑美国在线视频广告30%流量 ???? 美国70%高端在线内容 ???? 美国几乎所有大型赛事网上直播的广告支持 –?? 跨????网络、跨平台 4 FreeWheel Powering the Future of Television ???? 用户数据管理（Audience Management System) –?? 用户群体细分 –?? 用户精准定位 –?? 对用户进行分组、管理、制定广告计划 5 FreeWheel AMS Powering the Future of Television ???? 用户数量 –?? 3亿美国人 ???? 更新快速 ???? 跨DC同步 –?? 美国：四个DC –?? 欧洲：一个 –?? 在建：澳洲、南美 6 技术挑战 – ?数据量大 ???? 查询时间 ???? 可扩展性 –?? 流量增长 –?? 用户量增长 7 技术挑战 青铜时代 ???? 数据商：Bluekai，AOL ???? 客户：AOL，ABC ???? 数据规模 –?? 用户总数：2亿 –?? 读取频率：5000每秒 –?? 峰值频率：11K –?? 写入频率：1000每秒 –?? 更新频率：每天100G（GZ压缩后） 9 青铜时代 2011.12 - 2012.10 10 青铜时代 2011.12 - 2012.10 Master Processor User log UserDB 处理 更新 新数据文件 UserDB ADS DC1 UserDB ADS DC2 UserDB ADS DC3 UserDB ADS DCn ???? 解决方案：Memcached + LevelDB -gt; LevelMemcached –?? Memcached：内存对象缓存KV数据库 –?? LevelDB：硬盘KV数据库 –?? Memcached.get调用LevelDB.Get –?? Memcached.set调用LevelDB.Put ???? 数据格式： 11 青铜时代 ?- LevelMemcached 2011.12 - 2012.10 ABC,BK, ltuwotu2mtk5mdcxmu Value：GENDER=M,AGE=18-24,HH_SIZE=2 ???? 忙等待 –?? 内存型 vs. 硬盘型 目的不同，优化方向完全不同 –?? pthread_mutex_trylock vs. pthread_mutex_lock ???? LevelDB –?? 数量 –?? 后台线程数 ???? Compaction线程 –?? 50ms请求超时 12 青铜时代 ?– QPS太低 2011.12 - 2012.10 ???? 空用户 –?? 引入BloomFilter减少读请求 13 青铜时代 ?– ?客户端优化 2011.12 - 2012.10 ??白银时代 15 白银时代 2012.10 – 2014.06 ???? 数据商：Channel4, Adobe, Verizon, Discovery, TWC ???? 客户：一半以上的客户 ???? 数据规模： –?? 用户总数：3亿 –?? 读取频率：10K每秒 –?? 峰值频率：50K –?? 写入频率：2000每秒 –?? 更新频率：每天200G（GZ压缩后） ???? 传播延迟：CookieDB的引入 ???? 多次请求 ADS DC1 User DB Cooki eDB ADS DC2 User DB Cooki eDB ADS DC3 User DB Cooki eDB ADS DC4 User DB Cooki eDB 16 白银时代 2012.10 – 2014.06 Master Processor User log Use