TalkingData-大数据下的大表JOIN计算和优化.pdf

大数据下的大表JOIN计算和优化 TalkingData Tech VP 周海鹏 2014-10 “人们”眼中的TalkingData App Analytics Game Analytics Mobile Ad Tracking Enterprise 移动应用统计分析 游戏运营分析 移动广告监测 企业级解决方案 l  应用款数 11500+ l  Top盈收游戏 35%覆盖 l  网盟对接 49家 l  两大一线应用市场 l  累计覆盖 7.5亿 + l  玩家覆盖 2.5亿 + l  行业广告主 40%覆盖 l  三大运营商 l  日活设备 2500万 + l  日活玩家 1000万 + l  日监测点 1500万点击 l  四大银行 移动大数据 业务模型 广告行业 移动互联网 投放、优化、 数据 防作弊 人口统计学 O2O 信息 旅游、餐饮、社区 游戏 TalkingData 虚拟生活 大数据平台 Web 金融、证券 浏览日志 日常生活 汽车、健康 数据 服务 移动大数据 我们面临的需求和挑战（3个V ） 8亿设备 秒级别查询 多维查询 2500W日活 分钟级别更新 交互式查询 移动大数据 传统技术体系和缺陷 u  大数据量查询速度慢 u  大集群构建成本高昂 u  多维交叉计算能力低效 u  流式计算无法回朔 移动大数据 大表Join操作的难点和解决思路 ：Bitmap u  以Bitmap计算替换原始日志扫描 （优化存储 ，降低成本 ） Hash join u  高效的内存计算（优化速度 ，优化功能 ） hash