ASBJ2014-周海鹏-TalkingData-大数据统计分析平台架构故事---TalkingData数据库架构变迁-终稿.pptxVIP

从草根到云端 – TalkingData 数据库技术进化TalkingData Tech VP 周海鹏2014-10“人们”眼中的TalkingDataApp AnalyticsGame AnalyticsMobile Ad TrackingEnterprise移动应用统计分析游戏运营分析移动广告监测企业解决方案 两大一线应用市场35%覆盖11500+49家Top盈收游戏应用款数网盟对接2.5亿+ 三大运营商7.5亿+40%覆盖玩家覆盖累计覆盖行业广告主1000万+ 四大银行2500万+1500万点击日活玩家日活设备日监测点业务模型广告行业投放、优化、防作弊移动互联网数据人口统计学信息O2O旅游、餐饮、社区游戏虚拟生活TalkingData大数据平台金融、证券Web浏览日志日常生活数据汽车、健康服务计算需求VelocityVariety8亿设备功能扩展秒级别查询2500W日活分钟级别更新多维查询草根时代（HelloWorld）开发人员少业务方向不清晰产品需求简单简单、可用、快速开发批量插入效率一般大数据量下Schema变化难草根时代（统计分析系统计算模型）countsumgroup bymulti join distinct count青铜时代青铜时代支持业务横向扩展数据量支持亿级表草根时代2014了解业务模型清晰计算模型201320122011青铜时代基于Hadoop生态的批处理系统数据库批量Insert/Update，压力大数据库读压力小Schema 更新多青铜时代（TokuDB）大数据量 Insert/Update/Delete/优化，均是messageSchema更改，例如Column增加/删除/更改lazy式操作，自上而下逐步Flush到leaf节点天然多版本，无需做undo logFast insert/ Fast update，延迟小青铜时代青铜时代大数据量插入能力，更新能力的确比较突出InnoDB也不差，和索引、数据Layout、操作模式有关青铜时代针对SSD有一定优化如果考虑随机查询能力，不少专门针对SSD优化的KV库更合适，例如AeroSpike黄金时代黄金时代数据量支持百亿表查询能力到毫秒级支持多维交叉业务青铜时代支持业务横向扩展数据量支持亿级表草根时代2014了解业务模型清晰计算模型201320122011黄金时代（从行式到列式）极高的装载速度（最高可以等于所有硬盘IO的总和，基本是极限了）适合大量的数据而不是小数据高效的压缩率，不仅节省储存空间也节省计算内存和CPU非常适合做聚合操作黄金时代InfobrightInfiniDBMonetDB列存储VerticaAggressiveCompression（CPU/IO平衡）shared-nothing,grid-based（并行查询）多备份（高可用性）黄金时代select avg( score ) from example where class =‘Junior’ and grade = A group by gender;黄金时代查询速度（ms）存储能力（G）黄金时代select count(*) from (select devid from newuser where job_time=20141007001501 and productid=3012470) nleft outer join (select devid from activeuser where job_time=20141008001501 and productid=3012470 group by devid) l on (n.devid=l.devid) where l.devid is not null;黄金时代：Join操作的难点和解决思路以Bitmap计算替换原始日志扫描（优化存储，降低成本）Hash joinHash joinHash joinhashtablehashtablehashtable高效的内存计算（优化速度，优化功能）优化：逻辑计算等价优化：串行改并行AAgentCCustomerSLocationLLocation黄金时代Select count（*） from user where status = ‘married’ and region = ‘central’ or region = ‘west’status =“married”region =“central”region =“west”011001010011001100011001011111011001ANDOR=AND=黄金时代172672904云端时代云端时代支持统一数据查询能力支持多数据库混合存储面向场景的数据库研发黄金时代数据量支持百亿表查询能力到毫秒级支持多维交叉业务