腾讯游戏大数据场景与应用.pptxVIP

腾讯游戏大数据场景与应用周东祥腾讯互动娱乐运营部数据中心 目录腾讯游戏大数据架构数据计算与应用iData腾讯游戏数据分析 腾讯游戏大数据架构数据采集 (TGlog)数据传播 (TDBank DT)元数据管理iData游戏一站式数据服务平台Billow 数据计算平台实时计算(RealTime)数据挖掘大数据存储 (TDW HDFS )在线服务(Online)数据分析AMS活动营销对外推送事件触发(Trigger)准实时计算(Firm RT)离线计算(LZ Hive)适时计算交叉计算关联计算应用存储 腾讯游戏大数据架构端游 50+款……手游100+款页游 70+款…70P13万+表7000+表2000+表2500亿＋记录34亿＋记录1500亿＋记录 腾讯游戏大数据架构数据采集- TGlog单点、容灾可用性低单机管理扩展变更繁琐机器资源挥霍成本高 腾讯游戏大数据架构数据采集-TGlog 耦和度低、标准开放接口、接入成本低 统一化数据运营标准协议XML、数据本地化容灾 腾讯游戏大数据架构数据采集- TGlog 腾讯游戏大数据架构游戏数据特点游戏数据构造强依赖游戏内容元数据内容维度表多，版本变化快（最多端游370多张表）UDP协议接入成本低、解耦异构化存储带来的挑战 数据计算与应用腾讯游戏大数据架构数据计算与应用iData腾讯游戏数据分析 数据计算与应用实时计算适时计算在线计算 数据计算与应用实时计算-RealTime数据采集 (TGlog)实时计算(RealTime)数据分析AMS活动营销事件触发(Trigger)交叉计算关联计算操作接口 (IDIP)游戏服务器 (GameSvr) 数据计算与应用实时计算-RealTime实时计算与游戏内场景结合场景外微信平台的结合数据分析低成本 与 实时计算触发高成本实时计算带来的游戏活动营销的变革 数据计算与应用实时计算-RealTime 数据计算与应用实时计算-RealTime 数据计算与应用适时计算-Tmore 数据计算与应用适时计算-Tmore 数据计算与应用适时计算-Tmore 数据计算与应用适时计算固话指标场景的主要性模板配置化联动，效率提升自助化和外包化基础增长多维计算的维度适时计算-Tmore 数据计算与应用在线计算-Online大数据批量计算秒出数据重用屡次计算基础指标（C++分布式）与特征指标分离（Spark） 数据计算与应用 数据计算与应用在线计算-Online大数据批量计算秒出速度，最大1分钟，平均20s内C++ bitmap的大量应用(数据索引+数据序列化存储)Spark的本地化计算 iData腾讯游戏数据分析腾讯游戏大数据架构数据计算与应用iData腾讯游戏数据分析 iData腾讯游戏数据分析 iData腾讯游戏数据分析基础指标的“付费分析”和“活跃分析” iData腾讯游戏数据分析下钻分析 iData腾讯游戏数据分析顾客画像 周东祥 276110596@微信 zhirenzhishan11