基于内存的分布式计算实践 (NXPowerLite).pdf

基于内存的分布式计算 主讲人 ：TalkingData 企业产品研发总监 周国平 背景简介 我们团队专注于移动运营 平台企业版 ，客户 的APP 日活 小的有不到 10万 ，大的可以达 移动运营平台企业版 到数千万。 产品进化图 V4.0 我们致力于让移动运营平 台企业版能够弹性地支持小、 V3.1 中、大型企业客户 ，系统稳定 V3.0 且易于维护。 V2.0 V1.0 2013 2014 2015 2016 2017 问题 我 们 团 队负 责 事实证 明移动运 有一天 ，我们的一个客 移 动 运 营 平 台企 业 营 平 台企 业 版 V3.0 能 户 ，他们上线了几个 日活量 版 V3.0 及 后 续 版 本 够满足 绝大 多数企 业 较大的APP ，系统的整体 日活 迭 代 ，当 时 的设 计 客户 的需求 ，能够稳 达到了2000万 ，运维人员反 目标支撑500w 日活 ， 定地支撑他们 的业务 。 映MySQL的binlog增长很快 ， 数 据 库 使 用 MySQL 。 快把剩余磁盘空间占满了。 企业客户APP 日活设计 目标 2000 W 500 W 500 W 问题分析1 某APP某天0 ：0的初始活跃状态 bitmap 我们使用了bitmap索引 第1位 第2位 第3位 … 第N-1位 第N位 技术保证移动运营各项指标 设备1 设备2 设备3 设备N-1 设备N （如 日活、留存、转化漏斗 0 0 0 0 0 0 等 ）的 实时计 算 ，因 为 当天8 ：10 ，设备3和设备N-1访问了APP bitmap索引高效且能节省存 bitmap 储空间 ，它能很方便地做指 1 2 3 … N-1 N 标的实时排重。 设备1 设备2 设备3 设备N-1 设备N 0 0 1 0 1 0