手机游戏大数据实时计算框架研究与实践.docVIP

手机游戏大数据实时计算框架研究与实践 【摘 要】为了满足移动终端游戏的精准运营需求，需要收集用户行为数据，实时分析业务状态，深度挖掘市场价值。基于Kafka、Flume、Storm、Redis等开源技术，构建了手机游戏大数据实时计算系统，实现了海量实时数据的采集、存储、计算和查询，并在现网实际系统中得到了成功应用。 【关键词】大数据 实时计算 开源 手机游戏 doi：10.3969/j.issn.1006-1010.2016.05.017 中图分类号：TP399 文献标识码：A 文章编号：1006-1010（2016）05-0079-06 引用格式：陈杰，苏洋，唐勇，等. 手机游戏大数据实时计算框架研究与实践[J]. 移动通信， 2016，40（5）： 79-84. 1 引言 在移动互联网时代，以手机游戏为代表的移动应用得到了飞速的发展。为了实现精细化运营，迫切要求针对海量数据能够实现实时计算结果以及秒级响应速度。以移动终端手机游戏平台为例，需要处理的流式数据主要包括手机游戏用户的PV/UV数值、页面浏览情况、手机游戏内容查找/登录/支付情况等，这些均要求实时数据的计算和分析，以便可以动态地获取用户访问数据，展示手机游戏平台实时流量的变化情况和用户行为习惯等。面对海量的业务数据量，传统的穷举所有可能条件的查询组合或者穷举条件组合的方法失效。 基于分布式处理机制和实时计算架构，将计算过程移至查询阶段，才能满足互联网业务海量数据计算和快速查询响应的需求。 2 实时计算处理流程 对互联网业务的海量数据（主要为日志流）的实时计算可划分为三大主要阶段：数据采集、实时计算处理分析和实时查询展示阶段。 在数据采集阶段，通常采用主要互联网公司提供的开源的海量数据采集工具，满足每秒数百MB的日志数据采集和传输要求，如Facebook的Scribe、LinkedIn的Kafka、Cloudera的Flume，淘宝的TimeTunnel、Hadoop的Chukwa等。 在数据实时计算分析阶段，首先将数据采集并存储在DBMS（Database Management System，数据库管理系统）中，然后通过查询和DBMS进行交互。但对于现阶段大量存在的实时数据，比如手机游戏交易/支付的数据，一般采用流计算技术。 在实时流计算框架方面，Yahoo推出的开源架构S4，Twitter使用的Storm，以及业界较为常见的Esper、Streambase、HStreaming等相关技术架构，均基于分布式并行计算（节点间的并行、节点内的并行）和热点数据的缓存处理等技术，提供实时计算服务。 在实时查询展示阶段，按照前端展示或者计算结果存储位置的不同可分为：1）直接提供数据读取服务，定期采用进程的内存镜像到磁盘或数据库全内存方法；2）采用Redis、Memcache、MongoDB、BerkeleyDB等内存数据库提供数据实时查询的半内存方法等。 3 手机游戏大数据实时计算 本文提出了手机游戏大数据实时计算架构，采用Kafka+Flume集群完成实时数据采集，利用Storm框架完成数据实时计算，采用Redis+HBase模式构建查询服务，满足了数据本地磁盘存储的安全性和长久性，实现基于内存提升查询速度。 3.1 实时计算架构 稳定可靠且高效的底层架构是实时计算的必要基础。图1给出了手机游戏大数据实时计算平台的总体框架，如图所示包含数据采集、数据存储、数据处理、数据应用四个层级。 数据采集对象主要是全体日志数据。按照统一规则整合，为数据应用提供实时数据。手机游戏日志主要包括两大来源，一是日志服务器集群实时上传的日志；二是业务接口后台服务器实时打印的日志。实时日志采集框架如图2所示： 将Flume部署在上述两大类日志源服务器上，作为海量日志实时采集的框架。如图2所示，Flume NG节点由Source、Channel、Sink三部分组成。Channel将Source和Sink连接起来。Flume的Source将外部数据源传递的数据封装成Flume数据模型的最小单位event。该数据源主要是业务接口实时产生的日志文件，使用操作系统原生类型exec来执行命令：tail-f/pathname/filename.xxx采集。此方式简单可靠，适合采集业务接口实时打印的日志。同时还需要打开Source的restart开关，当进程由于某种原因僵死后，可以自动重启。手机游戏行为数据由客户端统计SDK和业务接口产生。为了更好地区分有效日志与程序调试或其它用途的内容，约定了统一的实时日志前缀“[REALDATA]”来减少Flume Agent的日志量，提高了日志采集效率。 数据存储层提供了实时数据处理层需要的类分布式存储，主要采用了分布式消息队列（Apache Kafka）和Apache