海量游戏日志收集与分析.docxVIP

海量游戏日志收集与分析上图是国外应用市场的一个报告，统计了最近4年中，一款游戏从上架到达到饱和持续的时间长度，横轴代表的是年份，纵轴代表的是持续的周数。在2012年，一款游戏平均可以持续180周，但这个比例每年在持续下滑，到2015年该区间已经到了24周，进入快餐式消费时代。不管背后原因是什么，从整个趋势来看游戏行业已经从卖方市场，到现在的买方市场。随着云计算的发展，游戏部署、上线时间缩短了。原先繁重运维工作进一步地减轻，传统意义上运维转向了运营。这是时代的挑战，也是全栈工程师的幸运。与此同时，大数据制造的机遇了。我们把2015年24周打开看一下，机会在哪里？从图表中可以看到，游戏一般有四个阶段：研发、增长、成熟、衰退。在增长阶段我们会遇到模仿者，抢占市场份额。怎么去应对模仿者？少犯错、离用户更近一些，实时更改自己的运营策略。游戏行业变化激烈，但游戏用户始终不变虽然市场很激烈，但20多年来用户的习惯仍然不变。面对一款新的游戏时：用户首先会尝试下载demo之后会喜欢上游戏，和游戏朝夕相处某些热爱的玩家会在facebook/twitter等传播游戏、引入更多的玩家为游戏付费客观上看游戏用户并没有因为市场竞争激烈而减少，相反移动互联网的出现让用户在闲暇时间可以享受游戏，社交媒体使得好的游戏更容易传播，用户也越来越舍得花钱，市场的机会还是存在的。为了获取用户，游戏团队需要关注什么?为了能够让用户一步步爱上我们的游戏，团队中不同的人在不同方面进行合力。让我们来看一些例子，不同的人会关注什么。游戏总监：Conversion Rate，ARPU，ARPPU，UAC运营：DAU，MAU，PCU渠道：CTR，CVR，CPI程序/产品：EED，XED，Outbound Message Per User，Message Conversion Rates例如：开心农场这样的引用会非常关注日活跃用户量（DAU），用户游戏频率，退出时间等，通过日志数据可以有效的甄别这些数据，分析用户退出的原因，进而规划响应的运营侧路。同时，运营人员也会关注投放的游戏广告到底能够拉来多少用户，投放的ROI效果如何，这些财务计算可以从日志中拉到响应的流量信息。再例如：FPS枪战游戏会非常关注各道具的平衡性以及关卡的难度设定。技术人员可以通过日志中记录的不同Kill事件统计武器的平衡性，同时通过地图可视化，调整关卡的难度与设置。所有这些数据分析都需要依靠系统日志作为基础的数据来源。通过日志分析能做的不仅仅如上所述，通过日志分析还能够帮助游戏用户找寻丢失的装备；机器当机数据丢失了，可以通过日志来进行还原；定位异常信息，发现偷盗、作弊等行为；投放广告：例如用户没有打赢Boss：缺少什么道具；进行用户画像；用户卡顿原因查询等等。收集用户行为、并优化游戏的整个过程为了拿到以上结果，游戏团队需要做什么事情？我们可以大致拆分成三个过程：在游戏开发阶段埋点在各个渠道收集数据对数据进行多维度的分析，拿到结果采取行动在整个过程中串起用户端和服务端最重要的点就是数据。日志处理面临的多种挑战日志有那么多的作用，那处理起来有哪些挑战呢？第一个挑战和产生相关，游戏涉及到方方面面的合作。例如涉及游戏发行商、移动端、网页端、服务器端等。因此要从多个维度、多个渠道来收集日志，对于每一种日志有独特处理方法：例如为了分析渠道我们需要在网页埋点；为了拿到用户的行为，我们需要从移动设备、服务端等记录玩家轨迹；为了分析服务的稳定性，我们需要观察请求的延时等特点。在这里我们需要使用一个统一的数据模型，支持各个渠道的数据通道来完成统一大事。第二个挑战来自规模、性能和稳定性：举一个直观例子，假设每秒钟我们需要收集一个用户1KB数据，在100W玩家同时在线的情况下，这个数字就是100MB/S处理流量，这个量挑战不小。如何在数据规模增长的情况下，保持性能的稳定性，是工程师需要关注的。第三个挑战来自于需求，在之前我们提到了游戏团队中不同人对于需求的产出是不同的。比如对访问日志，运营的需求是统计活跃人数比例，运维关系的是延迟和访问状态，开发关心的点是哪些资源是热点，需要进行优化。因此我们需要对一份数据，支持多种处理、统计的方法。阿里云日志服务我们来看看阿里云日志服务(LOG)怎么帮助解决这类问题。在开放在阿里云官网之前，日志服务已经在阿里巴巴内部经历了3年多的历练，达到行业领先的水平。在游戏日志分析的场景中也能够发挥巨大作用。日志服务主要提供三个主要功能：日志收集与实施消费（LogHub：日志中枢通道）打通日志与数据仓库（LogShipper：日志投递）提供海量日志查询与分析（LogSearch，日志检索）LogHub是日志服务最核心的功能，他将日志源与日志消费者通过统一数据模型串联起来。最大好处是把数据管道化，标准化。这根管道是