游戏大数据平台研究和实践.docVIP

游戏大数据平台研究和实践 　　作者简介：谢尉灵（1984.04-），男，汉，湖南长沙人，中国人民大学研究生在读，IGT科技开发（北京）有限公司高级软件工程师，研究方向：数据挖掘。 　　摘要：随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。由于游戏平台的数据快速处理需求，构建基于分布式+关系数据混合多元的大数据处理架构。针对高价值密度的结构化数据采用关系数据处理；大量无序的非结构化数据采用分布式机制处理。两种类型数据实现有序化后，统一交予传统关系数据库构建关系化模型并展示，既能实现关键经营分析数据的高效处理，又能满足无序的日志数据规模化处理需求。通过剖析其总体架构、主要功能和关键技术，从而为其他业务平台大数据分析建设和改造提供借鉴和参考。 　　关键词：大数据；游戏平台；数据挖掘 　　一、引言 　　为了实现游戏平台的海量数据从碎片化转化为规律化，从无序发展至有序，需要对分布式+关系数据混合多元的大数据处理机制进行架构。基于游戏平台基础采集数据源的海量与无序特征，构建分布式机制进行数据处理，转化无序数据为有序数据；同时规范数据化处理，进一步促使处理速度及展现可靠性的提升，采用关系数据库构建关系化模型并展示，有利于其它业务平台大数据的建设和改造进行参考和借鉴。 　　二、大数据分析平台架构的设计 　　淘宝、Google等互联网常见大数据分析平台支撑电子商务与网络搜索等业务，其架构为分布式存储与并行计算相结合，汇聚海量服务器以提升计算能力，从而实现响应规模及处理时效的显著提高[1]。此类平台对海量网站图片与信息等非结构化数据进行处理，具有分布式分片及存储处理等特点。与大数据分析平台相比，游戏平台的海量化程度相对较低，且投入数据分析的服务器数量比较有限。所以，处理和分析大数据时，需要同时兼顾结构化数据处理的时效性与非结构化数据分布式处理能力。 　　游戏大数据平台的数据处理技术具有多元化特征，兼容分布式计算有利于数据处理能力及处理规模的明显提升[2]。游戏大数据平台的总体架构主要包括数据源采集、数据存储、数据处理及数据可视化与数据服务四层内容。 　　（一）数据源采集。数据源采集获取原始数据的方式有三3种，即游戏平台侧、销售渠道侧及终端侧。 系统内置有数据采集模块，便于原始数据的采集。1.客户端统计SDK：对用户行为进行采集，用户数据日志通过用户终端侧上传至游戏服务端，由服务端完成对日志的接收。2.渠道数据采集：设计包括新闻、链接等内容在内的内置代码，完成对用户点击、下载等相关数据的收集。3.平台数据收集：用户下载等行为触发游戏平台对应的业务接口，接口生成日志文件并储存在指定目录当中。 　　（二）数据存储。通过三种渠道对相关数据进行收集，同时依据数据的不同形态，完成对数据非结构化和结构化的分类，并在游戏平台数据资源池中对相关数据进行存储。1.结构化数据：用户和渠道具有二维表结构逻辑表达特性和基本属性的有关数据。2.非机构化数据：用户登录、下载等分时代的碎片化数据。3.文本数据：如游戏内容运行日志等采用文本方式进行存储的数据。 　　（三）数据处理。结构化汇总、结构化转化、分布式分片处理是数据处理的三个重要部分。其中，分布式分片处理是将无序和混乱的数据按照时间逻辑进行分片处理，由不同的服务器完成对相关数据的分布式处理；结构化转化是将上述方式处理后的数据按照区域、时间等维度转化成结构化数据；结构化汇总是指结构化数据的汇总及延伸数据的计算。 　　（四）数据可视化与服务。采用图表形式实现大数据的可视化展示，便于向渠道商、内容商提供数据服务。大数据平台的关键点为：构建创新处理机制，使其具有海量数据分析能力的同时满足数据处理的精确要求；基于游戏平台实现海量数据分布式计算的存储及处理；实现数据的可视化展示，以满足对数据分析的需求。 　　三、游戏数据处理机制的产生 　　（一）数据源。游戏业务中，手游业务产生的数据与其它游戏业务存在不同差异，其时效性与碎片化比较突出，数据处理对时效的要求较高。1.时效性：手游用户游玩的生命周期一般较短，且游戏内容的更新速度快，所以需要对游戏内容的生命周期进行分析，同时对有关数据进行实时处理。2.碎片化：手游在用户游玩时间及持续时长上具有随机性，突出表现为碎片化特性，实现相关数据的实时采集和处理，是提升海量数据处理效率的关键。 　　游戏大数据平台的数据源通过客户端及相关渠道获取原始数据，包括变量和常量两大类数据[3]。常量数据在一段时间内保持不变，如渠道编号等，以数据形式对厂商、内容等进行展示，是数据分析及逻辑处理的重要基础；变量数据则包括渠道、内容、用户在内的相关数据。 　　（二）大数据处理的多元化。游戏内容下载、用户日常登录等碎片化数据一般以零散的日志形式存在，Flu