如何打造100亿SDK累计覆盖量的大数据系统.docxVIP

如何打造100亿SDK累计覆盖量的大数据系统 作为推送行业领导者，截止目前个推SDK累计安装覆盖量达100亿（含海外）,接入应用 超过43万，独立终端覆盖超过10亿（含海外）。个推系统每天会产生大量的日志和数据, 面I缶许多数据处理方面的挑战。 首先数据存储方面,个推每天产生10TB以上的数据,并且累积数据已在PB级别。其次， 作为推送技术服务商，个推有很多来自客户和公司各部门的数据分析和统计需求，例如：消 息推送和数据报表。虽然部分数据分析工作是离线模式，但开源数据处理系统稳定性并不很 高，保障数据分析服务的高可用性也是一个挑战。另外，推送业务并不是单纯的消息下发, 它需帮助客户通过数据分析把合适的内容在合适的场景送达给合适的人，这要求系统支持数 据挖掘,并保证数据实时性。最后,个推要求快速响应数据分析需求。因此,个推大数据系 统面临着数据存储、日志传输、日志分析处理、大量任务调度和管理、数据分析处理服务高 可用、海量多维度报表和快速响应分析和取数需求等方面的挑战。 大数据系统演进之路 面临诸多挑战,个推大数据系统在逐步发展中不断完善。其发展可分为三个阶段。一是统计 报表，即传统意义的BI ;二是大数据系统的基础建设阶段；三是工具、服务和产品化。 1 j 统计报董 ?T 犬詼1居星础逢w 工貝似努+产品 k J L J 201452? 2014-2015^ 2016^ 个推大数据系统演进第_阶段:统计报表计算 早期由于数据处理无太复杂的需求，个推选择几台高性能的机器，把所有数据分别放在这些 机器上计算。只需在机器上多进程运行PHP或Shell脚本即可完成处理和统计。数据处理 更多关注客户今天推送多少条消息,某个推送彳王务有多少回执等，执行相对较简单的报表。 此阶段个推大数据系统的特点是，只需运维定时脚本传输到指定中间节点；用户虽然有亿级 别但日志种类较单一；只需使用PHP、Shell脚本来运行和数据只需短期保存（结果集长期 保存、中间数据和原始数据保存很短时间）。 个推大数据系统演进第二阶段:大数据基础建设,离线批处理系统 2014年个推推出智能推送解决方案。用户体量大的明星App接入，系统覆盖用户数爆增。 且客户接入个推系统后，提出了很多新的需求如：报表统计维度更丰富,它要求在数据量翻 倍的情况下进行更复杂的计算，计算压力增大。其次，智能推送本质是数据深度挖掘，数据 保存周期越长，覆盖维度越多越好。 这样的情况下，个推引进Hadoop生态体系,用HDFS基本解决存储的问题，使用Hive 做数据仓库和离线分析，并且使用Mahout做机器学习。个推完成了由单机或多机模式向集 群方向的转变。整个运转流程和原来类似，差别在于将日志传输到中转节点之后，使用hdfs 命令put数据到hdfs ,并添加hive表分区，然后对日志做进一步的处理，导入到数据仓储 里去。最后个舸寸数据仓库中数据进行挖掘，给用户打标签，入库到HBase和线上ES等。 这是离线批处理系统的基本建设。 个推大数据系统演逬第二阶段:大数据基础建设,实时处理系统 随着业务不断发展，需求也相应增加。如很多统计分析任务提岀了要求在T+0的时间内满 足，或者客户上午推送的消息，下午要求给到反映推送效果的数据报表，而不能等到T+1 的时间，这些需求都对数据处理实时性提出了更高要求。而且很多客户会提出要检索一些数 据，或查看某种标签相关数据，这类取数需要快速响应。于是个推对原有的架构进行了一些 调整，引入了一个主要包含离线处理、实时处理和数据服务（包含检索）的架构模式。 日斡HBaseSpark Streami ngKtysql ClusterHDFST彎 日斡 HBase Spark Streami ng Ktysql Cluster HDFS T 彎 从上方看，原有的数据存到HDFS ,使用Spark , MR等进行离线批处理。弓I入Kafka来解 决日志收集问题，用Flume收集各个业务节点的日志,并写入到Kafka集群，再依照业务 的分级进行小时级别和秒级别处理。最终个推会落地一份数据，将它同步给业务线的DB或 ES中使用。 基础建设阶段个推完成几项工作：采用Lambda架构(Batch Layer、Speed Layer、 ServingLayer);引入 Hadoop ( Hdfs、Hive/MRX Hbase、Mahout 等)；采用 ES、 SolrCloud+ HBase方案实现多维度检索；引入Flume、Kafka、Camus和优化改造日 志传输和引入和优化国产开源的Redis集群方案?Codis。 个推大数据系统演逬第三阶段:工具化+服务化+产品化 zHadOOpHRHDFSHiveCamusSpark Streaming? zPecy qAzkaban