腾讯蒋杰：深度揭秘腾讯大数据平台.pdfVIP

腾讯蒋杰 ：深度揭秘腾讯大数据平台 小编推荐 ：长文预警 ，干货预警 ，技术部分术语众 可能比较难理解 ，但本着探秘腾讯大数 据的心来看 ，了解一下也不错 ，有看不懂的地方可以暂时收藏 ，干货难得噻~ 腾讯业务产品线众 ，拥有海量的活跃用户 ，每天线上产生的数据超乎想象 ，必然会成为数据大户 ，为了保证公司各业务产品能够使用更丰富优质的数据服务 ，腾讯的大数据平台做了那些工作?具 备哪些能力? 大数据 ，这个词越来越热 ，很 人都在谈大数据 ，其实很 张口闭口大数据的人 ，或许都不知道数 据是如何产生、传递、存储、运算到应用的。其实我一直感觉大数据这个东西有时候真的不是一般 企业可以玩的溜的 ，特别是随着传统业务增长放缓 ，以及移动互联网时代的精细化运营 ，对于大数 据分析和挖掘的重视程度高于以往任何时候 ，如何从大数据中获取高价值 ，已经成为大家关心的焦 点问题。 腾讯业务产品线众 ，拥有海量的活跃用户 ，每天线上产生的数据超乎想象 ，必然会成为数据大户 ，为了保证公司各业务产品能够使用更丰富优质的数据服务 ，腾讯的大数据平台做了那些工作?具 备哪些能力?记者采访到了腾讯数据平台总经理蒋杰先生 ，他将给大家揭秘腾讯的大数据平台! 建设专业数据平台、持续提升处理能力、贴身满足业务需求、挖掘创造数据价值———蒋 (腾讯 大数据团队使命) 　问 ： 首先还是请蒋总介绍一下自己和你的职业生涯。 蒋杰 ：我是蒋杰 ，目前是腾讯数据平台部的负责人。我的第一份工作其实并非在互联网行业 ，而是 在传统IT 行业工作了五年。随着互联网在中国的爆发 ，我也从传统IT 行业转移到了阿里巴巴 ，在那 里的五年也是我在互联网行业起步和成长的五年。之后有机会与腾讯结缘 ，对我来说也是进一步提 升和发挥的机会 ，于是就举家由杭州南迁到深圳工作至今了! 十 年的职业生涯 ，转换过公司也转换了工作生活的城市 ，但一直不变的是我的工作始终围绕着“ 数据”展开 ，无论是在传统IT 行业 ，还是之后的互联网行业 ，“数据”始终是我工作的核心内容 ，而我 自己最大的职业追求也离不开“数据” ，我想可能未来十年到二十年之内我的工作还是会围绕着“数据” ，因为我热爱大数据的技术 ，也在不断发掘数据中蕴藏的巨大价值 ，并相信数据在不断地改变着我 们的生活! 问 ： 可否介绍一下目前腾讯数据平台部的技术团队规模和结构是怎样的? 蒋杰 ：目前我们数据平台部共有200 人。整个数据平台是按照基础平台、核心应用、产品包装和 质量监控的思路分为四部分 ： 数据中心 ，负责建设管理腾讯大数据基础平台; 精准推荐中心 ，负责研发落地以数据挖掘为核心的大数据应用; 产品中心 ，负责大数据产品的策划和运营; 质量中心 ，负责我们的质量监控与保障。 问 ： 能简单说说腾讯目前的数据情况么? 蒋杰 ：要说腾讯的数据情况 ，得从不同的业务说起。其中主要包括以下5种 ： Q Q ：月活跃用户超8亿 ，最高同时在线1.9亿;在线人际关系链超1000亿; 微信 ：月活跃超3.5亿;日均消息量超50亿; 空间 ：月活跃用户超6亿;日均相册上传超过4亿;日写操作总数过10亿; 游戏 ：腾讯游戏月活跃用户4 .5亿;手机游戏月活跃用户近2亿; 网站 ：日均浏览量PC侧超17亿 ，手机侧近13亿;日访问用户量PC侧近1.3亿;手机侧近8千万; 从这些数据可以看到 ，腾讯每天的数据量是一个天文的数字 ，目前最高日接入消息条数8000亿 ，日 接入数据量200T B ，并发分拣业务接口10000个。 问 ： 能不能详细介绍一下这个平台架构的架构设计思路? 蒋杰 ：其实这些你都可以从腾讯目前的发展看出来 ，主要考虑的是数据开放、专业化、成本三点。 数据开放 ：使得公司数据集中形成数据开放 ，在保障数据安全性的前提下 ，提供自助化服务平台 ， 从人肉服务模式转向平台自动化服务方式 ，帮助BG数据分析人员通过自助服务的方式 ，降低人工 成本 ，满足快速增长的需求。 专业化 ：从提供大量独立的系统/工具转变向提供集成、一体化、自动化数据开发平台服务。来源各 个业务块数据进行整合和深入挖掘产生用户画像 ，为业务提供有价值的服务 ，并且快速孵化更 的 数据应用。 成本与性能 ：优化平台存储和计算方案、优化的数据模型和算法、去除重复计算和存储;通过建设大 规模集群 ，形成规模效应 ，提升平台能力并降低成本;随着平台上的数据量、用户数、任务数不断 增长 ，每个新用户/新任务带来的新增成本不断降低 ，成本优势可以不断放大。 问 ： 能不能详细介绍