架构师-大数据平台架构.pdf

1 架构师特刊：大数据平台架构 序言 当笔者一开始就将大数据技术和金钱庸俗地扯上关系时，相信不少开发者和 读者是不屑的，然而这里仅仅谈笔者在全球架构师峰会深圳站记录的两笔足以惊 讶的账： Twitter 机器学习平台组负责人郭晓江：我们上了大规模的在线学习的东西 之后，把整个Twitter 的营收提高了大概30%左右，这对于Twitter 是几十亿美 金的business，30%是一个非常非常可观的数字，而且超越了所有算法工程师这 么多年加起来的努力。 阿里巴巴速卖通技术部总监郭东白： （基于大数据的全球电商系统性能优 化）我们把订单增加了 10.5%，这一年白花花的银子相当于白来的（例如一年的 GMV 是 10 亿美金，现在变成了 11 亿），直接回报是非常大的，这个项目给整个 AliExpress每年带来了数亿美金的回报。 对于体量已经非常庞大的企业，大数据技术依旧能给它们带来可观的利润提 升，这也许是我们可见的最直观的大数据价值。 架构师特刊：大数据平台架构 2 相信在这个大数据引领变革的时代，不少开发者和企业都眼红大数据技术能 给自身带来怎样的利益。大数据听起来似乎深奥遥远，然而以机器学习和广告为 例，广告优化所需要的大数据机器学习算法等知识只需要上过 Andrew N 的机器 学习课就已经足够，但无论是Twitter还是Google、 Facebook都投入了无数的 人才和资源，就是要把机器学习做到系统规模化和服务规模化，而支撑起系统规 模化和服务规模化关键就是各互联网企业所努力搭建的大数据平台。 回到大数据本身，虽然企业推动自身大数据技术发展的动机不同，但实践起 来无非以下三步： • 依托企业资源获取海量的用户行为，归纳提炼为数据； • 凭借现有的大数据技术对数据全量挖掘分析； • 根据企业的不同需求开发对应的应用。 作为用户的我们也许只关心企业在第3步中为我们提供了怎样的服务，例如 个性化推荐音乐、与人工智能对弈等等；但作为大数据开发者应当了解大数据平 台的建设是贯穿每一个环节的，唯有认真学习与实践才能在开发的每一步中提高 效率和降低成本。 因此在本期技术特刊中我们总结了酷狗、美团、Airbnb 的大数据平台架构 实践范例，以及携程、IFTTT、卷皮等公司业务结合大数据平台的架构分析，希 望读者能通过不同的角度从中收获到搭建大数据平台知识。 最后，互联网天生为大数据提供了极易获取数据的平台，我们正处于大数据 技术爆炸疯狂的最好时代，也处于处处被记录牺牲隐私的最差时代，我们唯有顺 势而为沉淀技术，才不至于被这个充满机遇和挑战的新时代提前淘汰。 ArchSummit 组委会 3 架构师特刊：大数据平台架构 目录 05 酷狗音乐的大数据平台重构 19 Airbnb 的大数据平台架构 25 美团大数据平台架构实践 41 电商卷皮 BI 的实践演进和架构体系 51 解密 IFTTT 的数据架构 56 面对百亿用户数据，日均亿次请求，携程应用架构如何涅槃 4 架构师特刊：大数据平台架构 经典大数据架构案例 1： 酷狗音乐的大数据平台重构 作者 王劲 【编者按】本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。 酷狗音乐的大数据架构本身很经典，而这篇讲解了对原来的架构上进行重构的工 作内容，总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续 改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。 眨眼就新的一年了，时间过的真快，趁这段时间一直在写总结的机会，也总 结下上一年的工作经验，避免重复踩坑。酷狗音乐大数据平台重构整整经历了一 年时间，大头的行为流水数据迁移到新平台稳定运行，在这过程中填过坑，挖过 坑，为后续业务的实时计算需求打下了很好的基础。在此感谢酷狗团