Airbnb的核心日志系统架构设计.docx

Airbnb的核心日志系统架构设计InfoQ微信号 infoqchina功能介绍 有内容的技术社区媒体随着业务的快速增长，传统的基于批处理模式和无格式的日志处理已经逐渐不能满足应用需求。因此，Airbnb 数据基础构架组开发了新一代的日志数据存储和查询平台，着重于保证日志数据的质量，解决数据的实时性，提高查询的灵活性，方便多维度统计分析，和提供异常检测。演讲主要分享 Airbnb 核心日志平台的系统构架，以及主要系统模块的设计和实现。 背景介绍 什么是日志平台系统？首先我们知道大数据对于互联网公司有非常重要的价值，对 Airbnb 也不例外。我们通过数据可以为客户提供最佳的旅行体验，同时我们也可以通过数据发掘用户的需求、市场需求，对我们的产品做出正确的决策。这里是一些很简单、很具体的应用。首先通过数据可以进行反欺诈，让我们的平台变得更加可靠、值得信赖，同时通过数据可以找到我们所需要的房源，通过分析用户的相关行为，我们可以做到用户的拉新、促或、匹配，我们也可以做 AB 测试，可以通过数据决定新的产品或者功能是不是对业务起到一定的帮助，同时数据可以用来做监测。这是产品和数据仓库的关系，这么一个简单的从产品到数据仓库的纽带，就是日志的收集系统。说到 Airbnb 的平台系统，在开发和完善过程中也踩到了很多坑，取得了很多进步。这是大概两年前的状态，使用的是无格式的 JSON 日志，我们有超