Twitter 如何将 Kafka 当做一个存储系统.docxVIP

Twitter 如何将 Kafka 当做一个存储系统 原创过往记忆大数据 过往记忆大数据 2021-12-31 收录于话题 #Kafka 4 个内容 #分布式技术 52 个内容 #过往记忆 59 个内容 #大数据 51 个内容 前言 当开发人员通过我们供应的 API 使用公开的 Twitter 数据时，他们需要牢靠性、高效的功能以及稳定性。因而，在前一段时间，我们为 Account Activity API 启动了 Account Activity Replay API ，让开发人员将稳定性融入到他们的系统中。Account Activity Replay API 是一个数据恢复工具，它允许开发人员检索5天前的大事。并且供应了恢复由于各种缘由而没有交付的大事，包括在实时交付期间服务器的宕机。 除了构建 API 来供应良好的开发者体验，我们还做了以下的优化： ?提高我们工程师的生产力。 ?使系统易于维护。具体地说，我们尽量削减开发者、站点牢靠性工程师和任何与系统交互的人的交互。 由于这些缘由，在构建此 API 所依靠的回放（replay）系统时，我们利用了 Account Activity API 的实时系统的现有设计。这挂念我们重用已经存在的工作，并且最小化上下文切换和培训。 实时系统是利用了发布-订阅架构（publish-subscribe architectu