linkedin:我是如何做到1秒发布450万条消息.docxVIP

  • 1
  • 0
  • 约4.64千字
  • 约 6页
  • 2021-01-18 发布于天津
  • 举报

linkedin:我是如何做到1秒发布450万条消息.docx

LinkedIn :我是如何做到 1秒发布 450 万 条消息 日志君导读:本文: InfoQ ,作者:张卫滨,点击阅读原 文 查看网页版文章。 LinkedIn 在 2011 年 7 月开始大规模使用 Kafka ,当时 Kafka 每天大约处理 10 亿条消息,这一数据在 2012 年达到了每天 200 亿条,而到了 2013 年 7 月,每天处理的消息达到了 2000 亿条。在几个月前,他们的最新记录是每天利用 Kafka 处理 的消息超过 1 万亿条,在峰值时每秒钟会发布超过 450 万条 消息,每周处理的信息是 1.34 PB。每条消息平均会被 4个 应用处理。在过去的四年中,实现了 1200 倍的增长。随着 规模的不断扩大, LinkedIn 更加关注于 Kafka 的可靠性、成 本、安全性、可用性以及其他的基础指标。在这个过程中, LinkedIn 的技术团队在多个特性和领域都进行了有意义的探 索。Linkedln在Kafka上的主要关注领域配额( Quotas)在 LinkedIn ,不同的应用使用同一个 Kafka 集群,所以如果某 个应用滥用 Kafka 的话,将会对共享集群的其他应用带来性 能和 SLA 上的负面影响。 有些合理的使用场景有可能也会带 来很坏的影响,比如如果要重新处理整个数据库的所有数据 的话,那数据库中的所有记录会迅速推送到 Kafka 上,

文档评论(0)

1亿VIP精品文档

相关文档