- 1
- 0
- 约4.64千字
- 约 6页
- 2021-01-18 发布于天津
- 举报
LinkedIn :我是如何做到 1秒发布 450 万 条消息
日志君导读:本文: InfoQ ,作者:张卫滨,点击阅读原 文 查看网页版文章。
LinkedIn 在 2011 年 7 月开始大规模使用 Kafka ,当时 Kafka 每天大约处理 10 亿条消息,这一数据在 2012 年达到了每天 200 亿条,而到了 2013 年 7 月,每天处理的消息达到了 2000 亿条。在几个月前,他们的最新记录是每天利用 Kafka 处理 的消息超过 1 万亿条,在峰值时每秒钟会发布超过 450 万条 消息,每周处理的信息是 1.34 PB。每条消息平均会被 4个
应用处理。在过去的四年中,实现了 1200 倍的增长。随着 规模的不断扩大, LinkedIn 更加关注于 Kafka 的可靠性、成 本、安全性、可用性以及其他的基础指标。在这个过程中, LinkedIn 的技术团队在多个特性和领域都进行了有意义的探 索。Linkedln在Kafka上的主要关注领域配额( Quotas)在
LinkedIn ,不同的应用使用同一个 Kafka 集群,所以如果某 个应用滥用 Kafka 的话,将会对共享集群的其他应用带来性 能和 SLA 上的负面影响。 有些合理的使用场景有可能也会带 来很坏的影响,比如如果要重新处理整个数据库的所有数据 的话,那数据库中的所有记录会迅速推送到 Kafka 上,
您可能关注的文档
最近下载
- 基于H大学视角的高校科研项目经费绩效评价指标体系构建研究.docx VIP
- 手术室护理PPT课件.pptx VIP
- 科研伦理与学术规范(北京师范)中国大学MOOC慕课 章节测验期末考试答案.pdf VIP
- 2019年菏泽招募三支一扶高校毕业生总成绩.pdf VIP
- 太阳能光伏发电及应用技术.PDF VIP
- 《全国高中数学联赛预赛试题分类精编》 word版.docx VIP
- 钢结构支架施工方案.pdf VIP
- (管理制度)最全汽车修理厂管理制度汇编.pdf VIP
- 737NG FCOM飞行组使用手册中文版 起落架.pdf VIP
- 西安建筑科技大学833化工原理2018—2020年考研真题.pdf VIP
原创力文档

文档评论(0)