- 1、本文档共15页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
大数据核心技术与实战.pdf
Kafka 实战
开源消息队列的坑与对策
About
• 我们?
• 我们做什么
• 实时统计
• 各种报告
• 广告数据整合
• 我?
Agend
• 概述
• 是什么,不是什么
• 同类对比
• 坑与故事
• 关于 MQ 的思考
• 后记
Kaa 是啥?
• 被老婆问
• 人类能听懂的语言
特()性(点)
• 吞吐量大 ( 8 台 100 亿)
• 重复消费
• 分布式可横向扩展
• 多副本保证可用性 ( 2 副本足够 )
Kaa 不适合什么
• FIFO ? 没有严格的时序
• 严格一次消费
有故事的 坑
坑与故事 : 系统层
• Dns / hosts
• Zk / ntp
• Disk (full / error)
• Network speed
• Open files
坑与故事 : JVM 层
• GC
• Scala 版本
• Kaa 版本
坑与故事 : 业务应用层面
• 解耦?
• 时序?
• 吞吐量?
• 缓存?
关于 MQ 的思考
一致性 稳定性 扩展 时延 吞吐量 语言/ 团队
Kaa 2 2 3 3 3 scala
RocketMQ 2 3 3 3 2.5 java
zeroMQ 1 2 - 2 2 c
RabbitMQ 3 3 2 1 2 Erlang
面向 MQ 的编程
• 流式处理 -- 解释器
• 输入 - 输出 : 函数式?
• Join 怎么做?
搭配及周边
• Flume / Kaa / storm | spark / hadoop | hbase |
ES | Solr
• Producer : java scala
• Consumer : java scala
• What ? Javascript ?
后记
• 大数据
• 开源堆砌 ?
• 知识年限
• 启发
刘喆
您可能关注的文档
- 国家信息中心云计算平台实践与思考(徐春学).pdf
- SpringCloud与中间件应用.pdf
- 05_下一代连接管理平台:中国联通物联网平台_方荣瑜.pdf
- English OWNER’S MANUAL - Swimming Pool - Intex Pool - Pool.pdf
- 医药行业最新整体解决方案.pdf
- 陈浩-Apache Eagle:分布式实时监控预警框架.pdf
- Ceph存储与S3对象存储性能优化.pdf
- 阿里云-对象存储服务OSS SDK手册.pdf
- 7月15日-ITRI OpenStack Distribution-张裕杰(EN).pdf
- 数据中心报表平台Cognos8安装部署手册.pdf
- 浙教科学七年级科学下册第二章 对环境的察觉第3节 耳和听觉.ppt
- 浙摄影版小学信息技术四年级上册第二单元第12课课件_汇编作文集.ppt
- 浙教科学七年级科学下册第二章 对环境的察觉第6节 透镜和视觉.ppt
- 浙教科学七年级科学下册第二章 对环境的察觉第2节 声音的产生生和传播.ppt
- 中班《数字宝宝》.ppt
- 云教版劳动与技术四年级上册7 制作纸袋.ppt
- 浙教科学七年级科学下册第三章 运动和力第1节 机械运动.ppt
- 浙教科学七年级科学下册第三章 运动和力第7节 压强.ppt
- 浙教科学七年级科学下册第一章 代代相传的生命第5节 植物生殖方式的多样性.ppt
- 浙摄影版小学信息技术四年级上册第三单元第14课课件_邮件传祝福.ppt
文档评论(0)