kafka技术分享摘要.doc

大数据组件-KAFKA 技术分享 1. KAFKA 介绍 1 1.1 背景 1 1.2 组件 2 1.3 特性 3 2. 设计思想理念 3 3. 配置集群 5 4. 开发应用 7 5. 性能优化 10 6. 监控 11 1.下载Kafka Web Console 11 2.安装sbt 11 3.配置Kafka Web Console 11 4.配置mysql的jdbc驱动 11 5.执行sql语句(如下绿色选框所示) 12 6.编译 12 7.运行 12 8.浏览访问 13 7. 常见问题摘要 13 8. 参数设置表 14 9. 待续 23 KAFKA 介绍 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 1.1 背景 ? ? ?当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战： 如何收集这些巨大的信息 如何分析它 ?? ? ? 如何及时做到如上两点 ? ? ?以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消