Kafka架构原理与生产环境优化实战.pdfVIP

kafka这个实战的课程，分为哪几个环节和步骤去讲

业务背景已经交代的比较清楚了，就是对kafka架构原理做比较深入的研究，白kafka

的工作原理，玩儿kafak

我们就可以基于这个项目背景，来看看kafka生产环境的部署怎么来规划，每台机器的配置，

参数设置，需要多少台机器，抗每天10亿数据量

对集群日常的管理、运维、，学下是怎么来做的

研究一下，如果你要往kafka里写数据，他是怎么来写的，写数据客户端的原理；如

果从kafka里读数据，他是怎么来读的，读数据客户端的原理

就要来研究一下kafka生产环境遇到的问题：数据丢失、数据顺序、数据积压、吞吐量优化、

高可用保障、生产端的优化、消费端的优化、JVM优化、性能的优化，系统优化

hdfs和kafka都有了，接下来就可以玩儿各种数据的了，用户行为日志，基于的几

十张报表的需求，来反向研究，当你遇到的数据分析需求的时候，数据应该怎么来

做，用户日志怎么来，离线导入hdfs，实时导入kafka

数据库业务数据，研究canal的源码，自研一套数据同步中间件，可以把数据库的业务

数据库离线导入Hdfs，实时导入kafka

爬虫，基于java自研一套分布式爬虫系统，分布式是个关键点，N多