挖财应用框架介绍-错刀-1.ppt

04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 3.0 Cobar/Kafka/Akka等中间件产品 在挖财的使用经验 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Cobar 相对稳定，经过阿里的业务考验 个别可规避的小问题 Hash sharding vs Range sharding 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Kafka的使用经验 1) 作为分布式管道 单机版： cat file | grep content | awk ‘{print $1}’ kafka scriber 分布式版： filter processor 2) 作为存储器和Journal System 充分利用了磁盘和文件系统特性 《日志：每个软件工程师都应该知道的有关实时数据的统一抽象》 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Kafka的使用经验 http-proxy 异构系统的消息发送 JVM系统的消息发送 Kafka集群 消费者 zk zk zk redis offset 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Kafka的使用经验 基于SimpleConsumer的封装 offset存于redis而非zookeeper 允许一组消费端串行消费某一分区的消息 运维体会 相对稳定，投入精力少（一个人10~20%精力） 业务消息规模未达到亿级之前，可采取简单方式管理，topic只采用单分区 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Kafka的使用经验 运维案例 1）同步或异步都可能出现重复发送 2）msgSize, replicaSize，fetchSize 的参数不一致问题 3) 测试环境流量异常的问题 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Akka的使用经验 数据处理中大量使用 未使用持久化和集群等复杂特性 一个简单的场景 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 基于混合云的引流 Processor Kafka Receiver APIInvoker pull response Storer API-1 Submit Async HttpInvoke callback API-2 API-3 Recycler success exception Actor的分工 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Akka的使用经验 无锁的世界 天然的扩展性 底层还是基于线程池的实现 ForkJoin 效率很高，容易把CPU跑满 work-stealing （工作窃取）的实现 worker thread Local Queue 为空 worker thread 双向队列 task task task task base top LIFO Youngest-first FIFO Oldest-first 分配任务 进队 Work-stealing 为空时随机从其他队列中stealing 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Akka的使用经验 与Kafka很搭 分布式的管道与命令 Akka 与 Spring 的整合 对象/Actor 创建的问题 Akka Extension 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Akka的使用经验 实践小结 Actor职责尽可能单一 避免阻塞 Supervisor和错误处理 Push vs Pull WaterMark 邮箱监控 04 PART Cobar/Kafka/Akka等中间件产品在挖财的使用经验 Akka常用模式 替身模式(cameo pattern) Pattern.ask 就是一个例子 Extra pattern Circuit Breaker WaterMark 优雅(顺序)关闭的问题 优雅(顺序)关闭的问题 Governor：Terminator模式的变种 master governor user kafka receiver processor Governor掌管所有真正干活的actor 的生杀大权，它们都由governor创建 Master负责调度 watch Master把自己也“注册”给Governor 由governor监视它的死亡 优雅(顺序)关闭的问题 提供一个 Governor的模板，实