JStorm-Storm 性能调优.pptx

Jstorm/Storm 性能调优纪君祥大纲如何寻找瓶颈从Jstorm、Storm角度进行调优好的设计才是性能之王背景（一）性能优化是一个永无止境的追求，没有最快， 只有更快是机器资源和业务需求的一种平衡背景（二）做过4年阿里双11， 优化的topology超过100个寻找topology的瓶颈调优topology的第一个步骤找到每一个component的最大处理速度从而可以找出整个topology的瓶颈计算bolt的处理能力上限计算Spout的性能上限如何优化component整个topology是一个流水线， 慢的component会拖慢整个topology常见问题， component出现热点和Jstorm系统相关的调优 – worker数的设置和性能相关的调优选项和rpc相关storm.messaging.transport: ty.NettyContext“ty.sync.mode: ty.transfer.async.batch: ty.async.block: ty.transfer.batch.size: 262144erval.ms: 10ty.server_worker_threads:1ty.client_worker_threads: 1和性能相关的调优选项和内存相关worker.memory.size: 2147483648topology.buffer.size.limited: truetopology.transfer.buffer.size: 1024topology.executor.receive.buffer.size: 256topology.executor.send.buffer.size: 256worker.gc.childopts:和性能相关的调优选项和CPU相关worker.cpu.slot.numtopology.max.spout.pending: nullspout.single.thread: falsetopology.kryo.registerspout.pending.full.sleep: truedisruptor.use.sleep: truetopology.performance.metrics: truetopology.debug:、topology.debug.recv.tuple: 如何设计以案例来分析选型无Acker模式Acker模式Trident、事务模式图优化尽量让tuple走本地模式而非进程间通信让多个task在一个worker内部，task和task直接走进程内通信ExampleTridentTLog图优化降低topology层数将多个模块合并到一个task内部，在这个task内部实现流水线ExampleTridentTLogBatch在latency和吞吐量之间的取舍ExampleEagleEyeSimpe ObjCache/竞争常常出现在对数据库的访问中尽量使用类似groupBy的操作，让相同Key的操作只在一个客户端发生并且尽量做到均匀hash RocketMq、Kafka、TT 客户端想清楚是否流控是否自动ackExample/alibaba/jstorm/tree/master/jstorm-utility/jstorm-rocket-mq调优工具CpuJstack/top –pH/vmstatMemoryTop/jmap/jstat NetworkSar/netstat/tcpdump/iperf总结良好的设计模块之间解耦，模块和模块之间层次清晰高性能的设计永远符合piple-line原理无状态设计， 无锁的设计永远避免热点吞吐量和时延的平衡结束谢谢诚聘 对技术痴迷的工程师 联系 hustjackie@