【PDF】Jstorm开源最佳实践_阿里巴巴技术文档.docx

2017年在线技术峰会

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

阿里巴巴-中间件卫乐

Large-ScaleStreamProcessinginAlibaba

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

?阿里巴巴技术专家

–JStorm

–淘宝足迹

–推荐系统

自我介绍

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

团队介绍

?团队职责

–应用开发

–技术支持

–集群运维管理

–平台/框架演进

–开源社区

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

目录

?发展历史

?使用场景

?架构

?JStorm增强

–性能

–稳定性

–新特性

?开源社区

?JStormFuture

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

发展历史

2017年在线技术峰会–阿里开源项目最佳实践阿里云云栖社区主办

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

JStormMilestones

?从2013-04-30起发布了超过25个版本

?0.7.1/0.9.0/0.9.1/0.9.2/0.9.3/0.9.3.1/0.9.4/0.9.4.1/0.9.5/0.9.5.1/0.9.6/0.9.6.1/0.9.6.2/0.9.6.3/0.9.7/0.9.7.1/0.9.7.2/0.9.8/0.9.8.1/0.9.8.2/2.0.4/2.1.0/2.1.1/2.2.0/2.2.1/2.3.0

2016/5/31

2015/11/12

2.2.0

Improve

Improveperformance

ExactlyOnce

SlidingWindow

ShadeDependency

Backpressure3.0

Donatetoapache

SupportStorm0.10binary

2013/4/300.7.1Java

2013/4/30

0.7.1

Javacore

Scheduler1.0

2013/12/30

0.9.0

NimbusHA1.0

Backpressure1.0

Scheduler2.0

Koala3.0

2014/10/11

2015/10/27

0.9.6.3

0.9.8.1Koala2.

0.9.8.1

Koala2.0

Scheduler4.0

Backpressure2.0

TopologyMaster

Scheduler3.0

UserDefinedLog

UserDefinedMetrics

1.0

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

使用场景

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

JStorm在阿里现状

?阿里集团、蚂蚁、优土、高德…

–4000+机器

?Standalone

?JStorm-on-YARN

?JStorm-on-docker

–1500+应用，2000+拓扑

–2PB+数据/天

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

应用场景

?反欺诈：Nut/Velocity

?审计：阿里妈妈广告/P4P，AMG

?数据统计分析：Eagleeye，AE，BI

?监控：Tlog，Rds-monitor，Oceanbase-monitor,CainiaoRadar,YunOSMonitor

?数据同步：RDS-Log-Sync,Unify-Log

?实时推荐：Alipay1315,AlipayHyperloop,TPP

?应用调度：AE邮件实时分析，网销宝

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

架构

2017年在

2017年在线技术峰会–阿里开源项目最佳实践

阿里云云栖社区主办

JStorm架构

TLog

Kepler

NUT

ARM

RDS

Trip

YunOS

Cainiao

…

Portal

(Koala)

SQLengine

Plugin(Kafka/Metaq/