构建实时计算平台.pdf

基于基于SStorm利用空闲资源利用空闲资源 构建实时计算平台构建实时计算平台 肖康 主要内容 • 背景 • 挑战挑战 •• stormstorm问题与改进问题与改进 • storm应应用可用性保证性保证 背景 • 为什么要构建另一个分布式计算平台 – MapReduce为批处理设计，但时效性不好 – 不能方便的支持多阶段处理，如m-r1-r2-r3 – 业务有时效性需求 – 需要实时流式处理能力 – 往往需要多个逻辑串起来 背景 • 为什么要选择storm – storm是一个实时、流式计算系统 – 天然支持DAG计算模型 • 为什什么要利用空闲资资源 – 大量云存储服务器主要使用磁盘资源 – 而而CPU、、网络资源比较网络资源比较空闲闲 背景 • storm在360的发展历程 09091212010106060707 1个4节点 复用一个云 大量复用云 走向平台化管理 探索实时、可靠性 专用集群 存储集群 存储集群 随着云存储扩容 要求更高的业务 测试日志 云盘缩略图 日志实时分 广泛应用: 网页、 （如实时计费） 报警应用 应用 析等应用 图片、安全... 背景 • 机器数 – 60多个集群，15000多台物理机 – 利用云存储空闲资源，每台机器贡献1-2核、1-2G内存 • 应用应用 – 170多个业务 • 实时日志统计、网页分析、图片处理 、人脸识别... – 每天处理数据量约几百TB、几百亿条 背景 • 典型应用：网络相册缩略图 背景 • 典型应用：时效性网页收录 背景 • 典型应用：搜索热词推荐 背景 • 典型应用：在线验证码识别 背景 • 典型应用：实时网络入侵检测 光纤旁路 MQ scribe 输输入 spout 拦截 特征匹配 异常行为 统计bolt bolt 检测bolt 拦截 输出输出 模块模块 挑战 • 如何做到不影响已有业务的运行 – 机器复用必然带来资源竞争 • 如何保证storm平台的稳定性 – 遇到哪遇到哪些storm已知问题知问题、、如何解决如何解决 – 怎么提前发现、防范未知问题 • 如何保证实时业务的可用性 – ((准准))实时业务对可用性要求更高实时业务对可用性要求更高 – 空闲资源的资源可靠性更低 挑战 • 如何做到不影响已有业务的运行 – 利用cgroup做单机资源隔离 – 包括CPU、内存、网络 – killall模式防止进程残留 – 避免本地磁盘IO