基于Storm利用空闲资源构建实时计算平台.docxVIP

基于Storm利用空闲资源构建实时计算平台 主要内容 背景 挑战 storm问题与改进 storm应用可用性保证 背景 为什么要构建另一个分布式计算平台 – MapReduce为批处理设计，但时效性不好 – 不能方便的支持多阶段处理，如m-r1-r2-r3 – 业务有时效性需求 – 需要实时流式处理能力 – 往往需要多个逻辑串起来 背景 为什么要选择storm – storm是一个实时、流式计算系统 – 天然支持DAG计算模型 为什么要利用空闲资源 – 大量云存储服务器主要使用磁盘资源 – 而CPU、网络资源比较空闲 背景 ? storm在360的发展历程 2012.09 2012.12 2013.01 2013.06 2014.07 1个4节点 复用一个云 大量复用云 走向平台化管理 探索实时、可靠性 专用集群 存储集群 存储集群 随着云存储扩容 要求更高的业务 测试日志 云盘缩略图 日志实时分 广泛应用: 网页、 （如实时计费） 报警应用 应用 析等应用 图片、安全... 背景 机器数 – 60多个集群，15000多台物理机 – 利用云存储空闲资源，每台机器贡献1-2核、1-2G内存 应用 – 170多个业务 实时日志统计、网页分析、图片处理 、人脸识别... – 每天处理数据量约几百TB、几百亿条 背景 典型应用：网络相册缩略图 背景 典型应用：时效性网页收录 背景 典型应