- 1、本文档共28页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据-滴滴业务实时监控系统架构及实践
滴滴业务实时监控系统架构及实践
艾毅 2016/12
议程
• 滴滴实时监控系统演变历程
• 当前架构及服务介绍
• 系统优化方向
滴滴实时监控系统演变历程
2015年之前 2015年至今
挑 • 快速满足业务需求 • 业务数据库分库、分表
战 • 数据、维度、指标越来越多
预计算
瓶颈: 优势:
解决方
案 • 计算、存储成本指数级增长 • 实时分析海量数据 (秒级)
• 不易扩展 • OLAP系统交互式查询
议程
• 滴滴实时监控系统演变历程
• 当前架构及服务介绍
• 系统优化方向
滴滴实时监控系统当前架构概览
Mysql Binlog Canal Server
Text Log Flume Agent Kafka Cluster 1 Samza Unified ET L Job
• Raw data • 数据格式转换
API Python Daemon • 通用业务 • 数据去重
Kafka Cluster 2 Samza Metrics Computing
Online Machine Learning
• Json data
• 数据分析
APP:监控报警、热力图…
Druid Kafka Real-time Indexer Samza HDFS Producer
基于指标的语义化API Druid Broker API
Druid HDFS Batch Indexer HDFS
当前系统架构特点
• 高可用
• 易扩展
• 高性能
• 支持有状态的实时计算
为何选用Kafka?
Kafka 是一个高性能、高可用、易扩展的
分布式日志系统
将整个数据处理流程解耦
为何选用Druid?
Druid是针对时间序列数据提供低延时的数据写
入以及快速交互式查询的的分布式OLAP数据库
Druid的数据存储方式
• 为OLAP查询优化过的列式存储结构:Seg ment
• Seg ment中存储聚合计算后的统计结果
• 主要根据时间对Seg ment文件进行分片存储
Segment包含的三种列类型
• 时间戳列
Ø 作为数据分发、存
您可能关注的文档
- 大学 数学和教育专业 本科毕业论文 优秀8.pdf
- 大学·中庸(自制PDF文字版).pdf
- 大学C++期末复习资料.pdf
- 大学有机化学复习总结(全).pdf
- 大学德语教案.pdf
- 大学有机化学知识点概要.pdf
- 大学摄影教程01摄影简史02.pdf
- 大学物理上册复习总结.pdf
- 大学物理上总复习B.pdf
- 大学概率课件(全).pdf
- 《JJF 2132-2024荧光紫外灯人工气候老化试验装置校准规范:辐射照度参数》.pdf
- JJF 2120-2024轮速传感器校准规范.pdf
- 计量规程规范 JJF 2120-2024轮速传感器校准规范.pdf
- 《JJF 2129-2024钙钛矿太阳电池校准规范:光电性能参数》.pdf
- JJF 2129-2024钙钛矿太阳电池校准规范:光电性能参数.pdf
- 《JJF 2120-2024轮速传感器校准规范》.pdf
- JJF 2117-2024沥青混合料理论最大相对密度仪校准规范.pdf
- JJF 2116-2024特定蛋白分析仪校准规范.pdf
- 《JJF 2116-2024特定蛋白分析仪校准规范》.pdf
- 计量规程规范 JJF 2117-2024沥青混合料理论最大相对密度仪校准规范.pdf
文档评论(0)