陈超七牛云技术总监.pdf

七牛云大数据平台的架构与演进 陈超 七牛云技术总监 • Pandora简介 Workflow设计与优化 总结 • Pandora简介 Workflow设计与优化 总结 大数据平台-Pandora 提供简单、⾼效、开放的⼀站式⼤数据服务。 Pandora 是七⽜云的⼤数据平台 ， 大数据平台-Pandora架构图 工作流引擎 日志检索服务(LogDB) 日志分析服务提供针对日志类数据的存储、检索与分析服务，用户无需开发就能快捷完成数据定制化分词、存储、检索、分析功能，帮助提升运维、运 营效率，快速查找和定位问题，高效索引和搜索海量数据，建立海量索引处理能力 时序数据库服务(TSDB) Time Series Database ）。时间序列数据库主要用于处理带有时间标签 （按照时间的顺序变化，即时间序列化） 时序数据库，全名时间序列数据库 （ 的数据，包括DevOps监控数据、物联网传感器数据等。 其它服务 • BI Studio: 报表工作室 • XSpark ：Spark服务 特别介绍(Logkit) • Logkit是七牛Pandora开发的一个 通用的数据采集工具，可以将不同 数据源的数据方便的发送到 Pandora进行数据分析，除了基本 的数据发送功能，Logkit还有容错 、并发、监控、删除等功能。 • Logkit支持文件、MySQL、 MSSQL、ES、MongoDB、Kafka 及Redis等一系列数据源。 • /qiniu/logkit • Pandora简介 Workflow设计与优化 总结 架构简图 Logkit/SDK apiserver 调度器 计算引擎 消息队列 mongodb export service LogDB TSDB 七牛云存储 HTTP 报表服务 数据流剖析 用户 一般影响因素 • 资源利用率 消息队列 • 处理效率 计算任务 • 木桶效应 • 链路损耗