IAS2017- 七牛云大数据平台的架构与演进.pdfVIP

七⽜云⼤数据平台的架构与演进 陈超 七⽜云技术总监 • Pandora简介 • Workflow设计与优化 • 总结 • Pandora简介 • Workflow设计与优化 • 总结 ⼤数据平台-Pandora Pandora 是七⽜云的⼤数据平台，提供简单、⾼效、开放的⼀站式⼤数据服务。 ⼤数据平台-Pandora架构图 API / logkit / 消息 计算 消息 计算 计算 ⼯作流引擎 消息 消息 导出 导出 导出 导出 导出 ⽇志检索服 对象存储服 HTTP 时序数据库 务 务 Report Studio XSpark 实时⼯作流引擎 离线⼯作流引擎 ⽇志检索服务(LogDB) • ⾼扩展及⾼稳定的⽇志检索SaaS服务 • 兼容ES查询语法 • 与开源⽣态紧密结合 • 已经经过超⼤规模数据量检验 其它服务 • TSDB : ⾼性能分布式时序数据库 • BI Studio: 报表⼯作室 • XSpark ：Spark服务 特别介绍(Logkit) • Logkit是七⽜Pandora开发的⼀个 通⽤的数据采集⼯具，可以将不同 数据源的数据⽅便的发送到 Pandora进⾏数据分析，除了基本 的数据发送功能，Logkit还有容 错、并发、监控、删除等功能。 • Logkit⽀持⽂件、MySQL、 MSSQL、ES、MongoDB、Kafka 及Redis等⼀系列数据源。 • /qiniu/logkit • Pandora简介 • Workflow设计与优化 • 总结 架构简图 Logkit/SDK apiserver 调度器 计算引擎 消息队列 mongodb