从InfluxDB看时序数据的处理.pptx

从InfluxDB看时序数据的处理 Agenda • • • • • • 时序数据库 InfluxDB的基本概念 InfluxDB存储引擎的演化 InfluxDB的cluster设计 七牛的时序数据架构 总结 Agenda • • • • • • 时序数据库 InfluxDB的基本概念 InfluxDB存储引擎的演化 InfluxDB的cluster设计 七牛的时序数据架构 总结 时序数据库 • A time series database (TSDB) is a software system that is optimized for handling time series data, arrays of numbers indexed by time (a datetime or a datetime range). In some fields these time series are called profiles, curves, or traces. 时序数据库的排名 时序数据库关键特性 • • • • 以时间为维度的高效查询 方便的down sampling 自动简单高效的处理过期数据 …… 时序数据的场景 • 监控 • loT Agenda • • • • • • • 时序数据库 InfluxDB的基本概念 InfluxDB的使用 InfluxDB存储引擎的演化 InfluxDB的cluster设计 七牛的时序数据架构 总结 选择InfluxDB的理由 • • • • • • • 无外部依赖 快速使用 优雅的REST API 强大的基于SQL的查询语言 水平扩展(*) 纯Go编写 …… InfluxDB的核心概念 • • measurement tag/tagset (tag被索引) • series (measurement + tagset) • • • • field timestamp continuous queries retention policy retention policy • 指定数据的过期时间 • 指定数据副本数 • CREATE RETENTION POLICY two_hours ON food_data DURATION 2h REPLICATION 1 • SHOW RETENTION POLICIES ON food_data line protocol • measurement[,tag1,tag2,…] field1[,field2,…] ts • cpu,host=qn00001 value=0.1 1434055562000000000 写数据 • curl -i -XPOST http://localhost:8086/write?db=mydb --data-binary cpu_load_short,host=server01,region=us-west value=0.64 1434055562000000000 • 也可以批量写入数据 查询数据 • curl -G http://localhost:8086/query?pretty=true --data-urlencode db=mydb -- data-urlencode q=SELECT value FROM cpu_load_short WHERE region=us-west” • curl -G http://localhost:8086/query?pretty=true --data-urlencode db=mydb -- data-urlencode q=SELECT value FROM cpu_load_short WHERE region=us- west;SELECT count(value) FROM cpu_load_short WHERE region=us-west continuous queries • CREATE CONTINUOUS QUERY cq_30m ON food_data BEGIN SELECT mean(website) AS mean_website,mean(phone) AS mean_phone INTO food_data.default.downsampled_orders FROM orders GROUP BY time(30m) END query language • • • • • SELECT * FROM h2o_feet WHERE time now() - 7d SELECT * FROM h2o_feet WHE