时序数据库CTSDB助力车联网传感器构建一站式存储.docxVIP

时序数据库CTSDB

助力车联网传感器构建一站式存储

时序数据爆炸时代的挑战

数据量激增

数据量激增

性能瓶颈

性能瓶颈

成本失控

成本失控

—个车型30万辆车，每辆车的传感器采集200指标，采集指标高达6000万

CAN数据采集频率1Hz，该车型数据写入就高达每秒6000万数据点，每天超5万亿数据点写入

传统解决方案

痛点

痛点

查询时延高P9910s

存储成本高、压缩比较低

组件维护成本Hbase/ZK/TSD

社区活跃度低、停止更新

痛点

查询慢：数据查询分析慢

时效差：时效性差

稳定性：HBaseFullGC、链接打满

年influx

年influxdb

痛点

单机瓶颈：

无法水平扩展性能数据容量受限

单点故障

单机无高可用

时序数据库CTSDB

千万级实时数据写入、数据压缩比超过20倍，重构海量时序数据管理新范式

时序数据库CTSDB是XX

时序数据库CTSDB是XX自研的专注于高性能读写海量时序数据的分布式NoSQL，兼容开源InfluxDB协议，支持按需弹性伸缩、存储冷热分层等。适用于车企车联网、出行轨迹、DevOps监控观测系统的数据存储、电力能源和制造的设备物联网场景

20:1高压缩比降本

列式存储，匹配高压缩算法，大幅度降低存储成本

10PB单业务存储规模

线上运行实例存储规模数十PB

7+年线上运营

从集团内部到云上客户，时序数据库经过诸多重要业务验证

列式存储-时间线基于TSM结构，将设备上报的单个字段（如某个机器的CPU利用率）作为—条

列式存储-时间线

基于TSM结构，将设备上报的单个字段（如某个机器的CPU利用率）作为—条时间线，按聚合存储数据，提供远超普通数据库的超高的查询和压缩性能

Current

3.13

8.21

3.11

Voltag

e

220

219

219

时间

设备ID

location

type

Current

Voltage

Phase

1665328678

em000001

GZ.1

1

3.13

220

0.31

1665328679

em000002

GZ.6

2

8.21

219

0.82

1665328680

em000001

GZ.1

1

3.11

219

0.35

1665328681

em000003

SZ.8

1

5.41

110

0.53

1665328682

em000002

GZ.1

1

8.11

223

0.81

1665328683

em000002

GZ.6

2

8.15

215

0.85

1665328684

em000001

SZ.8

1

3.15

223

0.32

1665328685

em000003

GZ.6

2

5.51

112

0.54

1665328686

em000003

SZ.8

1

5.6

109

0.53

1665328687

em000002

GZ.1

1

8.19

218

0.87

TimestampTagsFields

表measurement

高性能：流式查询和算子下推

client

RequestLayer

StorageLayer

gatewayresult

gateway

partition2

cell

…

SQLParser

AST

Merger

…

…

partition

storagesql

partition1

cell

Partition1

Querier

partition

queryresult

Partition2

Querier

TSIFileTSMFileTSIFileTSMFile

流式查询，优化大查询

不用接受完整结果就可启动合并，避免Gateway囤积大量数据，支持大查询

高效groupby

重构大量迭代器，groupby耗时降低5/6

算子下推，秒级聚合分析

支持min/max/sum/count/mean等算子下沉到存储节点执行，提升查询速度

点查查询优化至10ms

针对指定查询，提供hint语法，可直达数据所在partition，跳过倒排索引直达数据，耗时10ms级

支持丰富聚合算子

支持InfluxQL函数

如min/max/sum/count/mean/percentile等

接入层gateway异常gateway上报状态gateway拨测10s内切换故障gateway存储异常Leader异常：raft10秒内切换gateway上报存储机成功率灰色故障内存MCE/坏盘等NodeAgent主动探测systemlog剔除高