孙宁-可观测2.0与大数据基础设施.pdfVIP

可观测2.0

和大数据基础设施

GreptimeCTO孙宁

自我介绍

•孙宁

•Greptime

•

•/greptimeteam/greptimedb

•/sunng87

•sunning@

什么是可观测

•监控

•指标、日志和Trace

•数据可观测？

可观测与大数据

•(几乎)相同的数据源

应用程序

•不同的受众

数据工程师vs运维

•不同的成本、性能和实时性的诉求

可观测与大数据

应用程序

CDC日志事件指标Trace

消息队列

LogAgentScraper

ETL管道流引擎

日志存储指标存储Trace存储

数仓数据湖

数据集市数据应用数据查询监控大盘告警管理

BIGrafana

大数据生态可观测生态

当前可观测存在的问题

•数据孤岛

采集、存储、查询语言

•数据重复

相同信息，多套存储

•非结构化

•静态插桩

•高基数

•举例：基于Redis计数器的数据指标

阶段一：利用RedisHyperLogLog数据结构实现去重计数

PFADDappid-session-count-by-date-2015-05-14device-id1device-id2

阶段二：增加设备类型的统计

PFADDappid-session-ios-count-by-date-2015-05-14device-id1

PFADDappid-session-android-count-by-date-2015-05-14device-id2

阶段三：增加SDK版本的统计

…

阶段四：增加按小时的登录次数统计

...

•举例：利用大数据生成指标数据

在设备登录时打印日志

包含字段：appid,device-id,时间戳,设备类型，SDK版本，应用版本等

采集日志导入HDFS

定时执行HiveSQL查询获得结果

•可观测体系现状

在Prometheus中每一个

key称为一条“时间线”

时间线上每一个时间戳对应一个数值

每一个维度由一组键值对表示，

即“label”

•基于方案1的可观测体系

Pros

起步成本低，见效快

传输数据少

实时可见

Cons

维度增加后扩展性、维护性差

维度增加后存储成本高

计数器是否可叠加运算？

新增指标需要研发和发布

什么是可观测2.0

•三大支柱-单一数据源：原始数据

•“宽事件”

上下文

