可观测性体系建设100问-第二章.pdfVIP

可观测性体系建设

赋能企业塑造全方位、深层次的可观测能力！

为什么要建设可观测性统一平台？

通过可观测性可实现哪些投资回报最大化？

什么是可观测性？

如何选择适当的可观测性工具和框架？

这是一本可观测性解答可观测性领域

领域问答工具书Top100高频问题

2024博睿数据重磅发布

EXCELLENTCASES

可观测性技术应用

APPLICATIONOFOBSERVABILITYTECHNOLOGY

可观测性与数据管理的深度融合

可观测性的场景落地能力

可观测性技术跨领域的深度应用

可观测性提升系统稳定性与用户体验：从实时监控到故障

预测的全方位实践

第一节第一节

可观测性与数据管理的

深度融合

Q16什么是可观测数据底座？

可观测数据底座作为全栈可观测性的数据基石，允许不同能力、不同用途的运维工具来使用底座中存储的数据，为上层的数据

分析提供统一、全面、优质的遥测数据。可观测数据底座需要解决数据治理的难题，将不同类型、不同来源的数据分别进行处

理、加工，在数据之间建立起精确且有效的关联，使它们成为一个遥测数据矩阵。相较于传统的、数据孤岛式的监控产品，可

观测数据底座能够提供全面的系统视图，不仅仅局限于某一个技术领域，而是关注整体的运行情况和用户体验，能够支持模块

化的设计，可以根据需要添加或删除功能，适应不同规模和复杂度的系统。

Q17如何打造统一的数据底座？

数据处理在可观测性能力建设中起到了承前启后的作用，平台的数据底座是数据处理的基础，需要综合考虑不同类别遥测数据

的读写能力，做好底层数据组件的技术选型。例如，采集到的指标数据需要存入时序数据库。对于日志类数据的存储，可以采

用elasticsearch、clickhouse，对于具备一定规模的拓扑类数据的存储，可以采用图数据库neo4j。可观测对象数据和配置数

据一般变动不大，可存储到关系型数据库中。

所有的技术组件都应满足支持不同时间粒度的数据存储。例如，对于指标数据，时序数据库支持从分钟级别到天级别的颗粒度

进行存储。对于日志类数据，利用时间作为条件索引，日志存储引擎可以灵活存储并检索不同时间维度的数据。所有的数据存

储都应支持设置最大保留时长，超过设定时长范围的数据，平台执行自动化脚本进行删除。在数据处理过程中，应支持数据的

冷热分离存储，被频繁访问的数据，例如用户配置，安全凭证等信息，可以存放在redis缓存中。对于日志类的数据，可观测

性平台须支持将数据导出到NFS存储介质，进行永久归档，以便将来进行季度性，年度性总结。

Q18什么是数据模型？

数据模型指的是为收集、存储和处理遥测数据而设计的结构化方式和规范。企业在构建可观测性能力体系过程中，首先需要考

虑的是建设一套统一的数据模型。统一的数据模型是数据统一处理、相互建联与转化的基础，是后续所有的数据流程都需要依

赖的基石。数据模型规范度需要贯穿于整个可观测性能力建设过程。统一数据模型，从数据采集开始就需要连接可观测信号模

型，确保所有人获得一致的“单一事实来源”，无需在工具间来回跳转和数据校准。团队需要采用结构化和标准化的数据模

型，以实现数据的关联和高效查询。

以OpenTelemetry的数据模型为例：

指标模型：OpenTelemetry的指标数据模型包括了数据协议规范和一系列的语义约定，其目标是为了将采集到的原始指标数

据进行预聚合并且传输到时序数据存储端。

调用链模型：OpenTelemetry的调用链模型用于描述不同服务之间以及同一服务内部模块之间的调用细节。

日志模型：OpenTelemetry的日志数据模型可以用于描述应用日志，系统日志，系统事件等等。

分析器模型：OpenTelemetry定义了一套分析器模型，该模型用于表达深入应用代码堆栈的性能分析