云原生运维代理平台架构与数据处理优化.pptx

云原生运维代理平台(四)讲师：胤禛-YinZhen开放式云平台架构

01.云原生运维代理平台架构目录

01.云原生运维代理平台架构对所有收集的数据都要进行清洗操作，去除没有用的或者是杂音的数据以便提高来源数据的质量，随后大数据平台处理时得到的结果的质量才能得到更好的保证。数据的清洗采用的是Pulsar的ETLfunctions。Pulsar提供一种可以编排的function能力，它可以通过Pulsar消息服务的Topic抽取数据、加工数据再将处理结果转存到其他Topic中。我们利用Pulsarfunctions这种能力来实现ETL（数据抽取、清洗处理、加载等过程的简称）。有关Pulsarfunctions如何使用，请读者自行阅读相关材料。我们这里关心的是如何设计这个ETL的逻辑。有关COAP的ETL逻辑设计，数据清洗的目的可以从两个角度上看，一是为了解决数据质量问题，二是让数据更适合做挖掘。不同的目的下分不同的情况，也都有相应的解决方式和方法。整体思路如图。

01.云原生运维代理平台架构数据采集端(FileBeat或者其他装置)将数据源源不断的发送到OPS主题中（Pulsar此时采用的是无界数据流模式），此时质量过滤function负责对数据内容进行清洗操作：?质量过滤function：根据过滤指标的配置，我们从这几个方面过滤数据，只有符合标准的数据才能流入下