基于自动化数据处理平台NiFi搭建AI实验室中的应用.pdfVIP

基于自动化数据处理平台NiFi搭建AI实验室中的应用

李崧

（新华通讯社通信技术局，北京100803）

摘要：主要介绍了基于自动化数据处理平台NiFi搭建AI实验室中的应用案例，阐述了NiFi的基本概

念、设计模式、软件架构和软件性能，展现了NiFi的基本使用方法和优势。较完整地说明了NiFi可以

适用的应用场景，使读者更全面地了解NiFi的应用。

关键词：NiFi平台；自动化；数据处理平台

1NiFiNiFiTermFBPTermDescription

1.1定义AProcessGroupisaspecificsetofprocessesand

theirconnections,whichcanreceivedataviainput

NiFi是一种不同系统之间交换数据的数据流（data⁃portsandsenddataoutviaoutputports.Inthisman⁃

ProcessGroupsubnet

flow）应用软件架构。此架构将数据处理中的大部分功ner,processgroupsallowcreationofentirelynew

componentssimplybycompositionofothercompo⁃

能以处理器的形式囊括其中。数据流的概念在不同的文nents

献中的描述各异，数据流指的是系统之间的数据交换信1.2.2设计模式的优势

息流。现代组织往往由多套软件系统来支撑其业务。自1.2.1节中所述的设计概念帮助NiFi构建强大且可

这种状况出现以来，一些系统用于创建数据，另一些系伸缩的数据流平台。其中的优势有（1）可以利用有向

统则用于消费数据。那么系统之间的数据交互就成为数图可视化创建和管理数据流。（2）架构本身自带异步功

据和软件行业的人们所关注的焦点，一些数据交互的解能的数据流处理。（3）允许非常高的吞吐量（支持近乎

决方案也应运而生。NiFi正是基于这种背景产生的一种无限的横向性能扩展）和自然缓冲（不会因为宕机出现

用于不同系统之间交换数据的应用软件架构。使用NiFi