stream流处理编程语言简介.pdf

Informix Information management Inforsphere Streams流处理编程 语言 Informix Information management 内容 • Infosphere Streams流处理语言简介 • Infosphere Streams流处理语言编程示例 • Infosphere Streams与Informix数据库的结合 • Infosphere Streams参考资料 Informix Information management 流处理语言简介（一） • SPL是InfoSphere Streams 的编程语言，是一种分布式数据流合成语言。它 是一种类似C++ 或Java™ 的可扩展且全功能的语言，支持用户定义的数据 类型。您可以使用SPL 或原生语言（C++ 或Java ）编写自定义函数。也可 以使用C++ 或Java 编写用户定义的运算符。 • InfoSphere Streams 持续应用程序会描述一个导向图，该图由各个互联且处 理多个数据流的运算符组成。数据流可来自系统外部，或者在应用程序内部 生成。SPL 程序的基本构建块包括： – 流：一个无限的结构化元组序列。它可逐个元组地由运算符使用或通过一个窗口的定义来使用 。 – 元组：属性及其类型的一个结构化列表。流上的每个元组拥有由其流类型指定的形式。 – 流类型：指定元组中每个属性的名称和数据类型。 – 窗口：一个有限、有序的元组分组。它可以基于计数、时间、属性值或标点符号。 – 运算符：SPL 的基础构建块，它的运算符会处理来自流的数据并可生成新流。 – 处理元素(PE)：基础执行单元。一个PE 可封装单个运算符或多个合并的运算符。 – 作业：一个已部署好的用来执行的Streams 应用程序。它由一个或多个PE 组成。除了一组 PE 之外，SPL 编译器还会生成一个ADL （Application Description Language ，应用程序描述 语言）文件来描述应用程序的结构。该ADL 文件包含每个PE 的详细信息，比如要加载和执 行哪个二进制文件，调度限制、流格式和一个内部运算符数据流图。 Informix Information management 流处理语言简介（二） • 一个运算符表示一个可重用的流转换器，将一些输入流转换为输出流 。在SPL 程序中，运算符调用可实现预算法的特定用途，使用分配 的特定的输入和输出流，以及在本地指定的参数和逻辑。每次运算符 调用都会对输入和输出流命名。各种内置的InfoSphere Streams 运 算符提供了许多强大的功能： – Source：读取流格式的输入数据。 – Sink：将输出流的数据写入外部存储或系统中。 – Functor：过滤、转换和对输入流的数据执行各种功能。 – Sort：对定义的键上的流数据排序。 – Split：将输入流数据拆分为多个输出流。 – Join ：合并定义的键上的输入流数据。 – Aggregate ：聚合定义的键上的流数据。 – Barrier：组合和匹配流数据。 – Delay：演示一个流数据流。 – Punctor：识别应一起处理的数据分组。 Informix Information management 开发环境 • InfoSphere Strea