信息技术 大数据 批流融合计算技术要求.pdfVIP

ICS 35.240 CCS L67 中华人民共和国国家标准 GB/T XXXX—XXXX 信息技术 大数据 批流融合计算技术要求 Information technology —Big Data —Technical requirements for integrated batch and streaming computing （征求意见稿） 在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。 XXXX - XX - XX 发布 XXXX - XX - XX 实施 GB/T XXXX—XXXX 前 言 本文件按照GB/T 1.1—2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件由全国信息技术标准化技术委员会（SAC/TC28）提出并归口。 本文件起草单位： 本文件主要起草人： II GB/T XXXX—XXXX 引 言 随着数据量的增长，分布式计算模式逐渐成为大数据处理和计算的主流架构。为了满足程序的健壮 性和实时性要求，设计出了许多分布式计算框架，以屏蔽底层复杂的任务划分和集群调度细节，其中最 常用的两种是批计算技术和流式计算技术，二者有着迥异的编程模型和编程接口，适用于不同的计算场 景。批计算技术适合需要访问全套记录才能完成的计算工作，流计算技术很适合用来处理必须对变动或 峰值做出响应，并且关注一段时间内变化趋势的数据。 在实际应用中，经常会遇到两种计算技术共同工作的情况。简单的将两种计算框架进行简单的叠加， 则需要在两个不同的引擎上实现相同的执行逻辑，还需要手工合并不同引擎的输出结果。如果需要更改 查询逻辑，两个系统也需要同时进行改动。这会极大地增加工程的开发和维护成本。因此，统一的批流 融合计算技术成为了大数据领域的重要发展趋势。 III GB/T XXXX—XXXX 信息技术 大数据 批流融合计算技术要求 1 范围 本文件给出了大数据批流融合计算技术要求，包括：系统架构、技术要求、扩展性要求、兼容性要 求等。 本文件适用于批流融合计算系统的设计、开发和部署提供指导，为用户理解、采用和建设批流融合 计算技术提供支撑，为相应的产品和服务评估提供参考依据。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 35295-2017 信息技术 大数据 术语 3 术语和定义 GB/T 35295-2017界定的一级下列术语和定义适用于本文件。 分布式关系型数据库 distributed relational database 建立在关系模型基础上的分布式数据库，借助于集合代数等数学概念和方法来处理数据库中的数 据。 批处理 batch processing 将一个大型作业分解成为多个任务交由多个节点分别处理，再将分解后多个任务处理的结果汇总 起来得出最终的分析结果的计算框架。 流处理 strea