11.接入工业数据（数据接入）.pptx

工业互联网数据分析技术蓝卓数字科技有限公司

项目二准备工业互联网数据本章概要：任务1接入工业数据任务2预处理工业数据知识课堂

任务1接入工业数据计算机技术的进步，以及移动互联网、物联网、5G移动通信技术的发展，引发了数据规模的爆发式增长。大数据蕴含着巨大的价值，引起了社会各界的高度关注，本任务将概括地介绍工业数据的采集和接入。

任务1接入工业数据大数据蕴含着巨大的价值，引起了社会各界的高度关注，本任务将概括地介绍工业数据的采集和接入。任务1-1任务描述本任务要求能够了解数据采集工具能够了解PLC类设备、CNC/DNC类设备通过知识课堂加深了解管理工业数据平台

任务1接入工业数据任务1-2任务实施数据接入数据的实时接入将分布式持久化消息队列（如Kafka等）作为数据总线进行设计，通过消息队列的持久化存储和冗余容错能力，为时序数据采集的事务处理一致性提供消息队列层面的保障，消息队列的持久化存储能够为接入的消息提供缓冲和故障回放并重新进行处理。另外，消息队列通过副本为数据分片提供冗余，单个节点发生故障时不影响消息的存储和消费。

任务1接入工业数据针对数据库集成，平台基于ETL工具开发数据集成组件，通过配置ETL计算规则进行数据库持续集成。数据接入是系统的数字化基础，包括：协议适配服务数据接入网关时序数据消息队列数据ETL服务（关系数据）格式服务数据归档服务流计算服务

任务1接入工业数据时序数据接入首先注册需要接入的时序数据的元数据，在注册元数据后，即可接入时序数据，用于后续的查询和分析。根据用户的使用场景，提供时序数据的实时接入和定时批量接入方式。实时接入指像流水线一样连续不断地将时序数据存入大数据存储模块。例如，环境监测传感器或设备传感器每时每刻都会产生监测数据，需要将这些数据存储下来，以进行后续处理。

任务1接入工业数据非结构化数据接入针对不同使用者的需求，为非结构化数据提供了3种方便的接入功能：第一，使用管理控制台界面上传，这种方式的优点是使用简单，缺点是无法上传大量文件。

第二，使用RESTfulAPI程序上传，这种方式的优点是对网页应用开发友好，适用于上传中等数量文件。第三，使用JavaSDK程序上传，这种方式的优点是可以上传大量文件。第四，用户在使用过程中，可以根据应用场景灵活选择上传方式。

任务1接入工业数据时序数据消息队列时序数据消息队列将分布式持久化消息队列作为数据总线进行设计，在满足高吞吐量的前提下，实现系统的水平扩展。时序数据消息队列支持数据处理管道从中消费数据，并与数据接入网关结合，实现实时接入时序数据至时序数据仓库、实时接入时序数据至时序数据库、数据接入量统计等功能。

任务1接入工业数据数据ETL服务针对将已有信息化系统作为关系数据的主要接入来源的情况，数据ETL服务将数据同步作为关系数据接入形式，能够有效应对不同信息系统带来的接口异构问题.ETL工具使用了突破性元数据驱动方法，以提供强大的“提取、转换和加载”功能，并支持大量的输入和输出格式，包括文本文件、数据表及商业和免费的数据库引擎。

感谢聆听，敬请指正