大数据ETL技术介绍.pptx

大数据ETL技术介绍 ETL工具数据抽取方法介绍 掌握ETL工具的部署 学习完本课程，您应该能够： 2 1. ETL工具数据抽取方法介绍 2. ETL工具部署 目录 3 大数据平台DataEngine技术架构 ETL介绍 ETL工具 数据源 数据抽取 DataEngine MPP 数据导入 Hbase 结构化数据 ORA、SQL、Mysql … 非结构化数据 文本数据、图片、LOG、音视频、压缩文件 DataEngine Sqoop Kettle Flume DataEngine HDP HDFS Hive Kafka ES … 结构化数据导入MPP－方法 ETL工具 结构化数据 数据抽取 dispatch 数据加载工具 MPP 方法一：数据导入 方法二： 数据导出 Oracle Sql Server Mysql … Oracle数据库可以通过oratompp导出为TXT文件 Oratompp Kettle Kettle 结构化数据导入MPP－注意事项 数据源 Oracle Sql Server Mysql … MPP 数据源访问方式 Kettle直连生产库 增加前置机 谁实施？ 提供只读用户 数据信息调研 数据量 数据增量 表结构 表数量 访问安全 数据是否需要脱敏 数据是否需要清洗 Oratompp工具使用 运行oratompp命令的机器需要安装oracle客户端和访问oracle服务器权限 ETL工具 Oratompp Kettle 表对表迁移 步骤？ 结构化数据导入MPP－数据类型区别 数据源 MPP 将ORACLE的表迁移到MPP的表过程中涉及到的ORACLE标准数据类型如何映射到MPP数据库表中共包含四大类数据类型： 二进制数据类型 BFILE、BLOB、RAW(size)、LONGRAW 字符数据类型 CLOB、LONG、NCHAR、NCLOB、CHAR、varchar2、NVARCHAR2 数字数据类型 BINARY_DOUBLE、BINARY_FLOAT、NUMBER(p,s)、DECIMAL(p,s)、INT、 INTEGER 日期时间数据类型 TIMESTAMP、DATE H3C DataEngine MPP SQL参考手册 表对标迁移 结构化数据导入HDP ETL工具 结构化数据 数据抽取 数据导入 Oracle Sql Server Mysql … DataEngine HDP Hbase HDFS Hive Kettle Sqoop 不需要清洗 需要清洗 非结构化数据导入HDP ETL工具 非结构化数据 数据抽取 数据导入 文本数据、图片、LOG、音视频、压缩文件…… DataEngine HDP Hbase HDFS Hive Flume Kettle ftp HUE Kafka ES …… 图片、视频等二进制文件 日志文件 1. ETL工具数据抽取方法介绍 2. ETL工具部署 目录 11 ETL工具部署在何处？ 数据分发服务器 IRF 业务交换机 HDP集群 MPP集群 管理网交换机 数据源 Oracle Sql Server Mysql … … … 操作台 H3C DataEngine Flume部署在何处？ IRF 业务交换机 HDP集群 管理网交换机 数据源 文本数据、图片、LOG、音视频、压缩文件 … 操作台 H3C DataEngine Flume Agent 网络设备日志 非结构数据 Flume Agent Syslog UDP/TCP Source Avro Source