《大数据集成与预处理实训》课件.pptx

大数据采集与预处理实训Sqoop|DataX|Flume|FlinkCDC|Maxwell课程教学课件|共10课时

课程目录第1章Sqoop篇——图书销售数据集成案例（2课时）第2章DataX篇——零售业务数据集成方案（2课时）第3章Flume篇——用户行为日志数据集成平台（2课时）第4章FlinkCDC篇——电商实时数据同步策略（2课时）第5章综合案例——银行金融租赁审批数据集成（2课时）

数据采集工具对比离线批量同步Sqoop：基于MapReduce，适合RDBMS与Hadoop互传DataX：多线程插件式架构，支持多源多宿特点：一次性全量或定时批量同步实时流式同步Flume：日志采集，Source-Channel-Sink架构FlinkCDC：基于Binlog的变更数据捕获Maxwell：轻量级MySQLBinlog→Kafka解析工具特点：低延迟，实时捕获数据变更

第1章Sqoop篇图书销售数据集成案例

1.1案例背景：当当网图书销售数据分析业务场景：某电商平台积累了2000条图书销售数据，存储在MySQL业务数据库中需要将这批数据导入到Hadoop平台进行离线分析和报表生成数据来源：包含图书名称、作者、出版社、原价、售价、折扣、销量排名、评论数等13个维度数据存储在MySQL的bo