《ETL数据整合和处理》教学大纲.docxVIP

《ETL数据整合和处理》教学大纲课程名称：ETL数据整合和处理 课程类别：必修适用专业：大数据技术类相关专业 总学时：64学时（其中理论30学时，实验34学时）总学分：4.0学分 一、课程的性质 大数据和人工智能时代已经到来，大数据是海量的数据集合。如果把人工智能看成一个 嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的、深度的数据就是喂养这个天才的奶 粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量那么决定了婴儿后续的智力发育水平。 帮助行业的客户在合理时间内获取、处理和存储海量的数据，为企业提供符合大数据和人工 智能服务质量的数据，就需要使用ETL数据整合和处理技术。数据整合和处理技术是数据 分析中的一门先导技术，具有实践经验的数据分析人才，成为了当今企业大数据和人工智能 迫切需要的热门人才。为了推动我国大数据、云计算和人工智能行业的开展，满足日益增长 的数据分析人才的需求，特开设《ETL数据整合和处理》课程。 二、课程的任务 通过对本课程的学习，使学生学会以任务的形式，使用Kettle工具进行数据抽取、清洗 和存储等数据处理，学会设置定时任务，运行工程的数据转换工程，掌握源数据获取、记录 处理、字段处理、高级转换、迁移和装载等典型的数据转换操作，以及工程任务的操作，并 通过真实的无人售货机企业案例，理论与案例实践相结合，为将来从事数据处理与分析、数 据挖掘研究等大数据工作奠定基础。 三、课程学时分配 序号 教学内容 理论学时 实验操作学时 其它 1 第1章开启ETL之旅 3 3 2 第2章源数据获取 4 4 3 第3章记录处理 4 4 4 第4章字段处理 4 4 5 第5章高级转换 5 5 6 第6章迁移和装载 3 3 7 第6章任务 4 4 8 第8章无人售货机零售工程实战 3 7 总计 30 34 四、教学内容及学时安排1.理论教学 序 号 章节名称 主要内容 教学目标 学时 1 开启ETL之旅 . 了解ETL的基本概念 . 了解ETL常用工具 .安装JDK .安装MySQL数据库 .安装Kettle和配置运行环境 .熟悉Kettle界面和菜单功能 .创立转换与任务工程 .工程运行与查看结果面板 .了解ETL的基本概念和 常用的工具 .掌握 JDK、MySQL、Kettle 的安装和配置Kettle运行环 境 .熟悉Kettle菜单功能和基 本操作 .掌握转换和任务工程的 创立，以及工程运行与结果 面板的查看 3  2 源数据获取 .创立数据库连接和测试连 接结果 .共享/停止共享数据库连接 .建立转换工程，创立表输入 组件，熟悉组件的参数和使用 4.建立转换工程,创立CSV文 件组件，熟悉组件的参数和使 用 .建立转换工程，创立Excel 输入组件，熟悉组件的参数和 使用 .建立转换工程，创立生成记 录组件，熟悉组件的参数和使 用 .建立转换工程，创立生成随 机数组件，熟悉组件的参数和 使用 .建立转换工程，创立获取系 统信息组件，熟悉组件的参数 和使用 .掌握创立数据库连接的 方法，以及设置共享/停止 共享数据库连接 .掌握表输入、CSV文件、 Excel输入、生成记录、生 成随机数、获取系统信息等 常用源数据获取组件的创 建和参数说明，熟练使用组 件获取数据和预览到数据 4 3 记录处理 .建立转换工程，创立Excel 输入、排序记录组件和连接， 熟悉组件的参数和使用 .建立转换工程，创立Excel 输入、排序记录组件和去除重 复记录组件和连接，熟悉组件 的参数和使用 .建立转换工程，创立Excel 输入、替换NULL值组件和连 接，熟悉组件的参数和使用 .建立转换工程，创立Excel 输入、过滤记录组件和连接， 熟悉组件的参数和使用 .建立转换工程，创立Excel 输入、值映射组件和连接，熟 悉组件的参数和使用 .建立转换工程，创立Excel 输入、字符串替换组件和连 接，熟悉组件的参数和使用 .建立转换工程，创立Excel 输入、字符串操作组件和连 接，熟悉组件的参数和使用 .建立转换工程，创立Excel 输入、排序记录、分组组件和 连接，熟悉组件的参数和使用 掌握排排序记录、去除重复 记录、替换NULL值、过滤 记录、值映射、字符串替换、 字符串操作、分组等基于记 录处理的常用组件的创立 和参数说明，熟练使用组件 转换数据和浏览结果数据 4 4字段处理.建立转换工程，创立Excel 4字段处理 .建立转换工程，创立Excel 输入、增加常量组件和连接， 熟悉组件的参数和使用.建立转换工程,创立Excel 输入、将字段值设置为常量组 件和连接，熟悉组件的参数和 使用 .建立转换工程，创立Excel 输入、剪切字符串组件和连 接，熟悉组件的参数和使用.建立转换工程，创立Excel 输入、拆分字段组件和