《ETL数据整合和处理》教学大纲.docVIP

《ETL数据整合和处理》教学大纲 课程名称：ETL数据整合和处理 课程类别：必修 适用专业：大数据技术类相关专业 总学时：64学时（其中理论30学时，实验34学时） 总学分：4.0学分 课程的性质 大数据和人工智能时代已经到来，大数据是海量的数据集合。如果把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的、深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量则决定了婴儿后续的智力发育水平。帮助行业的客户在合理时间内获取、处理和存储海量的数据，为企业提供符合大数据和人工智能服务质量的数据，就需要使用ETL数据整合和处理技术。数据整合和处理技术是数据分析中的一门先导技术，具有实践经验的数据分析人才，成为了当今企业大数据和人工智能迫切需要的热门人才。为了推动我国大数据、云计算和人工智能行业的发展，满足日益增长的数据分析人才的需求，特开设《ETL数据整合和处理》课程。 课程的任务 通过对本课程的学习，使学生学会以任务的形式，使用Kettle工具进行数据抽取、清洗和存储等数据处理，学会设置定时任务，运行项目的数据转换工程，掌握源数据获取、记录处理、字段处理、高级转换、迁移和装载等典型的数据转换操作，以及项目任务的操作，并通过真实的无人售货机企业案例，理论与案例实践相结合，为将来从事数据处理与分析、数据挖掘研究等大数据工作奠定基础。 课程学时分配 序号 教学内容 理论学时 实验操作学时 其它 1 第1章 开启ETL之旅 3 3 2 第2章 源数据获取 4 4 3 第3章 记录处理 4 4 4 第4章 字段处理 4 4 5 第5章 高级转换 5 5 6 第6章 迁移和装载 3 3 7 第6章 任务 4 4 8 第8章 无人售货机零售项目实战 3 7 总计 30 34 教学内容及学时安排 理论教学 序号 章节名称 主要内容 教学目标 学时 1 开启ETL之旅 了解ETL的基本概念 了解ETL常用工具 安装JDK 安装MySQL数据库 安装Kettle和配置运行环境 熟悉Kettle界面和菜单功能 创建转换与任务工程 工程运行与查看结果面板 了解ETL的基本概念和常用的工具 掌握JDK、MySQL、Kettle的安装和配置Kettle运行环境 熟悉Kettle菜单功能和基本操作 掌握转换和任务工程的创建，以及工程运行与结果面板的查看 3 2 源数据获取 创建数据库连接和测试连接结果 共享/停止共享数据库连接 建立转换工程，创建表输入组件，熟悉组件的参数和使用 建立转换工程，创建CSV文件组件，熟悉组件的参数和使用 建立转换工程，创建Excel输入组件，熟悉组件的参数和使用 建立转换工程，创建生成记录组件，熟悉组件的参数和使用 建立转换工程，创建生成随机数组件，熟悉组件的参数和使用 建立转换工程，创建获取系统信息组件，熟悉组件的参数和使用 掌握创建数据库连接的方法，以及设置共享/停止共享数据库连接 掌握表输入、CSV文件、Excel输入、生成记录、生成随机数、获取系统信息等常用源数据获取组件的创建和参数说明，熟练使用组件获取数据和预览到数据 4 3 记录处理 建立转换工程，创建Excel输入、排序记录组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、排序记录组件和去除重复记录组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、替换NULL值组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、过滤记录组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、值映射组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、字符串替换组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、字符串操作组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、排序记录、分组组件和连接，熟悉组件的参数和使用 掌握排排序记录、去除重复记录、替换NULL值、过滤记录、值映射、字符串替换、字符串操作、分组等基于记录处理的常用组件的创建和参数说明，熟练使用组件转换数据和浏览结果数据 4 4 字段处理 建立转换工程，创建Excel输入、字段选择组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、增加常量组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、将字段值设置为常量组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、剪切字符串组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、拆分字段组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、数值范围组件和连接，熟悉组件的参数和使用 建立转换工程，创建Excel输入、计算器组件和连接，熟悉组件的参数和使用