数据采集与预处理---教学大纲-.docVIP

数据采集与预处理 教学大纲 课程名称 数据采集与预处理 课程代码 英文 类别代号 CSCI 授课对象 数据科学与大数据技术，本科生 适用年级 大二 课程类型 专业必修课 课程课型 理论课 总学分 总学时 授课 讨论 实验/上机 实践 其他 1.5 24 24 0 0 0 0 先修课程 无 一、课程简介 本课程详细阐述了大数据领域数据采集与预处理的相关理论和技术。课程内容共8章，包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。 二、培养目标 本课程旨在实现以下几个培养目标： 了解数据采集的概念、方法和任务。 熟悉大数据实验环境的搭建方法，包括Python的安装和使用、JDK的安装、MySQL数据库的安装和使用、Hadoop的安装和使用。 了解网络爬虫的基础知识，掌握使用网络爬虫获取网页数据的方法。 了解Kafka的特性，掌握使用Python操作Kafka的方法。 了解Flume的组件功能，掌握使用Flume采集数据的方法。 了解数据仓库中的数据集成方法，熟悉ETL和CDC。 掌握ETL工具Kettle的基本使用方法。 掌握使用pandas进行数据清洗的方法。 三、教学方法 本课程以实践教学为主，并提供大量补充学习资料，以深化学生对知识的理解。同时，在课堂上为学生展示丰富的实际应用案例，激发学生学习兴趣，开拓学生视野，培养学生的数据能力。  四、主要内容及学时安排 章（或节） 主要内容 学时安排 第1章 概述 数据、数据分析过程、数据采集与预处理的任务、数据采集、数据清洗、数据集成、数据转换、数据脱敏 2 第2章 大数据实验环境搭建 Python的安装和使用、JDK的安装、MySQL数据库的安装和使用、Hadoop的安装和使用 2 第3章 网络数据采集 网络爬虫概述、网页基础知识、用Python实现HTTP请求、定制requests、解析网页、综合实例、Scrapy爬虫 4 第4章 分布式消息系统Kafka Kafka简介、Kafka在大数据生态系统中的作用、Kafka与Flume的区别与联系、Kafka相关概念、Kafka的安装和使用、使用Python操作Kafka、Kafka与MySQL的组合使用 2 第5章 日志采集系统Flume Flume简介、Flume的安装和使用、Flume和Kafka的组合使用、采集日志文件到HDFS、采集MySQL数据到HDFS 2 第6章 数据仓库中的数据集成 数据仓库概念、数据集成、ETL、CDC 2 第7章? ETL工具Kettle Kettle的基本概念、Kettle的基本功能、安装Kettle、数据抽取、数据清洗与转换、数据加载 4 第8章 使用pandas进行数据清洗 NumPy的基本使用方法、pandas数据结构、基本功能、汇总和描述统计、处理缺失数据、综合实例 6 合计 24 五、考核方式与要求 （1）平时成绩：包括上课考勤和作业； （2）期末考试：采用笔试，闭卷； （3）最终成绩：平时成绩和期末考试成绩按5:5比例加权求和。 六、选用教材 林子雨编著《数据采集与预处理》，人民邮电出版社，2022年1月第1版。定价：59.80元。 七、参考书目与文献 林子雨编著《大数据导论》，人民邮电出版社，2020年9月第1版，定价：49.80元。 八、课程网站等支持条件 课程主讲教师建设了国内高校首个大数据课程公共服务平台，提供讲义PPT、课程习题、学习指南、授课视频、技术资料等全方位、一站式免费服务，帮助学生更好学习大数据课程 九、其它信息 大纲制定者：林子雨 大纲审定者： 大纲制定时间：2022年1月 XMU Undergraduate Course Syllabus Course name Data acquisition and preprocessing Course code Category code CSCI Programme Data Science and Big Data Technology Semester Sophomore Course type □Basic Common Courses □General Education Courses □Disciplinary General Courses ■Specialized Courses □Other Teaching Processes Course focus ■Lecture □Experiment □Skill-training □Practical Credit Total learning hours Lecture Tutorial Exper