数据采集与预处理课程标准教学大纲.pdf

《数据采集与预处理》课程标准 课程名称：数据采集与预处理 课程代码： 课程类型：专业核心课程 学 分： 4 计划学时： 64 实践课时比例： 50% 主要授课方式：理实一体化 考核方式：上机操作 适用专业：大数据技术与应用专业、云计算技术与应用专业、软件技术专业 1. 概述 1.1 课程的性质 本课程是大数据技术与应用专业、云计算技术与应用专业、软件技术专业的专业核心课程，是校 企融合系列化课程，该课程教学内容以任务驱动为主线，围绕企业级应用进行项目任务设计。 1.2 课程设计理念 本课程遵循应用型本科和高等职业教育规律， 以大数据技术与应用实际工作岗位需求为导向选取 课程内容，完成了数据采集和预处理平台搭建、网络爬虫实践、日志数据采集实践和数据预处理实践 等完整的数据采集与预处理应用案例，课程目标是培养学生具备“大数据分析”应用项目所需数据采 集与预处理的综合职业能力；坚持开放性设计原则，吸收企业专家参与，构建以“工作任务”为载体 的“项目化”课程结构；课程教学实施教、学、做一体，坚持理论为实践服务的教学原则，通过模拟 企业大数据采集与预处理应用业务进行组织，锻炼学生的实践操作能力。 1.3 课程开发思路 通过岗位技能的项目化以及大数据采集与预处理任务的序列化，对内容体系结构进行了适当调 整与重构，以适应教学课程安排。以项目案例及其任务实现为驱动，凭借翔实的操作步骤和准确的 说明，帮助学生迅速掌握大数据采集与预处理的相关知识与技能，并且充分考虑学习操作时可能发 生的问题，并提供了详细的解决方案，突出岗位技能训练。 2. 课程目标 本课程的培养目标是使学生以大数据分析岗位需求为依托， 以实际工作任务为导向， 理清大数据 采集与预处理中常用工具的作用及应用，培养学生大数据采集与预处理的实际操作技能。 2.1 知识目标 本课程本书以任务驱动为主线， 围绕企业级应用进行项目任务设计， 完成了数据采集和预处理平 台搭建、网络爬虫实践、日志数据采集实践和数据预处理实践等完整的数据采集与预处理应用案例， 要求学生系统掌握 scrapy 、Flume、pig 、kettle 、Pandas 、openrefine 和 urllib 、selenium 基本库 1 和 BeautifulSoup 解析库等的相关技术知识， 熟悉企业典型应用案例， 熟悉数据采集与预处理的常用 与典型操作。 2.2 素质目标 （1）培养学生动手能力、自主学习新知识的能力 （2 ）培养学生团队协作精神 2.3 能力目标 通过该课程的学习，学生能利用所学的相关技术，能根据企业具体大数据分析业务，结合采集的 海量数据，针对性的进行数据的预处理，学会数据采集与预处理的常用与典型操作。 3. 课程内容和要求 根据专业核心课程目标和涵盖的工作任务要求，确定课程内容和要求，说明学生应获得的知识、 技能与态度。 学习情境 工作任务 知识要求 技能要求 学时安排 熟悉数据采集的来源和 认识数据采集技术， 学会数据采集平台的 采集的方法。 6 熟悉数据采集平台 搭建。 数据采集 与预处理 了解原始数据存在的主 概述 要问题；熟悉数据预处 学会数据处理工具平 认识数据预处