《大数据采集与预处理》课程标准.docx

《大数据采集与爬虫》课程标准

《大数据采集与预处理》

课程标准

CurriculumStandards

目录

TOC\o1-3\h\z\u一、课程概述 1

（一）课程性质与定位 1

（二）课程基本教学理念 1

二、课程目标 1

（一）知识目标 1

（二）能力目标 1

（三）素质目标 1

三、课程内容 1

（一）课程结构 1

（二）教学内容 1

四、考核与评价 2

（一）考核构成 2

（二）考核评价 2

五、教学实施与保障 2

（一）教学组织 2

（二）课程师资 3

（三）教学设施 3

（四）教学资源. 3

《大数据采集与爬虫》课程标准

PAGE4

一、课程概述

（一）课程性质与定位

本课程是大数据工程技术专业的专业核心课程。通过学习使学生获得基于大数据采集、处理、存储的能力，着重培养学生掌握大数据网络采集相关概念、基础知识和网络采集工具的基本应用，作为大数据工程技术专业的中期课程，为学习大数据分析与挖掘、大数据可视化技术等后续课程和毕业后从事大数据工程技术等方面的工作打下基础。

（二）课程基本教学理念

把培养社会主义建设者和接班人作为根本任务，培养一代又一代拥护中国共产党领导和我国社会主义制度、立志为中国特色社会主义奋斗终身的有用人才。这是教育工作的根本任务，也是教育现代化的方向目标。遵循“以职业岗位能力标准为教学目标，以职业能力培养和职业素养养成为教学核心，以行动导向的做学教为教学方法”原则进行课程设计。

（1）落实“立德树人”的根本任务。坚持育人为本、德育为先，充分挖掘与系统设计课程思政元素，培养“德智体美劳”全面发展的社会主义建设者和接班人。以学生为中心，关注学生的全面发展、和谐发展、持续发展、终身发展和健康成长。

（2）培养学生系统掌握专业基础知识。根据专业（群）人才培养目标与规格，按照理论实践一体、线上线下结合、岗课赛证相融通的设计理念，将行业的新技术、新工艺、新知识、新标准、新规范及职业资格认证、技能大赛相关知识与内容及时融入课程，培养学生掌握新一代信息技术相关产业链与岗位群所需要的大数据技术领域系统的理论基础知识。

（3）培养学生熟练掌握专业核心技能。根据专业（群）人才培养目标与规格，将精益求精的工匠精神、追求卓越的劳动精神与专业大数据技术领域技术技能提升相结合，以任务或项目为载体组织序化实习实训内容，坚持学做合一，要求学生掌握行业岗位通用的成熟技术与方法，在实践环节通过角色扮演、团队协同、个体体验、展示交流等手段，培养学生具备大数据技术领域扎实的技术能力。

（4）培养学生具备创新性劳动的能力。培养学生产业数字化与数字产业化需要的技术技能创新能力，适应产业技术快速迭代升级与就业结构不断向高端技术层次转化，培养学生持续学习与终身学习能力，增强学生就业适应性。强化学生在具备过硬的思想政治素质、系统的专业理论知识和扎实的专业技能基础上，能够进行技术技能的创新，强调对学生创新创业意识的培养，深入挖掘学生自身的创造力，增强自主创新、原始创新、集成创新能力。

二、课程目标

（一）知识目标

掌握大数据网络数据采集的基本知识和应用技能

掌握Python基础知识和语法

掌握网络编程基础知识

掌握WEBAPI基础知识

掌握MYSQL编程基础知识

掌握动态数据和静态数据基础知识

掌握图形图像解析基础知识

掌握Hadoop基础知识

（二）能力目标

掌握PYCHARM开发工具使用方法

掌握网络知识POST/GET原理及其应用

掌握AJAX原理和应用

掌握MYSQL编程技能

掌握CSV和JSON数据处理技能

掌握反爬虫技术框架的应用能力

掌握Selenium库的应用能力

掌握SCRAPY框架和requests库的应用能力

掌握Flume的应用能力

掌握更多网络数据采集技术和创新数据采集方法的能力

（三）素质目标

具有良好的社会责任感

具备良好的工作责任心

积极主动参与到工作中

具有团队协作精神，主动与人合作、沟通和协商。

具备良好的职业道德。

按工程规范、安全操作的要求开展工作。

具有良好的语言表达，有条例、概括表达思想、态度和观点。

三、课程内容

（一）课程结构

本课程以网络数据采集和预处理技术为主线，在深入介绍大数据背景下网络数据采集的背景和特征同时，整合Python高级编程语言、Mysql数据库管理系统、网络基础知识以及常用网络数据采集第三方库和文件格式等技术，通过理论和实践相结合，线上和线下相结合的方式开展和实施。

本课程共分为9个任务，包括网络数据采集的理论实践，主要讲解了如何使用Python来编写网络爬虫程序，内容包括Pyth