职业能力提升行动《大数据应用开发》培训课程标准.docx

PAGE13

编号

类别

信息技术类

珠海市职业技能提升行动

《大数据应用开发》培训课程标准

珠海市职业技能培训课程标准委员会办公室

2020年3月

《大数据应用开发》课程标准

一、培训说明

1.课程名称

大数据应用开发

2.标准定义

运用Python程序设计语言，实现大数据采集工具、大数据统计分析、数据预处理及数据挖掘建模，最后应用Web技术完成大数据可视化呈现。具备在企事业单位数据分析和数据运营岗位进行数据采集、数据分析和数据可视化呈现的应用开发能力。

3.培训对象

从事大数据系统工程需求分析及设计的人员、数据分析应用的开发人员、数据运营的工程技术人员。

二、培训目标

掌握大数据采集、大数据分析（描述性和预测性）和大数据可视化呈现的基本技术与工作流程，熟练掌握Python程序设计及数据库操作方法，能在企事业单位从事技术管理和咨询服务岗位常规工作。通过培训，学员遵循国家和行业有关标准，按照大数据分析规范化流程，分析行业/企业发展现状与竞争环境，开展业务风险评判与决策支持，利用数据挖掘与建模分析技术充分挖掘大数据的价值，并通过可视化技术呈现给企事业单位决策者一张清晰、准确、形象且有数据支撑的大数据展示页面；通过培训，使学员熟悉整个大数据分析的生命期，加深理解大数据在行业/企业中的角色和用途，推动大数据技术在企事业单位的应用。

1.职业素养目标

（1）具有积极的人生态度、健康的心理素质、良好的职业道德

（2）具有高度责任心、进取心和坚强意志

（3）具有良好的人际交往、团队协作能力

（4）具有良好的表达能力，善于和协作部门沟通

（5）具有良好的人文素养和持续学习的能力

（6）具有信息系统安全意识，重视数据存储安全和保护

2.理论知识目标

（1）掌握大数据应用开发基本流程

（2）了解数据运营的意义

（3）熟悉大数据系统基本架构

（4）掌握HTTP协议

（5）了解网页数据与结构

（6）了解结构化数据与非结构化数据特点

（7）掌握非结构化数据库基本概念

（8）掌握数据质量和数据的一致性概念

（9）掌握常用的数理统计概念

（10）了解常用的数据分类算法（回归分析、决策树、神经网络、贝叶斯网络、支持向量机等）

（11）了解常用的数据聚类算法

（12）了解常用的平稳时间序列分析方法

（13）了解大数据可视化主流技术

（14）掌握WEB前端可视化基础语法

3.开发技能目标

（1）能使用在线帮助文件获得开发资料

（2）能使用Scrapy框架编写爬虫工具抓取互联网数据

（3）能实现数据库的数据存取

（4）能对数据进行结构化和非结构化分析

（5）能使用numpy、scipy、pandas等Python库进行数据预处理

（6）能对数据进行数据分析与挖掘

（7）能使用可视化工具进行数据展示

（8）能编写规范化项目文档

三、课时分配

1.总培训课时

总培训课时：80

2.培训课时分配表

具体培训课时分配见下：

培训课时分配表

培训内容

培训课时

总课时

模块一：数据采集技术——网络爬虫程序设计

24

1.爬虫的实现原理与技术

2

2.爬虫框架Scrapy及爬虫工具程序实现

8

3.网络数据抓取

4

4.网站数据解析

4

5.非结构化数据库存取

6

模块二：数据分析技术——基于Python的数据分析

24

1.numpy数组计算

2

2.scipy科学计算

2

3.pandas统计分析

4

4.数据预处理

8

5.数据挖掘与建模（数据分类、聚类和预测）

8

模块三：数据可视化报表设计

12

1.数据可视化工具概述

2

2.数据与图表选择

4

3.使用可视化工具设计BI报表

6

模块四：大数据可视化前端技术

20

1.HTML+CSS+JavaScript语法基础

4

2.ECharts基础图表

4

3.ECharts交互组件

4

4.ECharts可视化综合应用

8

总计

=SUM(ABOVE)80

四、培训要求与培训内容

培训内容

培训要求

培训建议

模块一

数据采集技术

操作技能要求：

熟练掌握HTTP抓包工具Fiddler配置与数据抓取

掌握Scrapy框架的安装与应用

(Scrapy网站：/)

熟练使用urllib包抓取网页

掌握代理服务器设置

熟练使用requests类库抓取数据

熟练使用Xpath与lxml解析库

熟练使用BeautifulSoup

熟练使用JsonPath与JSON模块

掌握MongoDB的安装与基本使用

熟练掌握PyMongo接口开发包基本操作

能按照工作规范保存项目进度文件与终稿，并整理归档。

理论知识要求：

理解爬虫的基本工作原理

了解网络数据抓取流程

掌握HTTP网络请求原理

掌握HTTP抓包工具Fiddler工作原理

掌握urllib包抓取数据原理

理解代理服务器原理

了解常