原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
《数据采集与预处理》课程标准
课程名称：数据采集与预处理
学分：4
计划学时：72
适用专业：大数据技术
1．前言
1.1课程性质
《数据采集与预处理》课程是大数据技术专业核心课程，在整个专业课程体系中占有极为重要的地位。其前导课程为《程序设计基础》、《Web前端设计》，后续课程为《大数据分析技术应用》。本课程的定位是使学生掌握python数据采集、预处理与存储的综合应用，通过上机实践掌握对不同领域、不同来源、不同类型数据采集、数据预处理与存储的基础能力，为今后大数据技术工作打下坚实的基础。
1.2设计思路
传统的开发类课程的教学只是针对软件开发工具的操作方法进行讲授，理论知识点讲完后，学生进行软件工具的操作实验以及完成课后练习，知识点多而散，到最后一学期下来，学生只会编写简单的开发语言以及开发软件的基本使用，不会灵活的综合各知识点进行软件开发实践，无法真正将所学的知识应用到实际的开发过程中。在信息时代，提倡把“知识”放在问题中，放到现实中，让学生通过收集信息、分析信息、处理信息和运用信息，主动地探索、发现、体验和解决问题，从而培养获取新知识和利用知识进行创新的能力。
为了提高学生的技能和改变以前的教学情况，信息技术系大数据教研室经过多年的教学模式研究以及培养方案探索，根据“以实践为导向，以能力为本位”和“项目教学法”的教学思想，制定相应的项目教学方案，本课程课堂教学改革就是在上述教学思想的基础上开始实施，改变原有的传统教学模式，改革传统的实验、实践教学模式，通过项目式的教学，引入知识点，学生容易接受，并能很好的应用所学知识和所学技能，最终使学生切实掌握大数据相关技术，培养学生成为面向社会的实践型人才。
本课程以Python语言为基础，采用经典仿真案例进行分解与设计，将大数据技术知识点融入到项目案例设计中，设计出一套与岗位能力对接的项目实训方案。
2．课程目标
2.1总体目标
任务引领型的项目活动，旨在使学生掌握大数据技术的基本知识和综合实践技能，包括数据采集、数据预处理、网络基础与攻防知识、信息脱敏技术与基础存储等内容。重点关注数据获取、字符串处理、JSON数据解析、网页正则表达式、BeautifulSoup、XPath路径解析、异步数据解析、模拟浏览器（Selenium）与网络爬虫框架（Scrapy）的运用等。最终通过一个个简化的仿真项目，使学生在认知和实际操作上，对大数据采集与预处理有一个整体的认识和理解，并掌握使用Python语言技能。倡导学生在“做中学”，为提高学生的职业能力奠定良好的基础。
2.2具体目标
通过理论和实践教学，使学生掌握Python在大数据采集与预处理中的常用工具和方法，并培养良好的大数据采集与预处理的应用能力。
2.2.1知识目标
主要掌握大数据采集与预处理技术基本知识，结合项目案例掌握如下知识：
（1）熟悉数据获取方法与数据类型；
（2）掌握采集与预处理应用环境配置；
（3）熟悉网络基础与攻防知识；
（4）掌握网络数据采集与存储；
（5）掌握数据基础预处理技术；
（6）了解数据可视化应用；
（7）了解网络数据采集框架应用。
2.2.2能力目标
（1）具备开发环境部署的能力；
（2）具备从不同的途径获取数据的能力；
（3）具备HTML数据类型解析能力；
（4）具备JSON数据类型解析能力；
（5）具备简单数据存储的能力；
（6）具备字符串基本预处理的能力；
（7）具备数据获取、解析与存储综合应用能力。
2.2.3素质目标
（1）培养学生的刻苦钻研精神、创新能力、举一反三与学以致用的能力。
（2）培养学生知识的综合实践能力。
（3）培养学生的集体协作能力，实事求是的学风、严谨的学习态度。
（4）培养严谨的工作作风，利用较综合性项目培养学生对大数据技术支持工作有直观的了解和认识，使学生胜任今后的工作。
3．课程内容与要求
序号
教学任务
课程内容及教学要求
教学设计
参考
学时
1
认识大数据
1、熟悉大数据特征
2、熟悉大数据关键技术
3、掌握不同的数据获取途径
4、具备分析简单数据类型的能力
理论讲授、上机实训、应用巩固、总结提高
3
2
环境与语言基础
1、熟悉环境配置的要求
2、能够完成第三方工具包的配置、引入与使用
3、熟悉Python数据结构、文件处理
4、具备简单答python对象抽象与封装的能力
理论讲授、上机实训、应用巩固、总结提高
9
3
网络数据获取
1、掌握网络数据处理过程
2、掌握网络数据获取方法
3、能够分析网络数据采集行为的合法性
4、会配置第三方包数据采集依赖库
理论讲授、上机实训、应用巩固、总结提高
6
4
正则表达式
1、了解正则表达式字符集
2、熟悉正则常用函数
3、具备使用正则表达式完成页面解析的能力
理论讲授、上机实训、应用巩固、总结提高
9
5
H
文档评论（0）