《Python爬虫大数据采集与挖掘》教学大纲.docVIP

PAGE PAGE 1 《Python爬虫大数据采集与挖掘》课程教学大纲 院系: 日期:2019年10月 10日 课程代码 课程名称 Python爬虫大数据采集与挖掘 学 分 数 2 周学时 2 授课语言 中文 课程性质 √核心课程√通识教育选修□大类基础√专业必修√专业选修□其他 教学目的 本课程主要针对大数据技术与应用、数据科学、计算机与电子信息等专业2年级以上本科生，主要讲解互联网大数据采集技术及各种典型爬虫的技术，并结合相关的开源包使用Python进行实现，以加深学生对所学内容的理解。通过本课程教学，使学生对互联网大数据采集技术有一个全面的了解，掌握基本的信息内容采集、提取和分析方法，并且具备一定的针对具体信息采集需求的实际运用和解决能力。 基本内容简介 互联网大数据采集技术与实现概况；Web服务器的应用架构以及HTTP、Robots、HTML、页面编码等相关协议和规范；普通网络爬虫技术、动态页面采集方法、主题爬虫技术、Deep Web爬虫、微博信息采集、Web信息提取以及反爬虫技术等；用于爬虫应用中的典型大数据处理与挖掘技术；以及综合运用各种爬虫及处理技术进行新闻阅读器的分析设计；理解爬虫用于SQL注入安全检测的方法。 基本要求: 要求理解互联网大数据采集的技术体系、主要技术；掌握各种典型爬虫的技术原理、技术框架、实现方法、主要开源包的使用；理解对爬虫采集到的Web页面数据的处理方法、文本处理与相关的挖掘方法，并会使用Python进行技术实现。 授课方式: 本课程以讲课为主，在本课程的教学过程中将运用课堂讲解、课堂讨论等形式为学生提供互动式交流，同时根据教学进度设置若干配套实验。 课内外讨论或练习、实践、体验等环节设计： 课外需认真完成布置的作业，理解和巩固所学的内容。 考核和评价方式（提供学生课程最终成绩的分数组成，体现形成性的评价过程）: 考核包括平时成绩（考勤、项目、实验）以及期末考试，分别占课程总成绩中35%和65%。期末的考核形式为闭卷考试。