《Python网络爬虫》 课件 导言.pptx

Python网络爬虫导言

教学概述课程性质描述《Python网络爬虫》是一门基于工作过程开发出来的学习领域课程，是大数据、人工智能相关专业职业核心课程。本课程注重对学生职业能力和创新精神、实践能力的培养，培养学生利用主流爬虫框架进行爬虫项目的设计和开发。是融理论和实践一体化，教、学、做一体化的专业课程，是工学结合课程。适用专业：大数据、人工智能相关专业。开设课时：56建议课时：56导言

教学概述典型工作任务描述大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高，我们可以使用网络爬虫对数据信息进行自动采集，比如应用于搜索引擎中对站点进行爬取收录，应用于数据分析与挖掘中对数据进行采集，应用于金融分析中对金融数据进行采集，除此之外，还可以将网络爬虫应用于舆情监测与分析、目标客户数据的收集等各个领域。我们可以根据爬取对象的不同设置网络爬虫的典型工作任务，包括爬取静态网页、爬取动态网页、爬取APP数据，另外，我们在爬取数据过程中会遇到反爬虫以及爬取效率的困扰，我们将反爬虫策略及其解决办法，分布式爬虫优化也作为典型工作任务。导言

知识准备课程学习目标导言基本理论方面掌握爬虫程序设计理念；掌握数据提取和存储思想；掌握Scrapy爬虫框架设计思想。

知识准备课程学习目标导言基本技能方面熟练掌握Requests请求源数据的方法；熟练掌握BeautifulSoup4工具解析数据的方法；熟练掌握Mechanize模拟浏览器的方法；熟练掌握XPath、css解析数据的方法；熟练掌握Scrapy网页爬取的工作流程；熟练掌握Scrapy中Item、Pipeline数据的序列化输出方法；熟练掌握Scrapy中网页及接口请求方法；熟练掌握Selenium自动化操作方法；熟练掌握Fiddler的使用方法；熟练掌握CSV、MySQL数据存储方法；掌握常见反爬虫策略的解决办法；能正确使用Scrapy+Redis进行分布式数据采集工作。

知识准备课程学习目标导言职业素养方面能够完成真实业务逻辑向代码的转化；能够独立分析解决问题；能够快速准确地查找参考资料；能够与小组其他成员通力合作。

知识准备学习组织形式与方法导言亲爱的同学，欢迎你学习《Python网络爬虫》课程！与你过去使用的传统教材相比，这是一种全新的学习材料，它帮助你更好地了解未来的工作及其要求，通过这本活页式教材学习如何通过爬虫采集网络数据的重要的、典型的工作，促进你的综合职业能力发展，使你有可能在短时间内成为网络爬虫的技能能手。主动学习用好工作活页团队协作把握好学习过程和学习资源

知识准备学习情境设计导言爬取天气预报数据爬取百度搜索结果数据爬取汽车销售分页数据爬取百度图片数据爬取漫画数据爬取新闻类APP接口数据常见反爬虫策略及解决办法处理输入式验证码校验分布式爬取电影数据

谢谢课程名称：Python网络爬虫