国开一网一 大数据技术导论 实验3 网页数据获取.docx

一、实验目的

网络爬虫系统的功能是下载网页数据，为搜索引擎系统或需要网络数据的企业提供数据来源。本章内容介绍了网络爬虫程序的编写方法，主要包括如何请求网页以及如何解析网页。在网页请求环节，需要注意的是，一些网站设置了反爬机制，会导致我们爬取网页失败。在网页解析环节，我们可以灵活运用BeautifulSoup提供的各种方法获取我们需要的数据。同时，为了减少程序开发工作量，可以选择包括Scrapy在内的一些网络爬虫开发框架编写网络网络爬虫程序。

二、实验要求

1.1采集网页数据保存到文本文件

访问古诗文网站（

/mingju/），会显示如图3-5所示的页面，里面包含了很多名句，点击某一个名句（比