新建文件夹毕业设计初稿5 -批注.pdfVIP

摘要 近些年来，互联网的发展非常快速。网页由最开始静态页面的实现，到现 在各种丰富的媒体资源层出不穷。在这过程中，网页上的 量也在不断的增 长着。往往刚刚打开的网页，再次刷新打开时，网页内容就已经发生了改变。 为了解决以上问题，这次项目所做的系统，可以帮助用户获取到自己所感 兴趣的特定内容，对目标网页进行寻找， ，分类和组织，为用户提供一个 高效的爬虫系统，让用户能够了解目前更新的内容。 本系统主要实现了：URL 的爬取，对网页的 ，对 的爬取，对 的查询，对爬虫程序实现多线程操作。通过编写对网页 的模板，实现智能 化爬取不同的网站。 关键词: 爬虫;互联网;Python ; 多线程。 Abstract In recent years, the development of the Internet is ver